CN111866403A - 一种视频图形内容处理方法、装置、设备及介质 - Google Patents

Abstract

本发明公开了一种视频图形内容处理方法、装置、设备及介质，所述方法包括获取视频数据和图形内容交互对象；根据所述图形内容交互对象得到图形内容视图对象和图形内容控制指令集对象，所述图形内容视图对象用于记录图形内容的配置数据，所述图形内容控制指令集对象用于按照执行的先后顺序记录在所述视频数据播放过程中图形内容执行的控制指令；渲染所述视频数据，并伴随所述视频数据的渲染过程根据所述图形内容视图对象渲染图形内容；所述视频数据或所述图形内容的渲染过程受控于根据所述图形内容控制指令集得到的控制指令。本发明不需要对视频数据进行重新编码生成新视频文件；并且达到图形内容的渲染和视频数据的渲染解耦合的效果。

Description

一种视频图形内容处理方法、装置、设备及介质

技术领域

本发明涉及视频处理领域，尤其涉及一种视频图形内容处理方法、装置、设备及介质。

背景技术

相较于普通的视频，在视频中加入图形内容能够增强视频的表现力，同时若所述图形内容能够与用户进行交互，更能够激发用户参与视频观看和互动的积极性，增强视频趣味性，从而提升用户粘度。

为了实现上述在视频中添加图形内容的效果，现有技术中提出了解码视频得到图像帧集合，并将图形内容加入每个图像帧中，重新编码以得到添加了图形内容的新视频文件的技术方案，然而这种技术方案编码解码过程繁琐，耗时较长；图形内容在编码环节被固化在新视频文件中，无法支持动态配置和提供灵活多变的交互方式，客户体验相对较低，对用户粘度的提升也是有限的。

发明内容

为了解决现有技术中无法在视频中提供可动态配置的图形内容的技术问题，并提供基于视频中图形内容的灵活多变的交互方式，本发明提供了一种视频图形内容处理方法、装置、设备及介质。

一方面，本发明提供了一种视频图形内容处理方法，所述方法包括：

获取视频数据和图形内容交互对象；

根据所述图形内容交互对象得到图形内容视图对象和图形内容控制指令集对象，所述图形内容视图对象用于记录图形内容的配置数据，所述图形内容控制指令集对象用于按照执行的先后顺序记录在所述视频数据播放过程中图形内容执行的控制指令；

渲染所述视频数据，并伴随所述视频数据的渲染过程根据所述图形内容视图对象渲染图形内容；所述视频数据或所述图形内容的渲染过程受控于根据所述图形内容控制指令集得到的控制指令。

另一方面，本发明提供了一种视频图形内容处理装置，所述装置包括：

数据源获取模块，用于获取视频数据和图形内容交互对象；

图形内容信息准备模块，用于根据所述图形内容交互对象得到图形内容视图对象和图形内容控制指令集对象，所述图形内容视图对象用于记录图形内容的配置数据，所述图形内容控制指令集对象用于按照执行的先后顺序记录在所述视频数据播放过程中图形内容执行的控制指令；

渲染模块，用于渲染所述视频数据，并伴随所述视频数据的渲染过程根据所述图形内容视图对象渲染图形内容；所述视频数据或所述图形内容的渲染过程受控于根据所述图形内容控制指令集得到的控制指令。

另一方面，本发明提供了一种设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现一种视频图形内容处理方法。

另一方面，本发明提供了一种计算机存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行一种视频图形内容处理方法。

本发明提供的一种视频图形内容处理方法、装置、设备及介质，所述视频图形内容处理方法通过构建图形内容交互对象，从而得到图形内容视图对象和图形内容控制指令集对象，并在视频渲染过程中依据图形内容视图对象和图形内容控制指令集对象进行图形内容的叠加渲染，本发明不需要对视频数据进行重新编码以生成独立视频文件，简化了视频图形内容渲染流程；并且达到图形内容的渲染和视频数据的渲染解耦合的效果，从而使得图形内容的渲染不受限于视频数据的播放过程，在视频数据的播放过程中可以动态更改图形内容的相关配置以及进行实时交互。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本发明提供的视频图形内容处理应用环境示意图；

图2是本发明提供的一种视频图形内容处理方法流程图；

图3是本发明提供的一个图形内容交互对象的具体数据结构示意图；

图4是本发明提供的图形内容视图对象的一个示意图；

图5是本发明提供的图形内容配置参数对象的一个示意图；

图6是本发明提供的图形内容布局信息对象的一个示意图；

图7是本发明提供图形内容信息对象的一个示意图；

图8是本发明提供的文本对象的一个示意图；

图9是本发明提供的图形内容控制对象的一个示意图；

图10是本发明提供的触发动作列表对象的一个示意图；

图11是本发明提供的视频数据和所述图形内容的渲染方法流程图；

图12是本发明提供的视频数据和所述图形内容的渲染控制示意图；

图13是本发明提供的某个用户发布的视频图形内容示意图；

图14是本发明提供的某个用户发布的另一视频图形内容示意图；

图15是本发明提供的一种视频图形内容处理装置框图；

图16是本发明提供的一种用于实现本发明实施例所提供的方法的设备的硬件结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了使本发明实施例公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明实施例进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明实施例，并不用于限定本发明实施例。

本公开实施例提供的一种视频图形内容处理方法，可以应用于各类终端设备，可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。

如图1所示，该终端设备10可以包括处理器11、存储器12、系统总线13、显示屏14，在一些优选的实施方式中，还可以包括视频录制装置15；其中，处理器11、存储器12、显示屏14和视频录制装置15可以通过系统总线13连接。存储器12可以包括非易失性存储介质和/或易失性存储介质，可以存储计算机程序；处理器11执行该计算机程序时可以实现本公开实施例提供的一种视频图形内容处理方法；显示屏14可以是触摸屏，例如为电容屏或电阻屏，用于显示视频数据和/或图形内容，还可以用于检测触屏操作，生成相应的指令，例如生成第一用户指令、第二用户指令等；视频录制装置15可以是摄像头等，用于录制视频。该终端设备还可以支持各类应用程序，例如用于录制视频的应用程序、播放视频的应用程序等。

在一个可行的实施例中，终端设备10通过视频录制装置15录制一个或多个视频数据，响应于用户配置生成图形内容交互对象；根据所述图形内容交互对象得到图形内容视图对象和图形内容控制指令集对象，所述图形内容视图对象用于记录图形内容的配置数据，所述图形内容控制指令集对象用于按照执行的先后顺序记录在所述视频数据播放过程中图形内容执行的控制指令；渲染所述视频数据，并伴随所述视频数据的渲染过程根据所述图形内容视图对象渲染图形内容；所述视频数据或所述图形内容的渲染过程受控于根据所述图形内容控制指令集得到的控制指令。

在一个优选的实施例中还可以通过通信网络将所述视频数据和图形内容交互对象与其它硬件设备进行共享，例如上传至各类视频分享网站的服务器或者发送给其它终端设备。

本领域技术人员可以理解，图1中示出的结构，仅仅是与本实施例方案相关的部分结构的框图，并不构成对本实施例方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个可行的实施例中，提供一种视频图形内容处理方法，以所述视频图形内容处理方法应用于上述终端设备为例进行说明，如图2所示，所述方法包括：

S101.获取视频数据和图形内容交互对象。

具体地，所述视频数据可以为通过终端设备的摄像头录制的视频数据，所述终端设备获取的其它设备中的视频数据，或者从存储于所述终端设备中的长视频中截取的部分视频数据，本发明实施例不限定视频数据的具体内容和来源。

所述图形内容交互对象用于记录所述图形内容在所述视频文件播放过程中的完整交互信息，所述图形内容交互对象可以响应于用户发布的动态配置指令而自动生成，也可以基于缺省配置而自动生成，本发明实施例并不限定图形内容交互对象的生成触发机制。

在一个可行的实施方式中，所述图形内容交互对象包括图形内容的存续时间，图形内容视图对象和图形内容控制指令集对象。

如图3所示，其示出了一个图形内容交互对象的具体数据结构示意图。其中tTpStickerTimeLine表示了一个图形内容交互对象或者时间控制对象。start_time表示这个图形内容出现的起始时间或者某个指令的执行区间的起始时间，end_time表示这个图形内容出现的结束时间或者某个指令的执行区间的结束时间。StTpStickerLayout表示这个图形内容的完整配置数据，当存在这个结构时候，stTpStickerTimeLine表示图形内容，不存在时候表示一个时间控制单元。

本发明实施例中对于图形内容可以泛指不属于视频文件的原始内容，但是在视频文件播出中随之进行播放的图形内容。比如，互动贴纸即属于本申请中的图形内容中的一种，其可以被理解为合成在视频里面或者浮动在视频上面交互层的一种图形内容。

在一个优选的实施方式中，所述视频数据可以有一个或多个，所述图形内容交互对象也可以有一个或多个，一个视频数据可以对应一个或多个图形内容交互对象，若一个视频对象对应多个图形内容交互对象，则所述图形内容交互对象可以按照时间先后顺序被记录下来，并按照记录顺序独立参与到后续视频处理步骤。

S102.根据所述图形内容交互对象得到图形内容视图对象和图形内容控制指令集对象，所述图形内容视图对象用于记录图形内容的配置数据，所述图形内容控制指令集对象用于按照执行的先后顺序记录在所述视频数据播放过程中图形内容执行的控制指令。

在一个具体的实施方式中，所述图形内容视图对象包括图形内容配置参数对象、图形内容布局信息对象和图形内容信息对象，其中，所述图形内容信息对象又可以包括主人态内容和客人态内容。

在一个具体的实施方式中，如图4所示，其示出了图形内容视图对象的一个示意图。其中stTpConfig表示图形内容配置参数对象，stTpFrame表示图形内容布局信息对象，stTpContent表示图形内容信息对象，host_content表示主人态内容，guset_content表示客人态内容。

所述图形内容配置参数对象包括了图形内容的识别标识号，图形内容类型和图形内容的屏蔽标识。如图5所示，其示出了图形内容配置参数对象的一个示意图。其中id表示图形内容的识别标识号，type表示图形内容类型，比如可以设置选择题类型的布局_eABChoice＝1，投票类型的布局_eVote＝2，问答类型的布局_eQuestion＝4，讨红包_eRequestRedPacket＝5，发红包-普通红包_eSimpleRedPacket＝6；mask表示图形内容的屏蔽标识，当mask为1图形内容的不显示。

在一个具体的实施方式中，所述图形内容布局信息对象用于记录图形内容的布局信息，包括了图形内容的设计图宽度、图形内容宽度、图形内容高度、图形内容位置、图形内容缩放比例、图形内容旋转角度以及图形内容缩放比例的限值。

如图6所示，其示出了图形内容布局信息对象的一个示意图。其中ref_width表示图形内容的设计图的宽度，width表示图形内容宽度，height表示图形内容高度，x表示图形内容的中心点在屏幕的横坐标位置(0-1.0)，0.5表示屏幕正中间，y表示图形内容的中心点在屏幕的纵坐标位置(0-1.0)，0.5表示屏幕正中间，scale表示图形内容缩放比例，0.5表示缩放为原来一半，scale在minScale和maxScale之间，angle表示图形内容旋转角度，可以采用弧度表示，minScale表示图形内容可缩放最小比例，maxScale表示图形内容可缩放最大比例。

所述图形内容布局信息对象可以在视频播放过程中根据实际情况进行动态改动，以避免图形内容因为不同的显示屏尺寸，不同的显示模式而产生变形或者遮挡其它内容。

所述图形内容中心点在显示屏的横坐标显示位置的动态设置可以根据当前屏幕宽度、图形内容的设计图的宽度与图形内容布局信息对象中的x得到；所述图形内容中心点在显示屏的纵坐标显示位置的动态设置可以根据当前屏幕高度、图形内容的设计图的宽度与图形内容布局信息对象中的y得到。

所述图形内容缩放比例的动态设置可以调用(Android)的原生视图接口setScaleX和setScaleY来实现。

所述图形内容旋转角度的动态设置可以调用(Android)的原生视图接口setRotation来实现。

在一个具体的实施方式中，所述图形内容信息对象包括图形内容背景和图形内容的文本对象。

如图7所示，其示出了图形内容信息对象的一个示意图。其中stTpContent表示图形内容信息对象，backgrounds表示整个图形内容信息对象的背景，stTpItem表示一个文本对象，其中question表示问题,ans_list表示答案列表。

在一个优选的实施方式中，通过设置所述文本对象还可以设置所述文本独享指向的文本内容的渲染效果，比如通过设置question变量，可以设置问题文本的渲染效果，通过设置ans_list变量可以设置答案列表文本的渲染效果。

所述文本对象可以包括文本内容、文本颜色、文本点击态颜色、文本字体大小、文本背景、文本选中态背景、文本触发事件。

具体地，所述文本对象中可以包括图形内容控制指令集对象或图形内容控制指令对象，基于所述图形内容控制指令集对象或图形内容控制指令对象使得所述文本对象指向的文本内容响应控制指令以触发所述文本触发事件。

如图8所示，其示出了文本对象的一个示意图。stTpItem表示一个文本结构,其中text表示文本内容，text_color表示文本颜色，text_color表示文本点击态颜色，font_size表示字体大小，background表示文本背景，background表示文本背景选中态背景，trigger表示文本的触发事件，所述文本的触发事件可以使用图形内容控制指令对象进行触发，在一个可行的实施方式中，也可以使用图形内容控制指令集对象进行触发，图形内容控制指令集对象可以理解为多图形内容控制指令对象按照时间排序得到的对象集合，也可以包含仅有一个图形内容控制指令对象的情况。

所述图形内容控制指令对象用于标识一个事件触发和执行的最小单元。

在一个可行的实施方式中，所述图形内容控制指令对象包括触发类型和触发动作列表对象。如图9所示，其示出了图形内容控制对象的一个示意图。type表示触发的类型，在一个可行的实施例中可以取值0单击，1长按，2响应时间变化，一般stTpStickerTimeLine表示时间控制单元时候这里的type固定为2，和stTpStickerTimeLine的start_Time和end_Time一起使用,表示当前播放进度在(start_Time,end_Time)区间内，触发执行事件。stTpStickerTimeLine表示图形内容交互对象时才响应单击和长按事件。

所述触发动作列表对象包括触发动作类型以及用于记录动作附加参数动作参数的字典。如图10所示，其示出了触发动作列表对象的一个示意图。在一个实施例中，type表示触发的动作的类型，其中ePause＝1暂停，ePlay＝2播放，eReplay＝3重播，eSeek＝4seek操作，eFinish＝5，模板播放结束，eGoToWeb＝101跳转web页，eSchema＝102跳转，eChoose＝103选择，ePickRedPacket＝104领取红包,eQueryResult＝105查看结果，ePayRedPacket＝106求红包，eShowStatistics＝107显示统计框，eQueryRedPacketDetail＝108查看红包详情、args表示动作附加参数动作参数，以字典形式提供。

S103.渲染所述视频数据，并伴随所述视频数据的渲染过程根据所述图形内容视图对象渲染图形内容；视频数据或所述图形内容的渲染过程受控于所述图形内容控制指令集。

为了使得在视频的渲染过程中能够显示图形内容，现有技术中通常使用了下述的方案：

对视频数据进行解码得到图像帧；

将图形内容合成入每个图像帧中；

将合成后的图像帧重新编码为独立的视频文件。

上述方案需要对视频数据本身进行改动，合成后的视频文件已经不再是原来的视频文件，原来的视频文件被更改。并且这种互动方式，图形内容的样式或渲染相关的元素无法动态变更。也就是说，图形内容在合成到视频的时候就已经固化了，没办法做到动态去配置样式。

与之对比的，本发明实施例中图形内容的渲染过程可以与所述视频数据的渲染过程同步或非同步进行，所述视频数据本身并不需要进行改动，而直接在渲染的步骤中将视频数据和图形内容叠加渲染即可得到在视频中显示图形内容的效果，当然，也不需要重新编码生成独立的视频文件。所述图形对象可以单独通过一个互动视图渲染，并且使用一层FramLayout控件作为父容器浮动于视频的播放界面之上和视频交互控件之下。当然，本发明实施例所披露的图形对象的相关数据结构可以被随时视需要进行生成，因此图形对象的位置、内容、样式和渲染相关的元素均可以被动态调整。

本发明实施例具体提供一种视频数据和所述图形内容的渲染方法，如图11所示，所述方法包括：

S1031.对所述视频数据进行实时解码并将解码结果存入表现层对象中。

S1032.根据所述图形内容视图对象将图形对象存入显示层对象中。

在一个可行的实施方式中，根据图形内容视图对象或其组合可以得到在视频播放的各个时间节点中需要同步显示的图形对象的内容以及表现形式，从而按照时间节点顺序依次将需要被渲染的图形对象放入显示层对象中，以便于被提取渲染。

S1033.将所述表现层对象和所述显示层对象叠加渲染到屏幕上。

具体地，可以响应于预设频率的刷新指令，执行步骤S1033中渲染到屏幕的动作。

请参考图12，其示出了视频数据和所述图形内容的渲染控制示意图。在图12中，setSurfaces()设置解码出来的帧要存入的表现层对象。setDataSource()设置输入数据，即视频数据、图形内容视图对象以及图形内容控制指令集。prepare()使视频播放器进入准备状态，start()使播放器开始播放，pause()使播放器暂停，stop()结束播放，seek是播放器在暂停状态或者播放暂停拖动视频进度条。

图形内容控制指令集中可以记录某些触发指令及其触发机制，比如当视频播放到达某个时间节点时，响应某个触发指令；再比如当用户在图形内容渲染位置执行某个动作时，响应某个触发指令。通过感知时间的流逝，根据视频当前播放进度，依据所述图形内容控制指令集决定是否需要执行监听事件或者显示隐藏图形内容。

本发明实施例公开了一种视频图形内容处理方法，所述视频图形内容处理方法通过构建图形内容交互对象，从而得到图形内容视图对象和图形内容控制指令集对象，并在视频渲染过程中依据图形内容视图对象和图形内容控制指令集对象进行图形内容的叠加渲染，至少具备下述优势：

(1)不需要对视频数据进行重新编码以生成独立视频文件，简化了视频图形内容渲染流程；

(2)图形内容的渲染和视频数据的渲染解耦合，从而使得图形内容的渲染不受限于视频数据的播放过程，在视频数据的播放过程中可以动态更改图形内容的相关配置。

目前，用户对视频的观看体验要求越来越高，提供增强视频的互动能力，增强视频的观影体验就显得尤为重要。本发明公开的视频图形内容处理方法，因其解耦合的特性和灵活的渲染优势可以应用于很多的场景之中。

比如，用户在旅游或生活场景下，获取了至少一个片段视频，可能会希望将这些视频串联起来，或者在这些视频上，添加额外的交互元素，比如可点击的红包贴纸，或增加能够多结局播放的功能来使得视频更加具有表现力。请参考图13，其示出了某个用户发布的视频图形内容示意图，图13中对“模特的哪套服饰好看”进行了提问，并给出了“第一套分体衣”、“第二套连衣裙”和“第三套小礼服”三个候选答案，显然“第一套分体衣”、“第二套连衣裙”和“第三套小礼服”对应了模特服饰的三个结局，选择不同的候选答案可以导致接下来的视频中模特服饰产生变化，从而提供了多结局播放的功能，也能够将内容相关的视频串联起来。

再比如，用户在直播场景中，可能会希望派发红包。请参考图14，其示出了某个用户发布的另一视频图形内容示意图。图14中根据用户的左手出现位置显示出了红包派发的图形内容。可见，本发明实施例中的图形内容的渲染位置还可以根据视频内容进行自适应获取，而现有技术中将图形内容固化到视频文件的方式显然无法实现如此灵活的互动效果。

在一个优选的实施方式中，还包括：

S104.在视频播放过程中，通过监听图形内容渲染位置处的事件，响应所述事件对应的指令。

为了使得在视频播放过程中显示的图形内容能够与用户互动，现有技术只能基于安卓(Android)操作系统响应点击事件，这样的交互只支持一种点击操作方式。

与之对应的，在本发明实施例一个可行的实施方式中，还可以额外设置一个监听触发层，所述监听触发层浮动于图形内容之上，用于显示图形内容的一些交互相关的数据，比如在图14中，监听到抢红包点击事件之后可以显示点击抢红包的结果，这里可以使用弹窗显示。相比传统的点赞评论互动行为，本发明实施例提供的互动方式显然更为多样。具体地，监听可以采用安卓(Android)系统原生接口setClickListener和setLongClickListener来实现，可以监听的动作不限于点击操作。

本发明实施例中在进行图形内容有关对象的定义过程中将用户可以实施的多种交互方式均纳入考量，各种交互方式均可以在图形内容控制对象中进行定义，并且不同的交互方式还可以产生不同的交互结果，交互方式与交互结果的对应关系可以在图形内容控制指令中的触发动作列表中进行具体定义，显然，相对于现有技术，本发明实施例提供了一种更为灵活的交互方式。

本发明实施例中步骤S104不仅可以支持多样的交互行为，还可以用于实现多视频的合并以及基于相关视频的剧情跳转。只需要在视频播放的特定时间点触发图形内容渲染位置处的事件，并将所述事件对应的指令设置为播放目标视频即可。在需要进行视频合并的场景中，目标视频为当前播放视频对应的下一个视频；在需要进行视频剧情跳转的场景中，目标视频可以为基于当前视频选择的某个剧情对应的视频，具体地，基于当前视频执行选择操作而得到所述目标视频。

在本发明实施例提供的一种视频图形内容处理方法用户在选择播放的时候，可以立即看到视频附带的图形内容效果，并且效果跟一个完整的视频一样。当用户在图形内容上执行某种触发之后，能够实时产生丰富的交互操作，并且能够立即预览到这些视频交互结果，交互的实时性和多样性能够显著提升用户粘度。

为了实施上述视频图形内容处理方法，本发明实施例对实施上述方法的相关逻辑进行封装，得到了用于进行视频图形内容处理的逻辑框架，所述框架包括下述内容：

数据解析层：承载图形内容的配置信息，布局信息以及交互信息。

状态控制层：控制视频播放器的每个状态。

时间控制层：控制视频播放器的时间轴，决定何时该要执行图形内容相关事件。

视频播放层：为视频数据解码以得到图像帧，并将其存入表现层对象之中。

图形内容显示层：负责把图形内容显示到屏幕上。

图形内容交互层：负责监听用户的触发事件，并执行触发逻辑以及显示触发结果。

基于上述框架对实现本发明实施例中的视频图形内容处理方法的各个逻辑进行上位封装，从而使得对基于本发明实施例视频图形内容处理方法的相关改进的优化变得更为简单。

本发明实施例还提供一种视频图形内容处理装置，如图15所示，所述装置把包括：

数据源获取模块201，用于获取视频数据和图形内容交互对象；

图形内容信息准备模块202，用于根据所述图形内容交互对象得到图形内容视图对象和图形内容控制指令集对象，所述图形内容视图对象用于记录图形内容的配置数据，所述图形内容控制指令集对象用于按照执行的先后顺序记录在所述视频数据播放过程中图形内容执行的控制指令；

渲染模块203，用于渲染所述视频数据，并伴随所述视频数据的渲染过程根据所述图形内容视图对象渲染图形内容；所述视频数据或所述图形内容的渲染过程受控于根据所述图形内容控制指令集得到的控制指令。

具体地，所述视频内容处理装置可以为独立的视频播放器，也可以为内置于个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备中的视频播放模块。

具体地，本发明实施例所述一种视频图形内容处理装置与方法实施例均基于相同发明构思，也可以通过本发明实施例中提及的视频图形内容处理的逻辑框架进行封装和后续优化。

本发明实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行本发明实施例所述的一种视频图形内容处理方法步骤，具体执行过程可以方法实施例的具体说明，在此不进行赘述。

进一步地，图16示出了一种用于实现本发明实施例所提供的方法的设备的硬件结构示意图，所述设备可以为计算机终端、移动终端或其它设备，所述设备还可以参与构成或包含本发明实施例所提供的装置。如图16所示，计算机终端10可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图16所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图16中所示更多或者更少的组件，或者具有与图16所示不同的配置。

应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中所述的方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种视频图形内容处理方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视频图形内容处理方法，其特征在于，所述方法包括：

获取视频数据和图形内容交互对象；

根据所述图形内容交互对象得到图形内容视图对象和图形内容控制指令集对象，所述图形内容视图对象用于记录图形内容的配置数据，所述图形内容控制指令集对象用于按照执行的先后顺序记录在所述视频数据播放过程中图形内容执行的控制指令；

渲染所述视频数据，并伴随所述视频数据的渲染过程根据所述图形内容视图对象渲染图形内容；所述视频数据或所述图形内容的渲染过程受控于根据所述图形内容控制指令集得到的控制指令。

2.根据权利要求1所述方法，其特征在于：

所述图形内容交互对象记录有所述图形内容在所述视频文件播放过程中的完整交互信息，所述图形内容交互对象包括图形内容的存续时间，图形内容视图对象和图形内容控制指令集对象。

3.根据权利要求2所述的方法，其特征在于：

所述图形内容视图对象包括图形内容配置参数对象、图形内容布局信息对象和图形内容信息对象；

所述图形内容配置参数对象包括图形内容的识别标识号，图形内容类型和图形内容的屏蔽标识；

所述图形内容信息对象包括图形内容背景和图形内容的文本对象。

4.根据权利要求3所述的方法，其特征在于：

所述文本对象包括文本触发事件；

所述文本对象中还包括图形内容控制指令集对象或图形内容控制指令对象，基于所述图形内容控制指令集对象或图形内容控制指令对象使得所述文本对象指向的文本内容响应控制指令以触发所述文本触发事件。

5.根据权利要求1所述的方法，其特征在于，所述渲染所述视频数据，并伴随所述视频数据的渲染过程根据所述图形内容视图对象渲染图形内容，包括：

对所述视频数据进行实时解码并将解码结果存入表现层对象中；

根据所述图形内容视图对象将图形对象存入显示层对象中；

将所述表现层对象和所述显示层对象叠加渲染到屏幕上。

6.根据权利要求1所述的方法，其特征在于，还包括：

在视频播放过程中，通过监听图形内容渲染位置处的事件，响应所述事件对应的指令。

7.根据权利要求6所述的方法，其特征在于，所述通过监听图形内容渲染位置处的事件，响应所述事件对应的指令，包括：

在视频播放的特定时间点触发图形内容渲染位置处的事件，并将所述事件对应的指令设置为播放目标视频；所述目标视频为当前播放视频对应的下一个视频，或基于当前视频执行选择操作而得到视频。

8.一种视频图形内容处理装置，其特征在于，所述装置包括：

数据源获取模块，用于获取视频数据和图形内容交互对象；

图形内容信息准备模块，用于根据所述图形内容交互对象得到图形内容视图对象和图形内容控制指令集对象，所述图形内容视图对象用于记录图形内容的配置数据，所述图形内容控制指令集对象用于按照执行的先后顺序记录在所述视频数据播放过程中图形内容执行的控制指令；

渲染模块，用于渲染所述视频数据，并伴随所述视频数据的渲染过程根据所述图形内容视图对象渲染图形内容；所述视频数据或所述图形内容的渲染过程受控于根据所述图形内容控制指令集得到的控制指令。

9.一种设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-7任一项所述的一种视频图形内容处理方法。

10.一种计算机存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行如权利要求1-7任一项所述的一种视频图形内容处理方法。

Images