CN109862380B - 视频数据处理方法、装置及服务器、电子设备和存储介质 - Google Patents

Abstract

本公开是关于一种视频数据的处理方法、装置及服务器、电子设备和存储介质，涉及视频处理技术领域，其中，所述方法包括：从第一终端接收视频数据，并提取得到所述视频数据的各视频帧；对所述各视频帧中的目标对象进行识别，得到所述目标对象的关键点信息；将所述视频数据和所述关键点信息返回至第二终端，所述第二终端用于根据所述关键点信息创建用于遮挡所述视频数据的弹幕信息的遮罩层。本公开使得弹幕信息不遮挡视频数据中的目标对象，优化了观看视频数据的用户体验。

Description

视频数据处理方法、装置及服务器、电子设备和存储介质

技术领域

本公开涉及视频处理技术领域，尤其涉及视频数据的处理方法、装置及服务器、电子设备和存储介质。

背景技术

随着移动互联网的普及以及资费的降低，短视频以及直播等业务获得了空前的发展，游戏直播、户外直播、赛事直播等等直播场景得到了广泛的运用。在这些业务中，为了增加视频和直播的互动性，往往会在视频和直播的场景中添加上弹幕的效果，以进行实时的互动、评论。

目前，相关技术中，大多数场景下都是弹幕显示在视频的上层，弹幕会遮挡视频中的部分的内容，尤其会遮挡视频中的重要对象，影响观看视频的用户体验。

发明内容

为克服相关技术中存在的问题，本公开提供一种视频数据的处理方法、装置及服务器、电子设备和存储介质。

根据本公开实施例的第一方面，提供了一种视频数据的处理方法，应用于服务器端，所述方法包括：从第一终端接收视频数据，并提取得到所述视频数据的各视频帧；对所述各视频帧中的目标对象进行识别，得到所述目标对象的关键点信息；将所述视频数据和所述关键点信息返回至第二终端，所述第二终端用于根据所述关键点信息创建用于遮挡所述视频数据的弹幕信息的遮罩层。

可选地，所述对所述各视频帧中的目标对象进行识别，得到所述目标对象的关键点信息的步骤，包括：利用图像识别算法或用于进行目标对象识别的网络模型，对所述各视频帧中的目标对象进行识别，得到所述目标对象的关键点信息。

可选地，所述目标对象包括人体。

根据本公开实施例的第二方面，提供了一种视频数据的处理方法，应用于终端，所述方法包括：从服务器端接收视频数据，以及，所述视频数据中各视频帧对应的目标对象的关键点信息；根据所述关键点信息实时为所述视频数据创建遮罩层；将所述视频数据的弹幕显示控件所在的图层确定为所述遮罩层的被遮罩层；基于所述遮罩层和所述被遮罩层播放所述视频数据。

可选地，所述根据所述关键点信息实时为所述视频数据创建遮罩层的步骤，包括：根据所述关键点信息在所述各视频帧中实时绘制贝塞尔曲线；将所述贝塞尔曲线所形成的区域确定为所述各视频帧的遮罩层。

可选地，所述目标对象包括人体。

根据本公开实施例的第三方面，提供了一种视频数据的处理装置，应用于服务器端，所述装置包括：提取单元，被配置为从第一终端接收视频数据，并提取得到所述视频数据的各视频帧；识别单元，被配置为对所述各视频帧中的目标对象进行识别，得到所述目标对象的关键点信息；返回单元，被配置为将所述视频数据和所述关键点信息返回至第二终端，所述第二终端用于根据所述关键点信息创建用于遮挡所述视频数据的弹幕信息的遮罩层。

可选地，所述识别单元，被配置为利用图像识别算法或用于进行目标对象识别的网络模型，对所述各视频帧中的目标对象进行识别，得到所述目标对象的关键点信息。

可选地，所述目标对象包括人体。

根据本公开实施例的第四方面，提供了一种视频数据的处理装置，应用于终端，所述装置包括：接收单元，被配置为从服务器端接收视频数据，以及，所述视频数据中各视频帧对应的目标对象的关键点信息；创建单元，被配置为根据所述关键点信息实时为所述视频数据创建遮罩层；确定单元，被配置为将所述视频数据的弹幕显示控件所在的图层确定为所述遮罩层的被遮罩层；播放单元，被配置为基于所述遮罩层和所述被遮罩层播放所述视频数据。

可选地，所述创建单元，包括：曲线绘制单元，被配置为根据所述关键点信息在所述各视频帧中实时绘制贝塞尔曲线；遮罩层确定单元，被配置为将所述贝塞尔曲线所形成的区域确定为所述各视频帧的遮罩层。

可选地，所述目标对象包括人体。

根据本公开实施例的第五方面，提供了一种服务器，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：从第一终端接收视频数据，并提取得到所述视频数据的各视频帧；对所述各视频帧中的目标对象进行识别，得到所述目标对象的关键点信息；将所述视频数据和所述关键点信息返回至第二终端，所述第二终端用于根据所述关键点信息创建用于遮挡所述视频数据的弹幕信息的遮罩层。

根据本公开实施例的第六方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：从服务器端接收视频数据，以及，所述视频数据中各视频帧对应的目标对象的关键点信息；根据所述关键点信息实时为所述视频数据创建遮罩层；将所述视频数据的弹幕显示控件所在的图层确定为所述遮罩层的被遮罩层；基于所述遮罩层和所述被遮罩层播放所述视频数据。

根据本公开实施例的第七方面，提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由服务器的处理器执行时，使得服务器能够执行一种视频数据的处理方法，所述方法包括：从第一终端接收视频数据，并提取得到所述视频数据的各视频帧；对所述各视频帧中的目标对象进行识别，得到所述目标对象的关键点信息；将所述视频数据和所述关键点信息返回至第二终端，所述第二终端用于根据所述关键点信息创建用于遮挡所述视频数据的弹幕信息的遮罩层。

根据本公开实施例的第八方面，提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种视频数据的处理方法，所述方法包括：从服务器端接收视频数据，以及，所述视频数据中各视频帧对应的目标对象的关键点信息；根据所述关键点信息实时为所述视频数据创建遮罩层；将所述视频数据的弹幕显示控件所在的图层确定为所述遮罩层的被遮罩层；基于所述遮罩层和所述被遮罩层播放所述视频数据。

根据本公开实施例的第九方面，提供了一种计算机程序产品，包括：当所述计算机程序产品中的指令由服务器的处理器执行时，使得服务器能够执行一种视频数据的处理方法，所述方法包括：从第一终端接收视频数据，并提取得到所述视频数据的各视频帧；对所述各视频帧中的目标对象进行识别，得到所述目标对象的关键点信息；将所述视频数据和所述关键点信息返回至第二终端，所述第二终端用于根据所述关键点信息创建用于遮挡所述视频数据的弹幕信息的遮罩层。

根据本公开实施例的第十方面，提供了一种计算机程序产品，包括：当所述计算机程序产品中的指令由移动终端的处理器执行时，使得移动终端能够执行一种视频数据的处理方法，所述方法包括：从服务器端接收视频数据，以及，所述视频数据中各视频帧对应的目标对象的关键点信息；根据所述关键点信息实时为所述视频数据创建遮罩层；将所述视频数据的弹幕显示控件所在的图层确定为所述遮罩层的被遮罩层；基于所述遮罩层和所述被遮罩层播放所述视频数据。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开实施例提供的视频数据的处理方案，在服务器端侧，接收来自第一终端的视频数据，并从接收到的视频数据中提取出各视频帧，对各视频帧进行识别，得到各视频帧中目标对象的关键点信息，再将关键点信息和视频数据下发至第二终端，其中，第一终端可以与第二终端为同一终端，第一终端也可以与第二终端为不同终端。在终端侧，从服务器端接收到视频数据和关键点信息，根据关键点信息创建遮罩层，并将弹幕显示控件所在的图层确定为被遮罩层，然后基于遮罩层和被遮罩层播放视频数据。

本公开实施例在服务器端侧识别得到视频数据中目标对象的关键点信息，将视频数据和关键点信息一起下发到终端侧。在终端侧根据关键点信息创建遮罩层，并将弹幕控件所在的图层作为被遮罩层，以便在播放视频数据时弹幕信息在目标对象的下层进行展示，使得弹幕信息不遮挡视频数据中的目标对象，优化了观看视频数据的用户体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种视频数据的处理方法的流程图。

图2是根据一示例性实施例示出的一种视频数据的处理方法的流程图。

图3是根据一示例性实施例示出的一种视频数据的播放方法的流程图。

图4是根据一示例性实施例示出的一种视频数据的处理装置的框图。

图5是根据一示例性实施例示出的一种视频数据的处理装置的框图。

图6是根据一示例性实施例示出的一种用于视频数据的处理的服务器的框图。

图7是根据一示例性实施例示出的一种用于视频数据的处理的装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种视频数据的处理方法的流程图，如图1所示，视频数据的处理方法可以应用于服务器端，该方法可以包括以下步骤。

在步骤S11中，从第一终端接收视频数据，并提取得到所述视频数据的各视频帧。

来自第一终端的视频数据可以为第一终端通过图像采集装置获取得到，该图像采集装置可以为第一终端内置的摄像头，也可以为第一终端外接的摄像机等，本示例性实施例对图像采集装置的种类、型号和配置等不作具体限制，而且，对第一终端获取视频数据所采用的技术手段等不作具体限制。

来自第一终端的视频数据可以为流媒体数据，其中包含一个或多个目标对象，在实际应用中，目标对象可以为人体、动物、植物、建筑等等，本公开示例性实施例对视频数据中目标对象的类别、数量和位置等不作具体限制。

来自第一终端的视频数据可以理解为由连续的视频帧组成，每个视频帧可以理解为一张图片。本示例性实施例可以采用多种技术手段从视频数据中提取得到视频帧，如利用训练完毕的网络模型从视频数据中提取得到视频帧，或者，使用python脚本从视频数据中提取得到视频帧，又或者，通过应用程序(如Adobe Premiere、会声会影等)从视频数据中提取得到视频帧，本公开示例性实施例对从视频数据中提取得到视频帧所采用的技术手段等不作具体限制。

提取得到的各视频帧可以包含目标对象，也可以不包含目标对象，本示例性实施例重点介绍如何对包含目标对象的视频帧进行处理。

在步骤S12中，对所述各视频帧中的目标对象进行识别，得到所述目标对象的关键点信息。

目标对象的识别可以通过图像识别算法或者用于进行目标对象识别的网络模型等实现，在实际应用中，可以对视频帧进行灰度处理和二值化处理，以得到视频帧的各像素点的灰度值和亮度值，结合各像素点的灰度值、亮度值和位置坐标确定目标对象的轮廓和所在的区域。也可以利用大量包含目标对象的样本图像和不包含目标对象的样本图像，以及，样本图像的标注数据训练得到网络模型，再将视频帧输入至网络模型中，输出得到目标对象的轮廓和所在的区域。本公开示例性实施例对目标对象的识别所采用的技术手段等不作具体限制。

在识别得到目标对象的轮廓和所在的区域之后，可以为目标对象选取一些关键点。该关键点可以位于目标对象的轮廓上，也可以位于目标对象所在的区域之外。在选取关键点时，可以利用一张视频帧选取该视频帧中目标对象的关键点，也可以利用连续的两张或多张视频帧选取该连续的两张或多张视频帧中目标对象的关键点，本公开示例性实施例对选取关键点所采用的技术手段等不作具体限制。关键点信息可以为关键点所在的坐标信息。

在步骤S13中，将所述视频数据和所述关键点信息返回至第二终端，所述第二终端用于根据所述关键点信息创建用于遮挡所述视频数据的弹幕信息的遮罩层。

在返回视频数据的关键点信息至第二终端时，可以按照视频帧的时间顺序，将视频帧与对应的关键点信息的组合依次返回至第二终端，也可以将完整的视频数据、完整的关键点信息，以及，完整的视频数据与完整的关键点信息之间的对应关系返回至第二终端。

第二终端接收到视频数据和关键点信息之后，可以为各视频帧创建遮罩层，在播放视频数据的过程中利用遮罩层遮挡视频数据的弹幕信息。本公开示例性实施例中的第二终端可以与第一终端为同一终端，第二终端也可以与第一终端为不同终端。

本公开实施例提供的视频数据的处理方法，在服务器端侧，接收来自第一终端的视频数据，并从接收到的视频数据中提取出各视频帧，对各视频帧进行识别，得到各视频帧中目标对象的关键点信息，再将关键点信息和视频数据下发至第二终端，其中，第一终端可以与第二终端为同一终端，第一终端也可以与第二终端为不同终端。第二终端根据关键点信息创建遮罩层，以在播放视频数据的过程中利用遮罩层遮挡弹幕信息。

本公开实施例在服务器端侧识别得到视频数据中目标对象的关键点信息，将视频数据和关键点信息一起下发到终端侧。在终端侧根据关键点信息创建遮罩层，以便在播放视频数据时弹幕信息在目标对象的下层进行展示，使得弹幕信息不遮挡视频数据中的目标对象，优化了观看视频数据的用户体验。

图2是根据一示例性实施例示出的一种视频数据的处理方法的流程图，如图2所示，视频数据的处理方法可以应用于终端，该方法可以包括以下步骤。

在步骤S21中，从服务器端接收视频数据，以及，所述视频数据中各视频帧对应的目标对象的关键点信息。

本示例性实施例中，可以按照视频帧的时间顺序，从服务器端接收视频帧与对应的关键点信息的组合，也可以接收完整的视频数据、完整的关键点信息，以及，完整的视频数据与完整的关键点信息之间的对应关系。

在步骤S22中，根据所述关键点信息实时为所述视频数据创建遮罩层。

在实际应用中，可以根据各视频帧的关键点信息在对应的视频帧中绘制贝塞尔曲线，然后将贝塞尔曲线所形成的区域确定为对应的视频帧的遮罩层。其中，贝塞尔曲线又称贝兹曲线或贝济埃曲线，是应用于二维图形应用程序的数学曲线。一般的矢量图形软件通过它来精确画出曲线，贝塞尔曲线由线段与节点组成。在利用贝塞尔曲线创建遮罩层时，可以通过控制贝塞尔曲线上的四个点(起始点、终止点以及两个相互分离的中间点)来创造、编辑目标对象的轮廓。其中，起重要作用的是位于贝塞尔曲线中央的控制线，该控制线是虚拟的，与贝塞尔曲线交叉，该控制线的两端是控制端点。移动两端的控制端点可以改变贝塞尔曲线的曲率(弯曲的程度)；移动中间点(也就是移动虚拟的控制线)时，贝塞尔曲线在起始点和终止点锁定的情况下做均匀移动，而且，贝塞尔曲线上的所有控制点、节点均可编辑。也可以理解为，利用贝塞尔曲线创建的目标对象的轮廓所形成的区域即遮罩层。

在步骤S23中，将所述视频数据的弹幕显示控件所在的图层确定为所述遮罩层的被遮罩层。

本示例性实施例中的弹幕显示控件用于在视频数据中展示弹幕信息，如jQuery插件等。将上述步骤S22中创建的遮罩层添加到弹幕显示控件之上，则弹幕显示控件所在的图层作为遮罩层的被遮罩层。

在步骤S24中，基于所述遮罩层和所述被遮罩层播放所述视频数据。

在播放视频数据时，被遮罩层与遮罩层重叠的部分被隐藏起来，即不显示被遮罩层与遮罩层重叠的部分。举例说明，若遮罩层为人体的轮廓所形成的区域，则人体的轮廓所形成的区域范围内不显示弹幕信息。

本公开实施例提供的视频数据的处理方法，在终端侧，从服务器端接收到视频数据和关键点信息，根据关键点信息创建遮罩层，并将弹幕显示控件所在的图层确定为被遮罩层，然后基于遮罩层和被遮罩层播放视频数据。

本公开实施例在终端侧根据关键点信息创建遮罩层，并将弹幕控件所在的图层作为被遮罩层，以便在播放视频数据时弹幕信息在目标对象的下层进行展示，使得弹幕信息不遮挡视频数据中的目标对象，优化了观看视频数据的用户体验。

图3是根据一示例性实施例示出的一种视频数据的播放方法的流程图，如图3所示，视频数据的播放方法可以应用于服务器端和终端，该方法可以应用于直播场景，该方法可以包括以下步骤。

在步骤S31中，终端获取视频数据，并上传至服务器端。

在直播场景中，本步骤中的终端可以为主播所使用的终端，该终端可以通过摄像头采集得到包含主播的视频数据，并将视频数据传输至直播服务器端。

在步骤S32中，服务器端从视频数据中提取得到各视频帧，并对各视频帧中的主播进行识别得到主播的关键点信息。

服务器端对视频帧中的主播进行识别时，可以得到主播的轮廓的离散点，但为了减轻服务器端和终端的处理压力，可以仅识别得到主播的关键点信息。

在步骤S33中，服务器端将视频数据和关键点信息下发至终端。

本步骤中的终端可以为直播场景中非主播所使用的终端，即本步骤中的终端可以为观众所使用的终端。

在步骤S34中，终端根据关键点信息创建遮罩层，并将遮罩层添加到弹幕显示控件之上。

观众所使用的终端根据关键点构建贝塞尔曲线，再利用贝塞尔曲线创建遮罩层，该遮罩层内为主播区域。

在步骤S35中，终端播放视频数据时，基于遮罩层展示弹幕信息。

由于遮罩层置于弹幕显示控件之上，因此主播区域会遮挡住弹幕信息，即弹幕信息不会出现在主播区域。

在视频数据的播放过程中，主播的位置可以是变化的，因此，关键点信息也会随主播的位置的变化而改变，终端需要实时更新遮罩层，以实现屏蔽不同位置的弹幕信息。

本公开实施例提供的视频数据的播放方法，应用于直播场景中，服务器端侧识别得到视频数据中主播的关键点信息，将视频数据和关键点信息一起下发到终端侧。在终端侧根据关键点信息创建遮罩层，并将弹幕控件所在的图层作为被遮罩层，以便在播放视频数据时弹幕信息在主播的下层进行展示，使得弹幕信息不遮挡视频数据中的主播，优化了观看视频数据的用户体验。

图4是根据一示例性实施例示出的一种视频数据的处理装置的框图。参照图4，该装置应用于服务器端，该装置可以包括提取单元41、识别单元42和返回单元43。

提取单元41，被配置为从第一终端接收视频数据，并提取得到所述视频数据的各视频帧；识别单元42，被配置为对所述各视频帧中的目标对象进行识别，得到所述目标对象的关键点信息；返回单元43，被配置为将所述视频数据和所述关键点信息返回至第二终端，所述第二终端用于根据所述关键点信息创建用于遮挡所述视频数据的弹幕信息的遮罩层。

所述识别单元42，被配置为利用图像识别算法或用于进行目标对象识别的网络模型，对所述各视频帧中的目标对象进行识别，得到所述目标对象的关键点信息。

所述目标对象包括人体。

关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图5是根据一示例性实施例示出的一种视频数据的处理装置的框图。参照图5，该装置应用于终端，该装置可以包括接收单元51、创建单元52、确定单元53和播放单元54。

接收单元51，被配置为从服务器端接收视频数据，以及，所述视频数据中各视频帧对应的目标对象的关键点信息；创建单元52，被配置为根据所述关键点信息实时为所述视频数据创建遮罩层；确定单元53，被配置为将所述视频数据的弹幕显示控件所在的图层确定为所述遮罩层的被遮罩层；播放单元54，被配置为基于所述遮罩层和所述被遮罩层播放所述视频数据。

所述创建单元52，包括：曲线绘制单元521，被配置为根据所述关键点信息在所述各视频帧中实时绘制贝塞尔曲线；遮罩层确定单元522，被配置为将所述贝塞尔曲线所形成的区域确定为所述各视频帧的遮罩层。

所述目标对象包括人体。

关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图6是根据一示例性实施例示出的一种用于视频数据处理的服务器600的框图。服务器600可以包括以下一个或多个组件：处理组件602，存储器604，电力组件606，多媒体组件608，音频组件610，输入/输出(I/O)的接口612，传感器组件614，以及通信组件616。

处理组件602通常控制服务器600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。

存储器604被配置为存储各种类型的数据以支持在服务器600的操作。这些数据的示例包括用于在服务器600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件606为服务器600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为服务器600生成、管理和分配电力相关联的组件。

多媒体组件608包括在所述服务器600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当服务器600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当服务器600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。

I/O接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件614包括一个或多个传感器，用于为服务器600提供各个方面的状态评估。例如，传感器组件614可以检测到服务器600的打开/关闭状态，组件的相对定位，例如所述组件为服务器600的显示器和小键盘，传感器组件614还可以检测服务器600或服务器600一个组件的位置改变，用户与服务器600接触的存在或不存在，服务器600方位或加速/减速和服务器600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件616被配置为便于服务器600和其他设备之间有线或无线方式的通信。服务器600可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，服务器600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器604，上述指令可由服务器600的处理器620执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

图7是根据一示例性实施例示出的一种用于视频数据的处理的装置700的框图。例如，装置700可以被提供为一电子设备。参照图7，装置700包括处理组件722，其进一步包括一个或多个处理器，以及由存储器732所代表的存储器资源，用于存储可由处理组件722的执行的指令，例如应用程序。存储器732中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件722被配置为执行指令，以执行上述图1、图2和图3所示的方法。

装置700还可以包括一个电源组件726被配置为执行装置700的电源管理，一个有线或无线网络接口750被配置为将装置700连接到网络，和一个输入输出(I/O)接口758。装置700可以操作基于存储在存储器732的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

本公开实施例还可以提供一种计算机程序产品，当所述计算机程序产品中的指令由服务器、装置或电子设备的处理器执行时，使得服务器、装置或电子设备能够执行上述视频数据的处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (14)

1.一种视频数据的处理方法，其特征在于，应用于服务器端，所述方法包括：

从第一终端接收视频数据，并提取得到所述视频数据的各视频帧；

对所述各视频帧中的目标对象进行识别确定所述目标对象的轮廓和所在的区域，得到所述目标对象在所述各视频帧的关键点信息；

将所述视频数据和所述关键点信息返回至第二终端，所述第二终端用于根据所述关键点信息绘制贝塞尔曲线，并将所述贝塞尔曲线所形成的区域确定为用于遮挡所述视频数据的弹幕信息的遮罩层。

2.根据权利要求1所述的视频数据的处理方法，其特征在于，所述对所述各视频帧中的目标对象进行识别，得到所述目标对象的关键点信息的步骤，包括：

利用图像识别算法或用于进行目标对象识别的网络模型，对所述各视频帧中的目标对象进行识别，得到所述目标对象的关键点信息。

3.根据权利要求1或2所述的视频数据的处理方法，其特征在于，所述目标对象包括人体。

4.一种视频数据的处理方法，其特征在于，应用于终端，所述方法包括：

从服务器端接收视频数据，以及，所述视频数据中各视频帧对应的目标对象的关键点信息；

根据所述关键点信息实时为所述视频数据创建遮罩层；

将所述视频数据的弹幕显示控件所在的图层确定为所述遮罩层的被遮罩层；

基于所述遮罩层和所述被遮罩层播放所述视频数据；

所述根据所述关键点信息实时为所述视频数据创建遮罩层的步骤，包括：

根据所述关键点信息在所述各视频帧中实时绘制贝塞尔曲线；

将所述贝塞尔曲线所形成的区域确定为所述各视频帧的遮罩层。

5.根据权利要求4所述的视频数据的处理方法，其特征在于，所述目标对象包括人体。

6.一种视频数据的处理装置，其特征在于，应用于服务器端，所述装置包括：

提取单元，被配置为从第一终端接收视频数据，并提取得到所述视频数据的各视频帧；

识别单元，被配置为对所述各视频帧中的目标对象进行识别确定所述目标对象的轮廓和所在的区域，得到所述目标对象在所述各视频帧的关键点信息；

返回单元，被配置为将所述视频数据和所述关键点信息返回至第二终端，所述第二终端用于根据所述关键点信息绘制贝塞尔曲线，并将所述贝塞尔曲线所形成的区域确定为用于遮挡所述视频数据的弹幕信息的遮罩层。

7.根据权利要求6所述的视频数据的处理装置，其特征在于，所述识别单元，被配置为利用图像识别算法或用于进行目标对象识别的网络模型，对所述各视频帧中的目标对象进行识别，得到所述目标对象的关键点信息。

8.根据权利要求6或7所述的视频数据的处理装置，其特征在于，所述目标对象包括人体。

9.一种视频数据的处理装置，其特征在于，应用于终端，所述装置包括：

接收单元，被配置为从服务器端接收视频数据，以及，所述视频数据中各视频帧对应的目标对象的关键点信息；

创建单元，被配置为根据所述关键点信息实时为所述视频数据创建遮罩层；

确定单元，被配置为将所述视频数据的弹幕显示控件所在的图层确定为所述遮罩层的被遮罩层；

播放单元，被配置为基于所述遮罩层和所述被遮罩层播放所述视频数据；

所述创建单元，包括：

曲线绘制单元，被配置为根据所述关键点信息在所述各视频帧中实时绘制贝塞尔曲线；

遮罩层确定单元，被配置为将所述贝塞尔曲线所形成的区域确定为所述各视频帧的遮罩层。

10.根据权利要求9所述的视频数据的处理装置，其特征在于，所述目标对象包括人体。

11.一种服务器，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

从第一终端接收视频数据，并提取得到所述视频数据的各视频帧；

对所述各视频帧中的目标对象进行识别确定所述目标对象的轮廓和所在的区域，得到所述目标对象在所述各视频帧的关键点信息；

将所述视频数据和所述关键点信息返回至第二终端，所述第二终端用于根据所述关键点信息绘制贝塞尔曲线，并将所述贝塞尔曲线所形成的区域确定为用于遮挡所述视频数据的弹幕信息的遮罩层。

12.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

从服务器端接收视频数据，以及，所述视频数据中各视频帧对应的目标对象的关键点信息；

根据所述关键点信息实时为所述视频数据创建遮罩层；

将所述视频数据的弹幕显示控件所在的图层确定为所述遮罩层的被遮罩层；

基于所述遮罩层和所述被遮罩层播放所述视频数据；

所述根据所述关键点信息实时为所述视频数据创建遮罩层的步骤，包括：

根据所述关键点信息在所述各视频帧中实时绘制贝塞尔曲线；

将所述贝塞尔曲线所形成的区域确定为所述各视频帧的遮罩层。

13.一种非临时性计算机可读存储介质，当所述存储介质中的指令由服务器的处理器执行时，使得服务器能够执行一种视频数据的处理方法，所述方法包括：

从第一终端接收视频数据，并提取得到所述视频数据的各视频帧；

对所述各视频帧中的目标对象进行识别确定所述目标对象的轮廓和所在的区域，得到所述目标对象在所述各视频帧的关键点信息；

将所述视频数据和所述关键点信息返回至第二终端，所述第二终端用于根据所述关键点信息绘制贝塞尔曲线，并将所述贝塞尔曲线所形成的区域确定为用于遮挡所述视频数据的弹幕信息的遮罩层。

14.一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种视频数据的处理方法，所述方法包括：

从服务器端接收视频数据，以及，所述视频数据中各视频帧对应的目标对象的关键点信息；

根据所述关键点信息实时为所述视频数据创建遮罩层；

将所述视频数据的弹幕显示控件所在的图层确定为所述遮罩层的被遮罩层；

基于所述遮罩层和所述被遮罩层播放所述视频数据；

所述根据所述关键点信息实时为所述视频数据创建遮罩层的步骤，包括：

根据所述关键点信息在所述各视频帧中实时绘制贝塞尔曲线；

将所述贝塞尔曲线所形成的区域确定为所述各视频帧的遮罩层。

Images