CN112584084A - 一种视频播放方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本发明实施例提供了一种视频播放方法、装置、计算机设备和存储介质，该方法包括：当多个终端进行视频会话时，为视频会话生成播放界面，从视频会话中获取原始视频数据，将原始视频数据拆分为由多个终端分别独立调用摄像头采集的视频数据，获得多路候选视频数据，按照设定的混画参数将候选视频数据拼接为目标视频数据，在播放界面中播放目标视频数据，将视频会话中终端分别独立调用摄像头采集的多路视频数据打包为原始视频数据进行传输，大大降低了视频数据的数量，不仅降低了对于网络的带宽、抖动、丢包率等各方面的要求，降低维护网络的成本，而且大大降低了管理视频数据的复杂度，大大降低了维护视频会话的成本。

Description

一种视频播放方法、装置、计算机设备和存储介质

技术领域

本发明实施例涉及多媒体的技术领域，尤其涉及一种视频播放方法、装置、计算机设备和存储介质。

背景技术

在在线教学、会议、直播、即时通讯等业务场景中，通常有多个用户同时进行视频会话，少则两、三人参与，多则几十人共同参与。

在视频会话中，每个用户都需要看到其他用户的画面，因此，每个用户都同时接收其他用户的视频数据，即在N个用户参与视频会话的情况下，每个用户都接收到N-1路视频数据。

一方面，同时传输多路视频数据对于网络的带宽、抖动、丢包率等各方面的要求比较高，导致维护网络的成本较高，另一方面，多路视频数据的管理较为复杂，在网络抖动时，可能会导致某一路视频数据断开，重新连接的机制较为麻烦，而且，故障排查也较为麻烦，导致维护视频会话的成本较高。

发明内容

本发明实施例提出了一种视频播放方法、装置、计算机设备和存储介质，以解决维护多用户参与的视频会话的成本较高的问题。

第一方面，本发明实施例提供了一种视频播放方法，包括：

当多个终端进行视频会话时，为所述视频会话生成播放界面；

从所述视频会话中获取原始视频数据；

将所述原始视频数据拆分为由多个所述终端分别独立调用摄像头采集的视频数据，获得多路候选视频数据；

按照设定的混画参数将所述候选视频数据拼接为目标视频数据；

在所述播放界面中播放所述目标视频数据。

第二方面，本发明实施例还提供了一种视频播放装置，包括：

播放界面生成模块，用于当多个终端进行视频会话时，为所述视频会话生成播放界面；

原始视频数据获取模块，用于从所述视频会话中获取原始视频数据；

原始视频数据拆分模块，用于将所述原始视频数据拆分为由多个所述终端分别独立调用摄像头采集的视频数据，获得多路候选视频数据；

目标视频数据拼接模块，用于按照设定的混画参数将所述候选视频数据拼接为目标视频数据；

目标视频数据播放模块，用于在所述播放界面中播放所述目标视频数据。

第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的视频播放方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方中所述的视频播放方法。

在本实施例中，当多个终端进行视频会话时，为视频会话生成播放界面，从视频会话中获取原始视频数据，将原始视频数据拆分为由多个终端分别独立调用摄像头采集的视频数据，获得多路候选视频数据，按照设定的混画参数将候选视频数据拼接为目标视频数据，在播放界面中播放目标视频数据，一方面，将视频会话中终端分别独立调用摄像头采集的多路视频数据打包为原始视频数据进行传输，相对于独立传输终端调用摄像头采集的多路视频数据大大降低了视频数据的数量，不仅降低了对于网络的带宽、抖动、丢包率等各方面的要求，降低维护网络的成本，而且大大降低了管理视频数据的复杂度，在网络抖动时，某一路终端的视频数据断开并不影响原始视频数据的传输，重新连接的机制、故障排查在该终端侧的链路执行即可，无需在当前终端侧的链路执行，大大降低了维护视频会话的成本，另一方面，将原始视频数据拆分为候选视频数据，并重组为目标视频数据，不仅保证用户正常参与视频会话，应用混画参数可对各路视频数据的布局进行重设，满足用户参与视频会话的习惯，实现个性化的视频会话，而且视频会话的画面通常较小，用户在参与视频会话时已习惯较低的分辨率，对人物的清晰度并不敏感，将终端分别独立调用摄像头采集的多路视频数据打包为原始视频数据的过程中存在压缩操作，导致视频数据的分辨率降低，对用户的影响也较小。

附图说明

图1为本发明实施例一提供的一种视频播放方法的流程图；

图2A至图2B为本发明实施例一提供的一种原始视频数据的示例图；

图3为本发明实施例一提供的一种切分原始视频数据的示例图；

图4A至图4B为本发明实施例一提供的一种目标视频数据的示例图；

图5是本发明实施例二提供的一种视频播放方法的流程图；

图6A至图6D为本发明实施例二提供的一种调整操作的示例图；

图7是本发明实施例三提供的一种视频播放方法的流程图；

图8是本发明实施例三提供的一种共享屏幕的示例图；

图9为本发明实施例四提供的一种视频播放装置的结构示意图；

图10为本发明实施例五提供的一种计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种视频播放方法的流程图，本实施例可适用于在多用户参与的视频会话中、传输包含所有用户的视频数据，并在本地对视频数据进行重组的情况，该方法可以由视频播放装置来执行，该视频播放装置可以由软件和/或硬件实现，可配置在计算机设备中，例如，个人电脑、移动终端(如手机、平板电脑等)、个人数字助理、电视机、可穿戴设备(如眼镜、手表等)，等等，具体包括如下步骤：

步骤101、当多个终端进行视频会话时，为视频会话生成播放界面。

在具体实现中，该计算机设备的操作系统可以包括Android(安卓)、iOS、Windows等等，在该操作系统中可以安装支持视频会话的应用，例如，直播应用、即时通讯工具、购物工具、会议应用、教学应用，等等。

其中，该应用可以为独立的客户端，也可以为配置支持视频会话的组件(如SDK(Software Development Kit，软件开发工具包))的客户端，还可以为具有浏览组件的应用，该具有浏览组件的应用可包括浏览器、配置WebView的应用，等等，本实施例对此不加以限制。

用户在该计算机设备的应用中使用账号、密码等信息登录服务器，与其他用户所登录的计算机设备开启视频会话，此时，相对于服务器而言，用户所登录的计算机设备又称之为终端。

针对当前终端而言，可在应用中显示用户界面(User Interface，UI)，作为播放界面，待显示视频会话的画面。

步骤102、从视频会话中获取原始视频数据。

在本实施例中，一方面，参与视频会话的所有终端均可调用摄像头采集视频数据，另一方面，参与视频会话的所有终端均可启动麦克风，采集用户发出的声音，形成音频数据。

终端采集的视频数据多为YUV(Y表示明亮度(Luminance、Luma)，U表示色度(Chrominance)，V表示浓度(Chroma))等原始数据，针对该视频数据可调用编码器将视频信号编码为指定的视频格式，如H.264(数字视频压缩格式)等。

采集的音频数据多为PCM(Pulse Code Modulation，脉冲编码调制)等原始数据，直播应用可调用编码器将音频信号进行混音处理并编码为指定的音频格式，如AAC(Advanced Audio Coding，高级音频编码)等。

此后，终端可调用打包器，将指定音频格式的音频数据与指定视频格式的视频数据封装成指定流格式的直播数据流，如MP4(Moving Picture Experts Group 4、动态图像专家组)、FLV(Flash Video，流媒体格式)等等。

应用可通过RTSP(Real Time Streaming Protocol，实时流传送协议)、RTMP(RealTime Messaging Protocol，实时消息传送协议)、HLS(HTTP Live Streaming，基于HTTP(Hyper Text Transport Protocol，超文本传输协议)的流媒体传输协议)等协议，将直播数据流发送至服务器。

服务器可接收到所有终端发送的多路直播数据流，对多路直播数据流中的视频数据进行转码、去噪、暗光增强、细节增强等图像处理，并将多路视频数据组合为一路或多路原始视频数据。

需要说明的是，原始视频数据的数量小于终端调用摄像头采集的视频数据的数量，从而减少在网络中传输的视频数据的数量，降低维护成本。

在一个示例中，原始视频数据的数量为一，即将多路视频数据组合为一路原始视频数据并传输至客户端，将网络中传输的视频数据的数量降至最低，将维护成本降至最低。

为使本领域技术人员更好地理解本实施例，在实施例中，将一路原始视频数据作为原始视频数据的数量的一种示例进行说明。

具体而言，多路视频数据均具有多帧图像数据，为便于区分，终端调用摄像头采集的视频数据中的图像数据可以称之为终端图像数据，在图像处理完成时，服务器针对同一视频会话中的视频数据，将所有视频数据中处于同一时间的终端图像数据按照指定的方式进行组合，生成原始图像数据，并将原始图像数据封装至原始视频数据中。

在一个示例中，组合的方式为宫格组合，即，终端图像数据组合之后呈现宫格的形式，该宫格具有不同的类型，如四宫格(即宫格呈2行2列的布局)、九宫格(即宫格呈3行3列的布局)、十六宫格(即宫格呈4行4列的布局)等，服务器可以统计多路视频数据的数量，选择可容纳该数量的视频数据的最小宫格，所谓可容纳，是指宫格的数量大于或等于多路视频数据的数量。

例如，终端调用摄像头采集的多路视频数据的数量为2-4时，可选择四宫格，又如，终端调用摄像头采集的多路视频数据的数量为5-9时，可选择九宫格，再如，终端调用摄像头采集的多路视频数据的数量为10-16时，可选择十六宫格，等等。

服务器可生成指定分辨率的原始图像数据，在该原始图像数据中划分出各个宫格，一般情况下，每个宫格的大小是相同的。

针对终端调用摄像头采集的多路视频数据，将处于同一时间的终端图像数据通过压缩、裁剪等方式调整成与该宫格保持一致，并写入该宫格中。

在同一视频会议中，参与该视频会议的终端可能因各种因素而临时退出、临时加入，使得参与该视频会议的终端的数量存在波动，例如，部分终端在加入视频会话后因网络波动、应用闪退等故障而退出视频会话，部分终端在视频会话开始之后一段时间加入视频会话，等等。

因此，服务器所选择的宫格的类型可能有所不同，对多路视频数据中的图像数据进行的图像处理(如压缩)也有所不同，使得生成的原始视频数据也有所不同。

例如，如图2A所示，在某个时间点，有4个终端参与视频会话，此时，服务器选择四宫格，将该终端调用摄像头生成的四路视频数据合并至原始视频数据、呈现四宫格的分布，如图2B所示，后续有4个终端加入视频会话，此时，服务器选择九宫格，将该终端调用摄像头生成的八路视频数据合并至原始视频数据、呈现九宫格的分布。

由于存在视频数据的数量小于宫格的数量的情况，因此，可针对每个宫格(以编号表示)设置属性，该属性为有效时，表示该宫格已写入视频数据中的图像数据，该属性为无效时，表示该宫格未写入视频数据中的图像数据。

例如，如图2B所示，有8个终端参与视频会议，共产生八路视频数据，服务器选择九宫格生成原始图像数据，宫格的数量比视频数据的数量多一，此时，可针在前八个宫格写入该八路视频数据中的终端图像数据，最后一个宫格并未写入任一路视频数据中的终端图像数据，则前八个宫格的属性为有效，最后一个宫格(位于右下角的宫格)的属性为无效。

除了属性之外，还可以根据业务场景的需求，可为各个宫格记录其他信息，例如，针对直播的业务场景，可以在该编号下记录直播间的号码、主播用户的名称、观众用户的实时信息(如浏览人数、热度等)等，针对视频会议的业务场景，可以在该编号下记录与会用户的名称、与会用户的地址，等等，本实施例对此不加以限制。

对于宫格的类型、宫格的属性等信息，服务器可以在发送原始视频数据时，作为元数据(meta data)、在通信的报头中一同发送至终端。

当然，上述生成原始视频数据的方式只是作为示例，在实施本实施例时，可以根据实际情况设置其他生成原始视频数据的方式，例如，以瀑布流的形式组合终端图像数据为原始视频数据，等等，本实施例对此不加以限制。另外，除了上述生成原始视频数据的方式外，本领域技术人员还可以根据实际需要采用其它生成原始视频数据的方式，本实施例对此也不加以限制。

此外，服务器针对同一视频会话中的音频数据，可以对该音频数据进行混音，生成原始视频数据。

此时，服务器可调用打包器，将原始音频数据与原始视频数据封装成指定流格式的直播数据流，并将该直播数据流传输至该视频会话中的每个终端，对于终端而言，可从视频会话中获取一路或多路原始视频数据，该原始视频数据由参与该视频会话的所有终端独立调用摄像头采集的视频数据组成。

步骤103、将原始视频数据拆分为由多个终端分别独立调用摄像头采集的视频数据，获得多路候选视频数据。

由于服务器将同一视频会话中的多路视频数据组合为一路或多路原始视频数据，在终端接收到一路或多路原始视频数据时，可沿服务器组合的方式逆向将一路或多路原始视频数据拆分为数量更多的视频数据，为便于区分，拆分后的视频数据可记为候选视频数据。

每路候选视频数据表示参与该视频会话的终端分别独立调用摄像头采集的视频数据，其中，所谓独立，可以指该候选视频数据中包含的是该终端的摄像头所采集到的画面，并不包含其他终端的摄像头所采集到的画面。

在本发明的一个实施例中，原始视频数据包括多帧原始图像数据，终端独立调用摄像头采集的视频数据包括多帧终端图像数据，候选视频数据包括多帧候选图像数据，则在本实施例中，可查询终端图像数据组合为原始图像数据的方式，作为组合方式，又组合方式又可称之为生成原始视频数据的方式，从而按照该组合方式逆向对原始图像数据进行拆分，从而将原始图像数据切分为终端图像数据，作为候选图像数据，连续多帧原始图像数据拆分为多个候选图像数据，可视为将原始视频数据拆分为多路候选视频数据。

在一个示例中，若组合方式为宫格组合，则可以在服务器发送原始视频数据时的元数据中，查询原始视频数据当前使用的宫格的类型，如四宫格、六宫格、九宫格等。

在服务器与终端预先对原始图像数据约定分辨率的情况下，可预先设计每种类型的宫格在原始图像数据中所处的位置，由于宫格呈矩形，则可以在原始图像数据中查找、为该类型的宫格设置的角点，以宫格的角点作为切分点，可在原始图像数据中确定与该类型匹配的切分点，在原始图像数据中确定各个宫格的位置，以确定各个终端图像数据所处的区域，从而沿角点从原始图像数据切分出终端图像数据，作为候选图像数据。

例如，如图3所示，在四宫格中，可以约定第一个宫格的四个角点分别为点301、点302、点303、点304，沿点301与点302、点302与点303、点303与点304、点304与点301进行切分，获得终端图像数据300。

由于存在视频数据的数量小于宫格的数量的情况，因此，沿角点将原始图像数据切分为多个宫格(又称图像块)时，可以在服务器发送原始视频数据时的元数据中，分别查询每个宫格的属性。

若属性为有效，则表示该宫格已写入终端图像数据，可确定该宫格为终端图像数据，作为候选图像数据。

若属性为无效，则表示该宫格未写入终端图像数据，可滤除该宫格。

步骤104、按照设定的混画参数将候选视频数据拼接为目标视频数据。

在本实施例中，终端可提供对用户界面上加载的多个控件进行操作、直接调整目标视频数据等方式设置混画参数，该混画参数为将候选视频数据拼接为目标视频数据的参数，按照该混画参数的设定，将候选视频数据拼接为目标视频数据。

进一步而言，每路候选视频数据包括多帧候选图像数据，目标视频数据包括多帧目标图像数据，可将所有候选视频数据中处于同一时间的候选图像数据按照指定的方式进行拼接，生成目标图像数据，并将目标图像数据封装至目标视频数据中。

一般情况下，将终端调用摄像头采集的视频数据组合为原始视频数据的方式，与，将候选视频数据拼接为目标视频数据的方式，并不相同，因此，虽然原始视频数据、目标视频数据的内容较为相似，但是呈现的效果一般并不一样，为了便于原始视频数据传输，终端调用摄像头采集的视频数据排布较为规整、密集，提高原始视频数据的利用率，减少对终端调用摄像头采集的视频数据的采样率，尽可能维持多个终端调用摄像头采集的视频数据的整体清晰度，而为了便于用户浏览目标视频数据，将候选视频数据拼接为目标视频数据时较为注重用户界面的设计，符合用户参与视频会议的习惯。

在一个示例中，混画参数包括排列模式、排列顺序。

其中，该排列模式可用于表示候选图像数据在目标图像数据中的排列方式，例如，该排列模式为左右模式时，候选图像数据排列在目标图像数据中的左右两侧，又例如，该排列模式为上下模式时，候选图像数据排列在目标图像数据中的上下两侧。

该排列顺序可以用于表示候选图像数据在目标图像数据中排列的顺序。

在本示例中，终端可生成空白的目标图像数据，在该目标图像数据中划分满足候选视频数据的数量、且呈该排列模式的播放区域。

一般情况下，播放区域的面积并不一致，通常会有至少一个播放区域的面积大于其他播放区域的面积，用户的注意力通常集中在面积较大的播放区域，因此，面积较大的播放区域可用于加载对于视频会议较为重要的候选图像数据，例如，主持视频会议的终端所采集的终端图像数据，正在发言的终端所采集的终端图像数据，等等。

在不同排列模式下，各个播放区域可配置分布顺序，依次将候选视频数据中的候选图像数据写入该播放区域，使得分布顺序与排列顺序相同。

例如，针对从如图3所示的原始图像数据拆分的四个候选图像数据，上侧的候选图像数据的排列顺序从左至右分别为1、2，下侧的候选图像数据的排列顺序从左至右分别为3、4。

假设当前终端的用户选择了上下模式，则如图4A所示，可以在目标图像数据上侧划分三个播放区域、在目标图像数据下侧划分一个播放区域，上侧的播放区域的分布顺序从左至右分别为1、2、3，下侧的播放区域的分布顺序为4，则可以依次将各个候选图像数据写入该目标图像数据中的各个播放区域。

假设当前终端的用户选择了左右模式，则如图4B所示，可以在目标图像数据左侧划分三个播放区域、在目标图像数据右侧划分一个播放区域，左侧的播放区域的分布顺序从上至下分别为1、2、3，右侧的播放区域的分布顺序为4，则可以依次将各个候选图像数据写入该目标图像数据中的各个播放区域。

步骤105、在播放界面中播放目标视频数据。

若生成目标视频数据，则可以对该目标视频数据中各帧目标图像数据进行渲染、加载至播放界面上，从而实现目标视频数据的播放。

在本实施例中，当多个终端进行视频会话时，为视频会话生成播放界面，从视频会话中获取原始视频数据，将原始视频数据拆分为由多个终端分别独立调用摄像头采集的视频数据，获得多路候选视频数据，按照设定的混画参数将候选视频数据拼接为目标视频数据，在播放界面中播放目标视频数据，一方面，将视频会话中终端分别独立调用摄像头采集的多路视频数据打包为原始视频数据进行传输，相对于独立传输终端调用摄像头采集的多路视频数据大大降低了视频数据的数量，不仅降低了对于网络的带宽、抖动、丢包率等各方面的要求，降低维护网络的成本，而且大大降低了管理视频数据的复杂度，在网络抖动时，某一路终端的视频数据断开并不影响原始视频数据的传输，重新连接的机制、故障排查在该终端侧的链路执行即可，无需在当前终端侧的链路执行，大大降低了维护视频会话的成本，另一方面，将原始视频数据拆分为候选视频数据，并重组为目标视频数据，不仅保证用户正常参与视频会话，应用混画参数可对各路视频数据的布局进行重设，满足用户参与视频会话的习惯，实现个性化的视频会话，而且视频会话的画面通常较小，用户在参与视频会话时已习惯较低的分辨率，对人物的清晰度并不敏感，将终端分别独立调用摄像头采集的多路视频数据打包为原始视频数据的过程中存在压缩操作，导致视频数据的分辨率降低，对用户的影响也较小。

实施例二

图5为本发明实施例二提供的一种视频播放方法的流程图，本实施例以前述实施例为基础，进一步增加调整候选视频数据的操作，该方法具体包括如下步骤：

步骤501、当多个终端进行视频会话时，为视频会话生成播放界面。

步骤502、从视频会话中获取原始视频数据；

步骤503、将原始视频数据拆分为由多个终端分别独立调用摄像头采集的视频数据，获得多路候选视频数据。

步骤504、按照设定的混画参数将候选视频数据拼接为目标视频数据。

步骤505、在播放界面中播放目标视频数据。

步骤506、接收作用于目标视频数据的调整操作。

步骤507、在目标视频数据中确定调整操作所作用的候选视频数据。

步骤508、响应于调整操作，调整候选视频数据对应的混画参数。

在播放目标视频数据时，用户可以通过手势、控件等方式针对目标视频数据触发调整操作，在目标视频数据中依据调整操作发生的位置、停止的位置等参数选定目标视频数据中的一个或多个候选视频数据，从而按照该调整操作的类型对选定的一个或多个候选视频数据调整其混画参数，在继续执行步骤504、按照设定的混画参数将候选视频数据拼接为目标视频数据时，可体现该调整操作的效果。

为使本领域技术人员更好地理解本实施例，以下通过具体的示例来说明本实施例中对候选视频数据的调整。

1、调序操作

在本示例中，调整操作包括调序操作、混画参数包括排列顺序，即调序操作为调整排列顺序的操作，在一种情况中，调序操作可以对调任意两个候选视频数据的排列顺序，对其他候选视频数据的排列顺序并不影响，例如，调序操作作用于候选视频数据A、候选视频数据B，其中，候选视频数据A的排列顺序为2、候选视频数据B的排列顺序为4，调序操作可将候选视频数据A的排列顺序从2调整为4、将候选视频数据B的排列顺序从4调整为2。

在另一种情况中，调序操作可以将任意一个候选视频数据的排列顺序调整到指定的位置，在该指定位置之后的候选视频数据自适应调整排列顺序，例如，调序操作作用于候选视频数据C，候选视频数据C的排列顺序为4，在候选视频数据C之前，候选视频数据D的排列顺序为3、候选视频数据E的排列顺序为2，调序操作可将候选视频数据C的排列顺序从4调整为3，相应地，将候选视频数据D的排列顺序从3调整为4、将候选视频数据E的排列顺序从2调整为3。

进一步而言，该调序操作可实现为拖动手势、双击手势、滑动手势，等等，以拖动手势为例，拖动手势可以指按下目标(候选视频数据)并滑动。

在一个示例中，如图6A所示，目标视频数据中具有四个候选视频数据，混画参数中的排列模式为上下模式，用户的手指按下上侧第三个候选视频数据，如图6B所示，若在终端的触摸屏中检测到拖动手势中的长按操作，则可以查询发生长按操作的位置，将位于发生长按操作的位置的候选视频数据显示为选定状态，如图6C所示，用户向下滑动，为便于用户浏览拖动手势的滑动操作，可以在滑动操作的位置上显示已选定的候选视频数据的缩略图，如图6D所示，用户的手指在下侧的候选视频数据抬起，确定结束拖动手势的位置在下侧的候选视频数据内，此时，可将上侧第三个候选视频数据的排列顺序与下侧的候选视频数据的排列顺序对调。

2、缩放操作

在本示例中，调整操作包括缩放操作、混画参数包括播放区域的面积，即缩放操作为调整播放区域的面积的操作，缩放操作可以指多个触控点以目标(候选视频数据)为基点聚拢(缩小)或扩散(放大)。

若在终端的触摸屏中检测到缩放操作，则可按照缩放操作缩放处于选定状态的候选视频数据，从而调整其播放区域的面积。

3、旋转操作

在本示例中，调整操作包括旋转操作、混画参数包括播放区域的位置，即旋转操作为调整播放区域的位置的操作，旋转操作可以指多个触控点以目标(候选视频数据)为基点旋转。

若在终端的触摸屏中检测到旋转操作，则可按照旋转操作旋转处于选定状态的候选视频数据，从而调整其播放区域的位置。

当然，上述调整操作只是作为示例，在实施本实施例时，可以根据实际情况设置其他调整操作，本实施例对此不加以限制。另外，除了上述调整操作外，本领域技术人员还可以根据实际需要采用其它调整操作，本实施例对此也不加以限制。

在本实施例中，接收作用于目标视频数据的调整操作，在目标视频数据中确定调整操作所作用的所述候选视频数据，响应于调整操作，调整候选视频数据对应的混画参数，用户可在视频会议期间动态地调整候选视频数据，该调整可在将候选视频数据重组为目标视频数据时生效，自主调整的形式多样，灵活性强，用户可以更好地将视频会议的画面贴合视频会议的内容，实现千人千面，保证视频会议的效果。

实施例三

图7为本发明实施例三提供的一种视频播放方法的流程图，本实施例以前述实施例为基础，进一步增加共享屏幕的操作，该方法具体包括如下步骤：

步骤701、当多个终端进行视频会话时，为视频会话生成播放界面。

步骤702、从视频会话中获取原始视频数据。

步骤703、将原始视频数据拆分为由多个终端分别独立调用摄像头采集的视频数据，获得多路候选视频数据。

步骤704、接收某个终端触发的屏幕共享操作。

步骤705、响应于屏幕共享操作，从视频会话中获取由终端通过录屏操作生成的视频数据，作为候选视频数据。

在本实施例中，某个用户在配合PPT(演示文稿)、word文档等文件进行视频会议的情况下，可在其所登录的终端触发屏幕共享操作，此时，该终端可通过录屏操作生成视频数据。

例如，在windows系统中，可通过GDI、mirror、ddraw和dxgi等函数执行录屏操作。

又例如，在Android系统中，可通过adb shell命令screenrecord、MediaRecorder(MediaProjection是Android5.0后开放的屏幕采集接口，通过系统级服务MediaProjectionManager进行管理)、MediaCodec与MediaMuxer(MediaCodec提供对音视频压缩编码和解码功能，MediaMuxer可以将音视频混合生成多媒体文件，生成MP4文件，先通过MediaProjectionManager获取录屏权限，在回调中进行屏幕数据处理)等方式执行录屏操作。

进一步而言，通过录屏操作生成的视频数据独立于调用摄像头采集的视频数据，即终端可以上传两路视频数据至服务器，一路为调用摄像头采集的视频数据，另一路为通过录屏操作生成的视频数据。

服务器可接收到该终端发送的通过录屏操作生成的视频数据，对通过录屏操作生成的视频数据进行转码等图像处理，并将通过录屏操作生成的视频数据发送至视频会话中的各个终端。

而当前终端响应于屏幕共享操作，从视频会话中获取由某个终端通过录屏操作生成的视频数据，作为新的候选视频数据。

步骤706、按照设定的混画参数将候选视频数据拼接为目标视频数据。

步骤707、在播放界面中播放目标视频数据。

在本实施例中，如图8所示，针对原始视频数据，可拆分为由多个终端分别独立调用摄像头采集的视频数据，针对终端调用摄像头采集的视频数据、通过录屏操作生成的视频数据，可统一作为候选视频数据，按照混画参数的设定，将所有候选视频数据拼接为目标视频数据。

在候选视频数据包括终端独立调用摄像头采集的视频数据、终端通过录屏操作生成的视频数据的情况下，终端独立调用摄像头采集的视频数据对应的播放区域，大于，终端通过录屏操作生成的视频数据对应的播放区域，以便用户将注意力集中在终端通过录屏操作生成的视频数据。

当然，用户也可以通过调整操作对终端独立调用摄像头采集的视频数据与终端通过录屏操作生成的视频数据的排列顺序进行对调，使得终端独立调用摄像头采集的视频数据对应的播放区域，小于或等于，终端通过录屏操作生成的视频数据对应的播放区域，本实施例对此不加以限制。

例如，如图8所示，原始视频数据中具有四路终端调用摄像头采集的视频数据，另外还有一路终端通过录屏操作生成的视频数据，混画参数中的排列模式为上下模式，则可以在目标视频数据的上侧写入四路终端调用摄像头采集的视频数据，在目标视频数据的下侧写入终端通过录屏操作生成的视频数据。

在本实施例中，接收某个终端触发的屏幕共享操作，响应于屏幕共享操作，从视频会话中获取由终端通过录屏操作生成的视频数据，作为候选视频数据，一方面，由于用户对分享的屏幕内容(如字体、图像等)较为敏感，因此，将终端通过录屏操作生成的视频数据作为一路视频数据独立进行传输，可以避免大幅度对终端通过录屏操作生成的视频数据进行压缩导致清晰度下降，从而保证分享的屏幕内容的细节，保证视频会话的效果，另一方面，将终端通过录屏操作生成的视频数据作为候选视频数据参与目标视频数据的重组，保持本地重组目标视频数据的机制统一，保持播放框架的可扩展性，无需独立对终端通过录屏操作生成的视频数据开发播放框架，降低开发的成本。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

实施例四

图9为本发明实施例四提供的一种视频播放装置的结构框图，具体可以包括如下模块：

播放界面生成模块901，用于当多个终端进行视频会话时，为所述视频会话生成播放界面；

原始视频数据获取模块902，用于从所述视频会话中获取原始视频数据；

原始视频数据拆分模块903，用于将所述原始视频数据拆分为由多个所述终端分别独立调用摄像头采集的视频数据，获得多路候选视频数据；

目标视频数据拼接模块904，用于按照设定的混画参数将所述候选视频数据拼接为目标视频数据；

目标视频数据播放模块905，用于在所述播放界面中播放所述目标视频数据。

在本发明的一个实施例中，所述原始视频数据包括多帧原始图像数据，所述终端独立调用摄像头采集的视频数据包括多帧终端图像数据，所述候选视频数据包括多帧候选图像数据；

所述原始视频数据拆分模块903包括：

组合方式查询子模块，用于查询所述终端图像数据组合为所述原始图像数据的方式，作为组合方式；

原始图像数据切分子模块，用于按照所述组合方式将所述原始图像数据切分为所述终端图像数据，作为所述候选图像数据。

在本发明的一个实施例中，所述原始图像数据切分子模块包括：

类型查询单元，用于若所述组合方式为宫格组合，则查询宫格的类型；

角点查找单元，用于在所述原始图像数据中查找、为所述类型的宫格设置的角点；

角点切分单元，用于沿所述角点从所述原始图像数据切分出所述终端图像数据，作为所述候选图像数据。

在本发明的一个实施例中，所述角点切分单元包括：

宫格切分子单元，用于沿所述角点将所述原始图像数据切分为多个宫格；

属性查询子单元，用于分别查询每个所述宫格的属性；

有效确定子单元，用于若所述属性为有效，则确定所述宫格为所述终端图像数据，作为所述候选图像数据；

无效滤除子单元，用于若所述属性为无效，则滤除所述宫格。

在本发明的一个实施例中，还包括：

屏幕共享操作接收模块，用于接收某个所述终端触发的屏幕共享操作；

录屏数据接收模块，用于响应于所述屏幕共享操作，从所述视频会话中获取由所述终端通过录屏操作生成的视频数据，作为候选视频数据。

在本发明的一个实施例中，所述目标视频数据包括多帧目标图像数据，所述混画参数包括排列模式、排列顺序；

所述目标视频数据拼接模块904包括：

播放区域划分子模块，用于在所述目标图像数据中划分满足所述候选视频数据的数量、且呈所述排列模式的播放区域；

播放区域写入子模块，用于按照所述排列顺序依次将所述候选视频数据中的候选图像数据写入所述播放区域。

在本发明的一个实施例中，所述候选视频数据包括所述终端独立调用摄像头采集的视频数据、所述终端通过录屏操作生成的视频数据；

所述终端独立调用摄像头采集的视频数据对应的所述播放区域，大于，所述终端通过录屏操作生成的视频数据对应的所述播放区域。

在本发明的一个实施例中，还包括：

调整操作接收模块，用于接收作用于所述目标视频数据的调整操作；

候选视频数据确定模块，用于在所述目标视频数据中确定所述调整操作所作用的所述候选视频数据；

混画参数调整模块，用于响应于所述调整操作，调整所述候选视频数据对应的混画参数。

在本发明的一个实施例中，所述调整操作包括调序操作，所述混画参数包括排列顺序；所述混画参数调整模块包括：

排列顺序调整子模块，用于响应于所述调序操作，调整所述候选视频数据的排列顺序。

本发明实施例所提供的视频播放装置可执行本发明任意实施例所提供的视频播放方法，具备执行方法相应的功能模块和有益效果。

实施例五

图10为本发明实施例五提供的一种计算机设备的结构示意图。图10示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图10显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图10所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图10未显示，通常称为“硬盘驱动器”)。尽管图10中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的视频播放方法。

实施例六

本发明实施例六还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述视频播放方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种视频播放方法，其特征在于，包括：

当多个终端进行视频会话时，为所述视频会话生成播放界面；

从所述视频会话中获取原始视频数据；

将所述原始视频数据拆分为由多个所述终端分别独立调用摄像头采集的视频数据，获得多路候选视频数据；

按照设定的混画参数将所述候选视频数据拼接为目标视频数据；

在所述播放界面中播放所述目标视频数据。

2.根据权利要求1所述的方法，其特征在于，所述原始视频数据包括多帧原始图像数据，所述终端独立调用摄像头采集的视频数据包括多帧终端图像数据，所述候选视频数据包括多帧候选图像数据；

所述将所述原始视频数据拆分为由多个所述终端分别独立调用摄像头采集的视频数据，获得多路候选视频数据，包括：

查询所述终端图像数据组合为所述原始图像数据的方式，作为组合方式；

按照所述组合方式将所述原始图像数据切分为所述终端图像数据，作为所述候选图像数据。

3.根据权利要求2所述的方法，其特征在于，所述按照所述组合方式将所述原始图像数据切分为所述终端图像数据，作为所述候选图像数据，包括：

若所述组合方式为宫格组合，则查询宫格的类型；

在所述原始图像数据中查找、为所述类型的宫格设置的角点；

沿所述角点从所述原始图像数据切分出所述终端图像数据，作为所述候选图像数据。

4.根据权利要求3所述的方法，其特征在于，所述沿所述角点从所述原始图像数据切分出所述终端图像数据，作为所述候选图像数据，包括：

沿所述角点将所述原始图像数据切分为多个宫格；

分别查询每个所述宫格的属性；

若所述属性为有效，则确定所述宫格为所述终端图像数据，作为所述候选图像数据；

若所述属性为无效，则滤除所述宫格。

5.根据权利要求1所述的方法，其特征在于，还包括：

接收某个所述终端触发的屏幕共享操作；

响应于所述屏幕共享操作，从所述视频会话中获取由所述终端通过录屏操作生成的视频数据，作为候选视频数据。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述目标视频数据包括多帧目标图像数据，所述混画参数包括排列模式、排列顺序；

所述按照设定的混画参数将所述候选视频数据拼接为目标视频数据，包括：

在所述目标图像数据中划分满足所述候选视频数据的数量、且呈所述排列模式的播放区域；

按照所述排列顺序依次将所述候选视频数据中的候选图像数据写入所述播放区域。

7.根据权利要求6所述的方法，其特征在于，所述候选视频数据包括所述终端独立调用摄像头采集的视频数据、所述终端通过录屏操作生成的视频数据；

所述终端独立调用摄像头采集的视频数据对应的所述播放区域，大于，所述终端通过录屏操作生成的视频数据对应的所述播放区域。

8.根据权利要求1-5任一项所述的方法，其特征在于，还包括：

接收作用于所述目标视频数据的调整操作；

在所述目标视频数据中确定所述调整操作所作用的所述候选视频数据；

响应于所述调整操作，调整所述候选视频数据对应的混画参数。

9.根据权利要求8所述的方法，其特征在于，所述调整操作包括调序操作，所述混画参数包括排列顺序；所述响应于所述调整操作，调整所述候选视频数据对应的混画参数，包括：

响应于所述调序操作，调整所述候选视频数据的排列顺序。

10.一种视频播放装置，其特征在于，包括：

播放界面生成模块，用于当多个终端进行视频会话时，为所述视频会话生成播放界面；

原始视频数据获取模块，用于从所述视频会话中获取原始视频数据；

原始视频数据拆分模块，用于将所述原始视频数据拆分为由多个所述终端分别独立调用摄像头采集的视频数据，获得多路候选视频数据；

目标视频数据拼接模块，用于按照设定的混画参数将所述候选视频数据拼接为目标视频数据；

目标视频数据播放模块，用于在所述播放界面中播放所述目标视频数据。

11.一种计算机设备，其特征在于，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的视频播放方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1-9中任一项所述的视频播放方法。

Images