CN113423012B - 视频处理方法、服务器和计算机可读存储介质 - Google Patents

Abstract

本发明公开了视频处理方法、服务器和计算机可读存储介质，通过遍历云桌面每一帧图像以确定视频变化区域，在任意相邻两帧中的上一帧和下一帧分别对应的视频变化区域相差小于像素阈值，或者视频变化区域面积相对终端屏幕的占比大于预设值的情况下，确定下一帧属于连续视频帧，根据连续视频帧的帧数确定视频播放状态，当确定视频开始播放，发送经过压缩编码的视频变化区域给终端。基于此，通过遍历每一帧图像变化区域，排除视频变化区域以外的图像，对特定的变化区域处理，当连续满足视频图像条件，形成视频流，经过压缩编码后发送至终端，从而能够改善弹幕场景下播放视频图像割裂及卡顿等问题。

Description

视频处理方法、服务器和计算机可读存储介质

技术领域

本发明实施例涉及虚拟桌面传输技术领域，特别是涉及一种视频处理方法、服务器和计算机可读存储介质。

背景技术

随着计算机技术及通信技术的发展，桌面虚拟化随着云计算的发展，云桌面的概念走入市场，并且迅速发展并在市场占领一定份额。利用桌面传输协议，将虚拟化服务器生成的桌面操作系统推送到用户终端。这一过程中，桌面传输协议发挥着极其重要的作用。目前主流的桌面协议有微软的RDP协议，Cirtix的ICA协议，VMware的PCoIP协议，以及红帽的SPICE协议等。其中红帽公司的开源桌面协议SPICE（独立计算环境简单协议）以丰富的媒体支持，更小带宽占用以及更安全的数据传输等优点，在业界得到广泛应用。

SPICE协议在视频处理方面采用图形区域的刷新帧率来判断视频区域，并采用MJPEG的压缩方式对视频图像进行有损压缩。用户在终端播放视频时，图像信息快速更新，只有满足在同一区域内，图像刷新帧率达20帧，服务端认为有视频流产生，为保证流畅度，对视频流进行压缩处理发送至客户端。对于桌面其他非视频区域的变化区域图像则以桌面流发送至客户端，而视频区域的变化区域图像则以视频流发送至客户端。针对桌面流和视频流的处理在压缩比、帧频等方面是不同的。

在弹幕场景下，弹幕覆盖在视频上方，两者区域有部分重叠，但弹幕和视频属于不同的图像区域，此时，弹幕的出现会破坏视频流的形成条件，导致视频误识别，此时视频图像以及弹幕都会以桌面流形式发送至客户端。该情况帧率较低、带宽占用大，会导致播放视频卡顿，视频图像被割裂等问题。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本发明实施例提供了一种视频处理方法、服务器和计算机可读存储介质，能够改善弹幕场景下播放视频图像割裂及卡顿等问题。

第一方面，本发明实施例提供了一种视频处理方法，应用于服务器，所述方法包括：

遍历云桌面每一帧图像以确定视频变化区域；

在任意相邻两帧中的上一帧和下一帧分别对应的所述视频变化区域相差小于像素阈值，或者所述视频变化区域面积相对终端屏幕的占比大于预设值的情况下，确定所述下一帧属于连续视频帧；

根据所述连续视频帧的帧数确定视频播放状态；

当确定视频开始播放，发送经过压缩编码的所述视频变化区域给终端。

第二方面，本发明实施例提供了一种视频处理方法，应用于终端，所述方法包括：

接收经过服务器压缩编码的视频变化区域，所述视频变化区域由所述服务器遍历云桌面每一帧图像而得到；

对所述视频变化区域解码渲染，以显示视频每一帧图像。

第三方面，本发明实施例提供了一种服务器，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面所述的视频处理方法。

第四方面，本发明实施例提供了一种终端，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第二方面所述的视频处理方法。

第五方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行如上第一方面所述的视频处理方法，或者如上第二方面所述的视频处理方法。

本发明实施例包括：通过遍历云桌面每一帧图像以确定视频变化区域，在任意相邻两帧中的上一帧和下一帧分别对应的视频变化区域相差小于像素阈值，或者视频变化区域面积相对终端屏幕的占比大于预设值的情况下，确定下一帧属于连续视频帧，根据连续视频帧的帧数确定视频播放状态，当确定视频开始播放，发送经过压缩编码的视频变化区域给终端。基于此，通过遍历桌面所有图像变化区域，排除视频变化区域以外的图像，对特定的变化区域处理，当连续满足视频图像条件，形成视频流，经过压缩编码后发送至终端。对比原生SPICE协议，本方法能够在很大程度上改善弹幕场景下播放视频图像割裂及卡顿等问题。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1是本发明一个实施例提供的一种视频处理方法的主流程图（服务器侧）；

图2是本发明一个实施例提供的一种视频处理方法的子流程图；

图3是本发明一个实施例提供的一种视频处理方法的子流程图；

图4是本发明一个实施例提供的一种视频处理方法的子流程图；

图5是本发明一个实施例提供的一种视频处理方法的主流程图（终端侧）；

图6是本发明一个实施例提供的服务器结构示意图；

图7是本发明一个实施例提供的终端结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

应了解，在本发明实施例的描述中，多个（或多项）的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到“第一”、“第二”等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

随着计算机技术及通信技术的发展，桌面虚拟化随着云计算的发展，云桌面的概念走入市场，并且迅速发展并在市场占领一定份额。利用桌面传输协议，将虚拟化服务器生成的桌面操作系统推送到用户终端。这一过程中，桌面传输协议发挥着极其重要的作用。目前主流的桌面协议有微软的RDP协议，Cirtix的ICA协议，VMware的PCoIP协议，以及红帽的SPICE协议等。其中红帽公司的开源桌面协议SPICE（独立计算环境简单协议）以丰富的媒体支持，更小带宽占用以及更安全的数据传输等优点，在业界得到广泛应用。

SPICE协议在视频处理方面采用图形区域的刷新帧率来判断视频区域，并采用MJPEG的压缩方式对视频图像进行有损压缩。用户在终端播放视频时，图像信息快速更新，只有满足在同一区域内，图像刷新帧率达20帧，服务端认为有视频流产生，为保证流畅度，对视频流进行压缩处理发送至客户端。对于桌面其他非视频区域的变化区域图像则以桌面流发送至客户端，而视频区域的变化区域图像则以视频流发送至客户端。针对桌面流和视频流的处理在压缩比、帧频等方面是不同的。

在弹幕场景下，弹幕覆盖在视频上方，两者区域有部分重叠，但弹幕和视频属于不同的图像区域，此时，弹幕的出现会破坏视频流的形成条件，导致视频误识别，此时视频图像以及弹幕都会以桌面流形式发送至客户端。该情况帧率较低、带宽占用大，会导致播放视频卡顿，视频图像被割裂等问题。

针对目前虚机桌面协议（SPICE）存在的视频形成识别机制引起协议视频播放画面不流畅，有弹幕时出现画面撕裂等问题，本发明实施例提供了一种视频处理方法、服务器和计算机可读存储介质, 通过遍历云桌面每一帧图像以确定视频变化区域，在任意相邻两帧中的上一帧和下一帧分别对应的视频变化区域相差小于像素阈值，或者视频变化区域面积相对终端屏幕的占比大于预设值的情况下，确定下一帧属于连续视频帧，根据连续视频帧的帧数确定视频播放状态，当确定视频开始播放，发送经过压缩编码的视频变化区域给终端。基于此，通过遍历桌面所有图像变化区域，排除视频变化区域以外的图像，对特定的变化区域处理，当连续满足视频图像条件，形成视频流，经过压缩编码后发送至终端。对比原生SPICE协议，本方法能够在很大程度上改善弹幕场景下播放视频图像割裂及卡顿等问题。

如图1所示，图1是本发明一个实施例提供的一种视频处理方法的流程图。该视频处理方法可以应用于服务器，视频处理方法包括但不限于如下步骤：

步骤101，遍历云桌面每一帧图像以确定视频变化区域；

步骤102，在任意相邻两帧中的上一帧和下一帧分别对应的视频变化区域相差小于像素阈值，或者视频变化区域面积相对终端屏幕的占比大于预设值的情况下，确定下一帧属于连续视频帧；

步骤103，根据连续视频帧的帧数确定视频播放状态；

步骤104，当确定视频开始播放，发送经过压缩编码的视频变化区域给终端。

可以理解的是，遍历云桌面每一帧图像以确定视频变化区域，在任意相邻两帧中的上一帧和下一帧分别对应的视频变化区域相差小于像素阈值，或者视频变化区域面积相对终端屏幕的占比大于预设值的情况下，确定下一帧属于连续视频帧，根据连续视频帧的帧数确定视频播放状态，当确定视频开始播放，发送经过压缩编码的视频变化区域给终端。基于此，通过遍历桌面所有图像变化区域，排除视频变化区域以外的图像，对特定的变化区域处理，当连续满足视频图像条件，形成视频流，经过压缩编码后发送至终端。对比原生SPICE协议，本方法能够在很大程度上改善弹幕场景下播放视频图像割裂及卡顿等问题。

可以理解的是，可以通过安装在服务器的上服务端遍历云桌面每帧图像所有变化区域，以找出所有图像变化区域。需要说明的是，通过在所有图像变化区域中找出最大变化区域，再对最大变化区域的图像复杂度进行判断，以识别出视频变化区域。

可以理解的是，图像复杂度的计算依赖与图像的色彩复杂及图像大小等因素，会根据各部分的比例计算出一定的分值，根据分值可将图像复杂度分为高、中、低三个等级，例如，播放视频变化图像复杂度一般为高等级，纯文字区域图像复杂度一般为低等级。

可以理解的是，本发明对于像素阈值的具体数值不做具体限定，以像素阈值为20个像素为例，当下一帧图像最大变化区域与上一帧图像的最大变化区域中心坐标相差在20个像素内，或者最大变化区域面积达到终端屏幕一定占比，该占比大于某一预设值，则可以认为下一帧属于连续视频帧。需要说明的是，预设值可以根据视频识别的要求进行设定，因为，对预设值的具体数值也不作限定。

可以理解的是，在弹幕场景下，可以通过安装在服务器的上服务端遍历云桌面每帧图像所有图像变化区域，再从所有图像变化区域中找出最大变化区域，再对图像最大变化区域的图像复杂度进行判断，如果是纯文字区域，则图像复杂度为低等级，而视频变化区域的图像复杂度为高等级，通过对图像复杂度等级的判断来确定图像中的视频变化区域。除了判断最大变化区域图像复杂度是否满足高等级的图像复杂度，还需要判断下一帧图像是否属于连续视频帧。例如，若下一帧图像最大变化区域与上一帧图像的最大变化区域中心坐标相差在20个像素内，或者最大变化区域面积达到终端屏幕一定占比，此时可以认为下一帧属于连续视频帧。当确定连续视频帧达到15帧，则判定视频播放开始。当确定连续视频帧小于5帧，则判定视频播放结束。当判定视频播放开始，可以将每一帧内变化图像采用H.264标准进行压缩编码，再以18fps帧频发送至安装在终端上的客户端，从而能够改善弹幕场景下播放视频图像割裂及卡顿等问题。

如图2所示，步骤101可以包括但不限于如下子步骤：

步骤1011，识别视频每一帧图像内更新的图像区域，以确定所有图像变化区域；

步骤1012，从所有图像变化区域中找出最大变化区域；

步骤1013，根据图像参数对应的权重值确定最大变化区域的图像复杂度；

步骤1014，根据最大变化区域的图像复杂度确定视频变化区域。

可以理解的是，对于遍历云桌面每一帧图像以确定图像变化区域和图像变化区域的图像复杂度的具体方式，可以通过先识别视频每一帧图像内更新的图像区域，以确定所有图像变化区域，然后从所有图像变化区域中找出最大变化区域，再根据图像参数对应的权重值确定最大变化区域的图像复杂度，其中，图像复杂度根据权重值分为高等级、中等级和低等级。需要说明的是，图像参数包括但不限于图像的色彩和图像的大小，因此，权重值的计算可以根据图像的色彩复杂以及图像大小各自的比例计算出一定的分值，根据分值可将图像复杂度分为高、中、低三个等级，例如，播放视频变化图像复杂度一般为高等级，纯文字区域图像复杂度一般为低等级。最后，根据最大变化区域的图像复杂度确定视频变化区域，若最大变化区域的图像复杂度为高等级，则可以确定为视频变化区域。

可以理解的是，步骤103可以包括但不限于如下子步骤：

在连续视频帧的帧数大于等于第一帧数阈值的情况下，确定视频播放开始。

可以理解的是，第一帧数阈值可以根据视频识别的要求进行设定，因此，本发明对于第一帧数阈值的具体数值不做具体限定，以第一帧数阈值为15帧为例，例如，在连续视频帧大于等于15帧的情况下，则判定视频播放开始。

可以理解的是，步骤103可以包括但不限于如下子步骤：

在连续视频帧的帧数小于等于第二帧数阈值的情况下，确定视频播放结束，其中，第二帧数阈值小于第一帧数阈值。

可以理解的是，第二帧数阈值可以根据视频识别的要求进行设定，因此，本发明对于第二帧数阈值的具体数值不做具体限定，以第二帧数阈值为5帧为例，在连续视频帧小于等于5帧的情况下，则判定视频播放结束。需要说明的是，第二帧数阈值要小于第一帧数阈值。

可以理解的是，步骤103可以包括但不限于如下子步骤：

在连续视频帧的帧数小于第一帧数阈值且大于第二帧数阈值的情况下，连续视频帧重新开始计数。

可以理解的是，第一帧数阈值和第二帧数阈值可以根据视频识别的要求进行设定，以第一帧数阈值为15帧、第二帧数阈值为5帧为例，在连续视频帧小于15帧且大于5帧的情况下，则对连续视频帧重新开始计数。连续视频帧重新计数，以重新判断视频播放状态。

如图3所示，步骤104可以包括但不限于如下子步骤：

步骤1041，对每一帧视频变化区域采用H.264标准进行压缩编码；

步骤1042，以18fps帧频发送视频变化区域给终端。

可以理解的是，对于压缩编码的方式以及发送视频变化区域给终端的帧频可以根据传输的要求来选择，因此，本发明对于压缩编码的方式和帧频的具体数值不做具体限定，以采用H.264标准为例，可以采用H.264标准对对每一帧图视频变化区域进行压缩编码，并且可以以18fps帧频发送视频变化区域给终端，安装在终端上的客户端接收到图像数据后，客户端通过解码渲染并显示图像。

可以理解的是，在步骤101之前可以包括但不限于如下子步骤：

获取绘图指令，绘图指令携带有需要更新视频每一帧图像的信息。

可以理解的是，本发明的实现依赖SPICE协议图形命令流消息交互。SPICE协议主要由服务端，客户端以及相关组件QXL组成，如图4所示。画面更新起始于虚拟机内应用程序向虚机操作系统请求的绘制图形操作的命令。之后，虚拟机内部的QXL驱动捕获到图形应用程序的绘制操作，传递到QEMU虚拟的QXL设备后端。接着，加载到QEMU空间的SPICE库读取QXL 命令。SPICE服务端维护渲染树，根据绘图指令来更新图像区域信息，对这些图像数据进行一定处理后发送至客户端。客户端解析数据进而完成图像画面更新。

具体地，在SPICE服务端和客户端分别部署好支持H.264压缩算法的依赖库，以作为虚拟化环境准备。启动虚拟机，SPICE客户端连接服务器，获取到完整的桌面图像。终端用户打开视频播放器开始播放视频。当虚拟机内开始播放视频时，虚拟机内部的QXL驱动捕获到图形应用程序的绘制操作，将该绘图指令传递到QEMU虚拟的QXL设备后端。SPICE服务端获取到该绘图指令，该绘图指令携带所需更新的图像信息。SPICE服务端根据绘图指令来更新图像区域信息，对这些图像数据进行一定处理后发送至客户端，客户端解析数据进而完成图像画面更新。

如图5所示，图5是本发明一个实施例提供的一种视频处理方法的流程图。该视频处理方法可以应用于终端，视频处理方法包括但不限于如下步骤：

步骤201，接收经过服务器压缩编码的视频变化区域，视频变化区域由服务器遍历云桌面每一帧图像而得到；

步骤202，对视频变化区域解码渲染，以显示视频每一帧图像。

可以理解的是，安装在服务器的服务端通过遍历云桌面每一帧图像变化区域，排除视频变化区域以外的图像，对特定的变化区域处理，当连续满足视频图像条件，形成视频流，经过压缩编码后发送至终端，安装在终端的客户端接收经过服务器压缩编码的视频变化区域，对视频变化区域解码渲染，以显示视频每一帧图像，从而完成图像画面更新，其中，视频变化区域由服务器遍历云桌面每一帧图像而得到。基于此，对比原生SPICE协议，本方法能够在很大程度上改善弹幕场景下播放视频图像割裂及卡顿等问题。

以下结合具体实施例进一步介绍本发明提供的视频处理方法。

进行虚拟化环境准备，在SPICE服务端和客户端分别部署好支持H.264压缩算法的依赖库。

启动虚拟机，SPICE客户端连接服务器，获取到完整的桌面图像。终端用户打开视频播放器开始播放视频。当虚拟机内开始播放视频时，虚拟机内部的QXL驱动捕获到图形应用程序的绘制操作，将该图形绘制指令传递到QEMU虚拟的QXL设备后端。

SPICE服务端获取到该绘图指令，该指令携带所需更新的图像信息。SPICE服务端对每一帧图像内更新的图像区域进行判断。遍历当前帧所有变化区域，找出最大变化区域。视频变化区域的图像复杂度较高，判断上述最大变化区域图像复杂度是否满足视频图像复杂度。图像复杂度的计算依赖与图像的色彩复杂及图像大小等因素，会根据各部分的比例计算出一定的分值，根据分值可将图像复杂度分为高中低三等，播放视频变化图像复杂度一般为高。判断下一帧图像是否属于连续视频帧。下一帧图像最大变化区域与上一帧图像的最大变化区域中心坐标相差在20个像素内，或者最大变化区域面积达到屏幕一定占比，此时可以认为下一帧属于连续视频帧。当确定连续视频帧达到15帧，判定视频播放开始。而当确定连续视频帧小于5帧，判定视频播放结束。当判定视频播放开始，可以将每一帧内变化图像采用H.264标准进行压缩编码，以18fps帧频发送至客户端，客户端完成解码渲染并展示图像，从而完成图像画面更新。

如图6所示，本发明实施例还提供了一种服务器。

具体地，该服务器包括：一个或多个处理器和存储器，图6中以一个处理器及存储器为例。处理器和存储器可以通过总线或者其他方式连接，图6中以通过总线连接为例。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序，如上述本发明实施例中的视频处理方法。处理器通过运行存储在存储器中的非暂态软件程序以及程序，从而实现上述本发明实施例中的视频处理方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储执行上述本发明实施例中的视频处理方法所需的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实现上述本发明实施例中的视频处理方法所需的非暂态软件程序以及程序存储在存储器中，当被一个或者多个处理器执行时，执行上述本发明实施例中的视频处理方法，例如，执行以上描述的图1中的方法步骤101至步骤104，图2中的方法步骤1011至步骤1014，图3中的方法步骤1041至步骤1042，通过遍历云桌面每一帧图像以确定视频变化区域，在任意相邻两帧中的上一帧和下一帧分别对应的视频变化区域相差小于像素阈值，或者视频变化区域面积相对终端屏幕的占比大于预设值的情况下，确定下一帧属于连续视频帧，根据连续视频帧的帧数确定视频播放状态，当确定视频开始播放，发送经过压缩编码的视频变化区域给终端。基于此，通过遍历桌面所有图像变化区域，排除视频变化区域以外的图像，对特定的变化区域处理，当连续满足视频图像条件，形成视频流，经过压缩编码后发送至终端。对比原生SPICE协议，能够在很大程度上改善弹幕场景下播放视频图像割裂及卡顿等问题。

如图7所示，本发明实施例还提供了一种终端。

具体地，该终端包括：一个或多个处理器和存储器，图7中以一个处理器及存储器为例。处理器和存储器可以通过总线或者其他方式连接，图7中以通过总线连接为例。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序，如上述本发明实施例中的视频处理方法。处理器通过运行存储在存储器中的非暂态软件程序以及程序，从而实现上述本发明实施例中的视频处理方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储执行上述本发明实施例中的视频处理方法所需的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实现上述本发明实施例中的视频处理方法所需的非暂态软件程序以及程序存储在存储器中，当被一个或者多个处理器执行时，执行上述本发明实施例中的视频处理方法，例如，执行以上描述的图5中的方法步骤201至步骤202，安装在服务器的服务端通过遍历每一帧图像变化区域，排除视频变化区域以外的图像，对特定的变化区域处理，当连续满足视频图像条件，形成视频流，经过压缩编码后发送至终端，安装在终端的客户端接收经过服务器压缩编码的视频变化区域，对视频变化区域解码渲染，以显示视频每一帧图像，从而完成图像画面更新，其中，视频变化区域由服务器遍历云桌面每一帧图像而得到。基于此，对比原生SPICE协议，能够在很大程度上改善弹幕场景下播放视频图像割裂及卡顿等问题。

此外，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行程序，该计算机可执行程序被一个或多个控制处理器执行，例如，被图6中的一个处理器执行，可使得上述一个或多个处理器执行上述本发明实施例中的视频处理方法，例如，执行以上描述的图1中的方法步骤101至步骤104，图2中的方法步骤1011至步骤1014，图3中的方法步骤1041至步骤1042，图5中的方法步骤201至步骤202，通过遍历云桌面每一帧图像以确定视频变化区域，在任意相邻两帧中的上一帧和下一帧分别对应的视频变化区域相差小于像素阈值，或者视频变化区域面积相对终端屏幕的占比大于预设值的情况下，确定下一帧属于连续视频帧，根据连续视频帧的帧数确定视频播放状态，当确定视频开始播放，发送经过压缩编码的视频变化区域给终端。基于此，通过遍历桌面所有图像变化区域，排除视频变化区域以外的图像，对特定的变化区域处理，当连续满足视频图像条件，形成视频流，经过压缩编码后发送至终端，终端接收经过服务器压缩编码的视频变化区域，对视频变化区域解码渲染，以显示视频每一帧图像，从而完成图像画面更新。对比原生SPICE协议，能够在很大程度上改善弹幕场景下播放视频图像割裂及卡顿等问题。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息（诸如计算机可读程序、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读程序、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的共享条件下还可作出种种等同的变形或替换，这些等同的变形或替换均包括在本发明权利要求所限定的范围内。

Claims (12)

1.一种视频处理方法，应用于服务器，所述方法包括：

遍历云桌面每一帧图像以确定视频变化区域，其中，所述视频变化区域根据所述图像内最大变化区域的图像复杂度来确定，若所述最大变化区域的图像复杂度为高等级，则确定所述最大变化区域为视频变化区域；

在任意相邻两帧中的上一帧和下一帧分别对应的所述视频变化区域相差小于像素阈值，或者所述视频变化区域面积相对终端屏幕的占比大于预设值的情况下，确定所述下一帧属于连续视频帧；

根据所述连续视频帧的帧数确定视频播放状态；

当确定视频开始播放，发送经过压缩编码的所述视频变化区域给终端。

2.根据权利要求1所述的方法，其特征在于，所述遍历云桌面每一帧图像以确定视频变化区域，包括：

识别云桌面每一帧图像内更新的图像区域，以确定所有图像变化区域；

从所有图像变化区域中找出最大变化区域；

根据图像参数对应的权重值确定所述最大变化区域的图像复杂度；

根据所述最大变化区域的图像复杂度确定视频变化区域。

3.根据权利要求2所述的方法，其特征在于，所述图像参数包括以下至少之一：

图像的色彩；

图像的大小。

4.根据权利要求2所述的方法，其特征在于，所述根据所述连续视频帧的帧数确定视频播放状态，包括：

在所述连续视频帧的帧数大于等于第一帧数阈值的情况下，确定视频播放开始。

5.根据权利要求4所述的方法，其特征在于，所述根据所述连续视频帧的帧数确定视频播放状态，包括：

在所述连续视频帧的帧数小于等于第二帧数阈值的情况下，确定视频播放结束，其中，所述第二帧数阈值小于所述第一帧数阈值。

6.根据权利要求5所述的方法，其特征在于，所述根据所述连续视频帧的帧数确定视频播放状态，包括：

在所述连续视频帧的帧数小于所述第一帧数阈值且大于所述第二帧数阈值的情况下，所述连续视频帧重新开始计数。

7.根据权利要求1所述的方法，其特征在于，所述发送经过压缩编码的所述视频变化区域给终端，包括：

对每一帧所述视频变化区域采用H.264标准进行压缩编码；

以18fps帧频发送所述视频变化区域给终端。

8.根据权利要求1所述的方法，其特征在于，在所述遍历云桌面每一帧图像以确定视频变化区域之前，还包括：

获取绘图指令，所述绘图指令携带有需要更新视频每一帧图像的信息。

9.一种视频处理方法，应用于终端，所述方法包括：

接收经过服务器压缩编码的视频变化区域，所述视频变化区域由所述服务器遍历云桌面每一帧图像，在任意相邻两帧中的上一帧和下一帧分别对应的所述视频变化区域相差小于像素阈值，或者所述视频变化区域面积相对终端屏幕的占比大于预设值的情况下，确定所述下一帧属于连续视频帧，并根据所述连续视频帧的帧数确定视频播放状态，且当确定视频开始播放时从所述服务器接收而得到，其中，所述视频变化区域根据所述图像内最大变化区域的图像复杂度来确定，若所述最大变化区域的图像复杂度为高等级，则确定所述最大变化区域为视频变化区域；

对所述视频变化区域解码渲染，以显示视频每一帧图像。

10.一种服务器，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8中任意一项所述的视频处理方法。

11.一种终端，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求9所述的视频处理方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行如权利要求1至8任意一项所述的视频处理方法，或者如权利要求9所述的视频处理方法。

Images