CN103139609A - 对远程应用视频播放进行优化的方法和装置 - Google Patents

Abstract

本发明公开了一种对远程应用视频播放进行优化的方法，包括：解析与远程应用服务端之间的第一远程桌面协议，获取播放视频所产生的图像数据，并确定图像数据的视频区域；提取视频区域中的数据作为压缩处理的原始数据，并根据网络状态和服务器的负载能力，对原始数据进行压缩处理；根据与远程应用客户端之间的第二远程桌面协议，封装压缩处理后的原始数据，并传输至远程应用客户端。本发明还公开了相应的装置。采用本发明所公开的方案，避免了兼容性问题，减少了对远程应用客户端解码性能的限制，从而实现了在各种带宽环境下提高用户远程视频应用的体验。

Description

对远程应用视频播放进行优化的方法和装置

技术领域

本发明涉及到远程接入技术领域，特别涉及到一种对远程应用视频播放进行优化的方法和装置。

背景技术

随着虚拟化技术的普及与发展，企业会将大多数的业务软件放到云端，然后通过远程应用的方式发布，除了大多数如Word、OA、SAP等文本类应用外，越来越多带视频的应用也被作为远程应用发布，而常用的远程桌面协议方案对视频的体验效果不是很好，这是因为视频会快速更新桌面显示，导致通过远程桌面协议传输给客户端的图像数据的数据量较大，特别是在低带宽网络环境下，视频播放就会出现停顿、卡帧的情况。为此，大多数远程桌面协议都采用视频重定向的方式来提高视频体验。

视频重定向是将服务器端播放的视频原始文件直接转送到客户端，由客户解码并完成显示，这种方法由于传输的视频原始文件通过各种视频编码算法对视频进行压缩，使直接传输的视频文件的大小比远程桌面协议传输的视频图像数据要小，从而减少了数据流，提高了用户体验。但是，采用视频重定向的方式还是存在如下缺陷：

一、服务端需要对各种视频应用的原始视频流进行截取，这样，由于视频应用的种类较多，则会导致较多的兼容性问题。

二、客户端需要对相应的视频文件进行解码播放，这就对客户端解码能力与解码性能有一定的限制。

三、重定向视频文件大小通常较为固定，而在带宽不足以承载视频文件时，也会造成视频播放不流畅的问题，使得用户体验变差。

发明内容

本发明的主要目的为提供一种对远程应用视频播放进行优化的方法和装置，旨在避免兼容性问题，减少对远程应用客户端解码性能的限制，从而实现在各种带宽环境下提高用户远程视频应用的体验。

本发明提供一种对远程应用视频播放进行优化的方法，包括：

解析与远程应用服务端之间的第一远程桌面协议，获取播放视频所产生的图像数据，并确定所述图像数据的视频区域；

提取所述视频区域中的数据作为压缩处理的原始数据，并根据网络状态和服务器的负载能力，对所述原始数据进行压缩处理；

根据与远程应用客户端之间的第二远程桌面协议，封装压缩处理后的所述原始数据，并传输至远程应用客户端。

优选地，所述确定视频区域包括：

分析所获取的所述远程应用服务端播放视频所产生的图像数据更新桌面显示的频率；

根据图像数据更新桌面显示的频率，调用视频应用的绘图接口函数，确定所述图像数据的视频区域。

优选地，所述根据网络状态和服务器的负载能力，对所述原始数据进行压缩处理包括：

统计网络传输流量、网络传输的阻塞状况和控测命令应答时间，评估当前网络状态；

探测当前服务器的负载状况，确定所述服务器的负载能力；

根据所述网络状态和负载能力，调整对所述原始数据的压缩率，根据调整后的所述压缩率压缩所述原始数据。

优选地，所述网络状态至少包括以下之一：网络承载的最大带宽、数据传输的往返时延和丢包率。

本发明还提供一种对远程应用视频播放进行优化的装置，包括：

数据获取模块，用于解析与远程应用服务端之间的第一远程桌面协议，获取播放视频所产生的图像数据；

区域确定模块，用于确定所述图像数据的视频区域；

压缩处理模块，用于提取所述视频区域中的数据作为压缩处理的原始数据，并根据网络状态和服务器的负载能力，对所述原始数据进行压缩处理；

封装及传输模块，用于根据与远程应用客户端之间的第二远程桌面协议，封装压缩处理后的所述原始数据，并传输至远程应用客户端。

优选地，所述区域确定模块包括：

分析单元，用于分析所获取的所述远程应用服务端播放视频所产生的图像数据更新桌面显示的频率；

确定单元，用于根据图像数据更新桌面显示的频率，调用视频应用的绘图接口函数，确定所述图像数据的视频区域。

优选地，所述压缩处理模块包括：

网络状态评估单元，用于统计网络传输流量、网络传输的阻塞状况和控测命令应答时间，评估当前网络状态；

负载能力探测单元，用于探测当前服务器的负载状况，确定所述服务器的负载能力；

调整及压缩单元，用于根据所述网络状态和负载能力，调整对所述原始数据的压缩率，根据调整后的所述压缩率压缩所述原始数据。

优选地，所述网络状态至少包括以下之一：网络承载的最大带宽、数据传输的往返时延和丢包率。

本发明通过协议代理服务器解析与远程应用服务端之间的第一远程桌面协议，获取播放视频所产生的图像数据，并确定图像数据的视频区域；提取该视频区域中的数据作为压缩处理的原始数据，并根据网络状态和服务器的负载能力，对原始数据进行压缩处理；然后，根据与远程应用客户端之间的第二远程桌面协议，封装压缩处理后的原始数据，并传输至远程应用客户端，实现远程视频应用。通过远程桌面协议与远程应用服务端和远程应用客户端进行交互，对远程应用服务端播放视频产生的图像数据进行压缩处理，以减少视频播放过程中的流量，从而避免了兼容性问题，减少了对远程应用客户端解码性能的限制，从而实现了在各种带宽环境下提高用户远程视频应用的体验。

附图说明

图1为本发明对远程应用视频播放进行优化的方法一实施例的流程示意图；

图2为本发明对远程应用视频播放进行优化的方法中确定视频区域的流程示意图；

图3为本发明对远程应用视频播放进行优化的方法中对原始数据进行压缩处理的流程示意图；

图4为本发明对远程应用视频播放进行优化的装置一实施例的结构示意图；

图5为本发明对远程应用视频播放进行优化的装置中区域确定模块的结构示意图；

图6为本发明对远程应用视频播放进行优化的装置中压缩处理模块的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种对远程应用视频播放进行优化的方法，应用于任何使用远程桌面协议的远程接入产品。

远程桌面协议是指用于图形化远程接入的一类协议，描述如何将远程服务器上的界面图像传输到本地和如何将本地的界面操作传输到远程服务器上的协议；通过此类协议可以使用户远程操作网络另一端的计算机，被操作计算机的桌面图像会显示在用户的显示设备上，令用户获得操作本地设备一样的体验。如RDP、ICA、PcoIP、SPICE和VNC等都属于远程桌面协议。

远程应用是指通过使用远程桌面协议实现的一类应用程序，包括远程应用发布、远程桌面或共享桌面等，属于应用虚拟化技术，把应用程序的人机交互逻辑（应用程序界面、键盘及鼠标的操作、音频输入输出、读卡器、打印输出等）与计算逻辑隔离开来。在用户访问一个服务器虚拟化后的应用时，用户计算机只需要把人机交互逻辑通过远程桌面协议传送到服务器端，服务器端为用户开设独立的会话空间，应用程序的计算逻辑在这个会话空间中运行，把变化后的人机交互逻辑传送给客户端，并且在客户端相应的设备展示出来，从而使用户获得如同运行本地应用程序一样的访问感受。这种从客户端运行服务器上应用的虚拟化技术就是远程应用。

本发明所提供的对远程应用视频播放进行优化的方法，采用协议代理服务器，通过第一远程桌面协议和第二远程桌面协议分别与远程应用服务端和远程应用客户端进行交互，对远程应用服务端播放视频产生的图像数据进行压缩处理，以减少视频播放过程中的流量，实现远程应用客户端的远程视频应用。

参照图1，图1为本发明对远程应用视频播放进行优化的方法一实施例的流程示意图。

本实施例所提供的对远程应用视频播放进行优化的方法，包括：

步骤S10，解析与远程应用服务端之间的第一远程桌面协议，获取播放视频所产生的图像数据，并确定图像数据的视频区域；

在远程应用客户端需要进行远程视频应用时，用于代理远程桌面协议的协议代理服务器接收到远程应用客户端通过第二远程桌面协议所发送的远程视频应用的人机交互逻辑后，通过第一远程桌面协议取得与远程应用服务端之间的交互。然后，解析该第一远程桌面协议，以获取远程应用服务端播放视频所产生的图像数据，并确定该图像数据的视频区域。

步骤S20，提取视频区域中的数据作为压缩处理的原始数据，并根据网络状态和服务器的负载能力，对原始数据进行压缩处理；

在确定了远程应用服务端所播放视频的图像数据的视频区域后，将该视频区域中的数据提取出来，并将所提取的数据作为进行压缩处理的原始数据。然后，根据所探测的当前所处网络环境下的网络状态和协议代理服务器的负载能力，对所提取的原始数据进行压缩处理，即完成对视频图像的降帧和视频编码等压缩处理，本实施例中，对视频图像的原始数据进行压缩处理可以采用降帧、有损处理以及H264视频编码的方式来压缩原始数据。

步骤S30，根据与远程应用客户端之间的第二远程桌面协议，封装压缩处理后的原始数据，并传输至远程应用客户端。

对原始数据进行压缩处理后，根据与远程应用客户端之间的第二远程桌面协议，将压缩处理后的原始数据进行封装，并将封装后的原始数据传输至远程应用客户端，供其运行远程应用服务端的视频图像，从而实现远程视频应用。

本发明实施例，通过协议代理服务器解析与远程应用服务端之间的第一远程桌面协议，获取播放视频所产生的图像数据，并确定图像数据的视频区域；提取该视频区域中的数据作为压缩处理的原始数据，并根据网络状态和服务器的负载能力，对原始数据进行压缩处理；然后，根据与远程应用客户端之间的第二远程桌面协议，封装压缩处理后的原始数据，并传输至远程应用客户端，实现远程视频应用。通过远程桌面协议与远程应用服务端和远程应用客户端进行交互，对远程应用服务端播放视频产生的图像数据进行压缩处理，以减少视频播放过程中的流量，从而避免了兼容性问题，减少了对远程应用客户端解码性能的限制，从而实现了在各种带宽环境下提高用户远程视频应用的体验。

参照图2，图2为本发明对远程应用视频播放进行优化的方法中确定视频区域的流程示意图。

在上述实施例中，步骤S10中确定图像数据的视频区域包括：

步骤S11，分析所获取的远程应用服务端播放视频所产生的图像数据更新桌面显示的频率；

步骤S12，根据图像数据更新桌面显示的频率，调用视频应用的绘图接口函数，确定图像数据的视频区域。

解析与远程应用服务端之间的第一远程桌面协议，并获取到远程应用服务端播放视频所产生的图像数据之后，确定图像数据的视频区域时，首先分析图像数据在播放时更新桌面显示的频率，而后根据图像数据更新桌面显示的频率，调用协议代理服务器中视频应用的绘图接口函数，确定远程应用客户端所需要应用的图像数据的视频区域。本实施例中，确定图像数据的视频区域可以采用启发式视频探测算法或API HOOK视频应用的方法进行探测，当然，也可采用其他探测方法。

获取到远程应用服务端播放视频所产生的图像数据之后，确定图像数据的视频区域时，分析所获取的远程应用服务端播放视频所产生的图像数据更新桌面显示的频率，并根据图像数据更新桌面显示的频率，调用视频应用的绘图接口函数，确定图像数据的视频区域，为减少对远程应用客户端解码性能的限制提供了前提保证。

参照图3，图3为本发明对远程应用视频播放进行优化的方法中对原始数据进行压缩处理的流程示意图。

在上述实施例中，步骤S20包括：

步骤S21，统计网络传输流量、网络传输的阻塞状况和控测命令应答时间，评估当前网络状态；

步骤S22，探测当前服务器的负载状况，确定服务器的负载能力；

在确定了远程应用服务端所播放视频的图像数据的视频区域，并将该视频区域中的数据提取出来作为进行压缩处理的原始数据之后，协议代理服务器通过统计网络传输流量、网络传输的阻塞状况和控测命令应答时间等参数，来评估当前网络状态，本实施例中，所评估出的网络状态至少可以包括网络承载的最大带宽、数据传输的往返时延和丢包率等数据。同时，协议代理服务器探测当前自身的负载状况，即探测自身CPU和/或GPU的负载状态，从而进一步确定服务器的负载能力。

步骤S23，根据网络状态和负载能力，调整对原始数据的压缩率，根据调整后的压缩率压缩原始数据。

当协议代理服务器评估出当前网络状态和其自身的负载能力后，根据网络状态和负载能力，动态调整对原始数据进行压缩处理的压缩率，该压缩率为对原始数据进行压缩处理时所参照的压缩幅度，即根据该压缩率决定对原始数据进行压缩后的数据量。例如，当前网络状态较差和/或服务器的负载能力较低时，则可以提高压缩率，即降低图像质量， 以减少视频图像的数据量，保证视频播放的流畅性。

在将所确定的视频区域中的数据提取出来作为进行压缩处理的原始数据之后，统计网络传输流量、网络传输的阻塞状况和控测命令应答时间来评估当前网络状态，同时探测当前服务器的负载状况，确定服务器的负载能力；并根据网络状态和负载能力，调整对原始数据的压缩率，根据调整后的压缩率压缩原始数据。从而可以减少视频图像的数据量，保证了视频播放的流畅性，并进一步避免了兼容性问题，进一步实现了在各种带宽环境下提高用户远程视频应用的体验。

本发明还提供一种对远程应用视频播放进行优化的装置。

参照图4，图4为本发明对远程应用视频播放进行优化的装置一实施例的结构示意图。

本实施例所提供的对远程应用视频播放进行优化的装置，包括：

数据获取模块10，用于解析与远程应用服务端之间的第一远程桌面协议，获取播放视频所产生的图像数据；

区域确定模块20，用于确定图像数据的视频区域；

压缩处理模块30，用于提取视频区域中的数据作为压缩处理的原始数据，并根据网络状态和服务器的负载能力，对原始数据进行压缩处理；

封装及传输模块40，用于根据与远程应用客户端之间的第二远程桌面协议，封装压缩处理后的原始数据，并传输至远程应用客户端。

在远程应用客户端需要进行远程视频应用时，用于代理远程桌面协议的协议代理服务器接收到远程应用客户端通过第二远程桌面协议所发送的远程视频应用的人机交互逻辑后，通过第一远程桌面协议取得与远程应用服务端之间的交互。然后，数据获取模块10解析该第一远程桌面协议，以获取远程应用服务端播放视频所产生的图像数据，并通过区域确定模块20确定该图像数据的视频区域。

在确定了远程应用服务端所播放视频的图像数据的视频区域后，压缩处理模块30将该视频区域中的数据提取出来，并将所提取的数据作为进行压缩处理的原始数据。然后，根据所探测的当前所处网络环境下的网络状态和协议代理服务器的负载能力，对所提取的原始数据进行压缩处理，即完成对视频图像的降帧和视频编码等压缩处理，本实施例中，对视频图像的原始数据进行压缩处理可以采用降帧、有损处理以及H264视频编码的方式来压缩原始数据。

对原始数据进行压缩处理后，封装及传输模块40根据与远程应用客户端之间的第二远程桌面协议，将压缩处理后的原始数据进行封装，并将封装后的原始数据传输至远程应用客户端，供其运行远程应用服务端的视频图像，从而实现远程视频应用。

本发明实施例，通过协议代理服务器解析与远程应用服务端之间的第一远程桌面协议，获取播放视频所产生的图像数据，并确定图像数据的视频区域；提取该视频区域中的数据作为压缩处理的原始数据，并根据网络状态和服务器的负载能力，对原始数据进行压缩处理；然后，根据与远程应用客户端之间的第二远程桌面协议，封装压缩处理后的原始数据，并传输至远程应用客户端，实现远程视频应用。通过远程桌面协议与远程应用服务端和远程应用客户端进行交互，对远程应用服务端播放视频产生的图像数据进行压缩处理，以减少视频播放过程中的流量，从而避免了兼容性问题，减少了对远程应用客户端解码性能的限制，从而实现了在各种带宽环境下提高用户远程视频应用的体验。

参照图5，图5为本发明对远程应用视频播放进行优化的装置中区域确定模块的结构示意图。

在上述实施例中，区域确定模块20包括：

分析单元21，用于分析所获取的远程应用服务端播放视频所产生的图像数据更新桌面显示的频率；

确定单元22，用于根据图像数据更新桌面显示的频率，调用视频应用的绘图接口函数，确定图像数据的视频区域。

解析与远程应用服务端之间的第一远程桌面协议，并获取到远程应用服务端播放视频所产生的图像数据之后，确定图像数据的视频区域时，首先通过分析单元21分析图像数据在播放时更新桌面显示的频率，而后确定单元22根据图像数据更新桌面显示的频率，调用协议代理服务器中视频应用的绘图接口函数，确定远程应用客户端所需要应用的图像数据的视频区域。本实施例中，确定图像数据的视频区域可以采用启发式视频探测算法或API HOOK视频应用的方法进行探测，当然，也可采用其他探测方法。

获取到远程应用服务端播放视频所产生的图像数据之后，确定图像数据的视频区域时，分析所获取的远程应用服务端播放视频所产生的图像数据更新桌面显示的频率，并根据图像数据更新桌面显示的频率，调用视频应用的绘图接口函数，确定图像数据的视频区域，为减少对远程应用客户端解码性能的限制提供了前提保证。

参照图6，图6为本发明对远程应用视频播放进行优化的装置中压缩处理模块的结构示意图。

在上述实施例中，压缩处理模块30包括：

网络状态评估单元31，用于统计网络传输流量、网络传输的阻塞状况和控测命令应答时间，评估当前网络状态；

负载能力探测单元32，用于探测当前服务器的负载状况，确定服务器的负载能力；

调整及压缩单元33，用于根据网络状态和负载能力，调整对原始数据的压缩率，根据调整后的压缩率压缩原始数据。

在确定了远程应用服务端所播放视频的图像数据的视频区域，并将该视频区域中的数据提取出来作为进行压缩处理的原始数据之后，协议代理服务器的网络状态评估单元31通过统计网络传输流量、网络传输的阻塞状况和控测命令应答时间等参数，来评估当前网络状态，本实施例中，所评估出的网络状态至少可以包括网络承载的最大带宽、数据传输的往返时延和丢包率等数据。同时，协议代理服务器的负载能力探测单元32探测当前自身的负载状况，即探测自身CPU和/或GPU的负载状态，从而进一步确定服务器的负载能力。

当协议代理服务器评估出当前网络状态和其自身的负载能力后，调整及压缩单元33根据网络状态和负载能力，动态调整对原始数据进行压缩处理的压缩率，该压缩率为对原始数据进行压缩处理时所参照的压缩幅度，即根据该压缩率决定对原始数据进行压缩后的数据量。例如，当前网络状态较差和/或服务器的负载能力较低时，则可以提高压缩率，即降低图像质量， 以减少视频图像的数据量，保证视频播放的流畅性。

在将所确定的视频区域中的数据提取出来作为进行压缩处理的原始数据之后，统计网络传输流量、网络传输的阻塞状况和控测命令应答时间来评估当前网络状态，同时探测当前服务器的负载状况，确定服务器的负载能力；并根据网络状态和负载能力，调整对原始数据的压缩率，根据调整后的压缩率压缩原始数据。从而可以减少视频图像的数据量，保证了视频播放的流畅性，并进一步避免了兼容性问题，进一步实现了在各种带宽环境下提高用户远程视频应用的体验。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围。

Claims (8)

1.一种对远程应用视频播放进行优化的方法，其特征在于，包括：

解析与远程应用服务端之间的第一远程桌面协议，获取播放视频所产生的图像数据，并确定所述图像数据的视频区域；

提取所述视频区域中的数据作为压缩处理的原始数据，并根据网络状态和服务器的负载能力，对所述原始数据进行压缩处理；

根据与远程应用客户端之间的第二远程桌面协议，封装压缩处理后的所述原始数据，并传输至远程应用客户端。

2.根据权利要求1所述的方法，其特征在于，所述确定视频区域包括：

分析所获取的所述远程应用服务端播放视频所产生的图像数据更新桌面显示的频率；

根据图像数据更新桌面显示的频率，调用视频应用的绘图接口函数，确定所述图像数据的视频区域。

3.根据权利要求2所述的方法，其特征在于，所述根据网络状态和服务器的负载能力，对所述原始数据进行压缩处理包括：

统计网络传输流量、网络传输的阻塞状况和控测命令应答时间，评估当前网络状态；

探测当前服务器的负载状况，确定所述服务器的负载能力；

根据所述网络状态和负载能力，调整对所述原始数据的压缩率，根据调整后的所述压缩率压缩所述原始数据。

4.根据权利要求3所述的方法，其特征在于，所述网络状态至少包括以下之一：网络承载的最大带宽、数据传输的往返时延和丢包率。

5.一种对远程应用视频播放进行优化的装置，其特征在于，包括：

数据获取模块，用于解析与远程应用服务端之间的第一远程桌面协议，获取播放视频所产生的图像数据；

区域确定模块，用于确定所述图像数据的视频区域；

压缩处理模块，用于提取所述视频区域中的数据作为压缩处理的原始数据，并根据网络状态和服务器的负载能力，对所述原始数据进行压缩处理；

封装及传输模块，用于根据与远程应用客户端之间的第二远程桌面协议，封装压缩处理后的所述原始数据，并传输至远程应用客户端。

6.根据权利要求5所述的装置，其特征在于，所述区域确定模块包括：

分析单元，用于分析所获取的所述远程应用服务端播放视频所产生的图像数据更新桌面显示的频率；

确定单元，用于根据图像数据更新桌面显示的频率，调用视频应用的绘图接口函数，确定所述图像数据的视频区域。

7.根据权利要求6所述的装置，其特征在于，所述压缩处理模块包括：

网络状态评估单元，用于统计网络传输流量、网络传输的阻塞状况和控测命令应答时间，评估当前网络状态；

负载能力探测单元，用于探测当前服务器的负载状况，确定所述服务器的负载能力；

调整及压缩单元，用于根据所述网络状态和负载能力，调整对所述原始数据的压缩率，根据调整后的所述压缩率压缩所述原始数据。

8.根据权利要求7所述的装置，其特征在于，所述网络状态至少包括以下之一：网络承载的最大带宽、数据传输的往返时延和丢包率。

Images