CN107613029A - 一种适用于移动端或Web端的虚拟桌面远程方法及系统 - Google Patents

Abstract

本发明为一种适用于移动端或Web端的虚拟桌面远程方法及系统，属于网络技术领域。本发明将VDI远程屏幕封装成浏览器支持的编码流，通过MSE的视频流传输扩展协议将编码流封装成浏览器能识别的视频流，利用HTML5 video标签对视频流进行播放显示。这种方案可以采用更高效的帧相关视频编码算法来降低传输流量；并且可以充分利用浏览器的硬件进行解码的功能来降低计算资源的使用，提高了交互体验性。

Description

一种适用于移动端或Web端的虚拟桌面远程方法及系统

技术领域

本发明涉及网络技术领域，具体涉及一种适用于移动端或Web端的虚拟桌面远程方法及系统。

背景技术

桌面虚拟化(Virtual Desktop Infrastructure,VDI)：桌面虚拟化(又称虚拟桌面架 构)是利用虚拟化的技术，将操作系统和应用程序统一存放在数据中心的服务器及存储设备中，通过建立虚拟机池，为不同的用户提供桌面。用户通过采用不同的终端设备，利用对应的虚拟桌面显示协议和虚拟机进行连接，从而在终端上显示虚拟机的操作界面，终端仅作为输入端和输出端，计算和存储全部在服务器端。通过显示协议的优化和一些外设的重定向技术，使得访问虚拟桌面和使用本地的PC达到体验一致。 该架构可以提供集中管理的维护和安全优势，同时具有移动优势，在任何地方都可以访问到自己的桌面环境。

MSE（Media Source Extensions）： W3C制定的扩展网页音视频的一种标准，允许网 页媒体标签动态的播放音视频流而不仅仅是音视频文件。

WebSocket： 基于TCP的一种新的网络协议。它实现了浏览器与服务器全双工(full-duplex)通信——允许服务器主动发送信息给客户端。

虚拟化技术在节省IT硬件成本，提高服务器利用率等方面给企业带来了诸多好处，随着虚拟化技术和管理的提升及普及，越来越多的企业开始进行虚拟化方案的部署。为了进一步提升虚拟化桌面使用的便携性和高效性，通过浏览器来登录远程桌面，可以从Android、iOS移动端， PC端等接入并操作远程桌面，可以极大的扩大VDI的使用场景和提升用户体验。

目前，常见的VDI远程显示协议，一般是在服务器端获取到虚拟机的屏幕图像后，对屏幕变化内容使用帧不相关的图像编码算法（例如JPEG）进行编码，然后把编码后的数据传给客户端，客户端利用其解码模块进行解码显示。这种显示方案对于web端来说很不友好。首先，web端是基于浏览器的，在浏览器里使用JavaScript进行图像解码，会损耗大量的计算资源，且解码的效率低下；其次，将编码后的图像显示到浏览器界面上，由于浏览器的JavaScript解析引擎是单线程的，大量的计算资源跟显示交互在同个线程中，造成交互体验变差；最后，该方案下的编码在图像变化较大时流量很大，在基于无线网络的移动端上流量过大会导致无线网络不够稳定，交互体验变差。

发明内容

为了解决现有技术中的问题，本发明将VDI远程屏幕封装成浏览器支持的编码流，通过MSE的视频流传输扩展协议将编码流封装成浏览器能识别的视频流，利用HTML5 video标签对视频流进行播放显示。这种方案可以采用更高效的帧相关视频编码算法来降低传输流量；并且可以充分利用浏览器的硬件进行解码的功能来降低计算资源的使用，提高了交互体验性。

实现本发明目的的技术方案为：

一种适用于移动端或Web端的虚拟桌面远程方法，包括：

S1、客户端登录虚拟机；

S2、服务器端接受客户端登录，定时获取更新的屏幕数据，通过编码模块进行编码；

S3、服务器端通过websocket发送编码后的编码流数据到客户端浏览器；

S4、客户端浏览器接收到编码流后，封装模块通过JavaScript代码对编码流进行格式封装，转化成视频流，并将视频流通过MSE接口提交到缓冲区；

S5、解码模块从缓冲区获取视频流后进行解码；

S6、播放模块将解码后的数据进行显示。

进一步的，所述步骤S2中编码模块通过帧相关视频编码算法进行压缩编码。

进一步的，所述帧相关视频编码算法为h264编码或VP8编码。

进一步的，所述步骤S4中封装模块将编码流封装成流式视频格式。

进一步的，所述流式视频格式为WebM、 ogg或 fMP4格式。

一种适用于移动端或Web端的虚拟桌面远程系统，包括服务器端的解码模块、移动端或Web端的封装模块、解码模块和播放模块，其中，

编码模块：服务器在获取到虚拟机的屏幕图像数据后，采用帧相关压缩编码算法进行压缩编码；

封装模块：移动端或Web端从websocket获取到编码后的裸流数据，封装成流式视频格式，然后通过MSE接口提交给浏览器；

解码模块：HTML5 video标签从MSE中提取到视频数据后根据浏览器的设置调用软解或者硬解模块解码视频；

播放模块： HTML5 video标签自动渲染解码后的视频数据。

进一步的，所述编码模块包括图像获取模块、图像编码模块和图像传输模块，其中，

图像获取模块：负责从虚拟机显卡获取桌面图像原始数据；

图像编码模块：将获取到原始桌面图像数据压缩编码；

图像传输模块：将编码后的数据传给本地websocket代理服务器。

进一步的，所述封装模块包括传输模块、解析模块、封装模块和提交模块，其中，

传输模块：从websocket代理服务器接收编码后的数据；

解析模块：从传输模块接收的编码流数据中解析出一帧一帧的编码图像数据；

封装模块：将解析后的单帧编码图像数据封装成指定流格式的视频帧数据；

提交模块：将封装后的视频帧数据使用MSE接口提交到缓冲区。

本发明的有益效果为：

本发明极大的降低了VDI屏幕传输流量，并提高了交互体验性，真正的做到了实时交互的体验效果。

和现有技术相比，本发明通过将VDI屏幕数据封装成视频流，借助浏览器的视频播放功能，在web上解决了传统VDI显示协议流量大、交互体验差的问题，和目前VDI远程显示协议相比，有以下的创新点：

利用html5 video和 MSE 流式视频来显示VDI远程屏幕；

使用帧相关编码降低了传输流量，将利用浏览器的硬解码功能对编码流进行硬件解码；

需要保护的技术方案在于采用视频流封装VDI屏幕数据并使用html5对其解析播放的方式，解决目前web端的VDI显示协议交互体验差的问题。

附图说明

图1为本发明实施例中适用于移动端或Web端的虚拟桌面远程系统的主要模块示意图；

图2为本发明实施例中编码模块的示意图；

图3为本发明实施例中封装模块的示意图。

具体实施方式

图1-图3用以解释本发明，但本发明不限于图1-图3所示的范围内。

为了解决现有技术中的问题，本发明创新性的将VDI远程屏幕封装成浏览器支持的编码流，通过MSE的视频流传输扩展协议将编码流封装成浏览器能识别的视频流，利用HTML5 video标签对视频流进行播放显示。这种方案可以采用更高效的帧相关视频编码算法（如h264）来降低传输流量；并且可以充分利用浏览器的硬件进行解码的功能来降低计算资源的使用，提高了交互体验性。

一种适用于移动端或Web端的虚拟桌面远程方法，包括：

S1、客户端通过浏览器在虚拟机登录网页输入虚拟机用户名及密码后登录虚拟机；

S2、服务器端接受客户端登录，定时获取更新的屏幕数据，通过编码模块进行编码；

S3、服务器端通过websocket发送编码后的编码流数据到客户端浏览器；

S4、客户端浏览器接收到编码流后，封装模块通过JavaScript代码对编码流进行格式封装，转化成视频流，并将视频流通过MSE接口提交到缓冲区；

S5、解码模块从缓冲区获取视频流后进行解码；

S6、播放模块将解码后的数据进行显示。

服务器对每一帧图像数据进行压缩编码，编码后的数据通过websocket传输给web客户端。 浏览器收到图像数据后，使用JavaScript封装成视频流格式，如WebM， ogg，fMP4等，使用MSE接口提交给html5 video标签，浏览器识别到支持的视频流格式，会使用浏览器硬解码功能进行图像解码，并渲染播放显示。

为了降低传输流量，步骤S2中编码模块通过帧相关视频编码算法进行压缩编码，优选h264编码。

本发明还提供应用上述方法的一种适用于移动端或Web端的虚拟桌面远程系统，包括服务器端的解码模块、移动端或Web端的封装模块、解码模块和播放模块，其中，

编码模块：服务器在获取到虚拟机的屏幕图像数据后，采用帧相关压缩编码算法进行压缩编码，例如h264编码或VP8编码；

封装模块：移动端或Web端从websocket获取到编码后的裸流数据，封装成流式视频格式（WebM、ogg或 fMP4），然后通过MSE接口提交给浏览器；

解码模块：HTML5 video标签从MSE中提取到视频数据后根据浏览器的设置调用软解或者硬解模块解码视频；

播放模块：HTML5 video标签自动渲染解码后的视频数据。

本发明中的编码模块是服务器端的模块，具体功能是对虚拟机的屏幕图像压缩编码，然后传给webscoket代理服务器。

如图2所示，本发明中的编码模块包括图像获取模块、图像编码模块和图像传输模块，其中，

图像获取模块：负责从虚拟机显卡获取桌面图像原始数据；

图像编码模块：将获取到原始桌面图像数据压缩编码；

图像传输模块：将编码后的数据传给本地websocket代理服务器。

本发明中的封装模块是客户端（即web端）的模块，具体功能是从websocket代理接收图像编码数据，解析数据，并封装成浏览器支持的流式视频格式，利用MSE接口提交视频流给浏览器。

如图3所示，本发明中的封装模块包括传输模块、解析模块、封装模块和提交模块，其中，

传输模块：从websocket代理服务器接收编码后的数据；

解析模块：从传输模块接收的编码流数据中解析出一帧一帧的编码图像数据，获取特定的图像信息；

封装模块：将解析后的单帧编码图像数据封装成指定流格式的视频帧数据；

提交模块：将封装后的视频帧数据使用MSE接口提交到缓冲区。

本发明中的解码模块是客户端（即web端）的模块，基于HTML video 标签实现，主要功能是从MSE缓冲区中获得封装后的视频帧数据，并解码成可以渲染的原始图像数据。

本发明中的播放模块是客户端（即web端）的模块，主要功能是设置浏览器成直播流解码模式并自动播放，让浏览器播放显示解码后的视频帧数据。

本发明的方法和应用该方法的系统极大的降低了VDI屏幕传输流量，并提高了交互体验性，真正的做到了实时交互的体验效果。

和现有技术相比，本发明通过将VDI屏幕数据封装成视频流，借助浏览器的视频播放功能，在web上解决了传统VDI显示协议流量大、交互体验差的问题，和目前VDI远程显示协议相比，有以下的创新点：

利用html5 video和 MSE 流式视频来显示VDI远程屏幕；

使用帧相关编码降低了传输流量，将利用浏览器的硬解码功能对编码流进行硬件解码；

需要保护的技术方案在于采用视频流封装VDI屏幕数据并使用html5对其解析播放的方式，解决目前web端的VDI显示协议交互体验差的问题。

上述实施例仅为本发明具体实施例,但并不局限于实施例,凡在不脱离本发明构思的情况下,依本申请所做的等效修饰和现有技术添加均视为本发明技术范畴。

Claims (8)

1.一种适用于移动端或Web端的虚拟桌面远程方法，其特征在于：包括：

S1、客户端登录虚拟机；

S2、服务器端接受客户端登录，定时获取更新的屏幕数据，通过编码模块进行编码；

S3、服务器端通过websocket发送编码后的编码流数据到客户端浏览器；

S4、客户端浏览器接收到编码流后，封装模块通过JavaScript代码对编码流进行格式封装，转化成视频流，并将视频流通过MSE接口提交到缓冲区；

S5、解码模块从缓冲区获取视频流后进行解码；

S6、播放模块将解码后的数据进行显示。

2.根据权利要求1所述的一种适用于移动端或Web端的虚拟桌面远程方法，其特征在于：所述步骤S2中编码模块通过帧相关视频编码算法进行压缩编码。

3.根据权利要求2所述的一种适用于移动端或Web端的虚拟桌面远程方法，其特征在于：所述帧相关视频编码算法为h264编码或VP8编码。

4.根据权利要求1所述的一种适用于移动端或Web端的虚拟桌面远程方法，其特征在于：所述步骤S4中封装模块将编码流封装成流式视频格式。

5.根据权利要求4所述的一种适用于移动端或Web端的虚拟桌面远程方法，其特征在于：所述流式视频格式为WebM、 ogg或 fMP4格式。

6.一种适用于移动端或Web端的虚拟桌面远程系统，其特征在于：包括服务器端的解码模块、移动端或Web端的封装模块、解码模块和播放模块，其中，

编码模块：服务器在获取到虚拟机的屏幕图像数据后，采用帧相关压缩编码算法进行压缩编码；

封装模块：移动端或Web端从websocket获取到编码后的裸流数据，封装成流式视频格式，然后通过MSE接口提交给浏览器；

解码模块：HTML5 video标签从MSE中提取到视频数据后根据浏览器的设置调用软解或者硬解模块解码视频；

播放模块： HTML5 video标签自动渲染解码后的视频数据。

7.根据权利要求6所述的一种适用于移动端或Web端的虚拟桌面远程系统，其特征在于：所述编码模块包括图像获取模块、图像编码模块和图像传输模块，其中，

图像获取模块：负责从虚拟机显卡获取桌面图像原始数据；

图像编码模块：将获取到原始桌面图像数据压缩编码；

图像传输模块：将编码后的数据传给本地websocket代理服务器。

8.根据权利要求6或7所述的一种适用于移动端或Web端的虚拟桌面远程系统，所述封装模块包括传输模块、解析模块、封装模块和提交模块，其中，

传输模块：从websocket代理服务器接收编码后的数据；

解析模块：从传输模块接收的编码流数据中解析出一帧一帧的编码图像数据；

封装模块：将解析后的单帧编码图像数据封装成指定流格式的视频帧数据；

提交模块：将封装后的视频帧数据使用MSE接口提交到缓冲区。