CN103428297A - 基于桌面虚拟化的远程交互系统架构 - Google Patents

基于桌面虚拟化的远程交互系统架构 Download PDF

Info

Publication number
CN103428297A
CN103428297A CN2013103865579A CN201310386557A CN103428297A CN 103428297 A CN103428297 A CN 103428297A CN 2013103865579 A CN2013103865579 A CN 2013103865579A CN 201310386557 A CN201310386557 A CN 201310386557A CN 103428297 A CN103428297 A CN 103428297A
Authority
CN
China
Prior art keywords
virtual
desktop
picture
virtual machine
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013103865579A
Other languages
English (en)
Inventor
王佳骏
吴杰蔚
戚正伟
管海兵
朱建凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN2013103865579A priority Critical patent/CN103428297A/zh
Publication of CN103428297A publication Critical patent/CN103428297A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)

Abstract

一种基于桌面虚拟化的远程交互系统架构,包括桌面虚拟机,虚拟显示设备拦截器、虚拟回环模块、事件管理器和视频流模块;本发明适用于在云计算环境下的多虚拟机系统中部署,客户端只需将数据流当成视频流播放即可,无需接收指令并绘图,降低了客户端的计算需求,使得传输过程所占用带宽降低。

Description

基于桌面虚拟化的远程交互系统架构
技术领域
本发明涉及计算机系统架构技术领域,具体是一种基于桌面虚拟化的远程交互系统架构。
背景技术
现如今社会,企业、教育机构、政府机关等对计算机资源的需求日益增长。与此相反,可以利用的资源是相当有限的。对资源的利用和管理便成了关键。为了提高资源利用率降低管理成本,虚拟化技术便成为一种可行且有效的解决方案。虚拟化技术在快速部署,架构灵活性上有诸多优势。
桌面虚拟化是一种与虚拟化技术结合的桌面投送技术。有别于传统的桌面投送系统,桌面虚拟化将桌面环境和相关应用软件从物理客户端设备中隔离出来。桌面虚拟化系统通常用于复杂的桌面环境管理系统。
目前存在的桌面虚拟化方案,存在着响应时间高,带宽占用率高的问题。另一个关键问题是对多媒体应用(如3D游戏,高清电影)的画面保真度不高,交互效果不理想。大部分方案只针对画面变动较小的应用(如文字编辑)有着良好效果,遇到多媒体应用时,受制于网络环境等多方面因素,这些方案都表现的相当糟糕。有的方案甚至对这类多媒体应用完全不支持。
经过现有的技术检索发现,比利时根特大学在解决提高远程交互系统效率时采用将桌面信息输出到专用的画面录制硬件上,再将压缩过的画面传送到本地用户的屏幕上。但这种使用专用设备的系统架构不能应用于桌面虚拟化方案。录制设备不能解决多个虚拟的桌面同时传送给多个不同用户的需求。
美国哥伦比亚大学开发了THINC系统来解决远程交互效率不高的问题。THINC系统是通过拦截系统的绘图指令,将其简化后发送到客户端进行重绘来实现的。这种系统需要对操作系统进行代码上的修改,而在桌面虚拟化系统中,通常虚拟机对于管理系统来说是透明的,即不可修改的。
发明内容
本发明针对上述现有的桌面虚拟化方案的在解决多媒体交互应用上的不足,提出一种基于桌面虚拟化的远程交互系统架构,将传统的单机远程交互技术引入桌面虚拟化系统中,实现无需更改宿主机的图像驱动、子机操作系统和应用。
本发明的技术方案如下:
一种基于桌面虚拟化的远程交互系统架构,包括桌面虚拟机,其特征在于,还包括虚拟显示设备拦截器、虚拟回环模块、事件管理器和视频流模块:
所述的虚拟显示设备拦截器:用于将所述的桌面虚拟机的显示画面进行拦截,该桌面虚拟机存放在宿主系统的帧缓存中,虚拟显示设备拦截器获取虚拟机的画面后,输出至所述的虚拟回环模块:
所述的虚拟回环模块:具有一个虚拟视频设备,该虚拟视频设备像普通的视频设备一样从所述的虚拟显示设备拦截器读取和捕获画面,并将该画面发送至所述的视频流模块,同时存入缓冲区;
所述的事件管理器:负责将客户端的鼠标键盘事件接收后在服务器端的虚拟机中重放;
所述的视频流模块:用于将缓冲区的画面进行编码,并不断地将画面推送到客户端。
编码可以采用高性能且高保真的压缩格式,如商用的H.264编码亦或者开源的WebM编码。为了进一步降低服务器与客户端之间的同步开销。视频流模块不停的将画面推送到客户端,以减少客户单发送同步命令带来的网络延迟。
与现有技术相比,本发明的技术效果如下:
1.相比传统的单机中的远程桌面,本系统更适用于在云计算环境下的多虚拟机系统中部署。
2.基于流媒体技术,客户端只需将数据流当成视频流播放即可,无需接收指令并绘图,降低了客户端的计算需求。
3.基于流媒体技术,使得传输过程所占用带宽降低。
附图说明
图1是本发明基于桌面虚拟化的远程交互系统架构的框图。
图2是本发明的执行流程图。
图3是本发明实施平台。
具体实施方式
下面对本发明的实施例作详细说明,本实施例在本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,本发明的适用平台不限于下述的实施例。
一种基于桌面虚拟化的远程交互系统架构,包括桌面虚拟机,虚拟显示设备拦截器、虚拟回环模块、事件管理器和视频流模块:
所述的桌面虚拟机:通过修改已有的虚拟机软件(如Qemu、VirtualBox等),可以在宿主操作系统中截取虚拟机的画面。
所述的虚拟显示设备拦截器:用于将所述的桌面虚拟机的显示画面进行拦截,该桌面虚拟机存放在宿主系统的帧缓存中,虚拟显示设备拦截器获取虚拟机的画面后,输出至所述的虚拟回环模块:
所述的虚拟回环模块:具有一个虚拟视频设备,该虚拟视频设备像普通的视频设备一样从所述的虚拟显示设备拦截器读取和捕获画面,并将该画面发送至所述的视频流模块,同时存入缓冲区;
所述的事件管理器:负责将客户端的鼠标键盘事件接收后在服务器端的虚拟机中重放;
所述的视频流模块:用于将缓冲区的画面进行编码,并不断地将画面推送到客户端。
本实施例的具体操作平台是i7-9202.66GHz的CPU,6GB RAM,宿主操作系统使用的是Linux64位操作系统。虚拟机运行的操作系统是Windows7和无需修改内核的Linux。使用的虚拟桌面平台是KVM,每一台虚拟机都被分配了两个虚拟CPU以及2GB的内存,虚拟桌面的屏幕分辨率是1024*768。网络环境分为两种,一种是百兆带宽的局域网,另一种是10兆带宽的广域网,并带有66ms的延迟。具体实施平台和连接方式见图3
本实施例具体操作过程见图2。首先,虚拟机上的虚拟桌面生成的画面被填充到虚拟显示设备的帧缓存中。然后拦截器将帧缓存的内容拦截下来,转发给虚拟回环。虚拟回环生成虚拟视频设备。视频流不断从虚拟视频设备中读取虚拟桌面的画面,将其进行画面缩放来适应一些低分辨率的客户端,再将其进行编码,压缩画面大小,通过RTP网络协议,将数据打包发送给客户端。客户端在接收到数据包后,再通过RTP协议将数据解包。之后将压缩的画面数据使用对应编码的解码器进行视频解码,最后将解码的虚拟桌面数据填充到客户端本地的帧缓存当中。
相应的,客户端的用户会进行一些操作,客户端软件将会根据应用程序中得到的键盘码与鼠标位置,记录下用户的键盘鼠标操作,打包后发至服务器端,服务器收到后,事件管理器会将这些操作在虚拟机中进行重放,以达到客户端与远端的虚拟机操作的目的。
在实施平台上的测试结果显示,在两种网络环境下,平均带宽占用不足5Mbps,最长延迟响应时间不超过250ms,单个虚拟桌面CPU占用率不超过15%,图像保真度达到90%以上。我们提出的基于桌面虚拟化的远程交互系统架构可以在不修改客户操作系统的情况下进行高效率的多媒体应用交互。

Claims (1)

1.一种基于桌面虚拟化的远程交互系统架构,包括桌面虚拟机,其特征在于,还包括虚拟显示设备拦截器、虚拟回环模块、事件管理器和视频流模块;
所述的虚拟显示设备拦截器:用于将所述的桌面虚拟机的显示画面进行拦截,该桌面虚拟机存放在宿主系统的帧缓存中,虚拟显示设备拦截器获取虚拟机的画面后,输出至所述的虚拟回环模块;
所述的虚拟回环模块:具有一个虚拟视频设备,该虚拟视频设备像普通的视频设备一样从所述的虚拟显示设备拦截器读取和捕获画面,并将该画面发送至所述的视频流模块,同时存入缓冲区;
所述的事件管理器:负责将客户端的鼠标键盘事件接收后在服务器端的虚拟机中重放;
所述的视频流模块:用于将缓冲区的画面进行编码,并不断地将画面推送到客户端。
CN2013103865579A 2013-08-30 2013-08-30 基于桌面虚拟化的远程交互系统架构 Pending CN103428297A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2013103865579A CN103428297A (zh) 2013-08-30 2013-08-30 基于桌面虚拟化的远程交互系统架构

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2013103865579A CN103428297A (zh) 2013-08-30 2013-08-30 基于桌面虚拟化的远程交互系统架构

Publications (1)

Publication Number Publication Date
CN103428297A true CN103428297A (zh) 2013-12-04

Family

ID=49652461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013103865579A Pending CN103428297A (zh) 2013-08-30 2013-08-30 基于桌面虚拟化的远程交互系统架构

Country Status (1)

Country Link
CN (1) CN103428297A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636435A (zh) * 2014-12-26 2015-05-20 中电科华云信息技术有限公司 云终端录屏方法
CN106227491A (zh) * 2016-08-04 2016-12-14 浪潮电子信息产业股份有限公司 一种远程桌面视频播放方法、服务器、客户端及系统
CN107193734A (zh) * 2017-05-17 2017-09-22 上海交通大学 用于移动Web应用的重放方法及重放系统
CN108307390A (zh) * 2016-08-25 2018-07-20 大连楼兰科技股份有限公司 无屏智能设备的用户交互系统及交互方法
CN111402363A (zh) * 2020-06-04 2020-07-10 广东睿江云计算股份有限公司 一种框架图片色彩填充的方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541555A (zh) * 2011-12-27 2012-07-04 福建升腾资讯有限公司 一种使用api拦截方式实现远程桌面视频流畅播放的方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541555A (zh) * 2011-12-27 2012-07-04 福建升腾资讯有限公司 一种使用api拦截方式实现远程桌面视频流畅播放的方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636435A (zh) * 2014-12-26 2015-05-20 中电科华云信息技术有限公司 云终端录屏方法
CN104636435B (zh) * 2014-12-26 2017-10-31 中电科华云信息技术有限公司 云终端录屏方法
CN106227491A (zh) * 2016-08-04 2016-12-14 浪潮电子信息产业股份有限公司 一种远程桌面视频播放方法、服务器、客户端及系统
CN106227491B (zh) * 2016-08-04 2019-05-14 浪潮电子信息产业股份有限公司 一种远程桌面视频播放方法、服务器、客户端及系统
CN108307390A (zh) * 2016-08-25 2018-07-20 大连楼兰科技股份有限公司 无屏智能设备的用户交互系统及交互方法
CN107193734A (zh) * 2017-05-17 2017-09-22 上海交通大学 用于移动Web应用的重放方法及重放系统
CN111402363A (zh) * 2020-06-04 2020-07-10 广东睿江云计算股份有限公司 一种框架图片色彩填充的方法和系统

Similar Documents

Publication Publication Date Title
US8234398B2 (en) Method and system for low-latency transfer protocol
US20180131741A1 (en) Adaptive media streaming method and apparatus according to decoding performance
CN108337545B (zh) 用于同步再现视频和音频的媒体重放设备和媒体服务设备
JP6333858B2 (ja) 複数の視覚コンポーネントを有する画面を共有するためのシステム、装置、および方法
CN103873568A (zh) 基于云计算实现远程虚拟桌面显示的系统及方法
US20130254417A1 (en) System method device for streaming video
WO2017185799A1 (zh) 实现多屏互动的方法及装置
CN103428297A (zh) 基于桌面虚拟化的远程交互系统架构
CN107592551B (zh) 用于云流服务的方法和设备
KR20140035707A (ko) 가상화 시스템 및 가상화 서비스 제공방법
CN104660687A (zh) 虚拟桌面显示的实现方法和系统
US20180213274A1 (en) Apparatus and method for playing back and seeking media in web browser
KR101986995B1 (ko) 웹 브라우저 상에서 비디오와 오디오를 동기화하여 재생하는 미디어 재생 장치 및 방법
CN105577819A (zh) 一种虚拟化桌面的分享系统、分享方法以及分享装置
CN110891084A (zh) 一种基于自主hvdp协议的瘦客户端远程桌面控制系统
WO2024037110A1 (zh) 数据处理方法、装置、设备以及介质
US10158868B2 (en) Systems and methods to limit lag between a client and a server for remote computing
CN114567784B (zh) 一种用于飞腾显卡的vpu视频解码输出方法及系统
CN109587118B (zh) Android网游的分布式支持多终端和多网络的系统
Hou et al. A cloud gaming system based on NVIDIA GRID GPU
Kimball et al. Low bandwidth desktop and video streaming for collaborative tiled display environments
KR20160015123A (ko) 클라우드 스트리밍 서비스 시스템, 스틸 이미지 기반 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
CN105025359A (zh) 一种基于spice协议的远程视频显示方法及系统
EP1821490A1 (en) Method for transmitting graphical data to a thin client
CN113301438A (zh) 一种基于底层虚拟化技术的云桌面视频播放方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20131204