CN108153645B - 基于图像匹配的虚拟化桌面中监控数据与程序关联方法 - Google Patents

基于图像匹配的虚拟化桌面中监控数据与程序关联方法 Download PDF

Info

Publication number
CN108153645B
CN108153645B CN201711416217.0A CN201711416217A CN108153645B CN 108153645 B CN108153645 B CN 108153645B CN 201711416217 A CN201711416217 A CN 201711416217A CN 108153645 B CN108153645 B CN 108153645B
Authority
CN
China
Prior art keywords
program
channel
data
time
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711416217.0A
Other languages
English (en)
Other versions
CN108153645A (zh
Inventor
肖利民
李书攀
刘玺
阮利
苏书宾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201711416217.0A priority Critical patent/CN108153645B/zh
Publication of CN108153645A publication Critical patent/CN108153645A/zh
Application granted granted Critical
Publication of CN108153645B publication Critical patent/CN108153645B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/301—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is a virtual computing platform, e.g. logically partitioned systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45587—Isolation or security of virtual machine instances

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提出一种基于图像匹配的虚拟化桌面中监控数据与程序关联方法,首先构建包含程序截图与程序的对应关系；然后监控通道中传输的数据，主要包括视频通道中的图片、键盘通道中的数据、鼠标通道中的数据、监控时间等；然后基于图像匹配算法，查找程序截图与视频通道中的图片之间的对应关系；最后将程序与获取视频通道中的图片的时间点附近的监控数据关联起来。该方法基于图像识别技术，将监控到的数据与程序关联起来，便于审计系统识别非法操作。

Description

基于图像匹配的虚拟化桌面中监控数据与程序关联方法
技术领域
本发明涉及虚拟化桌面的安全防护，尤其是一种基于图像匹配的虚拟化桌面中监控数据与程序关联方法，属于计算机科学技术领域。
背景技术
桌面虚拟化协议是在桌面虚拟化场景中，用于连接用户终端和服务器上虚拟机的软件。借助桌面虚拟化协议，用户可以通过虚拟化桌面客户端和网络，在任何地点连接到虚拟化桌面上。
现有的桌面虚拟化协议主要由四种，分别是微软(Microsoft)在虚拟化桌面方案MED-V(Microsoft Enterprise Desktop Virtualization)中提供的远程桌面协议RDP(Remote Desktop Protocol),威睿(VMware)在虚拟化桌面方案VDM 1.0(Virtual DesktopManager 1.0)的提供的PCo IP协议，思杰(Citrix)在虚拟化桌面方案XenDesktop中提供的ICA(Citrix Independent Computing Architecture)协议，红帽(redhat)面向KVM虚拟化平台提供的SPICE(Simple Protocol for Independent Computing Environment)协议。为了简化协议的实现和避免不同功能之间相互影响，这些虚拟化桌面协议都是基于通道实现的，每个通道实现一种或几种相似的功能。通道主要有键盘通道，鼠标通道，触摸板通道，音频播放通道，音频录制通道，视频传输通道等。
为了提高桌面虚拟化系统的安全性，检测用户通过虚拟化桌面协议对虚拟化桌面的攻击，需要对虚拟化桌面协议的各个通道进行监控，收集用户的鼠标、键盘等信息，供审计系统审计。
由于虚拟化桌面协议自身的限制，在虚拟化桌面协议中的监控无法获取虚拟机内程序的信息。所以，现有针对虚拟化桌面协议通道的监控方法，不能将监控到的数据与程序相关联。
发明内容
为了解决上述问题，本发明提出一种基于图像匹配的虚拟化桌面中监控数据与程序关联方法。首先构建包含程序截图与程序的对应关系；然后监控通道中传输的数据，主要包括视频通道中的图片、键盘通道中的数据、鼠标通道中的数据、监控时间等；然后基于图像匹配算法，查找程序截图与视频通道中的图片之间的对应关系；最后将程序与获取视频通道中的图片的时间点附近的监控数据关联起来。
本发明提出的基于图像匹配的桌面虚拟化协议中监控数据与程序关联方法与现有的虚拟化桌面协议监控方法的区别在于：
(1)使监控到的数据与程序关联起来：该方法利用图像识别技术和时间戳，将监控到的数据与程序对应，便于审计系统识别非法操作。
(2)需要构建包含程序截图与程序的对应关系：该方法需要以图像作为媒介，关联程序和监控数据，所以需要构建程序截图与程序的对应关系。
本发明提供的基于图像匹配的虚拟化桌面中监控数据与程序关联方法，包括5个步骤，具体如下：
步骤1：构建程序截图与程序的对应关系；
步骤2：监控通道中传输的数据，主要包括视频通道中的图片、键盘通道中的数据、鼠标通道中的数据、监控时间等；
步骤3：基于图像匹配算法，查找程序截图与视频通道中的图片之间的对应关系，如果匹配成功，则转到步骤4；如果匹配不成功，则转到5；
步骤4：将与程序截图与获取视频通道中的图片的时间点附近的监控数据关联起来；
步骤5：记录匹配不成功的图片与时间点。
本发明的优点包括：
本发明所提出的基于图像匹配的虚拟化桌面中监控数据与程序关联方法，与现有技术相比，其主要优点是：
(1)使监控到的数据与程序关联起来：该方法基于图像识别技术，将监控到的数据与程序关联起来，便于审计系统识别非法操作。
附图说明
图1是本发明的流程图。
具体实施方式
为使本发明的目的、技术方案和优点表达得更加清楚明白，以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。在实例中，以Spcie作为虚拟化桌面协议，其分为三个部分，分别为Spcie Client，Spcie Channel和Spcie Server。SpcieClient部署在瘦终端、智能手机和Web网页中。Spcie Server部署在虚拟化服务器上，与由KVM和Qemu构成的虚拟机监控器交互，操作虚拟机。Spcie Channel部署在网络中，包含很多的通道，用于在Spcie Client和Spcie Server中传输各种数据。具体内容如下所示：
如图1所示，是本发明的流程图。基于图像匹配的虚拟化桌面中监控数据与程序关联方法，包括以下5个步骤：
步骤1：构建程序截图与程序的对应关系，设程序与程序截图的关系为Pi[I1,I2,…,Ij]，其中P表示程序，I表示程序截图，i和j属于自然数。
步骤2：监控通道中传输的数据，设监控的通道包括视频通道(Display)，键盘通道(Keyboard)和鼠标通道(mouse)，在视频通道中监控到的数据为Displayl(picture,time),键盘通道中监控到的数据为Keyboardm(date,time),鼠标通道为Mousen(date,time),其中l,m,n属于自然数。
步骤3：查找程序截图与视频通道中的图片之间的对应关系，对于Displayx，如果Displayx中的picture与Py中的Iz匹配，其中x,y,z属于自然数，则转到步骤4；若果匹配不成功，则转到步骤5；
步骤4：将与程序截图与获取视频通道中的图片的时间点附近的监控数据关联起来，设一个时间段T,将鼠标通道和键盘通道中监控到的[timez-T，timez+T]之间的数据与程序Py关联起来。
步骤5：记录Displayx(picture,time)。
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (1)

1.一种基于图像匹配的虚拟化桌面中监控数据与程序关联方法，其特征在于，包括以下步骤：
步骤1：构建程序截图与程序的对应关系；设程序与程序截图的关系为Pi[I1,I2,…,Ij]，其中P表示程序，I表示程序截图，i和j属于自然数；
步骤2：监控通道中传输的数据，主要包括视频通道Display中的图片、键盘通道Keyboard中的数据、鼠标通道Mouse中的数据、以及监控时间；设在视频通道中监控到的数据为Displayl(picture,time),键盘通道中监控到的数据为Keyboardm(date,time),鼠标通道为Mousen(date,time),其中l,m,n属于自然数；
步骤3：基于图像匹配算法，查找程序截图与视频通道中的图片之间的对应关系，如果匹配成功，即对于Displayx，如果Displayx中的图片picture与程序Py中的程序截图Iz匹配，其中x,y,z属于自然数，则转到步骤4；如果匹配不成功，则转到步骤5；
步骤4：将与程序截图与获取视频通道中的图片的时间点附近的监控数据关联起来以便识别非法操作，包括设一个时间段T,将鼠标通道和键盘通道中监控到的[timez-T，timez+T]之间的数据与程序Py关联起来；
步骤5：记录匹配不成功的图片与时间点数据：Displayx(picture,time)。
CN201711416217.0A 2017-12-25 2017-12-25 基于图像匹配的虚拟化桌面中监控数据与程序关联方法 Active CN108153645B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711416217.0A CN108153645B (zh) 2017-12-25 2017-12-25 基于图像匹配的虚拟化桌面中监控数据与程序关联方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711416217.0A CN108153645B (zh) 2017-12-25 2017-12-25 基于图像匹配的虚拟化桌面中监控数据与程序关联方法

Publications (2)

Publication Number Publication Date
CN108153645A CN108153645A (zh) 2018-06-12
CN108153645B true CN108153645B (zh) 2020-11-20

Family

ID=62464453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711416217.0A Active CN108153645B (zh) 2017-12-25 2017-12-25 基于图像匹配的虚拟化桌面中监控数据与程序关联方法

Country Status (1)

Country Link
CN (1) CN108153645B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110858837B (zh) * 2018-08-24 2022-09-06 阿里巴巴集团控股有限公司 一种网络管控方法、装置以及电子设备
CN109688025B (zh) * 2018-12-18 2022-07-19 郑州云海信息技术有限公司 一种基于数字kvm的测试监控方法、装置、终端及存储介质
CN112148896A (zh) * 2020-09-10 2020-12-29 京东数字科技控股股份有限公司 一种用于终端媒体监播的数据处理方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8924961B2 (en) * 2008-10-29 2014-12-30 Dell Products L.P. Virtual machine scheduling methods and systems
CN103369361B (zh) * 2013-06-17 2016-08-10 深圳市深信服电子科技有限公司 图像数据回显的控制方法、服务器及终端
CN103780441B (zh) * 2014-03-04 2017-03-08 江苏省电力公司扬州供电公司 一种基于arm架构的云终端网络管理平台和管理方法
CN107086937B (zh) * 2016-02-14 2020-01-10 华为技术有限公司 一种监控方法及设备
CN105933415A (zh) * 2016-04-21 2016-09-07 国家计算机网络与信息安全管理中心 一种基于vnc代理的云计算环境中虚拟机在线录屏方法与系统
CN107360443B (zh) * 2016-05-09 2019-10-01 南京中兴新软件有限责任公司 一种云桌面图像处理方法、云桌面服务器及客户端
CN105787373B (zh) * 2016-05-17 2018-08-21 武汉大学 一种移动办公系统中Android终端数据防泄漏方法
CN106504250B (zh) * 2016-10-28 2019-07-23 锐捷网络股份有限公司 图像块标识匹配方法和远端服务器

Also Published As

Publication number Publication date
CN108153645A (zh) 2018-06-12

Similar Documents

Publication Publication Date Title
US11916920B2 (en) Account access security using a distributed ledger and/or a distributed file system
CN108021425B (zh) 一种集成多个应用图形窗口的虚拟桌面系统及运行方法
US10296362B2 (en) Execution of a script based on properties of a virtual device associated with a virtual machine
US9654603B1 (en) Client-side rendering for virtual mobile infrastructure
US9300720B1 (en) Systems and methods for providing user inputs to remote mobile operating systems
CN108153645B (zh) 基于图像匹配的虚拟化桌面中监控数据与程序关联方法
US20100306763A1 (en) Virtual Serial Concentrator for Virtual Machine Out-of-Band Management
US10530790B2 (en) Privileged session analytics
US9201755B2 (en) Real-time, interactive measurement techniques for desktop virtualization
US9444912B1 (en) Virtual mobile infrastructure for mobile devices
CN104866275B (zh) 一种用于获取图像信息的方法和装置
CN111601115A (zh) 一种视频检测的方法、相关装置、设备及存储介质
US10067862B2 (en) Tracking asynchronous entry points for an application
CN108055141B (zh) 与应用的上下文式交互
CN113778583A (zh) 一种云桌面的本地应用的发布方法、装置、设备和介质
US20190227820A1 (en) Cross-device mulit-monitor setup for remote desktops via image scanning
US20140122659A1 (en) Mechanism for Populating a Client Device With Graphical Images Specific to a Machine
JP2015011653A (ja) 性能測定方法、性能測定プログラム及び性能測定装置
CN112843681B (zh) 虚拟场景控制方法、装置、电子设备及存储介质
CN112799801A (zh) 一种模拟鼠标指针绘制方法、装置、设备和介质
CN103559050A (zh) 一种计算机启动过程的定制方法和计算机
CN104158696A (zh) 一种测量操作延时的确定方法、装置及终端
US20180189118A1 (en) Systems and methods for transforming applications
WO2018149170A1 (zh) 一种跨应用控制方法及装置
CN109756560B (zh) 虚拟网络计算机协议接入方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant