CN103227810B - 一种在网络监控中识别远程桌面语义的方法、装置和系统 - Google Patents

Abstract

本发明提出了一种在网络监控中识别远程桌面语义的方法，包括：S1.监控服务器将客户端和目标服务器之间的所有的会话数据截获并复制数据副本到本地；S2.将所述的数据副本转发到语义提取服务器进行语义的提取；S3.从所述的数据副本中获取鼠标点击坐标(x0,y0)，顶点确定之后就可以截取出所点击的图标元素的区域图像；S4.提取区域图像的三种特征，然后分别作为三个事先训练好的分类特征，与特征库中的数据特征进行对比输出语义结果。本发明还公开了一种在网络监控中识别远程桌面语义的装置和系统。实施本发明的在网络监控中识别远程桌面语义的方法，装置和系统能够识别远程桌面语义，实现高效和低成本的远程桌面监控，用户体验度高。

Description

一种在网络监控中识别远程桌面语义的方法、装置和系统

技术领域

本发明涉及通讯领域，特别涉及一种在网络监控中识别远程桌面语义的方法、装置及其系统。

背景技术

在网络运维中，远程桌面应用监控是非常重要的一个环节。远程桌面会话产生的日志数据通常是以视频数据的形式存储。目前的远程桌面监控方式主要通过观看监控视频获取主要信息，目前尚未存在能够识别远程桌面语义的方法。这种监控方式存在几个方面的缺点：

1.视频数据占据空间大，存储资源消耗高。视频数据包含大量的冗余信息，这些冗余信息占总的日志信息的很大一部分，目前还没有好的办法消除这些冗余信息。

2.视频数据的回放时间成本和人力成本高。视频数据的记录是按照自然时间的流逝进行，所以在回放时候需要花费等量的时间成本才能了解整个视频的内容。

3.视频数据做不到准确定位。在未对整体记录了解之前，无法定位到某个操作发生的特定点。

针对视频监控的这些缺点，有一个主要的方法进行解决。就是进行视频摘要的提取。视频摘要是把视频中的一些关键帧提取出来作为整个视频内容的描述。但是视频摘要只是减弱了视频监控的缺点，未能从根本上解决其问题。其缺点包括：

1.无法实现实时的处理方式，必须进行后期处理。视频摘要的提取需要对总的视频进行分析处理。

2.视频摘要提取对硬件要求高。目前还没有非常高效的视频摘要的提取算法，如果硬件资源不足，这将是一个非常漫长的过程。

3.视频摘要对于复杂变化的视频效果不显著。如果视频变化频繁，意味着关键帧的数量非常多。这样提取得到的视频摘要依然比较大量，仍然造成大量时间成本和人力成本的发生。

发明内容

本发明的目的是提供一种在网络监控中识别远程桌面语义的方法、装置及其系统，以解决上述视频监控中存在的存储空间大、效率低、无法准确定位、时间和人力成本高的缺点和问题，实现高效和低成本的远程桌面监控。

解决上述问题，本发明采用了如下技术方案：

本发明公开了一种在网络监控中识别远程桌面语义的方法，包括：

S1.监控服务器将客户端和目标服务器之间的所有的会话数据截获并复制数据副

本到本地；

S2.将所述的数据副本转发到语义提取服务器进行语义的提取；

S3.从所述的数据副本中获取鼠标点击坐标(x0,y0)，然后从该坐标出发向屏幕图像的上方查找边缘点，再从结果的边缘点中查找水平距离最大的边缘点，这个点即是网格区域的四个顶点之一，再其次就可以分别从水平和垂直两个方向找到剩余的3个顶点，顶点确定之后就可以截取出所点击的图标元素的区域图像；

S4.提取区域图像的三种特征：颜色直方图特征、边缘直方图特征和纹理特征，然后分别作为三个事先训练好的分类特征，与特征库中的数据特征进行对比输出语义结果。

在本发明所述的在网络监控中识别远程桌面语义的方法中，步骤S4后还包括以下步骤：

S5.根据用户的后续输入，进行下一步的输入判断；

S6.如果输入的是点击，则需要判断是否点击落在上一步截取的区域之内；如果不在，则进入未选中状态，并输出相应的文本信息到实时监控客户端；

如果是落在同一区域，则进入重命名状态，并输出语义结果；

S7.如果输入的是“delete”键，则进入确认删除状态，输出语义结果。

在本发明所述的在网络监控中识别远程桌面语义的方法中，所述的分类特征完成第一层的语义识别处理，输出的结果是在使用关联特征类型情况下计算输入和特征库中所有语义模型之间的相似度；

二层分类特征会对第一层的输出结果进行过滤得到候选的结果；

如果候选结果多于一个，则对候选结果执行模板匹配算法，模板为预先为每一个语义模型保存的标准图标图像，匹配的图像为输入的区域图像；

步骤执行完之后就得到了确定的一个语义结果；这个语义结果在切换到状态“选中”的时候会输入到实时监控客户端的文本监控窗口，同时保存至日志数据库中，以备以后的日志回放。

在本发明所述的在网络监控中识别远程桌面语义的方法中，所述的特征库具有若干个文字或单词的字体的图像特征。

本发明公开了一种在网络监控中识别远程桌面语义的装置，包括：

会话数据截获单元，用于监控服务器将客户端和目标服务器之间的所有的会话数据截获并复制数据副本到本地；

语义提取单元，用于将所述的数据副本转发到语义提取服务器进行语义的提取；

边缘点查找单元，用于从所述的数据副本中获取鼠标点击坐标(x0,y0)，然后从该坐标出发向屏幕图像的上方查找边缘点，再从结果的边缘点中查找水平距离最大的边缘点，这个点即是网格区域的四个顶点之一，再其次就可以分别从水平和垂直两个方向找到剩余的3个顶点，顶点确定之后就可以截取出所点击的图标元素的区域图像；

区域图像特征提取单元，用于提取区域图像的三种特征：颜色直方图特征、边缘直方图特征和纹理特征，然后分别作为三个事先训练好的分类特征，与特征库中的数据特征进行对比输出语义结果。

在本发明所述的在网络监控中识别远程桌面语义的装置中，所述的区域图像特征提取单元后还包括以下单元：

后续输入单元，用于根据用户的后续输入，进行下一步的输入判断；

点击判断单元，用于如果输入的是点击，则需要判断是否点击落在上一步截取的区域之内；如果不在，则进入未选中状态，并输出相应的文本信息到实时监控客户端；

如果是落在同一区域，则进入重命名状态，并输出语义结果；

删除状态判断单元，用于如果输入的是“delete”键，则进入确认删除状态，输出语义结果。

本发明公开了一种在网络监控中识别远程桌面语义的系统，包括：远程连接客户端、远程目标服务器、监控服务器、语义提取服务器和定时监控客户端，其中，所述的远程连接客户端、远程目标服务器及语义提取服务器均与监控服务器相连，所述的语义提取服务器还与定时监控客户端相连，所述的监控服务器具有上述的在网络监控中识别远程桌面语义的装置。

在本发明所述的在网络监控中识别远程桌面语义的系统中，所述的定时监控客户端包括智能手机和/或电脑和/或智能电视。

实施本发明的一种在网络监控中识别远程桌面语义的方法、装置及其系统，具有以下有益的技术效果：

本发明与现有技术相比，采用本发明的在网络监控中识别远程桌面语义的方法，装置及封装系统，能够识别远程桌面语义，实现高效和低成本的远程桌面监控，用户体验度高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1本发明一种在网络监控中识别远程桌面语义的方法流程图；

图2本发明一种在网络监控中识别远程桌面语义的装置构造方框图；

图3是本发明一种在网络监控中识别远程桌面语义的系统构造方框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明通过图像和视频分析的方法对监控日志进行处理，得到用户一系列操作的描述文本，这些描述文本能够简明扼要的表达用户在远程控制过程的一系列操作过程，监控者通过快速的浏览这些文本即能够了解用户所做的所有操作过程。

请参阅图1，本发明的较佳实施例，一种在网络监控中识别远程桌面语义的方法，包括：

S1.监控服务器将客户端和目标服务器之间的所有的会话数据截获并复制数据副本到本地；

S2.将所述的数据副本转发到语义提取服务器进行语义的提取；

S3.从所述的数据副本中获取鼠标点击坐标(x0,y0)，然后从该坐标出发向屏幕图像的上方查找边缘点，再从结果的边缘点中查找水平距离最大的边缘点，这个点即是网格区域的四个顶点之一，再其次就可以分别从水平和垂直两个方向找到剩余的3个顶点，顶点确定之后就可以截取出所点击的图标元素的区域图像；

S4.提取区域图像的三种特征：颜色直方图特征、边缘直方图特征和纹理特征，然后分别作为三个事先训练好的分类特征，与特征库中的数据特征进行对比输出语义结果。

进一步地，步骤S4后还包括以下步骤：

S5.根据用户的后续输入，进行下一步的输入判断；

S6.如果输入的是点击，则需要判断是否点击落在上一步截取的区域之内；如果不在，则进入未选中状态，并输出相应的文本信息到实时监控客户端；

如果是落在同一区域，则进入重命名状态，并输出语义结果；

S7.如果输入的是“delete”键，则进入确认删除状态，输出语义结果。

其中，所述的分类特征完成第一层的语义识别处理，输出的结果是在使用关联特征类型情况下计算输入和特征库中所有语义模型之间的相似度；

二层分类特征会对第一层的输出结果进行过滤得到候选的结果；

如果候选结果多于一个，则对候选结果执行模板匹配算法，模板为预先为每一个语义模型保存的标准图标图像，匹配的图像为输入的区域图像；

步骤执行完之后就得到了确定的一个语义结果；这个语义结果在切换到状态“选中”的时候会输入到实时监控客户端的文本监控窗口，同时保存至日志数据库中，以备以后的日志回放。

所述的特征库具有若干个文字或单词的字体的图像特征。

下面进行详细说明：

本发明的监控数据来源于网络运维监控系统。远程桌面数据主要由三个主要元素构成：图像数据、鼠标事件数据和键盘事件数据。这三种数据加上时间戳构成了我们能够看到的视频数据。键盘事件数据告诉了我们用户的输入内容是什么，鼠标事件数据告诉了我们用户利用输入数据进行了什么操作，图像数据告诉了我们用户进行的操作得到了什么样的结果。

通过前文分析我们可以知道远程桌面监控数据不同于普通的多媒体视频数据，为我们实现快速提取监控数据的语义提供了可能性。为了实现提取语义，我们还面临一个最主要的问题，就是如何将图像数据转化为语义数据(文本数据)。其实，在远程桌面监控环境下，这个问题不难解决。

首先，我们可以通过图像文字识别(OCR)技术提取图像中包含的文本，因为我们知道在操作系统中所有的文字都是使用统一的字体进行渲染的，而且另外一个优势就是在有限的几个操作系统类型当中，与系统、菜单等关联的文字是基本一致的，我们只要针对所有可能的文字(单词)的字体渲染建立图像特征库，就可以利用这个特征库完成非常高效的图像文字识别。

其次，操作系统的操作界面基本都是采用网格分割的形式进行呈现的。网格分割意味着界面的每一个元素的边缘特征是非常明显的，突出的边缘特征使得界面中单个元素的分割比较容易。如果能够提取出当前操作的元素图像区域，就可以对该元素进行语义识别。

关键问题及解决方案

通过以上分析，可以总结得到我们面临的关键问题：1.确定当前用户操作的界面元素；2.使用文本来表达界面元素的内容(语义)；3.结合前后操作理解用户的实际意图。下面将详细论述解决这三个问题的技术方案。

1.确定当前用户操作的界面元素。

在这里，我们将用户操作主要界定为鼠标操作。鼠标的操作主要分类为按下、拖拽、释放。一般而言，随着这几个鼠标操作的变换，界面元素也会出现视觉上的明显变化。

在初始状态下，当发生了鼠标点击事件，界面图标元素出现了明显的正方形灰色边框，开始获取鼠标点击的座标位置(x0,y0)，显然这个坐标必然是处于元素的网格范围之内的。

接下来我们需要确定点击的是图标位置还是文本位置。从点击位置出发往正上方查找，找出边缘特征最为明显的点，并且要求这个点的左右方向梯度变化为0(限定查找的范围不超过网格的尺寸)。

如果找到不止一个点，则需要进一步进行排除，找到正确的网格边界点。

下面我们分别从这三个点向左(向右查找也可以，结果不变)查找边缘特征出现了突变的点。然后把距离起始点(x0,y0)水平距离最远的点作为网格边缘的第二个点，显然第一个正确的边缘点也就被筛选出来了，这个点应该正好是网格的四个定点之一，为(x1,y1)。

然后可以从(x1,y1)出发找到这个矩形边界的其他三个顶点，找到三个顶点(x2,y2)、(x3,y3)、(x4,y4)之后，也就确定了该界面元素的图标图像区域。

同样，如果鼠标点击的位置为下方的文本区域，也可以通过同样的方法确定文本的矩形区域。

那么如何确定点击的位置是元素的图标还是文本区域呢？我们通过观察可以发现，图标区域均是正方形区域，而文本区域均是长方形区域。因此通过直接判断算法得到的元素区域形状属性即可确定究竟是图标区域还是文本区域。

2.提取界面元素的语义信息。

本发明中所有的语义信息都是通过文本来表示的。

通过第一步我们得到了当前操作元素的图像信息，接下来还需要从图像信息中提取相对应的文本信息。如果是文本区域则可以通过OCR程序将图像信息直接转换为文本信息，而对于图标区域，本发明提出一种改进的多特征融合图像语义识别方法来识别操作元素。

元素特征库

提取操作系统的各个元素的图标的图像特征构成元素特征库。对于同样语义的图标特征进行聚合得到分簇的元素特征库。例如“文件夹”这个簇集，对于不同的操作系统，不同的操作系统主题，代表“文件夹”的图标是有变化的，提取这些不同的图标的三个不同特征：

(1).颜色直方图特征。代表图标的颜色分布特点。优点是提取算法简单，对于简单图标有比较显著的影响，属于全局特征。缺点是不包含细节信息，准确率不高。

(2).边缘直方图特征。代表图标的边缘结构特点。优点是很好的表达了细节，提取算法计算量小，属于局部特征。

(3).纹理特征。纹理特征用于衡量不同像素之间的关系。采用更接近人的直观感受的Gabor小波核进行纹理特征提取，具有良好的空间局部性、空间频率和方向选择性。

图标一般具有比较鲜明颜色特点和辨识度高的轮廓特征，所以这三种特征类型比较合适。

每一个簇集的中心是一个三元组的数据，这个三元组数据是通过统计簇集成员的三种特征类型得到的一个中心平均值。

三种特征的融合通过赋予不同的特征权重求和得到，特征权重表示在某一个簇集中那种特征类型比较突出。正确合理的特征权重可以很好的保证准确率。

特征权重

特征权重通过训练学习确定，训练过程采用神经网络模型。初始值均为1，在一轮学习过程中，输入为实际的正确图标和非正确图标。系统做出正确识别定义为：正确图标判断为是，非正确图标判断为否。输出结果的准确率作为训练过程的反馈。

每一个簇集代表了一个语义模型。语义模型是由每一个簇集的中心和特征权重组成。语义模型应用于图标的语义识别过程。

图标语义识别过程

通过上文得到了用户点击的图标网格区域图像。

提取该图像的颜色直方图特征、边缘直方图特征和纹理特征。每一个特征值输入到对应的分类特征。

共有三个分类特征，分别对应三种特征类型。分类特征输入为提取的特征值，输出为输

入特征属于某一个簇集的概率集合。概率是通过计算输入与簇集的中心特征之间的特征距离得到。

特征距离

特征距离反映了特征相似度。特征距离有非常多的计算方法，本发明采用马氏距离，马氏距离可以定义为两个服从同一分布并且其协方差矩阵为Σ的随机变量的差异程度(公式1)。

距离越小，相似度越高，那么分类特征输出的概率越高。

3.理解用户操作意图。

得到了用户当前操作元素之后并不足以充分理解用户的操作意图，因为用户的一个操作意图可能是由多个鼠标操作加上键盘操作组合而成的。

为了形成完整可用的用户监控信息，仍需要结合用户的前后操作来理解用户的操作意图。比如“删除”这个过程可以分解为如下几个操作：

(1).选中文件；

(2).键盘输入[delete]；

(3).键盘输入[enter]。

必须是这连贯的三个操作才构成了一个删除文件的过程。

为了识别用户的这种操作过程，需要建立“过程定义”，过程定义使用状态机的方式来表示。状态机的基本单元是用户有限的基本操作，每一个状态表示用户的一个操作结果。

“过程定义”中每一个状态都有对应的关联文本，在进入状态之后都会将文本和操作对象的语义进行合适的拼接之后输出，所有输出文本集合起来就得到了远程监控的语义识别结果。每个状态的拼接结果可以是对应的操作加上所操作的对象元素，例如：“选中文件xxx”、“打开文件xxx”、“删除文件xxx”等等。

部署方式

包括在线和离线两种方式。

在线的部署方式可以采用缓冲解析的方式提取远程监控视频的语义。因为每一个操作的语义提取并不需要全部的监控数据，只需要上下文数据即可，这为实现实时的语义信息提取提供了可能性。语义提取服务器通过从监控服务器实时获取监控数据，进行解析之后将文本信息推送至监控客户端，即可实现将远程桌面监控直接转换为文本日志进行呈现。

离线部署的方式是在远程桌面会话完成之后，将所有的视频数据提交给语义分析模块(服务器)进行语义信息提取。这种方式不干扰原来的远程桌面监控过程，避免原来监控效率的降低。比较适合不需要实时转换，只需要事后进行日志回放的情况。

与现有技术比较，本发明提供的方法具有高准确性和效率高的优点。

(1)、高准确性；

由于采用了三种图像特征来表示图标特征，全面掌握了图标的全局特点和局部细节。再通过分层的语义识别模型保证得到正确识别结果。

(2)、效率高；

在识别过程中，通过聚类得到语义簇集，降低了计算量。而且通过第一次运算对特征库进行过滤得到候选结果，再应用复杂度较高的模板匹配算法就只需要对少数的候选结果执行运算，得到了较高的效率。

请参阅图2、一种在网络监控中识别远程桌面语义的装置1，包括：

会话数据截获单元10，用于监控服务器将客户端和目标服务器之间的所有的会话数据截获并复制数据副本到本地；

语义提取单元20，用于将所述的数据副本转发到语义提取服务器进行语义的提取；

边缘点查找单元30，用于从所述的数据副本中获取鼠标点击坐标(x0,y0)，然后从该坐标出发向屏幕图像的上方查找边缘点，再从结果的边缘点中查找水平距离最大的边缘点，这个点即是网格区域的四个顶点之一，再其次就可以分别从水平和垂直两个方向找到剩余的3个顶点，顶点确定之后就可以截取出所点击的图标元素的区域图像；

区域图像特征提取单元40，用于提取区域图像的三种特征：颜色直方图特征、边缘直方图特征和纹理特征，然后分别作为三个事先训练好的分类特征，与特征库中的数据特征进行对比输出语义结果。

进一步地，区域图像特征提取单元40后还包括以下单元：

后续输入单元50，用于根据用户的后续输入，进行下一步的输入判断；

点击判断单元60，用于如果输入的是点击，则需要判断是否点击落在上一步截取的区域之内；如果不在，则进入未选中状态，并输出相应的文本信息到实时监控客户端；

如果是落在同一区域，则进入重命名状态，并输出语义结果；

删除状态判断单元70，用于如果输入的是“delete”键，则进入确认删除状态，输出语义结果。

请参阅图3、一种在网络监控中识别远程桌面语义的系统，包括：远程连接客户端100、远程目标服务器200、监控服务器300、语义提取服务器400和定时监控客户端500，其中，远程连接客户端100、远程目标服务器200及语义提取服务器400均与监控服务器300相连，语义提取服务器400还与定时监控客户端500相连，监控服务器具有上述的在网络监控中识别远程桌面语义的装置1。

进一步地，定时监控客户端500包括智能手机和/或电脑和/或智能电视。

实施本发明的一种在网络监控中识别远程桌面语义的方法、装置及其系统，具有以下有益的技术效果：

本发明与现有技术相比，采用本发明的在网络监控中识别远程桌面语义的方法，装置及封装系统，能够识别远程桌面语义，实现高效和低成本的远程桌面监控，用户体验度高。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种在网络监控中识别远程桌面语义的方法，其特征在于，包括：

S1.监控服务器将客户端和目标服务器之间的所有的会话数据截获并复制数据副本到本地；

S2.将所述的数据副本转发到语义提取服务器进行语义的提取；

S3.从所述的数据副本中获取鼠标点击坐标(x0，y0)，然后从该坐标出发向屏幕图像的上方查找边缘点，再从结果的边缘点中查找水平距离最大的边缘点，这个点即是网格区域的四个顶点之一，再其次就可以分别从水平和垂直两个方向找到剩余的3个顶点，顶点确定之后就可以截取出所点击的图标元素的区域图像；

S4.提取区域图像的三种特征：颜色直方图特征、边缘直方图特征和纹理特征，然后分别作为三个事先训练好的分类特征，与特征库中的数据特征进行对比输出语义结果。

2.根据权利要求1所述的在网络监控中识别远程桌面语义的方法，其特征在于，步骤S4后还包括以下步骤：

S5.根据用户的后续输入，进行下一步的输入判断；

S6.如果输入的是点击，则需要判断是否点击落在上一步截取的区域之内；如果不在，则进入未选中状态，并输出相应的文本信息到实时监控客户端；

如果是落在同一区域，则进入重命名状态，并输出语义结果；

S7.如果输入的是“delete”键，则进入确认删除状态，输出语义结果。

3.根据权利要求1所述的在网络监控中识别远程桌面语义的方法，其特征在于，所述的分类特征完成第一层的语义识别处理，输出的结果是在使用关联特征类型情况下计算输入和特征库中所有语义模型之间的相似度；

二层分类特征会对第一层的输出结果进行过滤得到候选的结果；

如果候选结果多于一个，则对候选结果执行模板匹配算法，模板为预先为每一个语义模型保存的标准图标图像，匹配的图像为输入的区域图像；

步骤执行完之后就得到了确定的一个语义结果；这个语义结果在切换到状态“选中”的时候会输入到实时监控客户端的文本监控窗口，同时保存至日志数据库中，以备以后的日志回放。

4.根据权利要求1所述的在网络监控中识别远程桌面语义的方法，其特征在于，所述的特征库具有若干个文字或单词的字体的图像特征。

5.一种在网络监控中识别远程桌面语义的装置，其特征在于，包括:

会话数据截获单元，用于监控服务器将客户端和目标服务器之间的所有的会话数据截获并复制数据副本到本地；

语义提取单元，用于将所述的数据副本转发到语义提取服务器进行语义的提取；

边缘点查找单元，用于从所述的数据副本中获取鼠标点击坐标(x0,y0)，然后从该坐标出发向屏幕图像的上方查找边缘点，再从结果的边缘点中查找水平距离最大的边缘点，这个点即是网格区域的四个顶点之一，再其次就可以分别从水平和垂直两个方向找到剩余的3个顶点，顶点确定之后就可以截取出所点击的图标元素的区域图像；

区域图像特征提取单元，用于提取区域图像的三种特征：颜色直方图特征、边缘直方图特征和纹理特征，然后分别作为三个事先训练好的分类特征，与特征库中的数据特征进行对比输出语义结果。

6.根据权利要求5的在网络监控中识别远程桌面语义的装置，其特征在于，所述的区域图像特征提取单元后还包括以下单元：

后续输入单元，用于根据用户的后续输入，进行下一步的输入判断；

点击判断单元，用于如果输入的是点击，则需要判断是否点击落在上一步截取的区域之内；如果不在，则进入未选中状态，并输出相应的文本信息到实时监控客户端；

如果是落在同一区域，则进入重命名状态，并输出语义结果；

删除状态判断单元，用于如果输入的是“delete”键，则进入确认删除状态，输出语义结果。

7.一种在网络监控中识别远程桌面语义的系统，包括：远程连接客户端、远程目标服务器、监控服务器、语义提取服务器和定时监控客户端，其中，所述的远程连接客户端、远程目标服务器及语义提取服务器均与监控服务器相连，所述的语义提取服务器还与定时监控客户端相连，其特征在于，所述的监控服务器具有权利要求5中所述的在网络监控中识别远程桌面语义的装置。

8.根据权利要求7的在网络监控中识别远程桌面语义的系统，其特征在于，所述的定时监控客户端包括智能手机和/或电脑和/或智能电视。