CN107194394A - 远程访问监控方法及相关装置 - Google Patents

Abstract

本申请提供一种远程访问监控方法及相关装置，其通过对远程访问过程进行录像，从得到的录像文件中抓取每个操作对应的操作图片，并保存所述操作图片作为监控的原始数据，相对于现有技术中直接存储录像文件，本申请实施例可以大大减轻相关存储设备的存储负担。并且，相对于现有技术先基于命令行字符搜索录像文件中对应的一帧或多种操作图像，再根据该操作图像进行审计分析，本申请实施例通过提取所述操作图片中的文字信息，并根据所述文字信息进行审计分析，更便于发现大量远程操作中的违规操作，提高审计效率。

Description

远程访问监控方法及相关装置

技术领域

本申请涉及网络管理技术领域，尤其涉及一种远程访问监控方法及相关装置。

背景技术

随着网络管理技术的不断发展，远程访问服务也得到越来越广泛的应用，为远程办公人员、外出人员或办公系统管理人员的工作提供了便利。现有技术主要基于Windows系统为用户提供远程桌面访问功能，使得用户访问的远程应用程序如同运行在自己的计算机本地。具体的，在Windows服务器中部署远程桌面程序RemoteApp，用户的客户端中安装mstsc、Secure CRT等远程连接工具，RemoteApp将远程桌面主机发布在Windows服务器中的远程应用情况还原至客户端，用户在客户端上利用远程连接工具，通过命令行方式对远程应用进行操作。

实际应用中，有必要对远程访问过程进行监控，以及时发现并定位用户在远程访问过程中的错误或违规操作，便于后续责任追踪、及时消除违规操作带来的影响。有鉴于此，基于上述远程桌面访问技术，进一步在Windows服务器中部署录屏代理(Agent)组件，利用该录屏代理组件对用户远程桌面访问过程进行录像，并在Windows服务器中保存录像文件；管理人员的监控过程为：首先根据用户远程操作时输入的命令行字符，搜索得到相应的操作时间，再基于该操作时间，确定与之唯一匹配的录像时间，然后从录像文件中提取该录像时间对应的一帧或多帧操作图像，最后通过对该操作图像进行审计分析，即可确定是否存在错误或违规操作，同时可以确定执行该错误或违规操作的用户。

发明人在本申请的研究过程中发现，上述基于录屏代理组件的远程访问监控方式，需要存储大量的录像文件，对服务器的存储要求较高，且基于操作图像的审计分析过程效率也较低。

发明内容

为了解决上述技术问题，本申请实施例公开了如下技术方案：

本申请实施例的第一方面，提供一种远程访问监控方法，应用于远程访问系统，包括：

对远程访问过程进行录像，从得到的录像文件中抓取每个操作对应的操作图片，并保存所述操作图片；

提取所述操作图片中的文字信息；

根据所述文字信息对远程访问过程进行监控。

可选的，所述方法还包括：

根据Guacamole协议将客户端中的浏览器连接至远程桌面主机，以通过所述浏览器进行远程访问。

可选的，所述根据Guacamole协议将客户端中的浏览器连接至远程桌面主机，包括：

根据Guacamole协议将所述浏览器连接于Guacamole服务器；

通过所述Guacamole服务器中的Guacd组件将所述Guacamole协议转换为远程访问协议；

根据所述远程访问协议将所述Guacamole服务器连接至相应的远程桌面主机。

可选的，所述方法还包括：将所述操作图片发送至所述浏览器，以通过所述浏览器显示所述操作图片。

可选的，提取所述操作图片中的文字信息，包括：

将所述操作图片的色彩模式转换为黑白模式；

基于所述黑白模式的操作图片提取所述文字信息。

可选的，将所述操作图片的色彩模式转换为黑白模式，包括：

获取所述操作图片中每个像素点的色彩值；

判断所述色彩值是否在预设范围内；

当所述色彩值在预设范围内时，将相应的像素点转换为白色；

当所述色彩值不在预设范围内时，将相应的像素点转换为黑色。

可选的，基于所述黑白模式的操作图片提取所述文字信息，包括：

通过行投影和列投影将所述黑白模式的操作图片切分为多个字块；

根据预设标准字库确定每个字块对应的单字。

可选的，通过行投影和列投影将所述黑白模式的操作图片切分为多个字块，包括：

通过行投影将所述黑白模式的操作图片中的文字切分为不同行；

通过列投影将切分得到的每行文字切分为不同列；

对切分得到的宽高比不在预设范围内的列进行合并，得到多个字块。

可选的，根据预设标准字库确定每个字块对应的单字，包括：

将各个字块分别存入点阵中，并根据所述点阵计算每个字块对应的特征值；

将计算得到的特征值与预设标准字库中的标准特征值进行比较，确定每个字块对应的单字。

本申请实施例的第二方面，提供一种远程访问监控装置，应用于远程访问系统，包括：

监控信息采集单元，对远程访问过程进行录像，从得到的录像文件中抓取每个操作对应的操作图片，并保存所述操作图片；

监控信息分析单元，用于提取所述操作图片中的文字信息；

监控执行单元，用于根据所述文字信息对远程访问过程进行监控。

可选的，所述装置还包括：

远程访问实现单元，用于根据Guacamole协议将客户端浏览器连接至远程桌面主机，以通过所述客户端浏览器进行远程访问。

可选的，所述监控信息分析单元包括：

图片模式转换单元，用于将所述操作图片的色彩模式转换为黑白模式；

文字信息提取单元，用于基于所述黑白模式的操作图片提取所述文字信息。

可选的，所述图片模式转换单元具体被配置为：

获取所述操作图片中每个像素点的色彩值；

判断所述色彩值是否在预设范围内；

当所述色彩值在预设范围内时，将相应的像素点转换为白色；

当所述色彩值不在预设范围内时，将相应的像素点转换为黑色。

可选的，所述文字信息提取单元，包括：

字块切分单元，用于通过行投影和列投影将所述黑白模式的操作图片切分为多个字块；

文字匹配单元，用于根据预设标准字库确定每个字块对应的单字。

可选的，所述字块切分单元具体被配置为：

通过行投影将所述黑白模式的操作图片中的文字切分为不同行；

通过列投影将切分得到的每行文字切分为不同列；

对切分得到的宽高比不在预设范围内的列进行合并，得到多个字块。

可选的，所述文字匹配单元具体被配置为：

将各个字块分别存入点阵中，并根据所述点阵计算每个字块对应的特征值；

将计算得到的特征值与预设标准字库中的预设特征值进行比较，确定每个字块对应的单字。

本申请实施例的第三方面，提供一种远程访问系统，包括：至少一个远程桌面主机、至少一个有远程访问需求的客户端、远程连接服务器和堡垒主机；

所述客户端通过所述远程连接服务器对所述远程桌面主机进行远程访问；

所述堡垒主机用于，对远程访问过程进行录像，从得到的录像文件中抓取每个操作对应的操作图片，并保存所述操作图片；

所述堡垒主机或所述客户端还用于，提取所述操作图片中的文字信息，根据所述文字信息对远程访问过程进行监控。

可选的，所述远程访问服务器包括Guacamole服务器；所述Guacamole服务器用于通过Guacamole协议将所述客户端的浏览器连接至所述远程桌面主机。

由以上技术方案可知，本申请实施例通过对远程访问过程进行录像，从得到的录像文件中抓取每个操作对应的操作图片，并保存所述操作图片作为监控的原始数据，相对于现有技术中直接存储录像文件，本申请实施例可以大大减轻相关存储设备的存储负担。并且，相对于现有技术先基于命令行字符搜索录像文件中对应的一帧或多种操作图像，再根据该操作图像进行审计分析，本申请实施例通过提取所述操作图片中的文字信息，并根据所述文字信息进行审计分析，更便于发现大量远程操作中的违规操作，提高审计效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种远程访问监控方法的流程图；

图2为本申请实施例提供的一种远程访问系统的架构图；

图3为本申请实施例提供的远程访问监控方法中实现远程访问的信号流图；

图4为本申请实施例提供的另一种远程访问系统的架构图；

图5为本申请实施例提供的另一种远程访问监控方法的流程图；

图6为本申请实施例提供的远程访问监控方法中提取文字信息的方法流程图；

图7为本申请实施例提供的远程访问监控方法中字块切分原理示意图；

图8为本申请实施例提供的一种远程访问监控装置的结构示意图。

具体实施方式

为了使本领域的技术人员更好地理解本申请实施例中的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。

图1为本申请实施例提供的一种远程访问监控方法的流程图。该远程访问监控方法应用于远程访问系统，如图2所示，所述远程访问系统可以包括：远程桌面(RemoteDesktop，RD)主机201、有远程访问需求的客户端202、远程连接服务器203；该系统中，通过远程连接服务器203实现地理位置不同、所在网络不同的远程桌面主机201和客户端202之间的连接，使得用户可以在客户端202中访问安装于远程桌面主机201中的应用程序。实际上，该系统中可以接入多个客户端和多个远程桌面主机，一个远程连接服务器203实现任意一个客户端远程连接并访问任意一个远程桌面主机。

参照图1，该远程访问监控方法包括以下步骤：

S1、对远程访问过程进行录像，从得到的录像文件中抓取每个操作对应的操作图片，并保存所述操作图片。

本申请实施例中，在用户执行远程访问时，对整个远程访问过程进行录像，然后将录像文件裁剪为一张张操作图片，用户执行的每个远程操作及其响应情况的对应一张或多张操作图片。例如，用户远程修改某个数据，对应的操作图片可以包括一张该数据修改前的图片，和一张该数据修改后的图片。

可选的，本申请实施例在图2所示远程访问系统中设置堡垒主机204，通过该堡垒主机执行步骤S1。相对于录像文件本身，本申请实施例中保存操作图片所占用的存储空间很小，从而可以大大减轻堡垒主机或相关存储设备的存储负担。

另外，除了实现步骤S1所述的功能外，堡垒主机还可以实现对用户客户端提出的一些访问请求进行阻断，具体可以通过事先为用户客户端配置访问策略来实现；如黑名单策略，即在用户客户端配置有该黑名单策略的情况下，用户在访问资源时，如果输入黑名单中的命令，则相应的访问请求就会被阻断，从而在一定程度上避免用户的违规操作。

S2、提取所述操作图片中的文字信息。

S3、根据所述文字信息对远程访问过程进行监控。

可选的，上述根据文字信息进行监控，可以包括利用显示设备为审计人员显示所述文字信息，以便审计人员根据显示的文字信息判断是否存在违规操作。

可选的，上述根据文字信息进行监控，还可以包括将所述文字信息及预设标准文字信息进行比较，如果二者不同则显示违规提示信息，即基于文字信息自动执行审计分析，直接将审计结果显示给审计人员。

在本申请一个可行的实施例中，上述步骤S2和S3可以配置在堡垒主机中完成，并将提取的文字信息和/或基于所述文字信息分析得到的监控结果发送至一监控客户端进行显示，以便审计人员进行后续处理。

在本申请另一个可行的实施例中，上述步骤S2和S3也可以配置在一监控客户端中执行，其中，该监控客户端与堡垒主机连接，获取堡垒主机抓取的操作图片，并执行步骤S2和S3。

由以上技术方案可知，本申请实施例通过对远程访问过程进行录像，从得到的录像文件中抓取每个操作对应的操作图片，并保存所述操作图片作为监控的原始数据，相对于现有技术中直接存储录像文件，本申请实施例可以大大减轻相关存储设备的存储负担。并且，相对于现有技术先基于命令行字符搜索录像文件中对应的一帧或多种操作图像，再根据该操作图像进行审计分析，本申请实施例通过提取所述操作图片中的文字信息，并根据所述文字信息进行审计分析，更便于发现大量远程操作中的违规操作，提高审计效率。

在本申请一个可行的实施例中，上述远程访问监控方法，具体应用于基于Guacamole协议的远程桌面访问过程，即根据Guacamole协议将客户端中的浏览器连接至远程桌面主机，以通过所述浏览器进行远程访问。

具体的，图3示出了本申请实施例中根据Guacamole协议将客户端中的浏览器连接至远程桌面主机的方法信号流图，图4示出了本申请实施例提供的另一种远程访问系统的架构图，本申请实施例中,通过以下步骤实现所述根据Guacamole协议将客户端中的浏览器连接至远程桌面主机。

S301、根据Guacamole协议将所述浏览器连接于Guacamole服务器；

S302、通过所述Guacamole服务器中的Guacd组件将所述Guacamole协议转换为远程访问协议；

S303、根据所述远程访问协议将所述Guacamole服务器连接至相应的远程桌面主机。

基于上述信号流程可知，本申请实施例以Guacamole服务器403为中介，实现客户端402与远程桌面主机401之间的远程连接，其中，客户端402通过自身的浏览器与Guacamole服务器403之间根据Guacamole协议进行通信，Guacamole服务器403与远程桌面主机401之间根据该远程桌面主机401支持的远程访问协议进行通信，而所述Guacamole协议与远程访问协议之间的互相转换则由Guacamole服务器403中的Guacd组件完成。其中，所述远程访问协议包括远程桌面协议(Remote Desktop Protocol，RDP)、虚拟网络控制台协议(Virtual Network Console，VNC)、安全外壳协议(Secure Shell，SSH)等。

需要说明的是，为清楚的展示任一次远程访问过程，图4中仅示出了一台客户端和一台远程桌面主机，实际上，同一Guacamole服务器可以与多个客户端和多个远程桌面主机连接，实现通过任一客户端的浏览器远程访问任一远程桌面主机。

同样的，图4所示远程访问系统中也可以设置堡垒主机404，该堡垒主机404被配置为执行上述远程访问监控方法中的部分(步骤S1)或全部步骤。

仍参照图4，在本申请一个可行的实施例中，上述远程访问监控方法，在(堡垒主机)抓取或保存所述操作图片之后，还可以包括：将所述操作图片发送至客户端浏览器，以通过该浏览器将所述操作图片显示给用户。

由以上技术方案可知，本申请实施例基于Guacamole协议实现远程访问，客户端不需要安装专用的远程访问工具，用户通过任一台客户端自带的浏览器就可以连接至远程桌面主机，同时还可以通过浏览器接收并显示堡垒主机抓取的操作图片，便于实时监控。

图5为本申请实施例提供的另一种远程访问监控方法的流程图，该监控方法同样可以应用于前文图2或图4所示的远程访问系统。参照图5，该方法包括以下步骤：

S1、对远程访问过程进行录像，从得到的录像文件中抓取每个操作对应的操作图片，并保存所述操作图片。

S21、将所述操作图片的色彩模式转换为黑白模式。

S22、基于所述黑白模式的操作图片提取所述文字信息。

S3、根据所述文字信息对远程访问过程进行监控。

本申请实施例中，将操作图片有彩色转换为黑白模式，使得图片中仅包含黑和白两种颜色，更易于提取其中的文字信息。

需要说明的是，上述将操作图片的色彩模式转换为黑白模式仅是本申请实施例为便于提取文字信息而对操作图片执行的一种预处理操作，实际应用中，还可以对操作图片执行其他预处理操作，如灰度化、去噪等，以提高文字信息提取的准确度。

可选的，参照图6，本申请实施例步骤S21中，将操作图片的色彩模式转换为黑白模式，具体可采用如下方法：

S211、获取所述操作图片中每个像素点的色彩值；

S212、判断所述色彩值是否在预设范围内，如果是，则执行步骤S213，否则执行步骤S214；

S213、当所述色彩值在预设范围内时，将相应的像素点转换为白色；

S214、当所述色彩值不在预设范围内时，将相应的像素点转换为黑色。

可选的，对于基于三基色(即红色Red、绿色Green、蓝色Blue，简称RGB)模式的操作图片，上述步骤S211获取的色彩值具体为RGB数值(R、G、B三个数值的取值范围均为0～255)。

相应的，在一个具体实施方式中，可以基于像素点RGB数值的绝对值来确定将该像素点转换为白色还是黑色，即步骤S212中判断所述色彩值是否在预设范围内，具体为：预先设置R、G、B三个阈值，例如{R＝100，G＝128，B＝100}；对于操作图片中的每个像素点，将其RGB数值分别与对应的阈值比较，当像素点的RGB数值都大于相应的阈值时(如某像素点的RGB数值为R＝120、G＝150、B＝130)，视为其在预设范围内，将该像素点转换为白色，即将该像素点的RGB数值调整为R＝255、G＝255、B＝255；反之，如果像素点的RGB数值不全部大于相应的阈值(如某像素点的RGB数值为R＝120、G＝120、B＝130)，则视为其不在预设范围内，将该像素点转换为黑色，即将其RGB数值调整为R＝0、G＝0、B＝0。

在另一个具体实施方式中，还可以基于像素点RGB数值的平均值来确定将该像素点转换为白色还是黑色，即步骤S212中判断所述色彩值是否在预设范围内，具体为：预先设置一RGB平均值阈值Avg’，例如Avg’＝100(可以根据实际应用需求修改)；对于操作图片中的每个像素点，计算其RGB数值的平均值Avg＝(R+G+B)/3，当Avg≥Avg’时，视为该像素点的色彩值在预设范围内，将该像素点转换为白色，即将该像素点的RGB数值调整为R＝255、G＝255、B＝255；反之，当Avg<Avg’时，视为该像素点的色彩值不在预设范围内，将该像素点转换为黑色，即将其RGB数值调整为R＝0、G＝0、B＝0。

本申请实施例不仅限于通过上述基于RGB数值实现RGB模式的操作图片的黑白化，当抓取的操作图片为其他彩色模式(如CMYK模式、HSB模式等)，也可以基于相应的色彩参数值，将像素点调整为黑、白两种颜色。

可选的，继续参照图6，本申请实施例步骤S22中，基于所述黑白模式的操作图片提取所述文字信息，具体可采用如下方法：

S221、通过行投影和列投影将所述黑白模式的操作图片切分为多个字块；

为了从操作图片中识别出文字信息(在本实施例，所述文字信息主要为操作图片中的汉字)，首先需要将操作图片所包含的多行多列文字区域切分为一个个的字块，每个字块中包含一个单字，然后再针对每个字块，分别识别其中包含的单字。

基于以上文字信息识别原理，本申请实施例采用行投影和列投影的方式对操作图片进行行切分和列切分，具体可以包括以下步骤：

S2211、通过行投影将所述黑白模式的操作图片中的文字切分为不同行；

S2212、通过列投影将切分得到的每行文字切分为不同列；

如图7所示，由于文字的行与行之间、列与列之间都存在一定的间隙(对于黑白模式下为白底黑字的操作图片，所述间隙为全白；反之，若为黑底白字，则所述间隙为全黑)，通过行投影得到的行与行之间的间隙(如图7中标号a1和a3所示区域)对应的行投影值和非间隙(如图7中标号a2所示区域)对应的行投影值存在较大差距(如，间隙对应的投影值一般为0或极接近0，而非间隙对应的投影值远大于0)，同样的，通过列投影得到的每行中字与字(即列与列)之间的间隙(如图7中标号b2所示区域)对应的列投影值和非间隙(如图7中标号b1和b3所示区域)对应的列投影值也存在较大差距，因此，可以根据投影值将不同的行，以及每行中不同的字区分开来。

S2213、对切分得到的宽高比不在预设范围内的列进行合并，得到多个字块。

实际应用中，对于左右结构，或者左中右结构的字，由于字内也存在间隙列，在执行步骤S2212后，整字可能被拆分；例如，左中右结构的“川”字，可能被拆分为“丿”“丨”“丨”三部分。

为将被拆分的字还原为整字，本申请实施例在步骤S2213中根据文字的宽高比进行合并操作，具体方法如下：

预先设置一个整字的宽高比阈值；

针对每行文字，在通过列投影切分得到不同列后，从左向右(或从右向左)依次计算每一列的宽高比，如果其小于所述宽高比阈值，则说明该列对应的并不是一个整字，故将该列与其右侧的相邻列合并，得到一个新的列；

计算该新的列的宽高比，如果新的列的宽高比仍小于所述宽高比阈值，则继续向右合并，如果新的列的宽高比不小于所述宽高比阈值，则说明该新的列对应一个整字，故将该合并得到的新的列作为一个字块。

可选的，由于汉字为“方块字”，故宽高比阈值可以设置为1；又，对于某些特殊字体，宽高比可能略大于1或略小于1，故可以根据实际应用场景将所述宽高比阈值设置为一宽高比区间，如[0.9,1.1]。

仍以“川”字为例，按照列投影方式切分后，会得到从左到右的三列“丿”“丨”“丨”；先计算最左侧的列“丿”的宽高比，判断得知其小于宽高比阈值，故将其与第二列“丨”合并，得到一个新的列再次计算该新的列的宽高比，判断得知其仍小于宽高比阈值，则继续将与第三列“丨”合并，得到新的列“川”，再次计算“川”的宽高比，判断得知其不小于宽高比阈值，则将最后合并得到的“川”作为一个字块。

S222、根据预设标准字库确定每个字块对应的单字。

本申请实施例中，所述预设标准字库中，存储有每个汉字对应的标准特征值，对于切分得到的每个字块，计算一个或多个特征值，再与所述预设标准字库中的标准特征值进行比较，即可确定每个字块对应的单字。

可选的，步骤S222具体可以包括：

S2221、将各个字块分别存入点阵中，并根据所述点阵计算每个字块对应的特征值；

为便于计算字块对应的特征值，本申请实施例将每个字块划分为M*M(如M＝48)个像素点，根据每个像素点的颜色得到一个二进制数值(例如，白色的像素点对应二进制数值“0”，黑色的像素点对应二进制数值“1”)，将各个像素点对应的二进制数值存入M*M的点阵(即M*M的二维数组)中，根据每个点阵所包含的二进制数据计算相应字块的特征值。

S2222、将计算得到的特征值与预设标准字库中的标准特征值进行比较，确定每个字块对应的单字。

可选的，上述特征值包括但不限于：笔画特征、封闭区域特征、连通特征等。例如，根据点阵可以计算某一个笔画周围的空白区域值。

由以上技术方案可知，本申请实施例为提取操作图片中的文字信息，先将该操作图片转换为黑白模式，从而可以降低文字信息的提取难度，提高提取准确度；然后通过行投影和列投影对转换为黑白模式的操作图片进行切分，得到多个字块，然后利用具有海量汉字标准特征值的预设标识字库，基于特征值计算和比较，可以快速确定每个字块对应的单字，完成文字信息提取。同时，在通过列投影切分得到多个列后，再基于每个列的宽高比进行相邻列之间的合并，以避免将整字切分为多列的问题，提高字块切分的准确性，进而提高文字信息提取的准确性。

相应的，本申请实施例还提供一种远程访问监控装置，该装置应用于远程访问系统。参照图8所示结构示意图，上述远程访问监控装置包括：

监控信息采集单元810，对远程访问过程进行录像，从得到的录像文件中抓取每个操作对应的操作图片，并保存所述操作图片；

监控信息分析单元820，用于提取所述操作图片中的文字信息；

监控执行单元830，用于根据所述文字信息对远程访问过程进行监控。

其中，对应于图2或图4所示远程访问系统，监控信息采集单元810设置于堡垒主机中，监控信息分析单元820和监控执行单元830既可以设置于堡垒主机中，也可以设置于客户端中。

由以上技术方案可知，本申请实施例通过对远程访问过程进行录像，从得到的录像文件中抓取每个操作对应的操作图片，并保存所述操作图片作为监控的原始数据，相对于现有技术中直接存储录像文件，本申请实施例可以大大减轻相关存储设备的存储负担。并且，相对于现有技术先基于命令行字符搜索录像文件中对应的一帧或多种操作图像，再根据该操作图像进行审计分析，本申请实施例通过提取所述操作图片中的文字信息，并根据所述文字信息进行审计分析，更便于发现大量远程操作中的违规操作，提高审计效率。

可选的，上述远程访问监控装置还可以包括：远程访问实现单元，用于根据Guacamole协议将客户端浏览器连接至远程桌面主机，以通过所述客户端浏览器进行远程访问。该远程访问实现单元具体可以设置于远程连接服务器中，使得用户可以通过客户端的浏览器，以远程访问实现单元为代理/中介，连接至远程桌面主机。

可选的，上述监控信息分析单元820具体可以包括：

图片模式转换单元，用于将所述操作图片的色彩模式转换为黑白模式；

以及，文字信息提取单元，用于基于所述黑白模式的操作图片提取所述文字信息。

其中，所述图片模式转换单元具体被配置为：

获取所述操作图片中每个像素点的色彩值；

判断所述色彩值是否在预设范围内；

当所述色彩值在预设范围内时，将相应的像素点转换为白色；当所述色彩值不在预设范围内时，将相应的像素点转换为黑色。

本申请实施例中，对抓取到的操作图片进行预处理，使其由彩色模式变为黑白模式，即仅包含黑和白两种颜色，更易于提取其中的文字信息。

所述文字信息提取单元可以包括：

字块切分单元，用于通过行投影和列投影将所述黑白模式的操作图片切分为多个字块；

文字匹配单元，用于根据预设标准字库确定每个字块对应的单字。

其中，所述字块切分单元具体被配置为：

通过行投影将所述黑白模式的操作图片中的文字切分为不同行；

通过列投影将切分得到的每行文字切分为不同列；

对切分得到的宽高比不在预设范围内的列进行合并，得到多个字块。

所述文字匹配单元具体被配置为：

将各个字块分别存入点阵中，并根据所述点阵计算每个字块对应的特征值；

将计算得到的特征值与预设标准字库中的预设特征值进行比较，确定每个字块对应的单字。

可见，本申请实施例为提取操作图片中的文字信息，先将该操作图片转换为黑白模式，从而可以降低文字信息的提取难度，提高提取准确度；然后通过行投影和列投影对转换为黑白模式的操作图片进行切分，得到多个字块，然后利用具有海量汉字标准特征值的预设标识字库，基于特征值计算和比较，可以快速确定每个字块对应的单字，完成文字信息提取。同时，在通过列投影切分得到多个列后，再基于每个列的宽高比进行相邻列之间的合并，以避免将整字切分为多列的问题，提高字块切分的准确性，进而提高文字信息提取的准确性。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

另外，本申请实施例还提供了一种远程访问系统，参照图2所示系统架构，该远程访问系统可以包括：至少一个远程桌面主机、至少一个有远程访问需求的客户端、远程连接服务器和堡垒主机。

其中，所述客户端通过所述远程连接服务器对所述远程桌面主机进行远程访问；

所述堡垒主机用于，对远程访问过程进行录像，从得到的录像文件中抓取每个操作对应的操作图片，并保存所述操作图片；

所述堡垒主机或所述客户端还用于，提取所述操作图片中的文字信息，根据所述文字信息对远程访问过程进行监控。

可选的，上述远程访问服务器具体可以为Guacamole服务器；所述Guacamole服务器用于通过Guacamole协议将所述客户端的浏览器连接至所述远程桌面主机，使得用户可以通过客户端自带的浏览器连接并访问任意远程桌面主机。

可见，相对于现有技术，本申请实施例通过对远程访问过程进行录像，从得到的录像文件中抓取每个操作对应的操作图片，并保存所述操作图片作为监控的原始数据，相对于现有技术中直接存储录像文件，本申请实施例可以大大减轻相关存储设备的存储负担。并且，相对于现有技术先基于命令行字符搜索录像文件中对应的一帧或多种操作图像，再根据该操作图像进行审计分析，本申请实施例通过提取所述操作图片中的文字信息，并根据所述文字信息进行审计分析，更便于发现大量远程操作中的违规操作，提高审计效率。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种远程访问监控方法，其特征在于，应用于远程访问系统，所述方法包括：

对远程访问过程进行录像，从得到的录像文件中抓取每个操作对应的操作图片，并保存所述操作图片；

提取所述操作图片中的文字信息；

根据所述文字信息对远程访问过程进行监控。

2.根据权利要求1所述的方法，其特征在于，还包括：

根据Guacamole协议将客户端中的浏览器连接至远程桌面主机，以通过所述浏览器进行远程访问；

将所述操作图片发送至所述浏览器，以通过所述浏览器显示所述操作图片。

3.根据权利要求1所述的方法，其特征在于，提取所述操作图片中的文字信息，包括：

将所述操作图片的色彩模式转换为黑白模式；

基于所述黑白模式的操作图片提取所述文字信息。

4.根据权利要求3所述的方法，其特征在于，将所述操作图片的色彩模式转换为黑白模式，包括：

获取所述操作图片中每个像素点的色彩值；

判断所述色彩值是否在预设范围内；

当所述色彩值在预设范围内时，将相应的像素点转换为白色；

当所述色彩值不在预设范围内时，将相应的像素点转换为黑色。

5.根据权利要求3所述的方法，其特征在于，基于所述黑白模式的操作图片提取所述文字信息，包括：

通过行投影和列投影将所述黑白模式的操作图片切分为多个字块；

根据预设标准字库确定每个字块对应的单字；

其中，所述通过行投影和列投影将所述黑白模式的操作图片切分为多个字块，包括：

通过行投影将所述黑白模式的操作图片中的文字切分为不同行；

通过列投影将切分得到的每行文字切分为不同列；

对切分得到的宽高比不在预设范围内的列进行合并，得到多个字块；

所述根据预设标准字库确定每个字块对应的单字，包括：

将各个字块分别存入点阵中，并根据所述点阵计算每个字块对应的特征值；

将计算得到的特征值与预设标准字库中的标准特征值进行比较，确定每个字块对应的单字。

6.一种远程访问监控装置，其特征在于，应用于远程访问系统，所述装置包括：

监控信息采集单元，对远程访问过程进行录像，从得到的录像文件中抓取每个操作对应的操作图片，并保存所述操作图片；

监控信息分析单元，用于提取所述操作图片中的文字信息；

监控执行单元，用于根据所述文字信息对远程访问过程进行监控。

7.根据权利要求6所述的装置，其特征在于，所述监控信息分析单元包括：

图片模式转换单元，用于将所述操作图片的色彩模式转换为黑白模式；

文字信息提取单元，用于基于所述黑白模式的操作图片提取所述文字信息。

8.根据权利要求7所述的装置，其特征在于，所述图片模式转换单元具体被配置为：

获取所述操作图片中每个像素点的色彩值；

判断所述色彩值是否在预设范围内；

当所述色彩值在预设范围内时，将相应的像素点转换为白色；

当所述色彩值不在预设范围内时，将相应的像素点转换为黑色。

9.根据权利要求7所述的装置，其特征在于，所述文字信息提取单元，包括：

字块切分单元，用于通过行投影和列投影将所述黑白模式的操作图片切分为多个字块；

文字匹配单元，用于根据预设标准字库确定每个字块对应的单字；

其中，所述字块切分单元具体被配置为：

通过行投影将所述黑白模式的操作图片中的文字切分为不同行；

通过列投影将切分得到的每行文字切分为不同列；

对切分得到的宽高比不在预设范围内的列进行合并，得到多个字块；

所述文字匹配单元具体被配置为：

将各个字块分别存入点阵中，并根据所述点阵计算每个字块对应的特征值；

将计算得到的特征值与预设标准字库中的预设特征值进行比较，确定每个字块对应的单字。

10.一种远程访问系统，其特征在于，包括：至少一个远程桌面主机、至少一个有远程访问需求的客户端、远程连接服务器和堡垒主机；

所述客户端通过所述远程连接服务器对所述远程桌面主机进行远程访问；

所述堡垒主机用于，对远程访问过程进行录像，从得到的录像文件中抓取每个操作对应的操作图片，并保存所述操作图片；

所述堡垒主机或所述客户端还用于，提取所述操作图片中的文字信息，根据所述文字信息对远程访问过程进行监控。