CN112153337B - 监控方法以及相关设备 - Google Patents

Abstract

本申请公开了一种监控方法以及相关设备，该监控方法应用于监控系统，所述监控系统包括用户设备、网关、监控服务器和内网服务器；所述用户设备分别与所述网关、所述监控服务器建立通信连接，所述网关与所述内网服务器建立通信连接；所述方法包括：所述用户设备经由所述网关从所述内网服务器接收数据，并根据所述数据显示第一图像；在显示所述第一图像的情况下，所述用户设备通过摄像头获取第二图像；所述用户设备对所述第二图像进行图像识别；当识别到所述第二图像的特征信息包含违规特征信息时，所述用户设备向所述监控服务器发送用于指示违规的提示信息，通过上述方法，可以监控到员工的违规行为，提高信息的安全性。

Description

监控方法以及相关设备

技术领域

本发明涉及计算机信息安全技术领域，特别涉及一种监控方法以及相关设备。

背景技术

随着计算机技术的发展，远程办公已经成为企业可选的一种方式，员工在公司外部可以远程访问企业内网资源，然而，内网中含有大量敏感资源，员工在外办公时的权限难以控制，存在泄露公司资源的风险。信息安全问题成为远程办公中巨大挑战，目前，对于终端设备的防止企业信息泄露管控可以通过一些软件阻止员工截屏或者复制的操作，但并不能阻止员工使用其他的方法泄露信息。

发明内容

本发明实施例公开了一种监控方法以及相关设备，可以监控到员工的违规行为，提高信息的安全性。

第一方面，本申请实施例提供了一种监控方法，所述监控方法应用于监控系统，所述监控系统包括用户设备、网关、监控服务器和内网服务器；所述用户设备分别与所述网关、所述监控服务器建立通信连接，所述网关与所述内网服务器建立通信连接；

所述方法包括：

所述用户设备经由所述网关从所述内网服务器接收数据，并根据所述数据显示第一图像；

在显示所述第一图像的情况下，所述用户设备通过摄像头获取第二图像；

所述用户设备对所述第二图像进行图像识别；

当识别到所述第二图像的特征信息包含违规特征信息时，所述用户设备向所述监控服务器发送用于指示违规的提示信息。

上述方法，在用户设备与内网服务器交互时，通过摄像头监控用户，在识别到用户违规的情况下进行提示，可以实现在外网办公时对员工行为的监控，减少内网服务器中信息的泄露，可提高信息的安全性。

在一种可能的实现中，所述违规特征信息包括：多个人的人脸信息、拍照设备、摄像头、拍照姿势中的至少一种。

在一种可能的实现中，所述用户设备经由所述网关从所述内网服务器接收数据之前，所述方法还包括：

所述用户设备接收第一用户操作，所述第一用户操作用于通过所述网关与所述内网服务器建立通信连接；

响应于所述第一用户操作，所述用户设备检测目标应用是否启动；

所述用户设备经由所述网关从所述内网服务器接收数据，包括：

当所述目标应用启动时，所述用户设备经由所述网关从所述内网服务器接收数据；

所述第二图像由所述用户设备调用所述目标应用获得，所述用户设备对所述第二图像进行图像识别，包括：所述用户设备调用所述目标应用对所述第二图像进行图像识别。

在一种可能的实现中，所述方法还包括：

当识别到所述第二图像的特征信息包含多个人的人脸信息时，所述用户设备获取所述多个人的停留时间；

在所述停留时间大于第一时长时，所述用户设备执行所述向所述监控服务器发送用于指示违规的提示信息的步骤。

在一种可能的实现中，所述方法还包括：

所述用户设备获取违规的频率；

当所述频率大于预设阈值时，所述用户设备向所述监控服务器发送用于指示违规的提示信息。

可选地，所述提示信息携带所述违规的频率。

进一步地，所述方法还包括：

所述用户设备根据多个违规特征信息与阈值对应关系，确定所述第二图像的特征信息包含的违规特征信息对应的阈值为所述预设阈值。

在一种可能的实现中，当所述频率大于预设阈值时，所述方法还包括：

所述用户设备根据所述第二图像的特征信息包含的违规特征信息确定违规的类型；

所述用户设备从数据表中查找目标用户的标识和确定的类型对应的安全处理方式；所述数据表包括多个用户中的每个用户在多种违规的类型下分别对应的安全处理方式；

所述用户设备根据查找到的安全处理方式进行处理。

在一种可能的实现中，当所述频率大于预设阈值时，所述方法还包括：

所述用户设备根据所述第二图像的特征信息包含的违规特征信息确定违规的类型；

所述用户设备根据所述确定的类型对应的安全处理方式进行处理。

在一种可能的实现中，所述安全处理方式包括：

所述用户设备锁屏；

所述用户设备本地断开与所述网关的通信连接。

在一种可能的实现中，所述用户设备经由所述网关从所述内网服务器接收数据之前，所述方法还包括：

所述用户设备获取当前网络状态，所述网络状态包括内网连接状态和外网连接状态；

所述用户设备经由所述网关从所述内网服务器接收数据，包括：在所述当前网络状态为外网连接状态的情况下，所述用户设备经由所述网关从所述内网服务器接收数据。

可选地，所述用户设备获取当前网络状态具体包括：

所述用户设备根据当前的网际互连协议IP地址或和域名系统DNS信息确定当前网络状态。

可选地，所述监控服务器包括位于隔离区DMZ的第一监控服务器和位于内网的第二监控服务器，所述用户设备获取当前网络状态具体包括：

所述用户设备分别检测与所述第一监控服务器和所述第二监控服务器是否连通；

在与所述监控服务器连通时，所述用户设备的当前网络状态为外网连接状态；

在与所述第二监控服务器连通时，所述用户设备的当前网络状态为内网连接状态。

可选地，所述监控系统还包括位于内网的第一服务器，所述用户设备获取当前网络状态具体包括：

所述用户设备与检测与所述第一服务器是否连通；

在与所述第一服务器未连通时，所述用户设备的当前网络状态为外网连接状态；

在与所述第一服务器连通时，所述用户设备的当前网络状态为内网连接状态。

在一种可能的实现中，当识别到所述第二图像的特征信息包含违规特征信息时，所述方法还包括：

所述用户设备对所述第二图像中除所述违规特征信息之外内容进行模糊处理；

所述用户设备保存模糊处理后的第二图像，或向所述监控服务器发送模糊处理后的第二图像。

在一种可能的实现中，在显示所述第一图像的情况下，所述方法还还包括：

所述用户设备将摄像头每间隔设定时长采集的第三图像发送给所述监控服务器，所述第三图像包含或者不包含所述第二图像。

在一种可能的实现中，当识别到所述第二图像的特征信息包含违规特征信息时，所述方法还包括：

所述用户设备将所述第一图像发送至所述监控服务器。

在一种可能的实现中，所述方法还包括：

当识别到所述第二图像的特征信息不包含目标用户时，所述用户设备锁屏；或，

当识别到所述第二图像的特征信息不包含目标用户且所述目标用户未出现时长大于第二时长时，所述用户设备锁屏。

在一种可能的实现中，所述用户设备经由所述网关从所述内网服务器接收数据，并根据所述数据显示第一图像之后，所述方法还包括：

当检测所述用户设备包括多个显示屏或检测到投屏软件的开启时，所述用户设备锁屏。

第二方面，本申请实施例还提供了一种监控方法，所述监控方法应用于监控系统，所述监控系统包括用户设备、网关、监控服务器和内网服务器；所述用户设备分别与所述网关、所述监控服务器建立通信连接，所述网关与所述内网服务器建立通信连接；

所述方法包括：

所述监控服务器接收来自所述用户设备的用于指示违规的提示信息，其中，所述提示信息是用户设备在显示第一图像的情况下且在识别通过摄像头获取第二图像得待的特征信息包含违规特征信息时生成的，所述第一图像是根据所述用户设备根据经由所述网关从所述内网服务器接收的数据生成的。

在一种可能的实现中，所述方法还包括：

所述监控服务器根据所述提示信息，向所述网关发送断网命令，所述断网命令用于指示断开所述用户设备与所述网关的通信链路。

在一种可能的实现中，所述监控系统还包括指示信息向活动目录(AD)服务器，所述方法还包括：

所述监控服务器根据所述提示信息，向所述AD服务器发送锁定账户命令，所述锁定账户命令用于指示锁定使用所述用户设备的用户的账户。

在一种可能的实现中，所述方法还包括：

所述监控服务器接收来自所述用户设备的发送的所述第一图像。

在一种可能的实现中，所述方法还包括：

所述监控服务器接收来自所述用户设备的发送的第三图像，其中，所述第三图像是所述用户设备对所述第二图像中除所述违规特征信息之外内容进行模糊处理后得到的。

第三方面，本申请实施例还提供了一种用户设备，所述用户设备分别与网关、监控服务器建立通信连接，所述网关与所述内网服务器建立通信连接；

所述用户设备包括：

接收单元，用于经由所述网关从所述内网服务器接收数据；

显示单元，用于根据所述数据显示第一图像；

第一获取单元，用于在所述显示单元显示所述第一图像的情况下，通过摄像头获取第二图像；

识别单元，用于对所述第二图像进行图像识别；

发送单元，用于当所述识别单元识别到所述第二图像的特征信息包含违规特征信息时，向所述第一监控服务器发送用于指示违规的提示信息。

需要说明的是，上述用于设备中的各个单元用于实现上述第一方面或第一方面任意一种实现所述的方法，上述用于设备还可以包括其他用于实现上述第一方面或第一方面任意一种实现所述的方法的单元，具体可以参照上述第一方面或第一方面任意一种实现中相关描述，这里不再赘述。

第四方面，本申请实施例还提供了一种用户设备，包括处理器、存储器、通信模块、显示器和摄像头，其中，所述处理器通过总线分别耦合所述存储器、所述通信模块、所述显示器和所述摄像头，所述处理器用于调用所述存储器存储的指令，执行：

通过所述通信模块经由网关从内网服务器接收数据；

根据所述数据生成第一图像

通过所述显示器显示所述第一图像；

在显示所述第一图像的情况下，通过所述摄像头获取第二图像；

对所述第二图像进行图像识别；

当所述识别单元识别到所述第二图像的特征信息包含违规特征信息时，通过所述通信模块向所述监控服务器发送用于指示违规的提示信息。

需要说明的是，上述用于设备还用于实现上述第一方面或第一方面任意一种实现所述的方法，具体可以参照上述第一方面或第一方面任意一种实现中相关描述，这里不再赘述。

第五方面，本申请实施例还提供了一种监控服务器，其特征在于，所述监控服务器与用户设备监理通信连接，所述用户设备与网关建立通信连接，所述网关与内网服务器建立通信连接；

所述监控服务器包括：

接收单元，用于接收来自所述用户设备的用于指示违规的提示信息，其中，所述提示信息是用户设备在显示第一图像的情况下且在识别通过摄像头获取第二图像得待的特征信息包含违规特征信息时生成的，所述第一图像是根据所述用户设备根据经由所述网关从所述内网服务器接收的数据生成的。

在一种可能的实现中，所述监控服务器还包括：

发送单元，用于根据所述提示信息，向所述网关发送断网命令，所述断网命令用于指示断开所述用户设备与所述网关的通信链路。

在一种可能的实现中，所述监控服务器还包括：

发送单元，用于根据所述提示信息，向AD服务器发送锁定账户命令，所述锁定账户命令用于指示锁定使用所述用户设备的用户的账户。

需要说明的是，上述监控服务器中的各个单元用于实现上述第二方面或第二方面任意一种实现所述的方法，上述监控服务器还可以包括其他用于实现上述第二方面或第二方面任意一种实现所述的方法的单元，具体可以参照上述第二方面或第二方面任意一种实现中相关描述，这里不再赘述。

第六方面，本申请实施例还提供了一种监控服务器，包括处理器、存储器和通信接口，其中，所述处理器通过总线分别耦合所述存储器、所述通信接口，所述处理器用于调用所述存储器存储的指令，执行：

通过所述通信接口接收来自所述用户设备的用于指示违规的提示信息，其中，所述提示信息是用户设备在显示第一图像的情况下且在识别通过摄像头获取第二图像得待的特征信息包含违规特征信息时生成的，所述第一图像是根据所述用户设备根据经由所述网关从所述内网服务器接收的数据生成的。

需要说明的是，上述监控服务器还用于实现上述第二方面或第二方面任意一种实现所述的方法，具体可以参照上述第二方面或第二方面任意一种实现中相关描述，这里不再赘述。

第七方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储指令，当所述指令在用户设备上运行时，使得所述用户设备执行上述第一方面或第一方面任意一种实现中用户设备所述的方法。

第八方面，本申请实施例还提供了一种本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储指令，当所述指令在监控服务器上运行时，使得所述监控服务器执行上述第二方面或第二方面任意一种实现中监控服务器所述的方法。

第九方面，本申请实施例提供一种包含指令的计算机程序产品，当上述计算机程序产品在用户设备上运行时，使得所述用户设备执行上述第一方面或第一方面任意一种实现中用户设备所述的方法。

第十方面，本申请实施例提供一种包含指令的计算机程序产品，当上述计算机程序产品在监控服务器上运行时，使得所述监控服务器执行上述第二方面或第二方面任意一种实现中监控服务器所述的方法。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种监控系统的架构示意图；

图2是本发明实施例提供的一种登录方法的流程示意图；

图3是本发明实施例提供的一种监控方法的流程示意图；

图4是本发明实施例提供的一种违规检测方法的流程示意图；

图5是本发明实施例提供的一种用户设备违规后的安全处理方式的流程示意图；

图6是本发明实施例提供的一种用户设备的结构示意图；

图7是本发明实施例提供的一种监控服务器的结构示意图；

图8是本发明实施例提供的另一种用户设备的结构示意图；

图9是本发明实施例提供的另一种监控服务器的结构示意图；

图10是本发明实施例提供的一种可插拔设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

需要说明的是，在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

请参阅图1，图1是本发明实施例提供的一种监控系统的架构示意图，如图所示，该系统包括第一用户设备11、第二用户设备12、第一监控服务器13、第二监控服务器14、内网服务器16、活动目录(active directory，AD)服务器15、网关17、等。其中：

第一用户设备11是位于外网中的电子设备，第一用户设备11不能直接访问内网服务器，需要通过网关17才能访问内网服务器。第二用户设备12是位于内网中的电子设备，可以直接访问内网服务器16。

第一用户设备11和第二用户设备12上均可以运行目标应用111，该目标应用是用于实现监控方法的程序，本申请实施例中，上述用户设备在目标应用111正常启动时，可以实现与内网服务器16的通信。需要说明的是，目标应用111是为用户(在一些场景中也称为员工)提供本地服务的程序。这里，该本地服务可包括但不限于：人机交互服务、本地数据采集和维护服务、本地与监控服务器(第一监控服务器13或第二监控服务器14)之间的通信服务等等。例如，用户设备运行目标应用程序后，可通过摄像头采集获取图像，进而，对采集到的图像进行图像识别，识别到该图像的特征信息包含违规特征信息时，确定该用户违规，进一步地，可以向监控服务器发送用于指示违规的提示信息。在一些实施例中，用户设备也可以向监控服务器发送通过摄像头采集到的图像，由监控服务器实现图像识别、违规判断等操作。需要说明的是，图1中的监控流量19是指第一用户设备11与第一监控服务器13、第一监控服务器13与第二监控服务器14之间交互的数据，或，指第二用户设备12与第二监控服务器14之间交互的数据。

第一监控服务器13位于隔离区(demilitarized zone，DMZ)，第二监控服务器14位于内网中。第一用户设备11通过目标应用111与第一监控服务器13进行交互，第一监控服务器13用于对第一用户设备11提供监控策略。在一些实现中，第一监控服务器13可以向第二监控服务器14发送监控到的数据，由第二监控服务器14用于对第一用户设备11提供监控策略，此时，第一用户设备11通过第一监控服务器13与第二监控服务器14进行交互。第二用户设备12通过目标应用111与第二监控服务器14进行交互，第二监控服务器14可以用于对第二用户设备12提供监控策略。

应理解，内网是一种私有网络，属于局域网。内网中存放的是公司内部数据，这些数据不允许外网的用户进行访问。外网，是相对于内网来说的，属于广域网。外网中的设备不能直接访问内网，但可以通过隔离区(demilitarized zone，DMZ)中的网关来访问内网。隔离区(demilitarized zone，DMZ)，是为了解决外部网络不能访问内网服务器的问题，而设立的一个内网与外网之间的缓冲区。在DMZ区中存放对外的服务器，比如，网关17和本申请实施例中的第一监控服务器13。

内网服务器16位于内网，属于内网中的资源，可以是一个服务器，也可以是多个服务器；可以用于存储企业数据、为业务应用提供服务等。在一些实现中，外网中的用户可以通过网关17访问内网中的资源，内网中的用户可以直接访问内网中的资源；在另一些实现中，内网服务器可以包括运行在该内网服务器中的多个虚拟机，用户(包括外网和内网中的用户)可以登录虚拟机，通过虚拟机访问内网中的资源。

当用户设备需要接入内网服务器16时，首先由用户设备通过网络准入控制(network admission control，NAC)技术对检测用户设备，包括检测是否有摄像头、目标应用是否被激活等；在用户设备包括摄像头且正常启动目标应用后，向本地防火墙发送用于指示准入的指示信息，本地防火墙同意用户设备连接到内网服务器16。然而，当在用户设备包括不包括摄像头或未正常启动目标应用时，向本地防火墙发送用于指示拒接接入的指示信息，本地防火墙不同意用户设备连接到内网服务器。

在用户设备被准入后，用户设备可以进行身份验证，其中，身份验证的过程可以是：用户设备接收用户输入的登录信息，如在企业中的账号、密码等，用户设备将登录信息发送至AD服务器15；AD服务器15将接收到的登录信息与其存储的用户信息进行比对，为其存储的用户信息时，身份验证通过，此时，用户设备可以与内网服务器16进行业务数据的交互。需要说明的是，图1中的业务流18是用户设备与内网服务器16之间交互的业务数据。

应理解，第一用户设备需要通过网关17才能与内网服务器16进行交互。其中，网关，即为外网远程接入网关，是用于承接外网远程办公业务的节点。该节点可以是虚拟专用网络(virtual private network，VPN)网关，其工作原理是通过对数据包的加密和数据包目标地址的转换实现远程访问，VPN可通过服务器、硬件、软件等多种方式实现。该节点也可以是虚拟桌面架构(virtual desktop infrastructure，VDI)服务器，通过公司在VDI服务器端为员工创建的虚拟机，员工可以在任意地点登录访问内网。该节点也可以是VDI服务器和VPN服务器的组合，外网用户可以选择任意一种方式访问内网。

上述用户设备可以是笔记本电脑、台式电脑、工作站(workstation)、手机、平板电脑等终端设备。

下面结合上述图1所示的系统，对本申请实施例涉及的登录方法进行描述。

参见图2，图2是本申请实施例提供的一种登录方法的流程示意图，该登录方法可以基于上述图1所示的系统来实现，其中，本申请实施例中的用户设备可以是位于外网中的设备，即上述图1中第一用户设备11，该方法可以包括但不限于如下步骤：

S200：用户设备获取当前网络状态，网络状态包括内网连接状态和外网连接状态。

其中，用户设备获取当前网络状态的可以包括但不限于如下三种实现方式：

实现方式1：

用户设备根据当前的IP地址或DNS信息确定当前网络状态。

具体的，基于目标应用，通过用户设备获取其IP地址，与内网IP地址的格式进行比对，如果格式符合，则判断用户设备连接内网，若不符合则为用户设备连接外网。

其中，内网IP地址的格式是192.168.*.*或10.*.*.*或127.0.*.*，“*”为1-254之间任意正整数。

实现方式2：

用户设备分别检测与第一监控服务器、第二监控服务器是否连通；在与第一监控服务器连通时，用户设备的当前网络状态为外网连接状态；在与第二监控服务器连通时，用户设备的当前网络状态为内网连接状态。其中，第一监控服务器位于隔离区(DMZ)，第二监控服务器位于内网。

实现方式3：

用户设备通过因特网包探索器(ping)检测与位于内网的第一服务器是否连通，第一服务器可以位于内网的任意一个服务器；在用户设备与第一服务器未连通时，所述用户设备的当前网络状态为外网连接状态；在用户设备与所述第一服务器连通时，所述用户设备的当前网络状态为内网连接状态。

不限于上述三种实现方式，用户设备还可以通过其他方式获取当前网络状态，这里不作限定。

S202：在当前网络状态为外网连接状态的情况下，用户设备检测目标应用是否开启。

具体地，用户设备接收第一用户操作，该第一用户操作用于通过网关与内网服务器建立通信连接，该第一用户操作可以是用户输入的内网服务器的访问地址，如内网服务器的登录页面的地址；响应于该第一用户操作，用户设备可以检测目标应用是否启动。

其中，目标应用是为用户(在一些场景中也称为员工)提供本地服务的程序。这里，该本地服务可包括但不限于：人机交互服务、本地数据采集和维护服务、本地与监控服务器(第一监控服务器或第二监控服务器)之间的通信服务等等。例如，用户设备运行目标应用程序后，可通过摄像头采集获取图像，进而，对采集到的图像进行图像识别，识别到该图像的特征信息包含违规特征信息时，确定该用户违规，进一步地，可以向监控服务器发送用于指示违规的提示信息。

在启动目标应用的一种具体实施方式中，在接收到用户针对目标应用输入的启动操作后，用户设备开启摄像头，当摄像头开启后，正常启动目标应用；否则，关闭目标应用。在一种实现中，用户设备可以检测摄像头接口有无图像输入，若有图像输入，则目标应用正常工作，此时，用户设备可以通过摄像头采集当前场景的图像，即为本申请实施例中的第二图像。

需要说明的是，上述步骤S200不是必须的步骤，本申请实施例也可以不执行上述S200，响应于检测到的第一用户操作，执行检测目标应用是否开启。

S204：在用户设备启动目标应用时，用户设备经由网关向内网服务器发送登录请求。

其中，登录请求用于向内网服务器请求登录界面信息，在用户设备向经由网关向内网服务器发送登录请求之前，用户设备检测目标应用是否被启动等，在用户设备包括摄像头且正常启动目标应用后，向本地防火墙发送用于指示准入的指示信息，本地防火墙同意用户设备连接到内网服务器。然而，当在用户设备包括未正常启动目标应用时，向本地防火墙发送用于指示拒接接入的指示信息，本地防火墙不同意用户设备连接到内网服务器。

S206：内网服务器经由网关向用户设备发送登录页面信息。

S208：用户设备接收登录页面信息并显示登录界面。

用户设备根据接收到的登录界面信息绘制登录界面，并显示该登录界面。可选地，该登录界面可以包括账号输入框、密码输入框、登录控件等。

S210：用户设备接收用户在登录界面输入的登录信息。

用户在账号输入框、密码输入框分别输入其账号、密码等登录信息后，用户点击登录控件，第一用户设备响应上述登录操作，

S212：用户设备经由网关向内网服务器发送该登录信息。

响应于用户针对登录控件输入的用户操作或者响应于用户输入登录信息，用户设备经由网关向内网服务器发送该登录信息。

S214：内网服务器接收该登录信息，并向AD服务器发送针对该登录信息的验证请求。

S216：AD服务器对登录信息进行验证。

AD服务器将该登录信息与AD服务器中信息数据库中的用户信息进行匹配，在匹配到与登录信息相同的用户信息后，则为验证通过，否则，验证失败。其中，该信息数据库中包括所有用户的账户、密码等信息。。

S218：AD服务器向内网服务器发送验证结果。

S220：内网服务器在该验证结果为验证通过时经由网关向用户设备发送主界面。

其中，该主界面可以是该用户的虚拟机的桌面，也可以是其他页面，本申请实施例不作限定。第一图像即包含内网中用户的虚拟机的桌面。

S222：用户设备显示主界面。

在另一些实施例中，AD服务器与内网服务器可以是同一设备，内网服务器接收该登录信息后，对该登录信息进行验证。

下面结合上述图1所示的系统，对本申请实施例涉及的监控方法进行描述。

参见图3，图3是本申请实施例提供的一种监控方法的流程示意图，该监控方法可以基于上述图1所示的系统来实现，其中，本申请实施例中的用户设备可以上述图1中第一用户设备11或第二用户设备12，监控服务器可以上述图1中的第一监控服务器13或第二监控服务器14，该方法可以包括但不限于如下步骤：

S300：用户设备经由网关从内网服务器接收数据，并根据数据显示第一图像。

在用户设备进行上述图2所示的登录方法后，用户设备可以与内网进行数据交互，此时，用户设备可以根据接收到的数据显示第一图像、播放音频等。应理解，第一图像随着用户针对第一图像的用户操作，其具体限定的内容可以不断变化。

可选地，在当前网络状态为外网连接状态的情况下，用户设备执行S300的步骤。其中，用户设备获取当前网络状态的具体实现，可以参见上述图2所示的实施例中，获取当前网络状态的三种实现方式，这里不再赘述。

可选地，用户设备接收第一用户操作，该第一用户操作用于通过网关与内网服务器建立通信连接；响应于该第一用户操作，用户设备可以检测目标应用是否启动。在检测到目标应用启动的情况下，用户设备经由网关与内网服务器建立通信连接。

在远程桌面的场景下，用户设备经由网关从内网VDI远程服务器(即内网服务器)接收远程桌面显示数据，并根据该显示数据显示第一图像。第一图像包含内网中远程电脑的电脑桌面。

S302：在显示第一图像的情况下，用户设备通过摄像头获取第二图像。

应理解，可以摄像头获取的图像是用户在使用用户设备时所处的场景图像。该获取第二图像可以是在某一时刻获取的一张，也可以是在某一时间段内连续获取的多张。

S304：用户设备对第二图像进行图像识别。

S306：用户设备判断识别到第二图像的特征信息是否包含违规特征信息。

当识别到所述第二图像的特征信息包含违规特征信息时，则用户违规，用户设备可以执行S308，否者，用户不违规，用户设备可以不进行操作或重新执行S302。

可选地，违规特征信息包括：多个人的人脸信息、拍照设备、摄像头、拍照姿势等中的至少一种。

下面结合图4描述本申请实施例涉及的违规检测方法，即上述S304-S306的具体实现可以包括但不限于如下六种实现中的一种或多种：

在第一种实现中，违规特征信息可以是多个人的人脸信息，上述S304-S306具体可以包括但不限于如下步骤：

S304a：用户设备可以识别第二图像中的人脸信息。

S306a：用户设备判断识别到所述第二图像的特征信息中是否包括多个人的人脸信息。如果是，则用户违规本申请实施例中，也基于违规特征信息，划分违规类型。上述违规的违规类型为多人出现，也称为违规类型(1)。

在第二种实现中，违规特征信息可以是拍照设备，上述S304-S306具体可以包括但不限于如下步骤：

S304b：用户设备可以识别第二图像中的拍照设备。

S306b：用户设备判断该第二图像中是否包括拍照设备。如果是，则用户违规，且违规的类型为出现拍照设备，也称为违规类型(2)。

其中，拍照设备可以是手机、相机、平板电脑、智能手表等。用户设备可以识别图像中是否包括上述拍照设备中的至少一种，如果是，则说明该图像中包括拍照设备，否则，不包括拍照设备。

在第三种实现中，违规特征信息可以是摄像头，上述S304-S306具体可以包括但不限于如下步骤：

S304c：用户设备可以识别第二图像中的摄像头。

S306c：用户设备判断该第二图像中是否包括摄像头。如果是，则用户违规，且违规的类型为出现摄像头，也称为违规类型(3)。

例如，通过样本图像训练一个摄像头识别模型，该样本图像是以图像为输入，是否包括摄像头为标签。该摄像头识别模型可以是一个卷积神经网络。具体地，可以将样本图像输入到摄像头识别模型，得到样本图像的预测结果，该预测结果用于指示样本图像包括摄像头的概率，通过使得预测结果与真实结果(样本图像的标签)之前的损失最小化，优化摄像头识别模型的参数，直至得到准确度满足要求的摄像头识别模型。进一步地，通过将第二图像输入到训练后的摄像头识别模型，得到识别结果，该识别结果指示了第二图像是否包括摄像头。

在第四种实现中，违规特征信息可以是拍照姿势，上述S304-S306具体可以包括但不限于如下步骤：

S304d：用户设备可以识别第二图像中的人体姿态。

S304d：用户设备判断该第二图像中是否包括拍照姿势。如果是，则用户违规，且违规的类型为出现拍照姿势，也称为违规类型(4)。

在第五种实现中，违规特征信息可以是说话口型，上述S304-S306具体可以包括但不限于如下步骤：

用户设备识别到所述第二图像的特征信息中是否包括说话口型。即根据第二图像识别到的口型识别是否有人在说话，如果是，则进一步判断该人是否为闲聊，如果是，则不进行处理，否则，执行S308或者执行其他安全处理方式，这里不作限定。其中，在根据第二图像识别到的口型不断变化时，则判断为识别是否有人在说话。用户设备判断人是否闲聊的一种具体实现可以是：用户设备可以根据识别到的口型的变化频率来识别是否闲聊，例如，当口型变化频率起伏较大时，则识别为闲聊，当口型变化频率趋于一致时，识别为朗读，此时需要执行S308或者执行其他安全处理方式。

在第六种实现中，违规特征信息可以是抄写姿势，上述S304-S306具体可以包括但不限于如下步骤：

用户设备识别到所述第二图像的特征信息中是否包括抄写姿势。例如，用户设备根据第二图像识别的抬头姿势和低头姿势，进一步地，根据抬头和/低头的频率判断是否为抄写姿势，如果是，则进一步执行S308或者执行其他安全处理方式，这里不作限定；否则，则不进行处理。

需要说明的是，可以执行上述第一至六种实现中的一个或多个。上述第一至六种实现执行顺序可以不分先后，同时执行，也可以依次执行，本申请实施例不作限定。

在一些实施例中，该方法还可以包括：语音监控。在具体实现中：用户设备通过麦克风采集待识别语音；将待识别语音转换为待识别文本，进一步地，检测待识别文本中是否包含目标关键词，如果是，则可以执行S308或者执行其他安全处理方式。其中，该目标关键词可以是“咔嚓”、“拍照”、“录像”。

可选地，用户设备也可以不进行语音文本转换，直接识别待识别语音中是否包含摄像机或手机等拍摄的声音，如果是则执行S308或者执行其他安全处理方式。

应理解，在一些实施例中，也可以仅仅通过麦克风采集声音进行监控，这里不作限定。

还应理解，在一些实施例中，用户也可以选定执行上述第一至六种实现、上述语音监控等中的一个或多个。

在一些实施例中，步骤S308之前，该方法还可以包括：

S307：用户设备获取违规的频率；

当该频率大于预设阈值时，用户设备执行步骤S308，即用户设备向监控服务器发送提示信息的步骤；否者，记录用户违规的时间、地点等信息，还可以重新执行S302。

在一种实施方式中，预设阈值可以是固定值。当用户违规的频率达到预设阈值时，用户设备执行步骤S308。例如，当预设阈值为1时，即为判定目标用户违规1次就满足预设条件或目标用户在单位时间(如小时)违规1次，则用户设备执行步骤S308。

在一种实施方式中，预设阈值可以是基于违规特征信息设置，不同的违规特征信息对应不同的预设阈值。用户设备可以存储多个违规特征信息分别对应的阈值，进而，可以在确定出第二图像的特征信息包含的违规特征信息后，确定该确定出的违规特征信息对应的阈值，即为预设阈值。在用户违规频率不小于该预设阈值时，执行步骤S308。

例如，多个人的人脸信息的对应的阈值为2次/小时；拍照设备对应的阈值为1次/小时。也就是说，如果在一个小时内，用户设备获取的图像中包括多个人，且该违规次数达到2次，则执行步骤S308；如果在一个小时内，用户设备获取的图像中包括拍照设备，且违规次数达到1次，则执行步骤S308。

在一些实施例中，对于同一种违规类型，用户设备的网络状态不同，预设阈值的也可以不同。用户设备可以预存违规类型与阈值的对应关系，用户设备可以在违规类型与阈值的对应关系中查找该确定的违规类型对应的阈值为预设阈值。例如，如果用户违规的类型为违规类型(1)，外网连接状态对应的预设阈值为1次/小时，内网连接状态对应的预设阈值为3次/小时。当用户设备在外网连接状态下违规的类型为违规类型(1)，且违规1次/小时，则需要执行S308和/或执行违规类型(1)对应的安全处理方式；当在外网连接状态下违规的类型为违规类型(1)，且违规3次/小时，则需要执行S308和/或执行违规类型(1)对应的安全处理方式。以上仅为示例，对于不同网络状态、不同的违规的类型，预设阈值的还可以为其他值，这里不作限定。

在一些实施例中，在识别到用户违规后，进一步地，用户设备还可以判断违规是否满足预设条件。可选地，预设条件可以包括违规的时间在预设时间段内，和/或，违规的位置不在预设区域范围等。其中，用户设备可以获取违规发生的时间，判断该违规发生的时间是否在预设时间段，如果是，则满足预设条件，可以执行S308，否则，不满足预设条件，可记录用户违规的时间等信息，还可以重新执行S302。或者，用户设备可以获取违规发生的位置，如用户设备可以在识别到目标用户违规时，通过定位系统获取当前位置，在当前位置在预设区域范围内时，则满足预设条件，可以执行S308，否则，不满足预设条件记录用户违规的地点等信息，还可以重新执行S302。

例如，在外办公的员工，可以设置其公司所在位置为预设区域范围，当该员工使用用户设备在公司办公时，即使违规，但不满足“违规的位置不在公司所在位置”的预设条件，可以不执行S308。

在一些实施例中，针对不同的用户，监控策略可以不同，即其需要监控的违规类别、违规预警的阈值等可以不同，预设阈值可以不同。其中，该监控策略可以是由第二监控服务器响应于用户操作生成并下发给用户设备的。该监控策略还可以是存储在第二监控服务器本地的。

该监控策略发送给用户设备之后，用户设备可根据该监控策略对相应的用户采集第二图像并识别第二图像的特征信息是否包含违规特征信息。

当该监控策略存储在第二监控服务器本地时，例如，在识别到第二图像的特征信息包含违规特征信息时，用户设备可以进一步确定目标用户的权限信息，权限信息可以包括，该目标用户需要监控的违规类型、违规预警的阈值等。在具体应用中，在识别到第二图像的特征信息包含违规特征信息时，用户设备可以基于其包含的违规特征信息确定违规类别，检测该确定的违规类型是否为该目标用户需要监控的违规类型，如果是，则可以执行S307或S308，否则不进行处理。

在另一种实现中，用户设备可以预存用户与阈值的对应关系，用户设备可以在用户与阈值的对应关系中查找该目标用户对应的阈值为预设阈值。

S308：用户设备向监控服务器发送用于指示违规的提示信息。

在一种实现中，用户设备可以是外网中的设备，用户设备可以向第一监控服务器发送该提示信息。可选地，第一监控服务器可以将该提示信息转发给第二服务器。

在另一种实现中，用户设备可以是内网中的设备，用户设备可以向第二监控服务器发送该提示信息。

进一步地，如图5所示，第一监控服务器或第二监控服务器根据该提示信息可以执行S310-S312以控制断网，或执行S314-S316以锁定账户，图5以第一监控服务器执行为例来说明。

S310：第一监控服务器根据该提示信息向网关发送断网命令，该断网命令用于指示断开用户设备与网关的通信链路。

S312：网关根据该断网命令，断开用户设备与网关的通信链路。

S314：第一监控服务器根据该提示信息向AD服务器发送锁定账户命令，该锁定账户命令用于指示锁定使用用户设备的用户的账户。

S316：AD服务器根据该锁定账户命令，锁定使用用户设备的用户的账户。

在一些实施例中，除上述控制断网、锁定账户的安全处理方式外，在S306或S307之后，该方法还可以包括其他安全处理方式，如锁屏(参见S318)、用户设备本地断网(参见S320)、上传违规图像(参见S322-S324)、截屏(S326)等中的一项或多项，其中：

S318：用户设备锁屏。

应理解，锁屏包括停止向屏幕供电、进入休眠状态等。可选地，处于锁屏状态下的用户设备，需要进行重新身份验证，身份验证通过后，进入用户设备的主界面或者最后显示界面。

S320：用户设备本地断开与网关的通信连接。

具体地，通过用户设备的本地防火墙断开与网关的通信连接。用户设备上的目标应用向本地防火墙发出用于指示断开与网关的通信连接的命令，本地防火墙响应该命令，断开用户设备与网关的通信连接。

S322：用户设备对第二图像中除所述特征信息之外内容进行模糊处理。

S324：用户设备保存模糊处理后的第二图像，或向第一监控服务器发送模糊处理后的第二图像。

其中，这里用户设备是外网中的设备，模糊处理后的第二图像也称为第三图像。第一监控服务器在接收到模糊处理后的第二图像，可以将其转发给第二监控服务器。若用户设备为内网中的设备，用户设备可以将模糊处理后的第二图像直接发给第二监控服务器。

S326：用户设备将第一图像发送至第一监控服务器。

具体地，在用户违规或者违规的频率大于预设阈值时，用户设备可以获取当前显示的第一图像，将其发送至第一监控服务器，应理解，这里用户设备是外网中的设备。可选地，第一监控服务器在接收到第一图像，可以将其转发给第二监控服务器。若用户设备为内网中的设备，用户设备可以第一图像直接发给第二监控服务器。

其中，用户设备获取当前显示的第一图像的具体实现方式可以是：用户设备对当前显示的第一图像进行截屏或从用于缓存显示的数据的缓存空间中获得当前显示的第一图像。

不限于上述安全处理方式，还可以包括其他安全处理方式，如关机，即用户设备可以关闭用户设备。可选地，在关机之前，对通过预设密码用户设备进行加密，此时，即使用户设备再次被打开，使用者在没有得到该预设密码时，不能进入到桌面。该预设密码可以是固定的密码，也可以是动态码。

在一些实施例中，不同的违规的类型，其安全处理方式可以不同。在S306或S307之后，该方法还可以包括：用户设备根据第二图像的特征信息包含的违规特征信息确定违规的类型；用户设备根据所述确定的类型对应的安全处理方式进行处理。

在一些实施例中，不同的用户，其安全处理方式可以不同。具体实现中，用户设备可以预存用户与安全处理方式的对应关系，进一步地，用户设备可以在识别到的第二图像的特征信息包含的违规特征信息确定违规类型后，执行该目标用户对应的安全处理方式。

在一些实施例中，不同的违规的类型，不同的用户，其安全处理方式可以不同。在S306或S307之后，该方法还可以包括：用户设备根据第二图像的特征信息包含的违规特征信息确定违规的类型；用户设备从数据表中查找目标用户的标识和确定的类型对应的安全处理方式，其中，该数据表包括多个用户中的每个用户在多种违规的类型下分别对应的安全处理方式；进一步地，用户设备根据查找到的安全处理方式进行处理。

在一些实施例中，用户设备可以在显示所述第一图像的情况下，将摄像头每间隔设定时长采集的第三图像发送给所述监控服务器，所述第三图像包含或者不包含所述第二图像。监控服务器可留存用户设备采集的第三图像，当出现用户设备上违规操作时，监控服务器可根据该第三图像，查找并追溯违规行为，从而提高了信息的安全性。

周期性发送的第三图像中可包含违规情况下的图像，也可以包含未违规的图像。其中，第二图像可包含违规情况下的图像，此时用户设备可将第二图像发送给监控服务器，即周期性发送的第三图像中可包含该第二图像。

在一些实施例中，在步骤S304或S304a之后，S308之前，该方法还可以包括：当识别到所述第二图像的特征信息包含多个人的人脸信息时，用户设备获取该保含的多个人的停留时间；在该停留时间大于第一时长时，用户设备执行则执行步骤S308或者执行其他步骤。

具体实现中，可以通过在一段时间内连续获取的多张图像来确定多个人停留的时长是否大于第一时长，例如，从识别到包括多个人脸信息的图像时开始计时，计时时长大于第一时长后，识别获取到的图像中还包括多个人脸信息，则为多个人的停留时长大于第一时长。如果该多个人的停留时间大于第一时长时，则该多个人停留时长大于第一时长。

在一些实施例中，S304或S304a之后，该方法还可以包括：当识别到所述第二图像的特征信息不包含目标用户时，用户设备锁屏；或，当识别到第二图像的特征信息不包含目标用户且目标用户未出现时长大于第二时长时，用户设备锁屏。

应理解，用户设备可以存储包括目标用户的人脸的图像或从该图像中识别到的目标用户的人脸信息，进而，从通过摄像头获取到的图像中识别到的人脸信息与目标用户的人脸信息比对，当通过摄像头获取到的图像识别到的人脸信息中包括目标用户的人脸信息，或者与目标用户的人脸信息的相似度大于预设值，如0.8时，确定该图像包括目标用户的人脸信息。

还应理解，可以通过在一段时间内连续获取的多张图像判断目标用户未出现时长是否大于第二时长。例如，从未识别到目标用户人脸信息的图像开始计时，计时时长大于第二时长后，识别获取到的图像中仍然未包括目标用户的人脸信息，则为目标用户的未出现时长大于第二时长。

在一些实施例中，该方法还可以包括：当检测所述用户设备包括多个显示屏或检测到投屏软件的开启时，用户设备锁屏。

在一些实施例中，上述步骤S302、S304、S306、S308以及，S304-S306的具体实现均可以是用户设备通过运行目标应用实现。

上述方法，在用户设备与内网服务器交互时，通过摄像头监控用户，在识别到用户违规的情况下进行提示，可以实现在外网办公时对员工行为的监控，减少内网服务器中信息的泄露，可提高信息的安全性。

上述方法中，通过用户设备来检测违规，一方面可以保护个人隐私；另一方面可以减少远程的用户设备向监控服务器传输的数据量。

在一些实施例中，用户设备的摄像头可以同时被多个应用程序使用。

在一种实现中，用户设备可以同时运行目标应用和第一应用，该第一应用可以是可以实现视频会议的应用，还可以是其他应用。目标应用通过摄像头获取第二图像的一种实现可以是：目标应用向第一应用发送图像请求指令，第一应用在接收到该图像请求指令后，将通过摄像头获取的第二图像发送给第一应用。

在另一种实现中，用户设备的操作系统层在接收到多个应用分别对摄像头的调用指令时，可以采用分时复用的方式来实现摄像头的调用，以该多个应用包括目标应用和第一应用为例来说明，即，在第一时间段，允许目标应用调用摄像头，此时，目标应用通过摄像头采集第二图像；在第二时间段，允许第一应用调用摄像头，此时，第一应用通过摄像头采集图像，第一时间段和第二时间段不重合，第一时间段和第二时间段周期循环。

在一些实施例中，用户设备还可以在满足通过目标应用实现监控的要求(如每秒5-10帧图像的处理能力)外，保证目标应用对CPU或内存的占用率在第一预设值(如5％)以下。

在一种具体实现中，用户设备可以获取目标应用对CPU或内存的占用率，在目标应用对CPU或内存的占用率大于第二预设值(如30％、5％)时，释放目标应用的部分进程和/或释放目标应用占用的部分内存。

在另一种具体实现中，正常情况下用户设备的摄像头可每秒钟采集3-5张图像(仅示例，不限制)，当监测到目标应用的CPU占用率超过第二预设值时，则降低摄像头的采样频率(例如减为每秒钟采集2张)，以降低目标应用的CPU占用率。

需要说明的是，在本申请实施例中，目标应用的安装可以是：IT工作人员统一部署到用户设备、IT工作人员或服务器提供安装包，用户设备下载并安装。进一步地，可以通过核对工具检测到哪些电脑已经安装了。在用户设备安装目标应用后，可以自动判定与内网中监控服务器的连线状态，如果是通的，则会定期将监控服务器中的监控策略同步到用户设备。如果不通，那么用户设备是收不到服务器中最新监控策略的，用户设备还会按照之前的策略进行工作。

应理解，不同用户的监控策略可以不同，这一方面体现在，不同用户其需要进行监控的违规类型不同，其触发执行安全处理方式的阈值不同；另一方面体现在，不同用户，其在违规后，进行的安全处理方式可以不同。

还应理解，不同时间，用户的权限，监控策略可以不同，监控服务器可以定期更新目标应用，将该应用下发到用户设备。

下面介绍本申请实施例涉及的装置、设备。

如图6所示，为本申请实施例还提供了一种用户设备的结构示意图，该用户设备600可以是上述图1中的第一用户设备11或第二用户设备12，可以用于实现上述图3所示的方法中用户设备执行的方法，该用户设备600可以包括但不限于如下单元：

接收单元601，用于经由所述网关从所述内网服务器接收数据；

显示单元602，用于根据所述数据显示第一图像；

获取单元603，用于在所述显示单元602显示所述第一图像的情况下，通过摄像头获取第二图像；

识别单元604，用于对所述第二图像进行图像识别；

发送单元605，用于当所述识别单元604识别到所述第二图像的特征信息包含违规特征信息时，向所述第一监控服务器发送用于指示违规的提示信息。

需要说明的是，上述用户设备用于实现上述图2和图3所示的方法实施例中用户设备所实现所述的方法，还可以包括用于实现上述图2和图3所示的方法实施例中用户设备所实现所述的方法所需的功能单元，具体可以参照上述图2和图3中相关描述，这里不再赘述。

如图7所示，为本申请实施例还提供了一种监控服务器的结构示意图，该监控服务器700可以是上述图1中的第一监控服务器13或第二监控服务器14，可以用于实现上述图3所示的方法中监控服务器执行的方法，该监控服务器700可以包括但不限于如下单元：

接收单元701，用于接收来自所述用户设备的用于指示违规的提示信息，其中，所述提示信息是用户设备在显示第一图像的情况下且在识别通过摄像头获取第二图像得待的特征信息包含违规特征信息时生成的，所述第一图像是根据所述用户设备根据经由所述网关从所述内网服务器接收的数据生成的。

在一种可能的实现中，所述监控服务器700还包括：

发送单元702，用于根据所述提示信息，向所述网关发送断网命令，所述断网命令用于指示断开所述用户设备与所述网关的通信链路。

在一种可能的实现中，所述监控服务器700还包括：

发送单元702，用于根据所述提示信息，向AD服务器发送锁定账户命令，所述锁定账户命令用于指示锁定使用所述用户设备的用户的账户。

需要说明的是，上述监控服务器中的各个单元用于实现上述图3所示的方法中监控服务器执行的方法，上述监控服务器还可以包括其他用于实现图3所示的方法中监控服务器执行的方法的单元，具体可以参照上述图3所示的方法实施例中相关描述，这里不再赘述。

请参阅图8，为本申请实施例还提供了一种用户设备的结构示意图，该用户设备800可以是上述图1所示的第一用户设备11或第二用户设备12，该用户设备800包括处理器801、存储器802、通信模块803、输入/输出(I/O)接口804、电源管理模块805等。输入/输出(I/O)接口804通过总线806耦合到显示器8041、摄像头8042和键盘8043等外围装置，总线806用于实现这些组件之间的连接通信。

可以理解的是，本发明实施例示意的结构并不构成对用户设备800的具体限定。在本申请另一些实施例中，用户设备800可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

存储器802与处理器801耦合，用于存储各种软件程序和/或多组指令。具体实现中，存储器802可包括高速随机存取的存储器，并且也可包括非易失性存储器，例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。存储器802可以存储操作系统，例如ANDROID，IOS，WINDOWS，或者LINUX等嵌入式操作系统。存储器802还可以存储网络通信程序，该网络通信程序可用于与一个或多个电子设备，一个或多个网络设备进行通信，例如，与网关或监控服务器进行通信。存储器802还可以存储目标应用。当运行该目标应用时，可以实现如上述图3中S302-S308中用户设备实现的功能。存储器802还可以存储其它程序，这里不作限定。

通信模块803可以包括标准的有线接口、无线接口(如WI-FI接口)，也可以包括无线通信模块，以实现无线通信功能。

电源管理模块805用于连接电池或电源，电源管理模块805与处理器801。电源管理模块805接收电池或电源的输入，为处理器801，存储器802，显示器8041、摄像头8042、键盘8043和通信模块803等供电。

处理器801可以一个或多个处理单元，例如应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processing unit，GPU)，图像信号处理器(image signal processor，ISP)，控制器等。其中，上述处理单元可以是独立的器件，也可以集成在一个或多个芯片中。

在本申请实施例中，所述处理器801用于调用所述存储器802存储的指令，执行：

通过所述通信模块803经由网关从内网服务器接收数据；

根据所述数据生成第一图像；

通过所述显示器8041显示所述第一图像；

在显示所述第一图像的情况下，通过所述摄像头8042获取第二图像；

对所述第二图像进行图像识别；

当识别到所述第二图像的特征信息包含违规特征信息时，通过所述通信模块803向所述监控服务器发送用于指示违规的提示信息。

需要说明的是，上述用户设备还用于实现上述图2和图3所示的方法实施例中用户设备所实现所述的方法，具体可以参照上述图2和图3中相关描述，这里不再赘述。

请参阅图9，为本申请实施例还提供了一种监控服务器的结构示意图，该监控服务器900可以是上述图1所示的第一监控服务器13或第二监控服务器14，该监控服务器900包括处理器901、存储器902、通信接口903、输入/输出(I/O)接口904、电源管理模块905等。总线906用于实现这些组件之间的连接通信。

可以理解的是，本发明实施例示意的结构并不构成对监控服务器900的具体限定。在本申请另一些实施例中，监控服务器900可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

存储器902与处理器901耦合，用于存储各种软件程序和/或多组指令。具体实现中，存储器902可包括高速随机存取的存储器，并且也可包括非易失性存储器，例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。存储器902可以存储操作系统，例如ANDROID，IOS，WINDOWS，或者LINUX等嵌入式操作系统。存储器902还可以存储网络通信程序，该网络通信程序可用于与一个或多个电子设备，一个或多个网络设备进行通信。存储器902还可以存储其它程序，这里不作限定。

通信接口903可以包括标准的有线接口、无线接口(如WI-FI接口)，也可以包括无线通信模块，以实现无线通信功能。

电源管理模块905用于连接电池或电源，电源管理模块905与处理器901。电源管理模块905接收电池或电源的输入，为处理器901，存储器902和通信接口903等供电。

处理器901可以一个或多个处理单元，例如应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processing unit，GPU)，图像信号处理器(image signal processor，ISP)，控制器等。其中，上述处理单元可以是独立的器件，也可以集成在一个或多个芯片中。

其中，所述处理器通过总线分别耦合所述存储器、所述通信接口，所述处理器用于调用所述存储器存储的指令，执行：

通过所述通信接口903接收来自所述用户设备的用于指示违规的提示信息，其中，所述提示信息是用户设备在显示第一图像的情况下且在识别通过摄像头获取第二图像得待的特征信息包含违规特征信息时生成的，所述第一图像是根据所述用户设备根据经由所述网关从所述内网服务器接收的数据生成的。

可选地，所述处理器901还用于执行：

根据所述提示信息，通过所述通信接口903向所述网关发送断网命令，所述断网命令用于指示断开所述用户设备与所述网关的通信链路。

可选地，所述处理器901还用于执行：

根据所述提示信息，通过所述通信接口903向活动目录(AD)服务器发送锁定账户命令，所述锁定账户命令用于指示锁定使用所述用户设备的用户的账户。

需要说明的是，上述监控服务器中的各个单元用于实现上述图3所示的方法中监控服务器执行的方法，上述监控服务器还可以包括其他用于实现图3所示的方法中监控服务器执行的方法的单元，具体可以参照上述图3所示的方法实施例中相关描述，这里不再赘述。

请参阅图10，图10为本申请实施例提供的一种可插拔设备的结构示意图，该可插拔设备1000包括控制器1001、存储器1002和通信接口1003，其中，上述各个元件可以通过总线1004耦合，该存储器存储有计算机程序。

在一种实现中，当可插拔设备1000通过通信接口1003插入到用户设备的通信接口，例如，可插拔设备1000通过USB接口插入到用户设备的USB接口时，所述控制器将所述计算机程序发送到用户设备，所述用户设备运行该计算机程序，实现上述图3所示的方法实施例中步骤S302-S308等所实现的方法。其中，该计算机程序具体为用于实现目标应用的功能的程序代码，可选地，用户设备运行该计算机程序还可以用于实现用户设备基于目标应用实现的其他方法。

在另一种实现中，当可插拔设备1000通过通信接口插入到用户设备的通信接口，例如，可插拔设备通过USB接口插入到用户设备的USB接口时，用户设备可以通过USB接口为该可插拔设备供电，可插拔设备还可以包括通信模块(图中未示出)，该可插拔设备可以运行其存储器存储的程序代码，实现上述图3所示的方法实施例中步骤S302-S308中用户设备所实现的方法，其中，可插拔设备执行S302的一种实现可以是：可插拔设备向用户设备请求通过摄像头获取的第二图像。进一步地，可插拔设备对该第二图像进行识别，在第二图像的挺认真信息包含违规特征信息时，可以通过该通信模块将用于指示违规的提示信息发送至监控服务器。在又一种实现中，可插拔设备也可以将该提示信息通过通信接口发送至用户设备，并指示用户设备将该提示信息发送至监控服务器。

需要说明的是，关于目标应用和可插拔设备基于该目标应用所实现的方法可以参见上述图3所示的方法实施例中相关描述，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (14)

1.一种监控方法，其特征在于，所述监控方法应用于监控系统，所述监控系统包括用户设备、网关、监控服务器和内网服务器；所述用户设备分别与所述网关、所述监控服务器建立通信连接，所述用户设备通过目标应用与所述监控服务器进行通信，所述网关与所述内网服务器建立通信连接；

所述方法包括：

所述用户设备接收第一用户操作，所述第一用户操作用于通过所述网关与所述内网服务器建立通信连接；

响应于所述第一用户操作，所述用户设备检测是否包含摄像头以及检测目标应用是否启动；

当所述用户设备不包括所述摄像头或未启动所述目标应用时，向本地防火墙发送用于指示拒接接入的指示信息，所述本地防火墙拒绝所述用户设备连接到所述内网服务器；

当包含所述摄像头且所述目标应用启动时，所述用户设备向本地防火墙发送用于指示准入的指示信息，所述本地防火墙同意所述用户设备连接到所述内网服务器，所述用户设备经由所述网关从所述内网服务器接收数据，并根据所述数据显示第一图像；

在显示所述第一图像的情况下，所述用户设备通过摄像头获取第二图像；所述第二图像由所述用户设备调用所述目标应用获得；

所述用户设备调用所述目标应用对所述第二图像进行图像识别；

当识别到所述第二图像的特征信息包含违规特征信息时，所述用户设备向所述监控服务器发送用于指示违规的提示信息。

2.根据权利要求1所述的方法，其特征在于，所述违规特征信息包括：多个人的人脸信息、拍照设备、摄像头、拍照姿势中的至少一种。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述用户设备获取违规的频率；

当所述频率大于预设阈值时，所述用户设备向所述监控服务器发送用于指示违规的提示信息，所述提示信息携带所述违规的频率。

4.根据权利要求3所述的方法，其特征在于，当所述频率大于预设阈值时，所述方法还包括：

所述用户设备根据所述第二图像的特征信息包含的违规特征信息确定违规的类型；

所述用户设备从数据表中查找目标用户的标识和确定的类型对应的安全处理方式；所述数据表包括多个用户中的每个用户在多种违规的类型下分别对应的安全处理方式；

所述用户设备根据查找到的安全处理方式进行处理。

5.根据权利要求3所述的方法，其特征在于，当所述频率大于预设阈值时，所述方法还包括：

所述用户设备根据所述第二图像的特征信息包含的违规特征信息确定违规的类型；

所述用户设备根据确定的违规类型对应的安全处理方式进行处理。

6.根据权利要求4或5所述的方法，其特征在于，所述安全处理方式包括：

所述用户设备锁屏；

所述用户设备本地断开与所述网关的通信连接。

7.根据权利要求1-5任一项所述的方法，其特征在于，所述用户设备经由所述网关从所述内网服务器接收数据之前，所述方法还包括：

所述用户设备获取当前网络状态，所述当前网络状态包括内网连接状态和外网连接状态；

所述用户设备经由所述网关从所述内网服务器接收数据，包括：在所述当前网络状态为外网连接状态的情况下，所述用户设备经由所述网关从所述内网服务器接收数据。

8.根据权利要求7所述的方法，其特征在于，所述用户设备获取当前网络状态具体包括：

所述用户设备根据当前的网际互连协议IP地址和域名系统DNS信息中的一个或多个确定当前网络状态。

9.根据权利要求7所述的方法，其特征在于，所述监控服务器包括位于隔离区DMZ的第一监控服务器和位于内网的第二监控服务器，所述用户设备获取当前网络状态具体包括：

所述用户设备分别检测与所述第一监控服务器、所述第二监控服务器是否连通；

在与所述监控服务器连通时，所述用户设备的当前网络状态为外网连接状态；

在与所述第二监控服务器连通时，所述用户设备的当前网络状态为内网连接状态。

10.根据权利要求1-5任一项所述的方法，其特征在于，当识别到所述第二图像的特征信息包含违规特征信息时，所述方法还包括：

所述用户设备对所述第二图像中除所述违规特征信息之外内容进行模糊处理；

所述用户设备保存模糊处理后的第二图像，或向所述监控服务器发送模糊处理后的第二图像。

11.根据权利要求1-5任一项所述的方法，其特征在于，在显示所述第一图像的情况下，所述方法还还包括：

所述用户设备将摄像头每间隔设定时长采集的第三图像发送给所述监控服务器。

12.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：

当识别到所述第二图像的特征信息不包含目标用户时，所述用户设备锁屏；或，

当识别到所述第二图像的特征信息不包含所述目标用户且所述目标用户未出现时长大于第二时长时，所述用户设备锁屏。

13.根据权利要求1-5任一项所述的方法，其特征在于，所述用户设备经由所述网关从所述内网服务器接收数据之后，所述方法还包括：

当检测所述用户设备包括多个显示屏或检测到投屏软件处于运行状态时，所述用户设备锁屏。

14.一种用户设备，其特征在于，包括处理器、存储器、通信模块、显示器和摄像头，其中，所述处理器通过总线分别耦合所述存储器、所述通信模块、所述显示器和所述摄像头，所述处理器用于调用所述存储器存储的指令，执行如权利要求1～13任一项所述的监控方法。

Images