CN111464513A - 数据检测方法、装置、服务器及存储介质 - Google Patents

Abstract

本发明实施例适用于网络安全技术领域，提供了一种数据检测方法、装置、电子设备及存储介质，其中，数据检测包括：获取网络流量数据；从所述网络流量数据中提取第一规则值；将所述第一规则值在设定规则库中进行匹配，确定是否得到匹配结果；所述设定的规则库中存储的第二规则值表征对应的网络流量数据正常或异常；在所述第一规则值在设定规则库中未得到匹配结果的情况下，将所述网络流量数据输入设定的检测模型，得到所述设定的检测模型输出的检测结果以及关于所述检测结果的可信度；所述检测模型用于检测所述网络流量数据正常或异常；在所述可信度大于设定阈值的情况下，将所述检测结果确定为关于所述网络流量数据的检测结果。

Description

数据检测方法、装置、服务器及存储介质

技术领域

本发明属于网络安全技术领域，尤其涉及一种数据检测方法、装置、服务器及存储介质。

背景技术

随着计算机技术的发展，来自计算机外部的网络攻击以及内部的异常事件给网络安全带来了严重威胁。目前，相关技术中异常数据的检测通常是基于规则库对异常数据进行拦截。然而，这种方法需要经常更新规则库，否则无法抵挡新型的网络攻击。

发明内容

有鉴于此，本发明实施例提供一种数据检测方法、装置、服务器及存储介质，以至少解决相关技术中规则库无法抵挡新型的网络攻击的问题。

本发明实施例的技术方案是这样实现的：

第一方面，本发明实施例提供了一种数据检测方法，该方法包括：

获取网络流量数据；

从所述网络流量数据中提取第一规则值；所述第一规则值为用于表征所述网络流量数据的编码字符串；

将所述第一规则值在设定规则库中进行匹配，确定是否得到匹配结果；所述设定的规则库中存储的第二规则值表征对应的网络流量数据正常或异常；

在所述第一规则值在设定规则库中未得到匹配结果的情况下，将所述网络流量数据输入设定的检测模型，得到所述设定的检测模型输出的检测结果以及关于所述检测结果的可信度；所述检测模型用于检测所述网络流量数据正常或异常；

在所述可信度大于设定阈值的情况下，将所述检测结果确定为关于所述网络流量数据的检测结果。

上述方案中，所述将所述第一规则值在设定规则库中进行匹配，包括：

将所述第一规则值分别在第一规则库和第二规则库中进行匹配；其中，

所述第一规则库中存储的第二规则值表征对应的网络流量数据正常；

所述第二规则库中存储的第二规则值表征对应的网络流量数据异常；

上述方案中，在所述可信度大于设定阈值的情况下，所述方法还包括：

基于所述检测结果，将所述第一规则值写入对应的设定规则库中。

上述方案中，所述数据检测方法还包括：

在所述可信度小于设定阈值的情况下，接收用户输入的关于所述网络流量数据的判定结果，将所述判定结果确定为关于所述网络流量数据的检测结果。

上述方案中，所述数据检测方法还包括：

基于所述判定结果，将所述第一规则值写入对应的设定规则库中。

上述方案中，所述数据检测方法还包括：

在所述第一规则库的剩余存储空间小于设定值时，删除所述第一规则库中满足设定条件的第二规则值；其中，

所述设定条件包括以下至少一项：

第二规则值最近一次作为匹配结果输出的时间早于设定时间；

第二规则值作为匹配结果输出的次数小于或等于设定次数。

上述方案中，在删除所述第一规则库中满足设定条件的第二规则值时，所述数据检测方法还包括:

在第二规则值最近一次作为匹配结果的时间早于所述设定时间，且第二规则值作为匹配结果的次数大于所述设定次数时，将第二规则值作为匹配结果的次数修改为所述设定次数。

第二方面，本发明实施例提供了一种数据检测装置，该装置包括：

获取模块，用于获取网络流量数据；

提取模块，用于从所述网络流量数据中提取第一规则值；所述第一规则值为用于表征所述网络流量数据的编码字符串；

匹配模块，用于将所述第一规则值在设定规则库中进行匹配，确定是否得到匹配结果；所述设定的规则库中存储的第二规则值表征对应的网络流量数据正常或异常；

检测模块，用于在所述第一规则值在设定规则库中未得到匹配结果的情况下，将所述网络流量数据输入设定的检测模型，得到所述设定的检测模型输出的检测结果以及关于所述检测结果的可信度；所述检测模型用于检测所述网络流量数据正常或异常；

确定模块，用于在所述可信度大于设定阈值的情况下，将所述检测结果确定为关于所述网络流量数据的检测结果。

第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行本发明实施例第一方面提供的数据检测方法的步骤。

第四方面，本发明实施例提供了一种计算机可读存储介质，包括：所述计算机可读存储介质存储有计算机程序。所述计算机程序被处理器执行时实现如本发明实施例第一方面提供的数据检测方法的步骤，或者执行时实现如本发明实施例第二方面和第三方面提供的模型训练方法的步骤。

第三方面，本发明实施例提供了一种一种数据检测系统，该系统包括：

人机交互子系统，用于提供数据检测过程中的人机交互服务；

中间件子系统，用于存储设定数据格式的网络流量数据；以及用于存储设定规则库；

通用服务子系统，用于提供用于支撑所述数据检测系统运行的基础服务；

核心服务子系统，用于基于微服务调用完成数据检测，所述微服务包括：

数据获取服务，用于从所述中间件子系统中获取网络流量数据；

规则提取服务，用于从所述网络流量数据中提取第一规则值；所述第一规则值为用于表征所述网络流量数据的编码字符串；

规则匹配服务，用于将所述第一规则值在设定规则库中进行匹配，确定是否得到匹配结果；所述设定的规则库中存储的第二规则值表征对应的网络流量数据正常或异常；

模型检测服务，用于在所述第一规则值在设定规则库中未得到匹配结果的情况下，将所述网络流量数据输入设定的检测模型，得到所述设定的检测模型输出的检测结果以及关于所述检测结果的可信度；所述检测模型用于检测所述网络流量数据正常或异常；

结果确定服务，用于在所述可信度大于设定阈值的情况下，将所述检测结果确定为关于所述网络流量数据的检测结果。

本发明实施例首先提取网络流量数据的规则值，将规则值在设定的规则库中进行匹配。然后在规则值在设定的规则库中未得到匹配结果的情况下，将网络流量数据输入检测模型，得到检测模型输出的检测结果以及关于所述检测结果的可信度，最后在可信度大于设定阈值的情况下，将检测结果确定为关于网络流量数据的检测结果。将规则匹配作为数据检测的第一步，如果能直接从规则库匹配到对应的规则值，就不必进行后续的模型检测，从而提高了数据检测的效率。将模型检测作为数据检测的第二步，在规则库匹配无结果的时候进行模型检测，可以对规则库之外的新型网络流量数据进行检测，扩展了数据检测的范围，提高了数据检测的适用性。

附图说明

图1是本发明实施例提供的一种数据检测系统的结构示意图；

图2是本发明实施例提供的一种数据检测方法的实现流程示意图；

图3是本发明应用实施例提供的一种数据获取方法的实现流程示意图；

图4是本发明应用实施例提供的一种模型检测服务的结构示意图；

图5是本发明应用实施例提供的一种规则删除方法的实现流程示意图；

图6是本发明实施例提供的另一种数据检测方法的实现流程示意图；

图7是本发明应用实施例提供的一种数据检测方法的实现流程示意图；

图8是本发明实施例提供的数据检测装置的结构框图；

图9是本发明实施例提供的电子设备的硬件结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

需要说明的是，本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。

另外，在本发明实施例中，“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

参考图1，图1是本发明实施例提供的一种数据检测系统的结构示意图，所述数据检测系统包括：

人机交互子系统，用于提供数据检测过程中的人机交互服务，将数据检测系统的各种功能展示给用户，供用户进行操作。

具体的，人机交互子系统包括：用户管理模块，网络流量监控模块，异常检测模块、日志查看模块和系统运行信息查看模块。

用户管理模块主要负责用户信息的管理，包括登录状态校验、管理员身份校验等。网络流量监控模块是用户参与到网络流量监控过程的关键接口，网络流量监控模块主要负责调用后台核心微服务进行网络流量的监控，并在前台实时地向用户展示数据检测系统的网络访问情况。异常检测模块则负责对监控的网络流量进行异常判断，在规则库匹配失败且机器学习模型的检测结果的可信度不高时，会交由用户进行人工判定，接收用户的判定结果。日志查看模块则向用户提供查看历史操作记录的功能。本发明实施例中的日志主要分为用户日志和监控日志两种，用户日志记录了用户日常登录、注销、修改信息操作及用户的ip地址等信息；监控日志记录的是用户对异常流量的判定操作。两种日志共同提供了用户的系统操作记录，可作为系统运行实况的完备记录和异常分析的重要依据。系统运行信息查看模块负责从各后台系统获取运行的统计信息并进行整合，进行整合后提供给前台展示页面，系统运行信息查看模块是对数据检测系统总体的监控，用户可通过系统运行信息查看模块查看到各子系统的运行状况和网络访问的统计信息等。

中间件子系统，用于存储设定数据格式的网络流量数据，以及存储设定的规则库。

在实际应用中，中间件子系统主要用于基于SpringCloud框架构建系统内相关微服务，通过Eureka进行服务治理，并完成相应的负载均衡配置。Spring Cloud是一个微服务框架，Eureka是一个服务发现框架，Eureka可以实现SpringCloud的服务注册和发现功能。此外，系统的用户信息、日志存储等可以采用MySQL完成。为了实现系统高内聚低耦合，微服务之间采用消息中间件进行数据交流，消息中间件可以利用高效可靠的消息传递机制进行平台无关的数据交流。在机器学习模型中，采用了Tensorflow的深度学习算法进行数据的预处理工作，TensorFlow是一个基于数据流编程的符号数学系统，被广泛应用于各类机器学习算法的编程实现。规则库则采用内存数据库Redis进行构建，Redis是一个基于内存亦可持久化的存储数据库，可以用于存储各种类型的数据。由于Redis完全基于内存，读写速度很快，所以规则匹配服务具有较高性能。具体的，在实际应用中，可以采用Redis的哈希数据结构进行规则值存储，正常数据的规则值和异常数据的规则值分别对应着一个哈希表，键值形式为<规则值，匹配次数>，其中，匹配次数指规则值与规则库匹配成功的次数。

通用服务子系统，用于提供用于支撑所述数据检测系统运行的基础服务。

其中，基础服务包括身份验证服务、权限控制服务、通用日志服务、通用监控服务和通用统计服务，这些服务贯穿于数据检测系统的整个运行周期，共同支撑数据检测系统的核心功能的运行。

核心服务子系统基于微服务调用完成数据检测，所述微服务包括：

数据获取服务，用于从所述中间件子系统中获取网络流量数据。

规则提取服务，用于从所述网络流量数据中提取第一规则值；所述第一规则值为用于表征所述网络流量数据的编码字符串。

规则匹配服务，用于将所述第一规则值在设定规则库中进行匹配，确定是否得到匹配结果；所述设定的规则库中存储的第二规则值表征对应的网络流量数据正常或异常。

模型检测服务，用于在所述第一规则值在设定规则库中未得到匹配结果的情况下，将所述网络流量数据输入设定的检测模型，得到所述设定的检测模型输出的检测结果以及关于所述检测结果的可信度；所述检测模型用于检测所述网络流量数据正常或异常。

结果确定服务，用于在所述可信度大于设定阈值的情况下，将所述检测结果确定为关于所述网络流量数据的检测结果。

其中，数据获取服务是整个数据监测系统与外界的接口，也是数据检测系统的数据监控点，负责将异构的数据源统一进行封装和处理，完成网络流量数据的获取工作。数据获取服务是一个前置服务，用于适配不同的数据源，如来自文件、网络的数据等。在不同的检测场景下，数据格式等会有较大的变动。通过这个服务将数据格式、检测场景的变化与下游系统隔离，将异构数据统一转换成格式相同的通用数据单元向下传递，便于下游系统进行更高程度的抽象。数据获取服务获取到网络流量数据后，会将网络流量数据封装成统一的格式发送到消息队列中间件。

所述微服务还包括中台控制服务，中台控制服务用于协调其他服务，共同完成数据的检测工作。从消息队列中获取实时网络流量数据后，规则提取服务提取网络流量数据的规则值。规则匹配服务将所述规则值在设定的规则库中进行匹配，确定是否得到匹配结果；所述匹配结果表征所述网络流量数据是否异常。如果未得到匹配结果，中台控制服务则会协调模型检测服务进行数据异常检测。当模型检测服务给出的可信度低于用户设定的阈值时，中台控制服务会通过前台页面向用户展示该流量的具体信息，协助用户完成人工判定，并在得到用户判别结果后协助规则写入服务更新规则库，完成系统的自适应调整。从功能上讲，中台控制服务是一个抽象程度较高的服务，体现了数据检测系统整体的检测逻辑，但不包含具体功能的实现。数据检测系统的检测逻辑一般比较固定，而将功能的具体实现剥离出去作为单独的服务，使得数据检测系统能够较好地应对人机交互场景的变化，使得数据检测系统具备可伸缩，可扩展的特点。

模型检测服务主要接受中台控制服务的调用，在规则库失配的情况下，完成基于机器学习模型的异常检测、检测结果处理等工作。为了将模型检测服务本身和具体的模型实现解耦，数据检测系统采用消息队列中间件的方式实现模型检测服务和本地机器学习模型的交互。

本发明实施例中系统核心服务子系统采用微服务架构，微服务、数据库、消息队列、Redis等关键组件采用单机多虚拟机的分布式部署方式。在本发明实施例中，由于只有中台控制服务需要直接与数据库交互，所以将中台控制服务和数据库部署在一台虚拟机中。数据获取服务、模型检测服务和规则匹配服务部署于另一台虚拟机上，由于消息队列用于各服务之间的交互，基于Redis的规则库用于规则匹配服务，所以将消息队列和规则库也部署在这台虚拟机中。

各个微服务互相协调，共同完成数据检测系统的各项功能。构成数据检测系统的微服务之间实现了高度解耦，使数据检测系统具备较好的可扩展性。

图2是本发明实施例提供的一种数据检测方法的实现流程示意图，该方法执行主体为图1中的核心服务子系统。参照图2，数据检测方法包括：

S201，获取网络流量数据。

所述获取网络流量数据，包括：

从中间件的消息队列中获取设定数据格式的所述网络流量数据。

在本发明实施例中，数据获取服务获取到网络流量数据后，会将网络流量数据封装成统一的格式发送到中间件的消息队列。例如，将数据统一转换成格式相同的通用数据单元(DataUnitObject)，然后将通用数据单元发送到中间件的消息队列。当需要对网络流量数据进行检测时，从中间件的消息队列中获取设定数据格式的所述网络流量数据。

图3是本发明应用实施例提供的一种数据获取方法的实现流程示意图，如图3所示，数据获取流程包括：

S301，数据获取服务启动。

S302，启动数据获取线程。

数据获取服务启动后，会启动一个数据获取线程，数据获取线程从数据源中不断的获取网络流量数据。

S303，从数据源阻塞读取网络流量数据并封装成通用数据单元。

在实际应用中，数据获取线程采用阻塞方式从数据源中获取网络流量数据，阻塞方式指数据获取线程在执行操作时，若不能获得资源，则挂起数据获取线程，被挂起的数据获取线程进入休眠，直到满足操作条件后再激活数据获取线程进行操作。由于数据获取服务支持关闭，所以要求数据获取线程必须实现阻塞逻辑，并且能够响应中断。

数据获取线程获取到网络流量数据后，将网络流量数据封装成格式相同的通用数据单元。这里，特别是payload中的属性名称，要与下游服务保持一致。payload是数据传输中所欲传输的实际信息，通常也被称作实际数据或者数据体。

S304，将通用数据单元以非持久化方式发送至消息队列中间件。

数据获取服务将封装好的通用数据单元发送到消息队列中间件完成数据获取。本系统采用的消息队列中间件有持久化和非持久化两种消息存储方式，非持久化方式下，消息队列中间件只保证尽最大努力分发消息，不保证可靠投递，但实时性较好。而持久化方式下传输的消息会保存到磁盘中，即存储转发方式，传输可靠性高，但可能因为网络拥塞导致实时性较差。由于数据获取服务的定位只是完成数据获取的工作，不进行后续的检测过程，并且考虑到实际使用中硬盘存储的限制，故采用非持久化的策略。当用户发起数据检测命令时，中台控制服务会从消息中间件提取最新的实时流量数据进行数据检测。

S305，接收数据获取服务的关闭命令。

S306，数据获取服务关闭。

当数据获取服务接收到关闭命令后，会调用后台线程的中断(interrupt)命令，实现数据获取服务的关闭。如果没有接收到关闭命令，数据获取服务会不断的获取网络流量数据。

在实际应用中，为避免当数据获取服务关闭关闭后，本地数据检测进程仍然存在，进而造成规则库泄露，数据检测系统将保留本地检测进程的句柄，并在规则匹配服务启动时向Spring容器注册一个DisposableBean，从而可以在服务关闭前自动清除本地检测进程。其中，句柄来记载数据地址的变更，DisposableBean是Spring框架中的初始化功能，DisposableBean作用是初始化Bean(对象)相关的接口。

S202，从所述网络流量数据中提取第一规则值；所述第一规则值为用于表征所述网络流量数据的编码字符串。

在实际应用中，通过规则提取函数提取网络流量数据的第一规则值。例如，假设规则提取函数为f，网络流量数据的规则值为C(t)，则规则提取函数的公式为C(t)＝f(t)。在本发明的一种实施例中，采用MD5信息摘要算法(MessageDigestAlgorithmMD5)作为规则提取函数。例如，某条网络流量数据的第一规则值为b2186d140209903978e7f38ea9955d04。MD5信息摘要算法具有恒定性，只要网络流量数据不变，每次提取的MD5都是一样的。

S203，将所述第一规则值在设定规则库中进行匹配，确定是否得到匹配结果；所述设定的规则库中存储的第二规则值表征对应的网络流量数据正常或异常。

所述将所述第一规则值在设定规则库中进行匹配，包括：

将所述第一规则值分别在第一规则库和第二规则库中进行匹配。

在本发明实施例中，设定的规则库包括第一规则库和第二规则库，其中，其中，所述第一规则库中存储的第二规则值表征对应的网络流量数据正常；所述第二规则库中存储的第二规则值表征对应的网络流量数据异常。

将第一规则值在设定的规则库中进行匹配，也就是将将第一规则值分别在第一规则库和第二规则库中进行匹配，如果在第一规则库中匹配到了第一规则值，说明第一规则值对应的网络流量数据是正常的。如果在第二规则库中匹配到了第一规则值，说明第一规则值对应的网络流量数据是异常的。

不管是从第一规则库还是第二规则库中匹配到了第一规则值，都认为是得到了匹配结果；如果从第一规则库和第二规则库中都无法匹配到第一规则值，则所述第一规则值在设定的规则库中未得到匹配结果。

S204，在所述第一规则值在设定规则库中未得到匹配结果的情况下，将所述网络流量数据输入设定的检测模型，得到所述设定的检测模型输出的检测结果以及关于所述检测结果的可信度；所述检测模型用于检测所述网络流量数据正常或异常。

在所述第一规则值在设定的规则库中未得到匹配结果的情况下，将所述网络流量数据输入设定的检测模型，得到所述设定的检测模型输出的检测结果以及关于所述检测结果的可信度。

其中，设定的检测模型基于机器学习得到，需要预先利用训练数据训练好检测模型。

参考图4，图4是本发明应用实施例提供的一种模型检测服务的结构示意图，所述模型检测服务包括：

模型检测服务首先通过前置处理器(PreProcessor)对待检测的网络流量数据(通用数据单元)进行数据预处理，预处理包括完成通用数据单元和检测模型间的适配，将通用数据单元转换成检测模型能够识别的数据格式。随后将预处理过的数据发送到消息队列中间件，检测模型监听相应的消息队列，从消息队列中获取到数据后利用模型进行检测，并将检测结果发送到消息队列中间件。模型检测服务获得检测结果后，利用后置处理器将检测结果封装成约定的形式返回给调用者。前置处理器和后置处理器是2个虚拟的处理器，前置处理器用来处理请求前的一些准备工作，比如参数设置、环境变量设置等。后置处理器用来对请求响应做一些处理，例如抓取响应数据、提取变量方便后续使用等。

本发明实施例采用消息队列中间件进行模型检测服务与本地进程的交互。模型检测服务启动时就启动一个本地进程执行检测程序，在检测程序中循环地阻塞监听相应的消息队列，待检测数据经预处理后发送到相应的消息队列中被检测程序使用，完成数据检测。当需要更换检测模型时，只需要修改本地检测程序的代码即可，而不会对服务的调用者有任何影响。

将网络流量数据输入设定的检测模型，设定的检测模型输出对应的检测结果以及关于所述检测结果的可信度。检测结果表征所述网络流量数据正常或者异常，可信度表征这个检测结果的准确程度。例如，如果可信度的取值范围为0至1，0为最小，表示检测结果完全不可信；1为最大，表示检测结果完全可信。如果设定一个阈值0.8，如果可信度大于0.8，则认为对应的检测结果是准确的。

S205，在所述可信度大于设定阈值的情况下，将所述检测结果确定为关于所述网络流量数据的检测结果。

可信度大于设定阈值，说明检测结果准确，将所述检测结果确定为关于所述网络流量数据的检测结果。在实际应用中，将检测结果通过前台页面展示给用户。

在本发明一实施例中，在所述可信度大于设定阈值的情况下，所述方法还包括：

基于所述检测结果，将所述第一规则值写入对应的设定规则库中。

在可信度大于设定阈值的情况下，说明检测结果是准确的，将所述第一规则值写入对应的设定的规则库中。这样，下次同样的网络流量数据再次出现时，在规则匹配时就能被检测到，而不必进行后续的模型检测。

所述根据检测结果将所述规则值写入对应的设定的规则库中，包括：

在所述检测结果表征所述网络流量数据正常时，将所述规则值写入第一规则库中。

在所述检测结果表征所述网络流量数据异常时，将所述规则值写入第二规则库中。

其中，第一规则库用于存储正常网络流量数据的规则值，第二规则库用于存储异常网络流量数据的规则值。当检测结果表征网络流量数据正常时，将第一规则值写入第一规则库中。当检测结果表征网络流量数据异常时，将第一规则值写入第二规则库中。

本发明实施例通过在得到模型检测结果后，根据检测结果更新规则库，使得下次遇到相同的网络流量数据时，可以在规则匹配时就被检测到，而不必进行后续的模型检测，减少了进行数据检测的时间，提升了数据检测的效率。

规则库有一定的存储空间，如果一直往规则库中写入第一规则值，规则库会出现剩余存储空间不足，导致无法继续往规则库中写入第一规则值。因此，需要设定一定的删除规则，将规则库中无用的规则值删除，保证规则写入服务能够持续往规则库中写入第一规则值。

在本发明一实施例中，规则库发生存储空间不足时只对第一规则库中的规则值进行删除。在数据检测系统中，绝大多数的访问是正常的网络流量数据，异常的网络流量数据是非常稀少的。相比正常的网络流量数据的规则值，因为数据检测系统需要及时检测到异常的网络流量数据，所以异常的网络流量数据的规则值更加重要。

在本发明实施例中，所述数据检测方法还包括：

在所述第一规则库的剩余存储空间小于设定值时，删除所述第一规则库中满足设定条件的第二规则值；其中，

所述设定条件包括以下至少一项：

第二规则值最近一次作为匹配结果输出的时间早于设定时间；

第二规则值作为匹配结果输出的次数小于或等于设定次数。

在本发明一实施例中，只要第一规则库中的第二规则值满足上述任意一项设定条件，就将该第二规则值删除。

在本发明另一实施例中，在第二规则值最近一次作为匹配结果输出的时间早于设定时间，但是第二规则值作为匹配结果输出的次数大于设定次数时，并不删除所述规则值。继续保留该规则值，将第二规则值作为匹配结果输出的次数修改为设定次数，这样在下次规则库的存储空间不足时，如果这个第二规则值还没有与规则库发生过匹配，就将这个第二规则值删除。

参考图5，图5是本发明应用实施例提供的一种规则删除方法的实现流程示意图，所述规则删除流程包括：

S501，从规则库中提取出一个第二规则值。

S502，判断第二规则值最近一次作为匹配结果输出的时间是否早于设定时间。

在实际应用中，可以在规则库中添加第二规则值最近一次作为匹配结果输出的时间，数据的形式可以为<规则值，匹配时间>。

如果第二规则值最近一次作为匹配结果输出的时间并不早于设定时间，则执行步骤S503。

S503，判断第二规则值作为匹配结果输出的次数是否小于或等于设定次数。

如果第二规则值作为匹配结果输出的次数小于或等于设定次数，则执行步骤S504。如果第二规则值作为匹配结果输出的次数大于设定次数，则执行步骤S505。

S504，删除所述第二规则值。

S505，将第二规则值作为匹配结果输出的次数修改为设定次数。

S506，遍历完规则库后，判断删除的第二规则值的数量是否大于设定数量。

如果按照上述规则，在遍历完整个规则库的规则值后，删除的第二规则值的数量大于设定数量，则规则删除流程结束。

如果删除的第二规则值的数量小于设定数量，则执行步骤S607。

S507，按照第二规则值最近一次作为匹配结果输出的时间删除所述规则值。

获取第二规则值最近一次作为匹配结果输出的时间，按照最近一次作为匹配结果输出的时间距离当前时间的长短，按照从长到短删的顺序除第二规则值，直至第一规则库的存储空间达到设定值为止，或直至删除的第二规则值的数量大于设定数量为止，停止删除第一规则库的第二规则值。

参考图6，图6是本发明实施例提供的另一种数据检测方法的实现流程示意图，所述数据检测方法还包括：

S601，在所述可信度小于设定阈值的情况下，接收用户输入的关于所述网络流量数据的判定结果，将所述判定结果确定为关于所述网络流量数据的检测结果。

当可信度小于设定阈值的情况时，说明检测模型对该网络流量数据的检测结果不完全可靠。

此时，将网络流量数据的详细信息通过前台页面展示给用户，并引导用户进行判定，接收用户输入的判定结果，将所述判定结果确定为关于所述网络流量数据的检测结果。

在本发明实施例中，所述数据检测方法还包括：

基于所述判定结果，将所述第一规则值写入对应的设定规则库中。

如果用户的判定结果为网络流量数据正常，则将所述第一规则值写入第一规则库中。如果用户的判定结果为网络流量数据异常，则将所述第一规则值写入第二规则库中。

在实际应用中，如果是异常的网络流量数据，数据检测系统对该网络流量数据进行拦截；如果是正常的网络流量数据，数据检测系统对该网络流量数据进行放行。

本发明实施例首先提取网络流量数据的规则值，将规则值在设定的规则库中进行匹配。然后在规则值在设定的规则库中未得到匹配结果的情况下，将网络流量数据输入检测模型，得到检测模型输出的检测结果以及关于所述检测结果的可信度，最后在可信度大于设定阈值的情况下，将检测结果确定为关于网络流量数据的检测结果。将规则匹配作为数据检测的第一步，如果能直接从规则库匹配到对应的规则值，就不必进行后续的模型检测，从而提高了数据检测的效率。将模型检测作为数据检测的第二步，在规则库匹配无结果的时候进行模型检测，可以对规则库之外的新型网络流量数据进行检测，扩展了数据检测的范围，提高了数据检测的适用性。

参考图7，图7是本发明应用实施例提供的一种数据检测方法的实现流程示意图，所述数据检测流程包括：

S701，数据获取服务获取网络流量数据并写入消息队列中间件。

数据获取服务获取到网络流量数据后，会将网络流量数据封装成统一的格式发送到消息队列中间件。

S702，规则匹配服务将网络流量数据的第一规则值与规则库进行匹配。

数据获取服务从消息队列中间件中获取网络流量数据，规则提取服务提取网络流量数据的第一规则值，规则匹配服务将第一规则值在设定的规则库中进行匹配。

如果得到了匹配结果，就将匹配结果返回给用户。

在所述规则值在设定的规则库中未得到匹配结果的情况下，执行步骤S703。

S703，模型检测服务检测网络流量数据，得到检测结果以及关于所述检测结果的可信度。

S704，判断可信度是否大于设定阈值。

通过检测模型检测所述网络流量数据是否异常，在可信度大于设定阈值时，说明检测结果准确，将检测结果发生给用户，并更新规则库。

如果可信度小于设定阈值，说明检测模型对该网络流量数据的检测结果不完全可靠，将网络流量数据的详细信息通过前台页面展示给用户，并引导用户进行判定，接收用户输入的判定结果。

S705，将网络流量数据交给用户进行判断，接收用户输入的关于所述网络流量数据的判定结果。

S706，向用户返回结果。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

参考图8，图8是本发明实施例提供的一种数据检测装置的示意图，如图8所示，该装置包括：获取模块、提取模块、匹配模块、检测模块和确定模块。

获取模块，用于获取网络流量数据；

提取模块，用于从所述网络流量数据中提取第一规则值；所述第一规则值为用于表征所述网络流量数据的编码字符串；

匹配模块，用于将所述第一规则值在设定规则库中进行匹配，确定是否得到匹配结果；所述设定的规则库中存储的第二规则值表征对应的网络流量数据正常或异常；

检测模块，用于在所述第一规则值在设定规则库中未得到匹配结果的情况下，将所述网络流量数据输入设定的检测模型，得到所述设定的检测模型输出的检测结果以及关于所述检测结果的可信度；所述检测模型用于检测所述网络流量数据正常或异常；

确定模块，用于在所述可信度大于设定阈值的情况下，将所述检测结果确定为关于所述网络流量数据的检测结果。

所述匹配模块具体用于：

将所述第一规则值分别在第一规则库和第二规则库中进行匹配；其中，

所述第一规则库中存储的第二规则值表征对应的网络流量数据正常；

所述第二规则库中存储的第二规则值表征对应的网络流量数据异常。

所述装置还包括：

写入模块，用于基于所述检测结果，将所述第一规则值写入对应的设定规则库中。

所述确定模块还用于：

在所述可信度小于设定阈值的情况下，接收用户输入的关于所述网络流量数据的判定结果，将所述判定结果确定为关于所述网络流量数据的检测结果。

所述写入模块还用于：

基于所述判定结果，将所述第一规则值写入对应的设定规则库中。

所述装置还包括：

删除模块，用于在所述第一规则库的剩余存储空间小于设定值时，删除所述第一规则库中满足设定条件的第二规则值；其中，

所述设定条件包括以下至少一项：

第二规则值最近一次作为匹配结果输出的时间早于设定时间；

第二规则值作为匹配结果输出的次数小于或等于设定次数。

所述装置还包括:

修改模块，用于在第二规则值最近一次作为匹配结果的时间早于所述设定时间，且第二规则值作为匹配结果的次数大于所述设定次数时，将第二规则值作为匹配结果输出的次数修改为所述设定次数。

需要说明的是：上述实施例提供的数据检测装置在进行数据检测时，仅以上述各模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的模块完成，即将装置的内部结构划分成不同的模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的数据检测装置与数据检测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图9是本发明一实施例提供的电子设备的示意图。所述电子设备包括：手机、平板、服务器等。如图9所示，该实施例的电子设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤，例如图1所示的步骤101至105。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块的功能，例如图8所示获取模块、提取模块、匹配模块、检测模块和确定模块的功能。

示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述电子设备中的执行过程。

所述电子设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，图9仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器可以是所述电子设备的内部存储单元，例如电子设备的硬盘或内存。所述存储器也可以是所述电子设备的外部存储设备，例如所述电子设备上配备的插接式硬盘，智能存储卡(SmartMediaCard,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(FlashCard)等。进一步地，所述存储器还可以既包括所述电子设备的内部存储单元也包括外部存储设备。所述存储器用于存储所述计算机程序以及所述电子设备所需的其他程序和数据。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (11)

1.一种数据检测方法，其特征在于，包括：

获取网络流量数据；

从所述网络流量数据中提取第一规则值；所述第一规则值为用于表征所述网络流量数据的编码字符串；

将所述第一规则值在设定规则库中进行匹配，确定是否得到匹配结果；所述设定的规则库中存储的第二规则值表征对应的网络流量数据正常或异常；

在所述第一规则值在设定规则库中未得到匹配结果的情况下，将所述网络流量数据输入设定的检测模型，得到所述设定的检测模型输出的检测结果以及关于所述检测结果的可信度；所述检测模型用于检测所述网络流量数据正常或异常；

在所述可信度大于设定阈值的情况下，将所述检测结果确定为关于所述网络流量数据的检测结果。

2.根据权利要求1所述的数据检测方法，其特征在于，所述将所述第一规则值在设定规则库中进行匹配，包括：

将所述第一规则值分别在第一规则库和第二规则库中进行匹配；其中，

所述第一规则库中存储的第二规则值表征对应的网络流量数据正常；

所述第二规则库中存储的第二规则值表征对应的网络流量数据异常。

3.根据权利要求1或2所述的数据检测方法，其特征在于，在所述可信度大于设定阈值的情况下，所述方法还包括：

基于所述检测结果，将所述第一规则值写入对应的设定规则库中。

4.根据权利要求1所述的数据检测方法，其特征在于，所述数据检测方法还包括：

在所述可信度小于设定阈值的情况下，接收用户输入的关于所述网络流量数据的判定结果，将所述判定结果确定为关于所述网络流量数据的检测结果。

5.根据权利要求4所述的数据检测方法，其特征在于，所述数据检测方法还包括：

基于所述判定结果，将所述第一规则值写入对应的设定规则库中。

6.根据权利要求2所述的数据检测方法，其特征在于，所述数据检测方法还包括：

在所述第一规则库的剩余存储空间小于设定值时，删除所述第一规则库中满足设定条件的第二规则值；其中，

所述设定条件包括以下至少一项：

第二规则值最近一次作为匹配结果输出的时间早于设定时间；

第二规则值作为匹配结果输出的次数小于或等于设定次数。

7.根据权利要求6所述的数据检测方法，其特征在于，在删除所述第一规则库中满足设定条件的第二规则值时，所述数据检测方法还包括:

在第二规则值最近一次作为匹配结果的时间早于所述设定时间，且第二规则值作为匹配结果的次数大于所述设定次数时，将第二规则值作为匹配结果输出的次数修改为所述设定次数。

8.一种数据检测装置，其特征在于，包括：

获取模块，用于获取网络流量数据；

提取模块，用于从所述网络流量数据中提取第一规则值；所述第一规则值为用于表征所述网络流量数据的编码字符串；

匹配模块，用于将所述第一规则值在设定规则库中进行匹配，确定是否得到匹配结果；所述设定的规则库中存储的第二规则值表征对应的网络流量数据正常或异常；

检测模块，用于在所述第一规则值在设定规则库中未得到匹配结果的情况下，将所述网络流量数据输入设定的检测模型，得到所述设定的检测模型输出的检测结果以及关于所述检测结果的可信度；所述检测模型用于检测所述网络流量数据正常或异常；

确定模块，用于在所述可信度大于设定阈值的情况下，将所述检测结果确定为关于所述网络流量数据的检测结果。

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的数据检测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的数据检测方法。

11.一种数据检测系统，其特征在于，包括：

人机交互子系统，用于提供数据检测过程中的人机交互服务；

中间件子系统，用于存储设定数据格式的网络流量数据；以及用于存储设定规则库；

通用服务子系统，用于提供用于支撑所述数据检测系统运行的基础服务；

核心服务子系统，用于基于微服务调用完成数据检测，所述微服务包括：

数据获取服务，用于从所述中间件子系统中获取网络流量数据；

规则提取服务，用于从所述网络流量数据中提取第一规则值；所述第一规则值为用于表征所述网络流量数据的编码字符串；

规则匹配服务，用于将所述第一规则值在设定规则库中进行匹配，确定是否得到匹配结果；所述设定的规则库中存储的第二规则值表征对应的网络流量数据正常或异常；

模型检测服务，用于在所述第一规则值在设定规则库中未得到匹配结果的情况下，将所述网络流量数据输入设定的检测模型，得到所述设定的检测模型输出的检测结果以及关于所述检测结果的可信度；所述检测模型用于检测所述网络流量数据正常或异常；

结果确定服务，用于在所述可信度大于设定阈值的情况下，将所述检测结果确定为关于所述网络流量数据的检测结果。

Images