CN117650925A - 流量检测分析方法、装置、存储介质和电子设备 - Google Patents

Abstract

本发明公开了一种流量检测分析方法、装置、存储介质和电子设备，可以去除网络流量中互联网协议的4层以下信息，得到有效数据；将所述有效数据缓存至数据队列；通过预先建立的网络流量检测引擎，从所述数据队列中读取所述有效数据；通过所述网络流量检测引擎加载预先建立的检测插件，并基于所述检测插件对所述有效数据进行检测；若检测发现网络中存在安全威胁，则生成相应的告警信息。由此可以看出，本发明可以通过软件集成的方式，对各网络流量进行检测，并在发现安全威胁时发出告警，不再依赖各种厂商的硬件设备，极大降低了运维难度，减少维护成本。

Description

流量检测分析方法、装置、存储介质和电子设备

技术领域

本发明涉及网络安全领域，特别涉及一种流量检测分析方法、装置、存储介质和电子设备。

背景技术

在网络安全领域，采用硬件安全设备对网络流量进行检测，这些硬件被划分为Web应用防火墙、入侵防御系统、入侵检测系统等当。这些硬件设备被部署到数据中心的机房中，通过网络流量镜像以及流量捕获的方式，将网络流量引入安全设备当中。这种方式下，存在多读依赖复杂的硬件设备，导致运维难度大、维护成本高的问题。

发明内容

鉴于上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的一种流量检测分析方法、装置、存储介质和电子设备。

第一方面，一种流量检测分析方法，包括：

去除网络流量中互联网协议的4层以下信息，得到有效数据；

将所述有效数据缓存至数据队列；

通过预先建立的网络流量检测引擎，从所述数据队列中读取所述有效数据；

通过所述网络流量检测引擎加载预先建立的检测插件，并基于所述检测插件对所述有效数据进行检测；

若检测发现网络中存在安全威胁，则生成相应的告警信息。

可选的，在某些可选的实施方式中，在所述去除网络流量中互联网协议的4层以下信息，得到有效数据之前，所述方法还包括：

对目标交换机的指定端口进行采集，以获得所述目标交换机的网络流量。

可选的，在某些可选的实施方式中，所述去除网络流量中互联网协议的4层以下信息，得到有效数据，包括：

将所述网络流量中涉及的所述互联网协议的物理层、数据链路层、网络层和传输层的信息均去除，得到的剩余信息作为所述有效数据。

可选的，在某些可选的实施方式中，所述将所述有效数据缓存至数据队列，包括：

将所述有效数据以指定格式缓存至所述数据队列。

可选的，在某些可选的实施方式中，所述通过所述网络流量检测引擎加载预先建立的检测插件，并基于所述检测插件对所述有效数据进行检测，包括：

通过所述网络流量检测引擎加载预先建立的所述检测插件；

基于所述检测插件中所封装的检测核心，对所述有效数据进行相应的检测，其中，一个所述检测插件中封装至少一个所述检测核心。

可选的，在某些可选的实施方式中，所述若检测发现网络中存在安全威胁，则生成相应的告警信息，包括：

若检测发现网络中存在安全威胁，则根据相应有效数据中涉及的端口号、IP地址和域名，确定对应的应用信息；

根据所述应用信息，生成相应的告警信息，其中，所述告警信息中携带所述应用信息。

可选的，在某些可选的实施方式中，在所述若检测发现网络中存在安全威胁，则生成相应的告警信息之后，所述方法还包括：

将所述告警信息发送至安全运营中心。

第二方面，一种流量检测分析装置，包括：信息处理单元、数据缓存单元、数据读取单元、数据检测单元和告警生成单元；

所述信息处理单元，用于去除网络流量中互联网协议的4层以下信息，得到有效数据；

所述数据缓存单元，用于将所述有效数据缓存至数据队列；

所述数据读取单元，用于通过预先建立的网络流量检测引擎，从所述数据队列中读取所述有效数据；

所述数据检测单元，用于通过所述网络流量检测引擎加载预先建立的检测插件，并基于所述检测插件对所述有效数据进行检测；

所述告警生成单元，用于若检测发现网络中存在安全威胁，则生成相应的告警信息。

第三方面，一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时实现上述任一项所述的流量检测分析方法。

第四方面，一种电子设备，所述电子设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行上述任一项所述的流量检测分析方法。

借由上述技术方案，本发明提供的一种流量检测分析方法、装置、存储介质和电子设备，可以去除网络流量中互联网协议的4层以下信息，得到有效数据；将所述有效数据缓存至数据队列；通过预先建立的网络流量检测引擎，从所述数据队列中读取所述有效数据；通过所述网络流量检测引擎加载预先建立的检测插件，并基于所述检测插件对所述有效数据进行检测；若检测发现网络中存在安全威胁，则生成相应的告警信息。由此可以看出，本发明可以通过软件集成的方式，对各网络流量进行检测，并在发现安全威胁时发出告警，不再依赖各种厂商的硬件设备，极大降低了运维难度，减少维护成本。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明提供的第一种流量检测分析方法的流程图；

图2示出了本发明提供的第二种流量检测分析方法的流程图；

图3示出了本发明提供的第三种流量检测分析方法的流程图；

图4示出了本发明提供的第四种流量检测分析方法的流程图；

图5示出了本发明提供的第五种流量检测分析方法的流程图；

图6示出了本发明提供的第六种流量检测分析方法的流程图；

图7示出了本发明提供的一种流量检测分析装置的结构示意图；

图8示出了本发明提供的一种电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

如图1所示，本发明提供了一种流量检测分析方法，包括：S100、S200、S300、S400和S500；

S100、去除网络流量中互联网协议的4层以下信息，得到有效数据；

可选的，本发明可以从网络设备上采集相应的网络流量，然后执行S100的过程。例如，如图2所示，在某些可选的实施方式中，在所述S100之前，所述方法还包括：S90；

S90、对目标交换机的指定端口进行采集，以获得所述目标交换机的网络流量。

可选的，交换机作为网络系统的转发节点，不同设备的网络流量均通过交换机进行转发，涉及的网络流量比较全面。因此，本发明可以将交换机的至少一个端口指定为网络流量的采集点，交换机可以通过该指定端口将自身所转发的各种网络流量主动传输给本发明的执行主体。当然，本发明的执行主体也可以主动向该指定端口直接采集或者请求该交换机所转发的网络流量，本发明对此不做限制。

可选的，互联网协议中的核心协议，即TCP/IP协议，分为7层模型，从上至下分别是：

7.应用层：提供各种应用程序的接口和协议，包括HTTP、FTP、SMTP等。

6.表示层：负责数据的格式化、加密和压缩等处理，实现数据的表示和转换。

5.会话层：负责建立、管理和终止会话，提供会话层面的数据交换。

4.传输层：负责提供端到端的可靠数据传输，包括连接建立、数据分段和流量控制等。

3.网络层：负责数据包的选路和转发，实现网络互连和拥塞控制等功能。

2.数据链路层：负责将比特流组织成数据帧，并提供物理地址寻址和错误检测等功能。

1.物理层：负责传输比特流，处理物理介质上的电信号传输。

可选的，网络流量中携带有上述7层模型的相应信息，但为了提高本发明的检测效率，排除非必要信息的干扰，本发明可以将上述物理层、数据链路层、网络层和传输层的信息去除，以减少信息量。

即，如图3所示，在某些可选的实施方式中，所述S100，包括：S110；

S110、将所述网络流量中涉及的所述互联网协议的物理层、数据链路层、网络层和传输层的信息均去除，得到的剩余信息作为所述有效数据。

可选的，参见上述7层模型，在去除物理层、数据链路层、网络层和传输层的信息后，剩余会话层、表示层和应用层的信息可以共同作为有效数据，用于后续检测分析，本发明对此不做限制。

S200、将所述有效数据缓存至数据队列；

例如，如图4所示，在某些可选的实施方式中，所述S200，包括：S210；

S210、将所述有效数据以指定格式缓存至所述数据队列。

可选的，本发明可以设计一定的字节顺序(指定格式)，然后将该有效数据按照该字节顺序序列化得到相应的序列后，再存储至数据队列，以减少数据对于存储空间的占用，提高数据存储量，本发明对此不做限制。

S300、通过预先建立的网络流量检测引擎，从所述数据队列中读取所述有效数据；

可选的，本发明所说的网络流量检测引擎作为一个运行程序，可以从数据队列中依次读取各指定格式的有效数据，本发明对此不做限制。

S400、通过所述网络流量检测引擎加载预先建立的检测插件，并基于所述检测插件对所述有效数据进行检测；

例如，如图5所示，在某些可选的实施方式中，所述S400，包括：S410和S420；

S410、通过所述网络流量检测引擎加载预先建立的所述检测插件；

S420、基于所述检测插件中所封装的检测核心，对所述有效数据进行相应的检测，其中，一个所述检测插件中封装至少一个所述检测核心。

可选的，本发明所述的检测插件指定是：预先将各个厂商的检测核心封装后得到的插件，一个插件可以实现至少一项检测功能，本发明对于封装得到插件的过程不做具体限制。

例如，本发明封装得到检测插件的过程，包括：步骤1.1、步骤1.2和步骤1.3；

步骤1.1、基于第一数据格式的配置参数，对检测核心进行配置，其中，所述第一数据格式包括检测核心名、检测核心版本和厂商配置；

可选的，检测核心可以各个厂商提供的，检测核心可以实现对流量数据的某些检测功能，具体与各个厂商所提供的服务相关，本发明对此不做限制。

可选的，第一数据格式属于本发明设计的独有数据格式，基于第一数据格式可以快速有效地输入配置参数，以便于快速配置各检测核心。本发明所说的第一数据格式还可以包括其他字段。

例如，如表1所示，在某些可选的实施方式中，所述第一数据格式，还包括：白名单、黑名单、告警级别和其他参数中的至少一项。

表1

可选的，在某些可选的实施方式中，所述步骤1.1，包括：步骤1.11；

步骤1.11、基于json格式的所述配置参数，对所述检测核心进行配置，以得到与所述配置参数相匹配的所述检测核心。

可选的，json格式属于本领域公知的技术概念，本发明对此不做过多描述，具体请参见本领域的相关说明。需要说明的是：后续封装得到插件及其接口后，本发明依然可以按照第一数据格式修改各插件内部的检测核心的配置，本发明对此不做限制。

可选的，本发明所说的插件内部可以封装有多个检测核心，即，一个插件可以实现对流量的不同检测功能。当然，本发明也可以是一个插件封装一个检测核心，一个插件实现对流量的一个检测功能，当需要执行多项检测时，需要调用多个插件的接口，本发明对此不做限制。

步骤1.2、调用所述检测核心；

步骤1.3、根据预先获得的封装参数，封装得到包括所述检测核心的插件的接口，其中，所述检测核心的输入数据格式封装成第二数据格式，所述检测核心的输出数据格式封装成第三数据格式，所述第二数据格式包括请求体和返回体，所述第三数据格式包括检测结果和安全等级。

可选的，如前所述，本发明可以将检测核心封装成插件，然后提供相应的接口，以便于在需要时可以通过软件直接调用。为了提高封装效率和效果，本发明可以设计不同检测核心统一的输入数据格式和输出数据格式，避免因不同厂商的标准不同导致的复杂性。

需要说明的是：本发明所说的封装参数，是针对插件的参数。即，通过封装参数可以表征相应插件的检测功能。例如，某个检测核心是用于判断数据是否大于1，且该检测核心每次只能判断一个数据是否大于1。但所需要的插件是判断2个数据是否大于1，因此，本发明可以输入封装参数：判断2个数据是否大于1。本发明的执行主体则可以调用该检测核心封装出能同时判断2个数据是否大于1的插件。

即，在某些可选的实施方式中，所述步骤1.3，包括：步骤1.31和步骤1.32；

步骤1.31、根据预先获得的封装参数，确定相应的目标检测功能；

步骤1.32、根据所述目标检测功能对所述检测核心进行封装，以得到满足所述目标检测功能的插件的接口。

可选的，本发明设计的第二数据格式和第三数据格式，除了包括上述内容外，还可以包括其他内容。

例如，如表2所示，在某些可选的实施方式中，所述第二数据格式，还包括：请求url、请求头、源地址、源端口、目的地址、目的端口、返回码和返回头中的至少一项。

表2

又例如，如表3所示，在某些可选的实施方式中，所述第三数据格式，还包括：漏洞编号、威胁描述和关联报文中的至少一项。

表3

可选的，如前所述，检测插件中封装了一定的检测核心，能实现一定的检测功能。因此，本发明可以通过检测插件的接口调用相应的检测插件对有效数据进行相应的检测，具体可以根据实际需要选择执行所需要的检测功能，本发明对此不做限制。

S500、若检测发现网络中存在安全威胁，则生成相应的告警信息。

可选的，在网络安全领域，主要以检测网络中是否存在安全威胁为主。因此，本发明可以执行相应的检测过程，若通过对有效数据进行检测发现有安全威胁，则本发明可以进行相应的告警和安全处置。

例如，如图6所示，在某些可选的实施方式中，所述S500，包括：S510和S520；

S510、若检测发现网络中存在安全威胁，则根据相应有效数据中涉及的端口号、IP地址和域名，确定对应的应用信息；

S520、根据所述应用信息，生成相应的告警信息，其中，所述告警信息中携带所述应用信息。

可选的，本发明可以预先将各个应用所对应的服务器和IP信息存储起来，以便于根据效数据中涉及的端口号、IP地址和域名等信息，与存储的服务器和IP信息等信息进行匹配查询，确定出该网络流量对应的具体应用信息，本发明对此不做限制。

可选的，为了方便本发明定位存在安全威胁的网络流量所对应的具体应用，本发明可以在确定某一网络流量存在安全威胁后，在生成针对该网络流量的告警信息时，将对应的应用信息也放在告警信息中，以便于直接查看，比较方便快捷，本发明对此不做限制。

可选的，在某些可选的实施方式中，在所述S500之后，所述方法还包括：将所述告警信息发送至安全运营中心。

可选的，安全运营中心可以采集网络当中的安全日志(含告警信息)，进行综合分析后，向安全运营人员发出告警通知。安全运营人员可在安全运营中心上对安全威胁进行处置。

可选的，为了提高本发明的适用性，在某些可选的实施方式中，检测插件还可以提供特定的接口，以便可以通过流量检测引擎调整检测插件的参数和检测规则等，本发明对此不做限制。

由此可以看出，本发明可以通过软件集成的方式，对各网络流量进行检测，并在发现安全威胁时发出告警，不再依赖各种厂商的硬件设备，极大降低了运维难度，减少维护成本。另外，本发明还实现了如下技术效果：

1.实时阻断精准化。降低串联硬件设备的压力；降低网络时延；提高生产稳定性。

2.操作管理统一化：使用统一的操作管理平台，不再使用不同硬件设备的管理端。

3.告警信息规范化：告警信息统一组装，不再出现不同厂商不同设备发出的告警信息格式、规范不一致的情况。

4.解决应用层加密的问题：通过应用直接向平台发送解密后的网络流量，解决应用加密流量无法检测的问题。

如图7所示，本发明提供了一种流量检测分析装置，包括：信息处理单元100、数据缓存单元200、数据读取单元300、数据检测单元400和告警生成单元500；

所述信息处理单元100，用于去除网络流量中互联网协议的4层以下信息，得到有效数据；

所述数据缓存单元200，用于将所述有效数据缓存至数据队列；

所述数据读取单元300，用于通过预先建立的网络流量检测引擎，从所述数据队列中读取所述有效数据；

所述数据检测单元400，用于通过所述网络流量检测引擎加载预先建立的检测插件，并基于所述检测插件对所述有效数据进行检测；

所述告警生成单元500，用于若检测发现网络中存在安全威胁，则生成相应的告警信息。

可选的，在某些可选的实施方式中，所述装置还包括：信息采集单元；

所述信息采集单元，用于在所述去除网络流量中互联网协议的4层以下信息，得到有效数据之前，对目标交换机的指定端口进行采集，以获得所述目标交换机的网络流量。

可选的，在某些可选的实施方式中，所述信息处理单元100，包括：信息处理子单元；

所述信息处理子单元，用于将所述网络流量中涉及的所述互联网协议的物理层、数据链路层、网络层和传输层的信息均去除，得到的剩余信息作为所述有效数据。

可选的，在某些可选的实施方式中，所述数据缓存单元200，包括：数据缓存子单元；

所述数据缓存子单元，用于将所述有效数据以指定格式缓存至所述数据队列。

可选的，在某些可选的实施方式中，所述数据检测单元400，包括：插件加载子单元和数据检测子单元；

所述插件加载子单元，用于通过所述网络流量检测引擎加载预先建立的所述检测插件；

所述数据检测子单元，用于基于所述检测插件中所封装的检测核心，对所述有效数据进行相应的检测，其中，一个所述检测插件中封装至少一个所述检测核心。

可选的，在某些可选的实施方式中，所述告警生成单元500，包括：应用信息确定子单元和告警信息生成子单元；

所述应用信息确定子单元，用于若检测发现网络中存在安全威胁，则根据相应有效数据中涉及的端口号、IP地址和域名，确定对应的应用信息；

所述告警信息生成子单元，用于根据所述应用信息，生成相应的告警信息，其中，所述告警信息中携带所述应用信息。

可选的，在某些可选的实施方式中，所述装置还包括：告警发送单元；

所述告警发送单元，用于在所述若检测发现网络中存在安全威胁，则生成相应的告警信息之后，将所述告警信息发送至安全运营中心。

本发明提供了一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时实现上述任一项所述的流量检测分析方法。

如图8所示，本发明提供了一种电子设备70，所述电子设备70包括至少一个处理器701、以及与所述处理器701连接的至少一个存储器702、总线703；其中，所述处理器701、所述存储器702通过所述总线703完成相互间的通信；所述处理器701用于调用所述存储器702中的程序指令，以执行上述任一项所述的流量检测分析方法。

在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本发明中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本发明所示的这些实施例，而是要符合与本发明所公开的原理和新颖特点相一致的最宽的范围。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种流量检测分析方法，其特征在于，包括：

去除网络流量中互联网协议的4层以下信息，得到有效数据；

将所述有效数据缓存至数据队列；

通过预先建立的网络流量检测引擎，从所述数据队列中读取所述有效数据；

通过所述网络流量检测引擎加载预先建立的检测插件，并基于所述检测插件对所述有效数据进行检测；

若检测发现网络中存在安全威胁，则生成相应的告警信息。

2.根据权利要求1所述的方法，其特征在于，在所述去除网络流量中互联网协议的4层以下信息，得到有效数据之前，所述方法还包括：

对目标交换机的指定端口进行采集，以获得所述目标交换机的网络流量。

3.根据权利要求1所述的方法，其特征在于，所述去除网络流量中互联网协议的4层以下信息，得到有效数据，包括：

将所述网络流量中涉及的所述互联网协议的物理层、数据链路层、网络层和传输层的信息均去除，得到的剩余信息作为所述有效数据。

4.根据权利要求1所述的方法，其特征在于，所述将所述有效数据缓存至数据队列，包括：

将所述有效数据以指定格式缓存至所述数据队列。

5.根据权利要求1所述的方法，其特征在于，所述通过所述网络流量检测引擎加载预先建立的检测插件，并基于所述检测插件对所述有效数据进行检测，包括：

通过所述网络流量检测引擎加载预先建立的所述检测插件；

基于所述检测插件中所封装的检测核心，对所述有效数据进行相应的检测，其中，一个所述检测插件中封装至少一个所述检测核心。

6.根据权利要求1所述的方法，其特征在于，所述若检测发现网络中存在安全威胁，则生成相应的告警信息，包括：

若检测发现网络中存在安全威胁，则根据相应有效数据中涉及的端口号、IP地址和域名，确定对应的应用信息；

根据所述应用信息，生成相应的告警信息，其中，所述告警信息中携带所述应用信息。

7.根据权利要求1所述的方法，其特征在于，在所述若检测发现网络中存在安全威胁，则生成相应的告警信息之后，所述方法还包括：

将所述告警信息发送至安全运营中心。

8.一种流量检测分析装置，其特征在于，包括：信息处理单元、数据缓存单元、数据读取单元、数据检测单元和告警生成单元；

所述信息处理单元，用于去除网络流量中互联网协议的4层以下信息，得到有效数据；

所述数据缓存单元，用于将所述有效数据缓存至数据队列；

所述数据读取单元，用于通过预先建立的网络流量检测引擎，从所述数据队列中读取所述有效数据；

所述数据检测单元，用于通过所述网络流量检测引擎加载预先建立的检测插件，并基于所述检测插件对所述有效数据进行检测；

所述告警生成单元，用于若检测发现网络中存在安全威胁，则生成相应的告警信息。

9.一种计算机可读存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7中任一项所述的流量检测分析方法。

10.一种电子设备，其特征在于，所述电子设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如权利要求1至7中任一项所述的流量检测分析方法。