CN111131243B - Dpi系统策略处理方法及装置 - Google Patents

Abstract

本发明属于通信技术领域，具体涉及一种DPI系统策略处理方法及装置。该方法包括：启动策略接收线程，与DPI系统的策略发送平台进行通信，将策略发送平台发送的策略消息存入数据接收缓存队列；启动多个策略处理线程，循环遍历地解析数据接收缓存队列中的策略消息，将解析得到的策略指令信息存入数据发送缓存队列，并将解析完的策略消息在数据接收缓存队列中清空；启动多个策略发送线程，与DPI系统的执行单元进行通信，根据执行单元的策略需求将匹配的策略指令信息发送给执行单元，并将发送完的策略指令信息在数据发送缓存队列中清空。该方法通过构造线程池，实现了多个策略接收、处理、响应并行化，提升了整体DPI系统的处理能力。

Description

DPI系统策略处理方法及装置

技术领域

本发明属于通信技术领域，具体涉及一种DPI系统策略处理方法及装置。

背景技术

DPI(Deep Packet Inspection)设备通过对网络的关键点处的流量和报文内容进行检测分析，可以根据事先定义的策略对检测流量进行过滤控制，能完成所在链路的业务精细化识别、业务流量流向分析、业务流量占比统计、业务占比整形、以及应用层拒绝服务攻击、对病毒、木马进行过滤和滥用P2P的控制等功能。

根据《中国电信统一DPI数据标准和接口规范》，在城域网出口、IDC出口(含互联网专线)和骨干网网间场景下部署对外统一数据接口。该接口实现了DPI设备与共享层平台间的数据对接、DPI设备与信息安全管理系统(ISMS)的综合分析平台(简称CU平台)数据对接、DPI设备与共享层平台的数据接口。实施过程中，CU平台及共享层平台下发数据准确性要求较高，同时下发策略数据较多，需要数据接口所在机器(接口机)具有较快的数据策略处理能力及响应策略下发的能力。

现有的实现方法主要采用接口机通过socket连接到CU平台及共享层平台，通过socket的方式，接收到策略数据，解析相应的策略内容，然后再转发到已注册的DPI服务器。该方法解决了准确性的问题，但是在处理较多策略数据场景下，接收和处理策略流程线性排列，会出现DPI设备接收到策略的时延较大，CU平台和共享层平台等待时间长，整体策略处理慢的现象，策略积压情况下，由于操作系统socket收发机制，甚至导致丢包情况发生。

发明内容

本发明的目的在于针对现有技术中存在的缺陷，提供一种DPI系统策略处理方法及装置，保证DPI接口机高效的接收策略，并进行实时处理，实现多策略的接收、解析、响应并行化，提升整体DPI系统的处理能力。

本发明第一方面提出一种DPI系统策略处理方法。

本发明实施例的DPI系统策略处理方法，包括：启动策略接收线程，与DPI系统的策略发送平台进行通信，将所述策略发送平台发送的策略消息存入数据接收缓存队列；启动多个策略处理线程，循环遍历地解析所述数据接收缓存队列中的所述策略消息，将策略指令信息存入数据发送缓存队列，并将解析完的所述策略消息在所述数据接收缓存队列中清空；启动多个策略发送线程，与DPI系统的执行单元进行通信，根据所述执行单元的策略需求将匹配的策略指令信息发送给所述执行单元，并将发送完的所述策略指令信息在所述数据发送缓存队列中清空。

进一步地，所述策略发送平台包括共享层平台和综合分析平台；所述策略接收线程包括共享层平台接收线程以及综合分析平台接收线程；所述共享层平台和所述综合分析平台发送的策略消息存储以不同的内存结构存入所述数据接收缓冲队列中。

进一步地，还包括：在所述数据接收缓冲队列中设定第一全局标志位，并且在所述数据发送缓冲队列中设定第二全局标志位。

进一步地，所述启动多个策略处理线程，循环遍历地解析所述数据接收缓存队列中的所述策略消息的步骤中：若所述策略处理线程解析所述策略消息失败，则定义该策略消息为坏消息，然后所述策略处理线程跳过所述坏消息继续处理后续的所述策略消息。

进一步地，所述策略接收线程以socket方式与所述DPI系统的策略发送平台进行通信；并且，所述多个策略发送线程以socket方式与所述DPI系统的执行单元进行通信。

本发明第一方面提出一种DPI系统策略处理装置。

本发明实施例的DPI系统策略处理装置，包括：数据接收缓存模块，用于存储策略消息；数据发送缓存模块，用于存储策略指令信息；策略接收线程模块，用于与DPI系统的策略发送平台进行通信，将所述策略发送平台发送的策略消息存入所述数据接收缓存队列；多个策略处理线程模块，用于循环遍历地解析所述数据接收缓存队列中的所述策略消息，将策略指令信息存入所述数据发送缓存队列，并将解析完的所述策略消息在所述数据接收缓存队列中清空；多个策略发送线程模块，用于与DPI系统的执行单元进行通信，根据所述执行单元的策略需求将匹配的策略指令信息发送给所述执行单元，并将发送完的所述策略指令信息在所述数据发送缓存队列中清空。

进一步地，所述策略发送平台包括共享层平台和综合分析平台；所述策略接收线程包括共享层平台接收线程以及综合分析平台接收线程；所述共享层平台和所述综合分析平台发送的策略消息存储以不同的内存结构存入所述数据接收缓冲队列中。

进一步地，所述数据接收缓冲队列中具有第一全局标志位，并且所述数据发送缓冲队列中具有第二全局标志位。

进一步地，所述策略处理线程还用于，在解析所述策略消息失败时，定义该策略消息为坏消息，然后跳过所述坏消息继续处理后续的所述策略消息。

进一步地，所述策略接收线程用于以socket方式与所述DPI系统的策略发送平台进行通信；并且，所述多个策略发送线程用于以socket方式与所述DPI系统的执行单元进行通信。

本发明的DPI系统策略处理方法及装置，在采用socket通信保证准确性的基础上，通过在策略发送平台与DPI系统的执行单元之间构造线程池，在CU平台及共享层平台下发多策略数据场景之下，可以高效的接收多策略消息，进行实时处理，将结果快速的发送到DPI设备，并同时能够及时向CU平台及共享层平台发送回应消息，实现多个策略接收、解析、响应并行化，提升DPI接口机的策略处理水平，做到了策略零积压，零排队，提升了整体DPI系统的处理能力。

附图说明

图1为本发明DPI策略处理方法及装置的原理示意图；

图2为本发明具体实施例中DPI策略处理方法的流程图；

图3为本发明具体实施例中策略接收线程接收策略消息的流程图；

图4为本发明具体实施例中策略处理线程处理策略消息的流程图；

图5为本发明具体实施例中策略发送线程发送策略指令信息的流程图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和实施例对本发明进行详细的介绍。此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明的技术方案。

本发明主要提供了在DPI系统中，DPI系统共享层平台和信息安全管理系统的综合分析平台(CU平台)与DPI系统的执行单元(EU模块)之间的数据共享的一种优化方法。主要采用线程池技术及队列缓冲技术来提升数据处理吞吐量。线程池技术是一种多线程处理形式，处理过程中将任务添加到队列，然后在创建线程后自动启动这些任务。由于线程过多会带来调度开销，进而影响缓存局部性和整体性能。而线程池维护着多个线程，等待着监督管理者分配可并发执行的任务。这避免了在处理短时间任务时创建与销毁线程的代价。线程池不仅能够保证内核的充分利用，还能防止过分调度。因此，可以采用线程池技术及队列缓冲技术来提升数据处理的吞吐量。

DPI设备一般设置在网络出口处，能够同时处理下行流量和上行流量。DPI设备作为网络接口设备，其位置可以根据实际需要灵活设置，除了部署在网络出口处，还可以部署在网络骨干层、城域网或企业内部。另外，DPI设备还可以直接与不同用户的主机相连接，不同的用户通过各自的主机经由DPI设备将相关数据上传到互联网。

作为本发明的发明原理如图1所示。从原理图可以看出，本发明的技术关键点是在策略发送平台与DPI系统的执行单元之间构造线程池。线程池是一种线程的使用模式，由于线程过多会带来调度开销，进而影响缓存局部性和整体性能。因而通过线程池维护多个线程，等待监督管理者分配可并发执行的任务。这就避免了在处理短时间任务时创建与销毁线程的代价。线程池不仅能够保证内核的充分利用，还能防止过分调度。任务调度以执行线程的常见方法是使用同步队列，称作任务队列。线程池中的线程等待队列中的任务，并把执行完的任务放入完成队列中。

图2为本发明实施例的DPI策略处理方法的流程图，包括步骤A至C。

步骤A:启动策略接收线程，与DPI系统的策略发送平台进行通信，将策略发送平台发送的策略消息存入数据接收缓存队列。

步骤B:启动多个策略处理线程，循环遍历地解析数据接收缓存队列中的策略消息，将策略指令信息存入数据发送缓存队列，并将解析完的策略消息在数据接收缓存队列中清空。

步骤C:启动多个策略发送线程，与DPI系统的执行单元进行通信，根据执行单元的策略需求将匹配的策略指令信息发送给执行单元，并将发送完的策略指令信息在数据发送缓存队列中清空。

该实施例的DPI策略处理方法，通过构造线程池，建立策略接收线程、策略处理线程、策略发送线程，实现了多个策略接收、处理、响应并行化，提升了DPI接口机策略处理水平，做到了策略零积压，零排队，提升了整体DPI系统的处理能力，满足高并发需求。

可选地，在本发明实施例的DPI策略处理方法中，策略发送平台包括共享层平台和综合分析平台；策略接收线程包括共享层平台接收线程以及综合分析平台接收线程；共享层平台和综合分析平台发送的策略消息根据策略消息中携带的类型，分别存储在对应的内存结构中，在将该内存接收中数据，存入数据接收缓冲队列中。由于共享层平台和综合分析平台发送的策略消息分别存储在不同的内存结构中，实现了独立高效的接收多个策略消息。

可选地，本发明实施例的DPI策略处理方法还包括：在数据接收缓冲队列中，设定第一全局标志位，为策略消息数据的存入和取出提供开关标志，保证线程安全，数据存取有序；在数据发送缓冲队列中，设定第二全局标志位，为策略指令信息数据的存入和取出提供开关标志，保证线程安全，数据存取有序。

可选地，本发明实施例的DPI策略处理方法中，启动多个策略处理线程，循环遍历地解析数据接收缓存队列中的策略消息的步骤中：若策略处理线程解析策略消息失败，则定义该策略消息为坏消息，然后策略处理线程跳过坏消息继续处理后续的策略消息。换言之，如果有坏消息则跳过，这样不影响正确解析后面的策略消息。

可选地，本发明实施例的DPI策略处理方法中，策略接收线程以socket方式与DPI系统的策略发送平台进行通信；并且，多个策略发送线程以socket方式与DPI系统的执行单元进行通信。采用socket方式进行连接，具有安全性高和时效性高的优点。

本发明实施例的DPI系统策略处理装置主要包括：数据接收缓存模块、数据发送缓存模块、策略接收线程模块、多个策略处理线程模块以及多个策略发送线程模块。

数据接收缓存模块用于存储接收到的策略消息。并通过为每一条策略消息设置全局队列标志位，形成数据接收缓存队列。数据发送缓存模块用于存储解析完成的策略指令信息。并通过为每一条策略消息结果设置全局队列标志位，形成数据发送缓存队列。策略接收线程模块用于与DPI系统的策略发送平台进行通信，将策略发送平台发送的策略消息存入数据接收缓存队列。多个策略处理线程模块用于循环遍历地解析数据接收缓存队列中的策略消息，将策略指令信息存入数据发送缓存队列，并将解析完的策略消息在数据接收缓存队列中清空。多个策略发送线程模块用于与DPI系统的执行单元进行通信，根据执行单元的策略需求将匹配的策略指令信息发送给执行单元，并将发送完的策略指令信息在数据发送缓存队列中清空。

该实施例的DPI策略处理装置，通过构造线程池，建立策略接收线程、策略处理线程、策略发送线程，实现了多个策略接收、处理、响应并行化，提升了DPI接口机策略处理水平，做到了策略零积压，零排队，提升了整体DPI系统的处理能力，满足高并发需求。

可选地，本发明实施例中DPI策略处理装置，其对应的策略发送平台包括共享层平台和信息安全管理系统的综合分析平台(CU平台)，其中CU平台负责与信息安全管理系统进行通信，接收来自信息安全管理系统的管理指令，并根据要求向信息安全管理系统上报数据。因此，策略接收线程模块进一步包括了共享层平台接收线程模块以及信息安全管理系统的CU平台接收线程模块。共享层平台接收线程模块通过socket与共享层平台进行通信，共享层平台接收线程将接收到的共享层平台策略消息写入数据接收缓存模块的数据接收缓存队列。CU平台接收线程模块通过socket与CU平台进行通信，CU平台接收线程将接收到的CU平台策略消息写入数据接收缓存模块的数据接收缓存队列。本实施例中的DPI系统策略处理装置，策略接收线程相互独立，针对共享层平台和CU平台，单独建立线程接收策略消息，将共享层平台、CU平台发送的策略消息存储在各自的内存结构，可以独立高效的接收多个策略消息下发。两个策略接收线程接收的策略消息最终写入同一个数据接收缓存模块的数据接收缓存队列中。

可选地，本发明实施例中DPI策略处理装置中，数据接收缓冲队列中具有第一全局标志位，并且数据发送缓冲队列中具有第二全局标志位。换言之，共享层平台接收线程和CU平台接收线程用于分别循环接收消息，直至消息接收完全，并在数据接收缓存队列中建立全局队列标志，这样能为数据的存入和取出提供开关标志，保证线程安全，数据存取有序。

本实施例中的DPI策略处理系统，多个策略处理线程模块之间相互独立，多个策略发送线程模块之间也相互独立。策略处理线程和策略接收线程通过内存来实现数据传递，没有先后次序关系，实现多个策略消息的接收、处理、发送同时并行进行，在处理上互不影响，达到快速处理的目的。

可选地，本发明实施例中DPI策略处理装置中，策略处理线程还用于，在解析策略消息失败时，定义该策略消息为坏消息，然后跳过坏消息继续处理后续的策略消息。这样不影响正确解析后面的策略消息。

为使本领域技术人员更好地理解，下面再详述本发明所描述的DPI策略处理方法的一个具体实施例。该方法包括如下步骤：

(S0)构造线程池，建立策略接收线程、策略处理线程、策略发送线程，并构建数据接收缓存队列和数据发送缓存队列，分配各线程的执行顺序，通过设定标志位，维护数据接收缓存队列和数据发送缓存队列中的消息数据；

(S1)启动策略接收线程，与策略发送平台进行通信，将策略接收线程接收到的策略消息写入数据接收缓存队列；

(S2)启动策略处理线程，循环遍历数据接收缓存队列中的策略消息，将解析得到的策略指令信息存入数据发送缓存队列，并清除对应策略消息占用的数据接收缓存队列中的缓冲区；

(S3)启动策略发送线程，与DPI系统的执行单元(EU)进行通信，根据执行单元的策略需求，将对应的策略指令信息发送到执行单元服务器，并将发送完的策略指令信息在数据发送缓存队列中清空；执行单元将接收到策略的确认消息(ACK消息)返回上报给策略发送平台。

在本实施例的数据接收阶段，包括共享层平台接收线程以及信息安全管理系统的综合分析平台接收线程(CU平台线程)对对应平台策略消息的接收，具体方法如图3所示，包括：

(S1-1)启动共享层平台接收线程，通过socket与共享层平台通信，发送心跳信息，激活设备连接，并保持长连接；

同时，启动CU平台接收线程，通过socket与CU平台通信，发送心跳信息，激活设备连接，并保持长连接；

(S1-2)共享层平台线程接收到共享层平台数据，将数据写入数据接收缓存队列，CU平台线程接收到CU平台数据，将数据写入数据接收缓存队列。在数据接入时，对socket数据进行简要验证，解析出消息自带的长度标识和消息体长度进行对比，循环接收消息，直至消息接收完全，将消息存入数据接收缓存队列，建立全局队列标志，方便处理队列查找。

本实施例中，策略接收线程与策略发送平台之间的通信是基于socket收发机制来实现的。socket作为一种最为通用的网络通信应用程序接口，可以实时发送或接收数据，并可以对其进行像对文件一样的打开、读写和关闭等操作，socket允许应用程序将I/O插入到网络中，并与网络中的其他应用程序进行通信。采用socket通信能够保证通信的准确性。通过由消息发送源向消息接收方发送心跳信息，来确保接收方了解发送源的启动或关闭状态。在下发策略中每个策略消息在消息体上自带有长度标识，通过将程序计算的消息体长度(字节数)与消息中自己携带的长度标识进行对比，可以进一步确保消息接收的准确性。

以中国电信统一DPI数据标准和接口规范为例，共享层平台会下发如表1所列的所有策略消息，CU平台会下发如表2所列的所有策略消息。针对各种策略类型的具体解析算法都是本领域的公知技术。

表1共享层平台策略

表2 CU平台策略

在本实施例的数据处理阶段，策略处理线程根据先进先出原则对数据接收缓存队列中的策略消息依次进行分配，即按照存入的顺序对策略消息依次进行分配处理，先存入数据接收缓存队列中的策略消息被先分配到某个策略处理线程。由于本实施例中包括多个相互独立的策略处理线程，因此，多个策略处理线程能够对不同的策略消息同时进行解析处理，数据处理方法如图4所示，包括：

(S2-1)解析消息头，确定消息内容，根据业务算法，从处理器中调用相应的策略处理方法，对于无法确定的坏消息，按照消息内容长度，跳过相应的内存；

(S2-2)解析策略消息得到策略指令信息之后，清除对应策略消息占用的缓冲区，相应移动队列指针，方便下次数据写入；

(S2-3)将策略指令信息存入数据发送缓存队列，并建立全局队列标志，方便处理队列查找，供数据发送步骤使用。

策略消息一般包括消息头和数据信息，消息头中可以包含消息内容数据的类型、长度、压缩方法等，数据信息中记载了具体的消息内容。针对不同策略消息的具体解析算法事先存储在处理器的内存空间中，根据消息类型调用相应的解析算法，从策略消息中提取出策略指令信息，完成策略消息的解析，并将解析后的策略指令信息存入数据发送队列。上述表1、表2中列出的共享层平台和CU平台的各种策略类型，均有明确的解析算法与之对应，这都是本领域的公知技术，技术人员可以在具体软件程序中进行合理的设计和应用。

在本实施例的数据发送阶段，策略发送线程也是通过socket与DPI系统的执行单元进行通信，多个策略发送线程能够同时将不同的策略消息发送给相应的执行单元，数据发送的方法流程如图5所示，包括：

(S3-1)启动策略发送线程，通过socket连接DPI系统执行单元的EU接收平台，保持长连接；

(S3-2)与EU接收平台进行通信，解析EU平台的策略需求，对各个执行单元连接的策略需求进行记录，确定EU策略需求；

(S3-3)循环遍历数据发送缓存队列，在队列中无策略指令信息时，保持一定间隔的轮询，数据发送缓存队列中有策略指令信息存在时，根据已有的EU策略需求，确定策略的发送方向，将当前策略指令信息下发至对应的执行单元服务器，同时将该策略指令信息在数据发送缓存队列中清空。

本实施例所提供的DPI接口机管理策略的接收和处理方法，通过线程池技术，对上述各阶段的相应步骤中涉及的线程进行管理调度，充分利用机器多核特点，保证处理过程有序进行。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若对本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (4)

1.一种DPI系统策略处理方法，包括：

启动策略接收线程，与DPI系统的策略发送平台进行通信，将所述策略发送平台发送的策略消息存入数据接收缓冲队列；

启动多个策略处理线程，循环遍历地解析所述数据接收缓冲队列中的所述策略消息，将策略指令信息存入数据发送缓冲队列，并将解析完的所述策略消息在所述数据接收缓冲队列中清空；若所述策略处理线程解析所述策略消息失败，则定义该策略消息为坏消息，然后所述策略处理线程跳过所述坏消息继续处理后续的所述策略消息；

启动多个策略发送线程，与DPI系统的执行单元进行通信，根据所述执行单元的策略需求将匹配的策略指令信息发送给所述执行单元，并将发送完的所述策略指令信息在所述数据发送缓冲队列中清空；

所述策略发送平台包括共享层平台和综合分析平台；

所述策略接收线程包括共享层平台接收线程以及综合分析平台接收线程；

所述共享层平台和所述综合分析平台发送的策略消息存储以不同的内存结构存入所述数据接收缓冲队列中；

在数据接收缓冲队列中，设定第一全局标志位，为策略消息数据的存入和取出提供开关标志，保证线程安全，数据存取有序；在数据发送缓冲队列中，设定第二全局标志位，为策略指令信息数据的存入和取出提供开关标志，保证线程安全，数据存取有序；

所述多个策略处理线程对不同的策略消息同时进行解析处理，数据处理方法包括：

解析消息头，确定消息内容，根据业务算法，从处理器中调用相应的策略处理方法，对于无法确定的坏消息，按照消息内容长度，跳过相应的内存；

解析策略消息得到策略指令信息之后，清除对应策略消息占用的缓冲区，相应移动队列指针，方便下次数据写入；

将策略指令信息存入数据发送缓冲队列，并建立全局队列标志，方便处理队列查找，供数据发送步骤使用。

2.如权利要求1所述的DPI系统策略处理方法，其特征在于：

所述策略接收线程以socket方式与所述DPI系统的策略发送平台进行通信；并且，所述多个策略发送线程以socket方式与所述DPI系统的执行单元进行通信。

3.一种DPI系统策略处理装置，其特征在于，包括：

数据接收缓冲队列模块，用于存储策略消息；

数据发送缓冲队列模块，用于存储策略指令信息；

策略接收线程模块，用于与DPI系统的策略发送平台进行通信，将所述策略发送平台发送的策略消息存入所述数据接收缓冲队列；

多个策略处理线程模块，用于循环遍历地解析所述数据接收缓冲队列中的所述策略消息，将策略指令信息存入所述数据发送缓冲队列，并将解析完的所述策略消息在所述数据接收缓冲队列中清空；所述策略处理线程还用于，在解析所述策略消息失败时，定义该策略消息为坏消息，然后跳过所述坏消息继续处理后续的所述策略消息；

多个策略发送线程模块，用于与DPI系统的执行单元进行通信，根据所述执行单元的策略需求将匹配的策略指令信息发送给所述执行单元，并将发送完的所述策略指令信息在所述数据发送缓冲队列中清空；

所述策略发送平台包括共享层平台和综合分析平台；

所述策略接收线程包括共享层平台接收线程以及综合分析平台接收线程；

所述共享层平台和所述综合分析平台发送的策略消息存储以不同的内存结构存入所述数据接收缓冲队列中；

数据接收缓冲队列中具有第一全局标志位，并且数据发送缓冲队列中具有第二全局标志位；共享层平台接收线程和CU平台接收线程用于分别循环接收消息，直至消息接收完全，并在数据接收缓冲队列中建立全局队列标志，为数据的存入和取出提供开关标志；

所述多个策略处理线程模块之间相互独立，所述多个策略发送线程模块之间相互独立；策略处理线程和策略接收线程通过内存来实现数据传递，没有先后次序关系，实现多个策略消息的接收、处理、发送同时并行进行，在处理上互不影响。

4.如权利要求3所述的DPI系统策略处理装置，其特征在于：所述策略接收线程用于以socket方式与所述DPI系统的策略发送平台进行通信；并且，所述多个策略发送线程用于以socket方式与所述DPI系统的执行单元进行通信。

Images