CN109992427B - Dpi关联规则回填处理方法、装置、设备及介质 - Google Patents

Abstract

本发明提供DPI关联规则回填处理方法、装置、设备及介质。该方法包括：当监测承担业务的DPI采集机重新启动时从其本地存储器下载全部第一关联回填规则，记录重新启动时的时间戳；发送带有时间戳的更新请求信息至指定的未承担业务的DPI采集机；通过机器学习进程学习的关联回填规则存入其REDIS数据库中，以实时更新关联回填规则；依据时间戳，将其REDIS数据库中从时间戳对应时刻至当前时刻期间的关联回填规则作为第二关联回填规则返回给承担业务的DPI采集机；重启后恢复本地对关联回填规则的机器学习进程，并将机器学习到的第三关联回填规则实时存入本地REDIS数据库中；承担业务的DPI采集机依据第一、第二及第三关联回填规则，获取完整的关联回填规则。

Description

DPI关联规则回填处理方法、装置、设备及介质

技术领域

本发明涉及大数据技术领域，尤其涉及一种DPI关联规则回填处理方法、装置、设备及介质。

背景技术

DPI(Deep Packet Inspection深度报文检测)，是指设备通过对网络的关键点处的流量和报文内容进行检测分析，可以根据事先定义的策略对检测流量进行过滤控制，完成所在链路的业务精细化识别、业务流量流向分析、业务流量占比统计、业务占比整形、以及应用层拒绝服务攻击、对病毒、木马进行过滤和滥用P2P的控制等功能。统一DPI指一套DPI设备对链路上的流量进行采集与识别，并将满足其他系统所需的流量或分析统计数据分发给各第三方应用系统服务器。

当前的运营商统一DPI系统，其关键的业务归属信息字段，如：IMSI、IMEI、MISDN和CITY等，不同的EPC业务接口存在不同的填充方案：

1、信令面接口回填规则：信令面接口在LTE统一DPI系统中主要包括：S1-MME、S6a、SGS和S11 4个接口，其基本的关联回填规则如下：

按照TMSI(语音侧)-GUTI–IMSI-MSISDN-IMEI对应关系表进行回填，其中，MME中有S-TMSI和TMSI的关联表，联合附着、联合TAU时把这两个值发给UE，以便寻呼。在S1-MME接口中，IDENTITY携带IMSI，SECURITY MODE携带IMEI；S6a接口中，每个流程携带IMSI，个别流程会携带IMEI、MSISDN；而SGS接口中，除RESET流程外流程均携带IMSI，个别流程会携带IMEI。

由上可知，不同接口不同程度的在一些流程当中携带了部分关键信息，但都不全面，因此需要各个接口的数据联合分析，逐步形成全网“IMSI-MSISDN-IMEI”的对应关系记录，继而串联起所有信令面接口的信令XDR记录。

2、用户面接口回填规则：LTE统一DPI的用户面接口主要为S1-U接口，其下按照业务和协议等进行了详细的分类，最终形成的XDR话单主要包括http话单、通用类话单、IM话单等等。S1-U接口本身在原始码流中携带的主要用户身份信息较少，需要联合S11接口信令进行关联回填，具体规则如下：

用户标识回填SGW IP+TEID+User IP组合key进行关联，对于移动互联网广告拦截方式分类：

S11接口：MME和SGW之间是GTPv2协议，Create Session Request中携带IMSI、MSISDN、IMEI、eNodeB的IP地址和TEID信息，Create Session Response中携带用户分配的IP，SGW的IP地址和TEID信息，SI-U接口：eNoteB和SGW之间是GTP-U协议，每个GTP包都携带用户IP、eNode的IP、SGW的IP地址和TEID信息。

由上述可知，S11接口发生的主要业务流程，比如Create Session Request，均携带用户身份的主要信息，同时也携带用户IP和TEID等，同时S1-U接口的原始码流中也携带用户IP和TEID，可以通过用户IP、TEID甚至是SGW设备IP等共有字段实现两个接口数据的关联回填。

综上，关联回填关系涉及接口多，内容杂，且在设备初始化运行时，关联回填关系是不存在的，需要随着程序的运行，系统不断解析码流和分析数据，逐步增加，直至得到全网所有用户的关联回填关系，而这个过程，通常情况要5天以上。

因此，DPI面临一个问题：每当采集机重启之后，所有的关联回填关系都会清空，即使是将关联回填关系表进行持久化存储(即存储到本地磁盘)，回填关系仍存在如下死角：所有设备重启或者进程重启均需要一定的时间，比如采集机重启需要4分钟以上，而进程级别的重启也需要大约2分钟。在这段时间内，重启的对象不再处理码流信息，关联回填关系的更新停滞。

由于重启后业务恢复，关联回填关系在重启的时间段内持没有续更新，导致后续关联回填信息出现错误。信令面来说，关联回填利用的是IMSI-IMEI-MISDN-GUTI对应，除在重启的几分钟内GUTI重分配或者用户换机有可能造成关联回填关系变化外，其他的流程和场景不会使之发生改变，因此信令面的关联回填关系实时更新能力要求较低；但是用户面则不同，S1-U接口和S11接口的关联是通过用户IP和TEID进行关联的，这两样数据在现网中变化较为频繁和剧烈，几分钟之内都可能发生改变，一旦改变后，若DPI侧对关联关系没有持续更新，则之后用户持续上网的过程中，所有的话单记录都将发生归属错误。

因此，为了保证用户面的信令记录归属在设备或进程重启的时间死角内依旧准确，需要被重启的设备所解析的S11码流功能持续有效，目前现网很多省份和厂家对此并没有很好的解决方案，个别省份和厂家给出了S11接口数据在机房区域内广播的方式解决该问题，原理简述如下：

在一个机房范围内，对数台编号为SAEGW01、SASEGW02…等设备的S11接口信令原始码流在分流汇聚层面进行串通和广播，实现机房内所有设备的S11码流全量注入任何一台采集机。这样，即使其中的一台或者几台采集机重启，只要有一台采集机还在工作，关联回填关系就不会有死角。

当前存在的保持重启过程中回填关系不间断的方案普遍具有如下缺点和问题：

1)资源消耗大，成本极高。例如上面提到的通过S11接口广播的方式，S11接口的原始码流数据虽然看起来数量不大，但是一旦以广播的方式，相当于每一端口的链路要增长数倍，且相应的采集机对于S11解码的资源消耗也要增长数倍，用户面采集机主要的资源开销在于S1-U接口的解析处理，S11处理消耗的暴增必然会对设备造成非常大的影响。如果扩容，以原本具有60台用户面采集机的网络为例，则需要增加将近20台设备。

2)操作复杂，人工消耗大。在机房内将需要升级操作的采集机的S11接口码流切换到其他设备上，这种操作需要人工参与和实际设备的部分端口数据的配置引导，人工完成数十台设备的操作，人工消耗较大，且操作复杂。

综上，现有技术中，为防止DPI系统中设备重启后关联回填存在漏洞，在一个机房的范围内，对数台SAEWGW的S11接口信令原始码流在分流汇聚层面进行串通和广播，实现机房内所有设备的S11码流全量注入任何一台采集机。这样，即使其中的一台或者几台采集机重启，只要有一台采集机还在工作，关联回填关系就不会有死角。上述已有的解决方案在设备资源或者人工成本消耗方面存在过大消耗，对于部分资金投入受限的省份更非优质选择。上述现有技术的问题在于，以广播方式备份多份原始码流，资源消耗大，成本极高。

发明内容

本发明实施例提供了一种DPI关联规则回填处理方法、装置、设备及介质，用以解决现有技术存在的资源消耗大，成本高的问题。

第一方面，本发明实施例提供了一种关联规则回填处理方法，方法包括：

当监测承担业务的DPI采集机重新启动时从所述承担业务的DPI采集机的本地存储器下载全部第一关联回填规则，并记录重新启动时的时间戳；

重新启动后的所述承担业务的DPI采集机发送带有所述时间戳的更新请求信息至指定的未承担业务的DPI采集机；

所述指定的未承担业务的DPI采集机将通过机器学习进程学习的关联回填规则存入所述指定的未承担业务的DPI采集机REDIS数据库中，以实时更新所述关联回填规则；

所述指定的未承担业务的DPI采集机依据所述时间戳，将其REDIS数据库中从所述时间戳对应时刻至当前时刻期间的关联回填规则，作为第二关联回填规则返回给发送更新请求信息的所述承担业务的DPI采集机；

所述发送更新请求信息的所述承担业务的DPI采集机完成重启后恢复本地对关联回填规则的机器学习进程，并将机器学习到的第三关联回填规则实时存入本地REDIS数据库中；

所述承担业务的DPI采集机依据所述第一关联回填规则、所述第二关联回填规则以及所述第三关联回填规则，获取所述承担业务的DPI采集机的完整的关联回填规则。

第二方面，本发明实施例提供了一种关联规则回填处理装置，所述装置包括：

下载与记录模块，用于当监测承担业务的DPI采集机重新启动时从所述承担业务的DPI采集机的本地存储器下载全部第一关联回填规则，并记录重新启动时的时间戳；

发送更新请求模块，用于重新启动后的所述承担业务的DPI采集机发送带有所述时间戳的更新请求信息至指定的未承担业务的DPI采集机；

机器学习进程模块，所述指定的未承担业务的DPI采集机将通过机器学习进程学习的关联回填规则存入所述指定的未承担业务的DPI采集机REDIS数据库中，以实时更新所述关联回填规则；

返回请求模块，用于所述指定的未承担业务的DPI采集机依据所述时间戳，将其REDIS数据库中从所述时间戳对应时刻至当前时刻期间的关联回填规则，作为第二关联回填规则返回给发送更新请求信息的所述承担业务的DPI采集机；

实时存储模块，用于所述发送更新请求信息的所述承担业务的DPI采集机完成重启后恢复本地对关联回填规则的机器学习进程，并将机器学习到的第三关联回填规则实时存入本地REDIS数据库中；

完整关联回填规则获取模块，用于所述承担业务的DPI采集机依据所述第一关联回填规则、所述第二关联回填规则以及所述第三关联回填规则，获取所述承担业务的DPI采集机的完整的关联回填规则。

第三方面，本发明实施例提供了一种DPI关联规则回填处理设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。

本发明实施例提供的DPI关联规则回填处理方法、装置、设备及介质，通过设置指定的未承担业务的DPI采集机，以机房为单位建立指定的未承担业务的DPI采集机，通过利用REDIS数据库等优秀开源资源，构建未承担业务的DPI采集机和承担业务的DPI采集机之间的协同操作流程模型，实现资源消耗低、人工操作少、执行效率高的DPI机器学习周期收敛方法，实现用户面关联回填规则的实时更新；充分发挥未承担业务的DPI采集机的性能。本发明较其他业界的优化方案大幅缩减了设备资源开销，且充分利用每个机房的冷备份设备(未承担业务的DPI采集机)资源，同时减少诸如S11接口码流广播等方案所带来的链路带宽消耗，实用价值较高。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明较佳实施例的DPI关联规则回填处理方法的流程示意图。

图2示出了本发明一个示例性实施例的通过专职热备设备实现关联回填学习周期收敛的说明图。

图3示出了本发明一个实施例的专职热备设备极小进程镜像功能模块分布示意图。

图4示出了本发明较佳实施例的DPI关联规则回填处理装置的结构示意图。

图5示出了本发明较佳实施例的DPI关联规则回填处理设备的结构示意图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

如图1所示，本发明实施例提供一种DPI关联规则回填处理方法，所述方法包括：

S1、当监测承担业务的DPI采集机重新启动时从所述承担业务的DPI采集机的本地存储器下载全部第一关联回填规则，并记录重新启动时的时间戳；

S2、重新启动后的所述承担业务的DPI采集机发送带有所述时间戳的更新请求信息至指定的未承担业务的DPI采集机；

S3、所述指定的未承担业务的DPI采集机将通过机器学习进程学习的关联回填规则存入所述指定的未承担业务的DPI采集机REDIS数据库中，以实时更新所述关联回填规则；

S4、所述指定的未承担业务的DPI采集机依据所述时间戳，将其REDIS数据库中从所述时间戳对应时刻至当前时刻期间的关联回填规则，作为第二关联回填规则返回给发送更新请求信息的所述承担业务的DPI采集机；

S5、所述发送更新请求信息的所述承担业务的DPI采集机完成重启后恢复本地对关联回填规则的机器学习进程，并将机器学习到的第三关联回填规则实时存入本地REDIS数据库中；

S6、所述承担业务的DPI采集机依据所述第一关联回填规则、所述第二关联回填规则以及所述第三关联回填规则，获取所述承担业务的DPI采集机的完整的关联回填规则。

进一步地，所述方法在所述当监测承担业务的DPI采集机重新启动时从所述承担业务的DPI采集机的本地存储器下载全部第一关联回填规则，并记录重新启动时的时间戳之前还包括：

同步备份在正常运行时承担业务的DPI采集机REDIS数据库中的关联回填规则至所述承担业务的DPI采集机的本地存储器缓存；

同步备份在正常运行时一指定的未承担业务的DPI采集机REDIS数据库中的关联回填规则至所述指定的未承担业务的DPI采集机的本地存储器缓存。

进一步地，所述第一关联规则来自于所述承担业务的DPI采集机的本地存储器下载到的在重启之前缓存的关联回填规则；

所述第二关联规则来自于通过请求所述指定的未承担业务的DPI采集机，获得的从重启时刻至指定时刻时间段内的关联回填规则；

所述第三关联规则为重启进程恢复后所述承担业务的DPI采集机机器实时学习获取的关联回填规则。

具体来说，所述REDIS数据库存储有IMSI-TEID关系表，所述IMSI-TEID关系表至少包括以下关键字段中的一种：IMSI、IMEI、MISDN、SGW IP、TEID、User IP。

还有，所述承担业务的DPI采集机依据所述第一关联回填规则、所述第二关联回填规则以及所述第三关联回填规则，获取所述承担业务的DPI采集机的完整的关联回填规则包括：

以所述重启时刻为基准，以所述IMSI为主键，根据所述关键字段TEID和User IP，按照时间点从新到旧原则，将最新的关联回填规则写入所述承担业务的DPI采集机的REDIS数据库中；

计算所述第一关联回填规则、所述第二关联回填规则以及所述第三关联回填规则中，所述第二关联回填规则最终写入所述承担业务的DPI采集机的REDIS数据库的数据在所述第一关联回填规则、所述第二关联回填规则以及所述第三关联回填规则的全部数据中所占的比率。

更进一步地，当所述指定的未承担业务的DPI采集机中的所述比率为零且持续预定时间后，所述承担业务的DPI采集机向所述指定的未承担业务的DPI采集机发送停止数据更新请求，所述指定的未承担业务的DPI采集机停止数据发送并中止通信。

优选地，所述以所述重启时刻为基准，以所述IMSI为主键，根据所述关键字段TEID和User IP，按照时间点从新到旧原则，将最新的关联回填规则写入所述承担业务的DPI采集机的REDIS数据库中包括：

步骤1，以所述IMSI或者所述MISDN为索引，将关联回填规则分组为全部第一关联回填规则、第二关联回填规则以及第三关联回填规则；

步骤2，载入承担业务的DPI采集机的本地REDIS数据库的全部第一关联回填规则，单条第一关联回填规则对应回填时间记为t1；

步骤3，从所述指定的未承担业务的DPI采集机中获取第二关联回填规则，此处单条第二关联回填规则对应回填时间记为t2；

步骤4，承担业务的DPI业务设备重启后，获取当前获得的第三关联回填规则，单条第三关联回填规则对应回填时间记为t3；

步骤5，选取所述t1、t2、t3中的最大值，将所述最大值对应的相应关联回填规则载入所述承担业务的DPI采集机的REDIS数据库，并丢弃其余2条关联回填规则；

如此往复执行上述步骤1至步骤5，以获得每一所述IMSI或者所述MISDN对应的最新关联回填规则。

进一步地，所述计算所述第一关联回填规则、所述第二关联回填规则以及所述第三关联回填规则中第二关联回填规则最终写入所述承担业务的DPI采集机的REDIS数据库的数据在所述第一关联回填规则、所述第二关联回填规则以及所述第三关联回填规则的全部数据中所占的比率包括：

以每一设定时间为粒度，统计一次来自所述指定的未承担业务的DPI采集机所提供的第二关联回填规则数量n，初始化计数器i＝0；

在每一所述设定时间内，统计所述t1、t2、t3中的最大值，当最大值为t3时，则i＝i+1；

依据所述统计，所述指定的未承担业务的DPI采集机的第二关联回填规则所占比率值r＝i/n*100％。

对于以上本发明的DPI关联规则回填处理方法，以下在一个具体的实施例中进行详细说明。

下面结合图2简要说明本发明的DPI关联规则回填处理方法实现的基本原理和执行流程。

步骤1：常态化运行时，每台承担业务的DPI采集机均具备关联回填规则本地磁盘持久化的能力，按照预定时间如1分钟的时长周期，将内存中的关联回填规则同步到本地磁盘。当设备或者进程重启后，要从本地磁盘加载(load)大量关联回填关系，由于“时间死角”的存在，关联回填关系(也即关联回填规则)存在未实时更新的部分，用户的具体S11接口行为决定这部分的学习收敛周期。

步骤2：类似于步骤1，在指定的未承担业务的DPI采集机(也叫

“专职热备采集机”)上做持久化，即当专职设备因为故障或者其他问题重启设备或者进程时，通过本地加载(load)快速得到之前的全量规则，若没有本地磁盘存储可以下载(load)，则“专职热备采集机”需要重新学习全量规则，但恢复速度较慢。

步骤3：当承担业务的采集机因为变更升级等需要进行设备重启或者进程重启后，从本地磁盘持久化的关系表中load全量数据，后续根据其他规则进行选择性更新。其中，重启期间大约2-5分钟的时间死角无法进行S11接口的关联回填规则更新。此外，还可以从“专职热备采集机”侧触发流程进行更新，但全量从“专职热备采集机”获取，数据量较大，更新时间较慢，难以达到“闪取”效果。

步骤4：需要更新规则的DPI业务设备，向“专职热备采集机”发起更新请求，该请求携带具体的时间戳，包括重启的时间戳，用于对规则的新鲜度进行后续的判断。

步骤5：将关联回填关系(也即关联回填规则)闪存入REDIS数据库中。“专职热备采集机”的关联回填关系机器学习进程(极小镜像进程)一直处于工作状态，其上的关联回填关系保持实时更新。

步骤6：“专职热备采集机”根据重启时间戳，经由REDIS提供在重启时间至当前时间期间更新的关联规则对应关系，并返回给请求的DPI业务设备。

步骤7：DPI业务设备重启后，恢复本地关联规则机器学习，并将学习得到的规则闪存入本地REDIS数据库。

步骤8：DPI业务设备经过步骤3、6、7，在自身恢复机器学习进程后，对得到的第一关联规则、第二关联规则、第三关联规则进行判断，得到完整的关联规则。

其中，关联规则存在以下三种数据来源：

(1)从本地磁盘或硬盘load到的在重启之前缓存的关联回填关系；

(2)通过请求“专职热备采集机”，获取从重启时间开始的一段时间内的关联回填关系；

(3)重启进程恢复后本地机器学习获取的实时关联回填规则。

对于上述三种来源的数据，DPI业务设备进行如下算法的逻辑判断：

(1)以重启的时间点为基准，以用户IMSI为主键，比较下挂的IP和TEID等关联规则信息，按照时间点后向优先的原则，写入本地的REDIS数据库；

(2)计算三者数据的“利用率”，即最终写入REDIS数据库的数据，在三者的数据中所占的比率。当“专职热备采集机”的数据“利用率”达到零且持续时间超过1分钟以上，DPI业务设备触发步骤9。

此步骤由于该时间段内需要比较和计算三方面的数据的时间点并执行写入，因此这段时间的数据更新和实际业务的关联回填规则生成时间会相对平时延长，但由于REDIS和其他两方面的数据均在内存中进行计算，据现网实际评估，延时完全可以控制在2s以内，影响较小。

步骤9：当专职热备采集机的数据“利用率”达到零且持续一段时间后，DPI业务设备向“专职热备采集机”发送停止数据更新请求，“专职热备采集机”停止数据发送，通信中止。当监测到类似设备需要变更重启时，重新触发步骤4，流程重新开始。

步骤10：当“专职热备”设备存在宕机或者其他问题时，实施本地存储，便于突发情况下提升数据的恢复速度。

从上面的流程模型来看，本发明实施例中的DPI关联规则回填处理方法实施需要进行如下配置：

(1)以核心网设备机房为单位部署程序和方案，每个机房必须购置一台备份采集机。

(2)改造目前采集机关联回填关系存储的方式，引入REDIS数据库实现快捷开发和数据的闪存闪取。

(3)根据用户面采集机的采集进程各个功能模块，选择性开发该进程的极小镜像，镜像进程中包含基本的解码以及S11中用户IP、TEID等关键信息的软件功能模块。

如图3所示，现有DPI业务采集机具备如下的功能模块，按照“专职热备采集机”中极小进程镜像的需求，进行剥离和组合，并将接口单元、报文鉴定、信令数据报文、GTP V2协议解封装和关联规则维护处理模块进行重组，以实现“专职热备采集机”上的极小进程镜像。以下部分模块为极小进程镜像需要具备或者部分具备的能力：

接口单元。具备采集机和分流汇聚设备的对接接口功能，用于调度网卡驱动，实现基本的网络数据传送和接收的能力。

报文鉴定。用于基本的报文数据识别，区分S11和S1-U接口的原始码流，即将识别为S11接口的码流直接接入“专职热备采集机”。

信令数据报文。经码流报文鉴定后提取并存留下来的信令面数据即S11接口信令，即“专职热备采集机”需要的全量S11码流。

GTP V2协议解封装。对S11原始码流进行解封装，基于极小进程镜像(即机器学习进程)，仅对S11中用户身份关键信息和TEID、用户IP流程类型等重要内容进行解析。

关联规则维护处理。通过GTP V2协议的解析，挖掘关键流程中用户身份、IP地址以及TEID等关键信息，通过固有的机器学习算法生成关联回填规则表。

目前实际应用中每个核心机房SAEGW均不超过4台，通过上述重新构建的进程镜像，每个核心机房仅通过一台“专职热备采集机”即可实现本发明实施例的技术方案，最大程度精简了“专职热备采集机”的功能，节省了资源开销。

下面结合一个实际应用场景，通过具体的实施方式对本发明的技术方案进行说明：

步骤1：DPI业务设备侧关联回填关系持久化。将DPI业务设备侧的REDIS数据库中的IMSI-TEID关系表(time、IMSI、IMEI、MISDN、SGW IP、TEID、User IP)同步到本地硬盘缓存。

步骤2：专职热备采集机侧关联回填关系持久化。将专职热备采集机侧的REDIS数据库中的IMSI-TEID关系表(time、IMSI、IMEI、

MISDN、SGW IP、TEID、User IP)同步到本地硬盘缓存。

步骤3：当监测到DPI业务设备因为变更升级等需要进行设备重启或者进程重启后，从本地磁盘持久化的关系表中load全量数据(time、IMSI、IMEI、MISDN、SGW IP、TEID、User IP)。

步骤4：需要更新规则的DPI业务设备，向专职热备采集机发起更新请求，该请求携带具体的时间戳time。

步骤5：专职热备采集机的关联回填关系机器学习进程(极小镜像进程)一直处于工作状态，用于将学习到的关联关系闪存入REDIS数据库中，极小进程镜像工作过程为：

(1)接口单元完成该机房内三台SAEGW类主设备：SYSAEGW09BHW，SYSAEGW12Ber，SYSAEGW13BHW的S11全量信令数据的接入；

(2)在接收到S11原始码流后，执行报文鉴定；

(3)后续的GTP V2协议解码功能环节，完成对S11原始码流全量内容解码；

(4)解码后，极小进程镜像只保留关联规则回填处理功能环节，实现对关键字段(IMSI、IMEI、MISDN、SGW IP、TEID、User IP等)进行分析和关联规则梳理，生成关联回填规则。

如此，便能以一种最轻量级的状态，满足关联规则热备的需要。

步骤6：专职热备采集机根据重启时间戳(time)，经由REDIS提供从重启时间到当前时间更新的关联规则对应关系，并提供相应关联规则返回给请求的DPI业务设备。

步骤7：DPI业务设备重启过后，恢复本地关联规则机器学习，并将学习得到的规则闪存入本地REDIS数据库。

步骤8：DPI业务设备根据来自步骤3，步骤6，以及步骤7的关联规则，根据时间戳等信息，以用户IMSI为主键，比较下挂的IP和TEID等关联规则信息，利用时间点后向优先原则，将更新后的关联规则写入本地REDIS数据库。利用时间点后向优先原则选择关联规则的具体方法为：

(1)以IMSI或者MISDN为索引，将规则分组。对于每一组规则数据，执行后续判断；

(2)载入DPI业务设备本地缓存的全量回填规则，单条回填规则的时间记为t1；

(3)从专职热备采集机中获取其提供的规则，从请求发起的时间t进行计时，此处单条规则对应时间记为t2；

(4)DPI业务设备重启后，获取当前获得的关联回填规则，单条规则对应时间记为t3；

(5)取Max(t1，t2，t3)，则Max time所在的该条规则生效，载入REDIS数据库，其余2条规则被丢弃；

(6)如此往复执行上述(1)至(5)，则获得每一个IMSI或者MISDN对应的最新关联回填规则。

步骤9：当专职热备采集机的数据利用率达到零且持续时间超过5分钟时，DPI业务设备向专职热备采集机发送停止数据更新请求，专职热备采集机关闭更新，通信暂时中止。专职热备采集机利用率的具体计算方法如下：

(1)每5分钟为粒度统计一次来自专职热备采集机提供的规则数n，初始化计数器i＝0；

(2)计算步骤8中，在此5分钟内，每次统计tx＝Max(t1、t2、t3)，当tx＝t3时，i＝i+1；

(3)基于上述统计，专职热备采集机的规则利用率＝i/n*100％。

另一方面，如图2所示，本发明对应上述图1的方法还相应提供一种DPI关联规则回填处理装置，所述装置包括：

下载与记录模块10，用于当监测承担业务的DPI采集机重新启动时从所述承担业务的DPI采集机的本地存储器下载全部第一关联回填规则，并记录重新启动时的时间戳；

发送更新请求模块20，用于重新启动后的所述承担业务的DPI采集机发送带有所述时间戳的更新请求信息至指定的未承担业务的DPI采集机；

机器学习进程模块30，所述指定的未承担业务的DPI采集机将通过机器学习进程学习的关联回填规则存入所述指定的未承担业务的DPI采集机REDIS数据库中，以实时更新所述关联回填规则；

返回请求模块40，用于所述指定的未承担业务的DPI采集机依据所述时间戳，将其REDIS数据库中从所述时间戳对应时刻至当前时刻期间的关联回填规则，作为第二关联回填规则返回给发送更新请求信息的所述承担业务的DPI采集机；

实时存储模块50，用于所述发送更新请求信息的所述承担业务的DPI采集机完成重启后恢复本地对关联回填规则的机器学习进程，并将机器学习到的第三关联回填规则实时存入本地REDIS数据库中；

完整关联回填规则获取模块60，用于所述承担业务的DPI采集机依据所述第一关联回填规则、所述第二关联回填规则以及所述第三关联回填规则，获取所述承担业务的DPI采集机的完整的关联回填规则。

进一步地，所述DPI关联规则回填处理装置还包括：

第一同步备份模块，用于同步备份在正常运行时承担业务的DPI采集机REDIS数据库中的关联回填规则至所述承担业务的DPI采集机的本地存储器缓存；

第二同步备份模块，用于同步备份在正常运行时一指定的未承担业务的DPI采集机REDIS数据库中的关联回填规则至所述指定的未承担业务的DPI采集机的本地存储器缓存。

进一步地，所述第一关联规则来自于所述承担业务的DPI采集机的本地存储器下载到的在重启之前缓存的关联回填规则；

所述第二关联规则来自于通过请求所述指定的未承担业务的DPI采集机，获得的从重启时刻至指定时刻时间段内的关联回填规则；

所述第三关联规则为重启进程恢复后所述承担业务的DPI采集机机器实时学习获取的关联回填规则。

具体来说，所述REDIS数据库存储有IMSI-TEID关系表，所述IMSI-TEID关系表至少包括以下关键字段中的一种：IMSI、IMEI、MISDN、SGW IP、TEID、User IP。

还有，所述完整关联回填规则获取模块60包括：

写入单元，用于以所述重启时刻为基准，以所述IMSI为主键，根据所述关键字段TEID和User IP，按照时间点从新到旧原则，将最新的关联回填规则写入所述承担业务的DPI采集机的REDIS数据库中；

计算单元，用于计算所述第一关联回填规则、所述第二关联回填规则以及所述第三关联回填规则中，所述第二关联回填规则最终写入所述承担业务的DPI采集机的REDIS数据库的数据在所述第一关联回填规则、所述第二关联回填规则以及所述第三关联回填规则的全部数据中所占的比率。

更进一步地，所述DPI关联规则回填处理装置还包括：中止通信模块，用于当所述指定的未承担业务的DPI采集机中的所述比率为零且持续预定时间后，所述承担业务的DPI采集机向所述指定的未承担业务的DPI采集机发送停止数据更新请求，所述指定的未承担业务的DPI采集机停止数据发送并中止通信。

进一步地，上述计算单元包括：

以每一设定时间为粒度，统计一次来自所述指定的未承担业务的DPI采集机所提供的第二关联回填规则数量n，初始化计数器i＝0；

在每一所述设定时间内，统计t1、t2、t3中的最大值，当最大值为t3时，则i＝i+1；

依据所述统计，所述指定的未承担业务的DPI采集机的第二关联回填规则所占比率值r＝i/n*100％。

另外，结合图1描述的本发明实施例的DPI关联规则回填处理方法可以由DPI关联规则回填处理设备来实现。图3示出了本发明实施例提供的DPI关联规则回填处理设备的硬件结构示意图。本发明的DPI关联规则回填处理设备可以包括处理器401以及存储有计算机程序指令的存储器402。

具体地，上述处理器401可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。

存储器402可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器402可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器402可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器402可在数据处理装置的内部或外部。在特定实施例中，存储器402是非易失性固态存储器。在特定实施例中，存储器402包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器401通过读取并执行存储器402中存储的计算机程序指令，以实现上述实施例中的任意一种DPI关联规则回填处理方法。

在一个示例中，DPI关联规则回填处理设备还可包括通信接口403和总线410。其中，如图3所示，处理器401、存储器402、通信接口403通过总线410连接并完成相互间的通信。

通信接口403，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。

总线410包括硬件、软件或两者，将DPI关联规则回填处理设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线410可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

该DPI关联规则回填处理设备可以基于获取到待测小区的网管性能指标，执行本发明实施例中的DPI关联规则回填处理方法，从而实现结合图1描述的DPI关联规则回填处理方法。

另外，结合上述实施例中的DPI关联规则回填处理方法，本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种DPI关联规则回填处理方法。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (11)

1.一种DPI关联规则回填处理方法，其特征在于，所述方法包括：

当监测承担业务的DPI采集机重新启动时从所述承担业务的DPI采集机的本地存储器下载全部第一关联回填规则，并记录重新启动时的时间戳；

重新启动后的所述承担业务的DPI采集机发送带有所述时间戳的更新请求信息至指定的未承担业务的DPI采集机；

所述指定的未承担业务的DPI采集机将通过机器学习进程学习的关联回填规则存入所述指定的未承担业务的DPI采集机REDIS数据库中，以实时更新所述关联回填规则；

所述指定的未承担业务的DPI采集机依据所述时间戳，将其REDIS数据库中从所述时间戳对应时刻至当前时刻期间的关联回填规则，作为第二关联回填规则返回给发送更新请求信息的所述承担业务的DPI采集机；

所述发送更新请求信息的所述承担业务的DPI采集机完成重启后恢复本地对关联回填规则的机器学习进程，并将机器学习到的第三关联回填规则实时存入本地REDIS数据库中；

所述承担业务的DPI采集机依据所述第一关联回填规则、所述第二关联回填规则以及所述第三关联回填规则，获取所述承担业务的DPI采集机的完整的关联回填规则。

2.根据权利要求1所述的DPI关联规则回填处理方法，其特征在于，在所述当监测承担业务的DPI采集机重新启动时从所述承担业务的DPI采集机的本地存储器下载全部第一关联回填规则，并记录重新启动时的时间戳之前还包括：

同步备份在正常运行时承担业务的DPI采集机REDIS数据库中的关联回填规则至所述承担业务的DPI采集机的本地存储器缓存；

同步备份在正常运行时一指定的未承担业务的DPI采集机REDIS数据库中的关联回填规则至所述指定的未承担业务的DPI采集机的本地存储器缓存。

3.根据权利要求2所述的DPI关联规则回填处理方法，其特征在于，所述第一关联回填规则来自于所述承担业务的DPI采集机的本地存储器下载到的在重启之前缓存的关联回填规则；

所述第二关联回填规则来自于通过请求所述指定的未承担业务的DPI采集机，获得的从重启时刻至指定时刻时间段内的关联回填规则；

所述第三关联回填规则为重启进程恢复后所述承担业务的DPI采集机机器实时学习获取的关联回填规则。

4.根据权利要求3所述的DPI关联规则回填处理方法，其特征在于，所述REDIS数据库存储有IMSI-TEID关系表，所述IMSI-TEID关系表包括以下关键字段中的一种或多种：IMSI、IMEI、MISDN、SGW IP、TEID、UserIP。

5.根据权利要求4所述的DPI关联规则回填处理方法，其特征在于，所述承担业务的DPI采集机依据所述第一关联回填规则、所述第二关联回填规则以及所述第三关联回填规则，获取所述承担业务的DPI采集机的完整的关联回填规则包括：

以所述重启时刻为基准，以所述IMSI为主键，根据所述关键字段TEID和User IP，按照时间点从新到旧原则，将最新的关联回填规则写入所述承担业务的DPI采集机的REDIS数据库中；

计算所述第一关联回填规则、所述第二关联回填规则以及所述第三关联回填规则中，所述第二关联回填规则最终写入所述承担业务的DPI采集机的REDIS数据库的数据在所述第一关联回填规则、所述第二关联回填规则以及所述第三关联回填规则的全部数据中所占的比率。

6.根据权利要求5所述的DPI关联规则回填处理方法，其特征在于，当所述指定的未承担业务的DPI采集机中的所述比率为零且持续预定时间后，所述承担业务的DPI采集机向所述指定的未承担业务的DPI采集机发送停止数据更新请求，所述指定的未承担业务的DPI采集机停止数据发送并中止通信。

7.根据权利要求6所述的DPI关联规则回填处理方法，其特征在于，所述以所述重启时刻为基准，以所述IMSI为主键，根据所述关键字段TEID和User IP，按照时间点从新到旧原则，将最新的关联回填规则写入所述承担业务的DPI采集机的REDIS数据库中包括：

步骤1，以所述IMSI或者所述MISDN为索引，将关联回填规则分组为全部第一关联回填规则、第二关联回填规则以及第三关联回填规则；

步骤2，载入承担业务的DPI采集机的本地REDIS数据库的全部第一关联回填规则，单条第一关联回填规则对应回填时间记为t1；

步骤3，从所述指定的未承担业务的DPI采集机中获取第二关联回填规则，此处单条第二关联回填规则对应回填时间记为t2；

步骤4，承担业务的DPI业务设备重启后，获取当前获得的第三关联回填规则，单条第三关联回填规则对应回填时间记为t3；

步骤5，选取所述t1、t2、t3中的最大值，将所述最大值对应的相应关联回填规则载入所述承担业务的DPI采集机的REDIS数据库，并丢弃其余2条关联回填规则；

如此往复执行上述步骤1至步骤5，以获得每一所述IMSI或者所述MISDN对应的最新关联回填规则。

8.根据权利要求7所述的DPI关联规则回填处理方法，其特征在于，所述计算所述第一关联回填规则、所述第二关联回填规则以及所述第三关联回填规则中第二关联回填规则最终写入所述承担业务的DPI采集机的REDIS数据库的数据在所述第一关联回填规则、所述第二关联回填规则以及所述第三关联回填规则的全部数据中所占的比率包括：

以每一设定时间为粒度，统计一次来自所述指定的未承担业务的DPI采集机所提供的第二关联回填规则数量n，初始化计数器i＝0；

在每一所述设定时间内，统计所述t1、t2、t3中的最大值，当最大值为t3时，则i＝i+1；

依据所述统计，所述指定的未承担业务的DPI采集机的第二关联回填规则所占比率值r＝i/n*100％。

9.一种DPI关联规则回填处理装置，其特征在于，所述装置包括：

下载与记录模块，用于当监测承担业务的DPI采集机重新启动时从所述承担业务的DPI采集机的本地存储器下载全部第一关联回填规则，并记录重新启动时的时间戳；

发送更新请求模块，用于重新启动后的所述承担业务的DPI采集机发送带有所述时间戳的更新请求信息至指定的未承担业务的DPI采集机；

机器学习进程模块，所述指定的未承担业务的DPI采集机将通过机器学习进程学习的关联回填规则存入所述指定的未承担业务的DPI采集机REDIS数据库中，以实时更新所述关联回填规则；

返回请求模块，用于所述指定的未承担业务的DPI采集机依据所述时间戳，将其REDIS数据库中从所述时间戳对应时刻至当前时刻期间的关联回填规则，作为第二关联回填规则返回给发送更新请求信息的所述承担业务的DPI采集机；

实时存储模块，用于所述发送更新请求信息的所述承担业务的DPI采集机完成重启后恢复本地对关联回填规则的机器学习进程，并将机器学习到的第三关联回填规则实时存入本地REDIS数据库中；

完整关联回填规则获取模块，用于所述承担业务的DPI采集机依据所述第一关联回填规则、所述第二关联回填规则以及所述第三关联回填规则，获取所述承担业务的DPI采集机的完整的关联回填规则。

10.一种DPI关联规则回填处理设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-8中任一项所述的方法。

11.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-8中任一项所述的方法。

Images