CN110868358B - 一种基于应用识别自学习的数据包处理方法和装置 - Google Patents

Abstract

本发明涉及应用自学习技术领域，提供了一种基于应用识别自学习的数据包处理方法和装置。方法包括若应用识别自学习和数据包处理的共同资源占用大于等于第一预设阈值，且总的资源占用率大于等于第二预设阈值，则优先进行确信映射关系的数据包处理；若应用识别自学习和数据包处理的总资源恢复到小于第一预设阈值，则按照应用识别自学习和数据包处理各自任务所申请的资源进行分配；并建立与所述数据包的IP和目的端口的组合对象的映射关系。本发明利用一段时间内同一个目的IP和目的端口的所属应用不会变化这一特点，将应用识别从复杂的数据包内容匹配转化为简单的IP加端口的二元组查找，性能消耗显著降低。

Description

一种基于应用识别自学习的数据包处理方法和装置

【技术领域】

本发明涉及应用自学习技术领域，特别是涉及一种基于应用识别自学习的数据包处理方法和装置。

【背景技术】

dpi应用中通常需要对经过设备的流量进行应用识别，分析网络中各应用流量的占比情况，对不同应用的流量进行流量控制。各个应用的流量一般都有其特定的指纹，这些指纹可能是特定的端口，特定的字符串或者是特定的bit序列，通过识别数据报文中携带的指纹信息，便能识别出对应的应用类型，识别的算法通常需要对识别指纹信息规则进行逐一匹配，也可以通过优化编译，建状态机，实现对多规则的并行高效匹配。

无论应用识别匹配规则的算法如何优化，都需要对每条五元组流的数据进行解析和匹配，例如包括对http协议的host，useragent等字段的解析匹配、tls的clienthello的servername解析匹配，tcp或udp的负载匹配等等，这些解析过程和内容匹配是非常消耗性能的，而且随着流量的增大，性能瓶颈越来越明显。

鉴于此，克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。

【发明内容】

本发明要解决的技术问题是如何解决在服务器自身资源占用较高情况下，且已经影响常规的应用识别自学习算法的准确度的情况下，仍然保证相关应用识别后的业务功能。

本发明采用如下技术方案：

第一方面，本发明提供了一种基于应用识别自学习的数据包处理方法，方法包括：

若应用识别自学习和数据包处理的共同资源占用大于等于第一预设阈值，且总的资源占用率大于等于第二预设阈值，则优先进行确信映射关系的数据包处理；其中，所述映射关系为数据包的IP和目的端口两者构成的组合对象与应用标识之间的映射关系；

若应用识别自学习和数据包处理的总资源恢复到小于第一预设阈值，则按照应用识别自学习和数据包处理各自任务所申请的资源进行分配；所述应用识别自学习通过解析数据包获得所述数据包所对应应用标识，并建立与所述数据包的IP和目的端口两者构成的组合对象的映射关系。

优选的，若应用识别自学习和数据包处理的共同资源占用大于等于第一预设阈值，并且，优先进行确信映射关系的数据包处理后；在执行完当前拥有的所有已经确信映射关系的数据包处理后，应用识别自学习和数据包处理的总资源仍然大于等于所述第一预设阈值，所述方法还包括：

将已接收到数据包按照各自包含的IP和目的端口进行分组后，并且，所述分组由相应IP和目的端口两者构成的组合对象进行标识；

根据对应各组合对象的，并且已完成分组的数据包总量大小的排名，按照排名的先后，利用所述应用识别自学习，进行数据包的应用标识识别，并建立数据包的IP和目的端口两者构成的组合对象与应用标识之间的映射关系；

根据所述映射关系，完成相应数据包处理，以便于释放数据包处理所占用的资源。

优选的，对于总的资源占用率大于等于第二预设阈值时，利用应用识别自学习得到的应用标识，并由此建立起来的映射关系为待校验映射关系；并在完成所述待校验映射关系的校验过程后，得到确信映射关系；

其中，对于总的资源占用率小于第二预设阈值时，利用应用识别自学习得到的应用标识，并由此建立起来的映射关系为确信映射关系。

优选的，所述完成所述待校验映射关系的校验过程后，得到确信映射关系；具体包括：

在资源占用小于第二预设阈值时，通过解析获取到的数据包，完成所述待校验映射关系的校对过程；

其中，所述解析获取到的数据包，包括对http协议的host，referer，useragent字段的解析匹配，http回应报文的server字段，tls的clienthello的servername解析匹配，tcp或udp的负载匹配中的一项或者多项。

优选的，所述第一预设阈值为30％-50％，所述第二预设阈值为70％-80％。

优选的，若应用识别自学习和数据包处理的共同资源占用大于等于第一预设阈值，并且，优先进行确信映射关系的数据包处理后；在执行完当前拥有的所有已经确信映射关系的数据包处理后，应用识别自学习和数据包处理的总资源仍然大于等于所述第一预设阈值，所述方法还包括：

若确认对应同一IP地址的第一端口数据包发送结束，并且，根据历史记录相应IP地址和第一端口的组合对象，仅与N个应用标识建立过映射关系，则直接使用其中出现概率最高的应用标识，建立待校验映射关系；

根据所述待校验映射关系处理数据包；

在总占用资源小于第二预设阈值时，对所述映射关系进行校验。

优选的，所述应用识别自学习，具体包括：对http协议的host，useragent字段的解析匹配，tls的clienthello的servername解析匹配，tcp或udp的负载匹配中的一项或者多项。

优选的，所述若应用识别自学习和数据包处理的共同资源占用大于等于第一预设阈值，则优先进行确信映射关系的数据包处理，具体包括：

暂停或者结束应用识别自学习过程，并为所述暂停或者结束应用识别自学习过程创建日志；以便在所述应用识别自学习和数据包处理的总资源恢复到小于第一预设阈值后，根据所述日志恢复所述被暂停或者结束的应用识别自学习过程。

第三方面，本发明还提供了一种基于应用识别自学习的数据包处理方法，用于实现第一方面所述的基于应用识别自学习的数据包处理方法，所述装置包括：

至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被程序设置为执行第一方面所述的基于应用识别自学习的数据包处理方法。

第四方面，本发明还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，用于完成第一方面所述的基于应用识别自学习的数据包处理方法。

本发明利用一段时间内同一个目的IP和目的端口的所属应用不会变化这一特点，将应用识别从复杂的数据包内容匹配转化为简单的IP加端口的二元组查找(即通过建立应用识别与IP加端口建立映射关系)，性能消耗显著降低，特别是在识别规则数众多，新建流量大的场景效果尤其明显，同时通过多组记录值取最大命中来增加纠正功能，一定程度减少现网误命中应用的可能。

进一步的，本发明还考虑了现有技术实际情况中，若总资源占用大于特定阈值时，便有一定概率发生应用识别自学习过程的失误，从而影响整个过程的稳定性；并通过特定判断节点中的适宜操作，改善了该问题发生的频率。

【附图说明】

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于应用识别自学习的数据包处理方法流程示意图；

图2是本发明实施例提供的另一种基于应用识别自学习的数据包处理方法流程示意图；

图3是本发明实施例提供的另一种基于应用识别自学习的数据包处理方法流程示意图；

图4是本发明实施例提供的还一种基于应用识别自学习的数据包处理方法流程示意图；

图5是本发明实施例提供的一种基于应用识别自学习的数据包处理的装置结构示意图。

【具体实施方式】

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本发明的描述中，术语“内”、“外”、“纵向”、“横向”、“上”、“下”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明而不是要求本发明必须以特定的方位构造和操作，因此不应当理解为对本发明的限制。

此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例1:

本发明实施例1提供了一种基于应用识别自学习的数据包处理方法，在本发明实施例中，所述应用识别自学习，具体包括：对http协议的host，useragent字段的解析匹配，tls的clienthello的servername解析匹配，tcp或udp的负载匹配中的一项或者多项。如图1所示，方法包括：

在步骤201中，若应用识别自学习和数据包处理的共同资源占用大于等于第一预设阈值，且总的资源占用率大于等于第二预设阈值，则优先进行确信映射关系的数据包处理；其中，所述映射关系为数据包的IP和目的端口两者构成的组合对象与应用标识之间的映射关系。

其中，所述第一预设阈值是指由完成应用识别自学习和数据包处理的共同资源占用，可以理解为两者所占用的CPU和内存资源；而所述第二预设阈值是指当前服务器中总的资源被占用情况，而引发所述总的资源被占用情况，包括所述完成应用识别自学习和数据包处理，除此以外，还可以是进行数据同步、备份、更新软件等等造成的。而经过申请人的研究，在服务器总的资源占用率大于等于第二预设阈值便会带来应用识别自学习结果的准确度的下降。因此，是一个比较关键的关注点，在本发明实施例中，优选的，所述第一预设阈值为30％-50％，所述第二预设阈值为70％-80％。

在步骤202中，若应用识别自学习和数据包处理的总资源恢复到小于第一预设阈值，则按照应用识别自学习和数据包处理各自任务所申请的资源进行分配；所述应用识别自学习通过解析数据包获得所述数据包所对应应用标识，并建立与所述数据包的IP和目的端口两者构成的组合对象的映射关系。

本发明实施例利用一段时间内同一个目的IP和目的端口的所属应用不会变化这一特点，将应用识别从复杂的数据包内容匹配转化为简单的IP加端口的二元组查找，性能消耗显著降低，特别是在识别规则数众多，新建流量大的场景效果尤其明显，同时通过多组记录值取最大命中来增加纠正功能，一定程度减少现网误命中应用的可能。并且，在本发明实施例方法中，还通过对服务器当前资源占用的情况的监控，进行应用识别方式上的切换，保证了整个方法过程应对特定情况的能力。

结合本发明实施例还存在一种扩展方案，所述扩展针对特定的场景情形而提出，具体的：若应用识别自学习和数据包处理的共同资源占用大于等于第一预设阈值，并且，优先进行确信映射关系的数据包处理后；在执行完当前拥有的所有已经确信映射关系的数据包处理后，应用识别自学习和数据包处理的总资源仍然大于等于所述第一预设阈值，如图2所示，所述方法还包括：

在步骤301中，将已接收到数据包按照各自包含的IP和目的端口进行分组后，并且，所述分组由相应IP和目的端口两者构成的组合对象进行标识。

所述组合对象可以采用直接内容组合的方式，也可以采用HASH算法计算得到组合对象的方式等等，在此不做特殊的限定。

在步骤302中，根据对应各组合对象的，并且已完成分组的数据包总量大小的排名，按照排名的先后，利用所述应用识别自学习，进行数据包的应用标识识别，并建立数据包的IP和目的端口两者构成的组合对象与应用标识之间的映射关系。

在步骤303中，根据所述映射关系，完成相应数据包处理，以便于释放数据包处理所占用的资源。

上述步骤301-303的扩展方案，是考虑到了应用识别自学习和数据包处理的总资源居高不下，此时很可能是因为临时采用所述分组由相应IP和目的端口两者构成的组合对象进行标识的数据包的总量已经比较大，此时采用步骤301-303的优选方案能够释放掉排名靠前的，通过所述组合对象临时进行标识的数据包(原因是，大部分数据包的处理，是需要明确的应用标识才可以完成处理过程的)。

在本发明实施例中，对于总的资源占用率大于等于第二预设阈值时，利用应用识别自学习得到的应用标识，并由此建立起来的映射关系为待校验映射关系；并在完成所述待校验映射关系的校验过程后，得到确信映射关系；这里是由申请人时间过程中得出的经验，即已有的应用识别自学习算法，在计算机总资源占用较高的情况下，容易出现错误的识别结果。

其中，对于总的资源占用率小于第二预设阈值时，利用应用识别自学习得到的应用标识，并由此建立起来的映射关系为确信映射关系。

其中，所述完成所述待校验映射关系的校验过程后，得到确信映射关系；具体包括：

在资源占用小于第二预设阈值时，通过解析获取到的数据包，完成所述待校验映射关系的校对过程；

其中，所述解析获取到的数据包，包括对http协议的host，referer，useragent字段的解析匹配，http回应报文的server字段，tls的clienthello的servername解析匹配，tcp或udp的负载匹配中的一项或者多项。

结合本发明实施例还存在一种扩展方案，所述扩展针对另一特定的场景情形而提出，具体的：若应用识别自学习和数据包处理的共同资源占用大于等于第一预设阈值，并且，优先进行确信映射关系的数据包处理后；在执行完当前拥有的所有已经确信映射关系的数据包处理后，应用识别自学习和数据包处理的总资源仍然大于等于所述第一预设阈值，如图3所示，所述方法还包括：

在步骤401中，若确认对应同一IP地址的第一端口数据包发送结束，并且，根据历史记录相应IP地址和第一端口的组合对象，仅与N个应用标识建立过映射关系，则直接使用其中出现概率最高的应用标识，建立待校验映射关系。

在步骤402中，根据所述待校验映射关系处理数据包。

这里的处理数据包可以理解为就是以所述出现概率最高的应用标识，作为相应数据包的标识，完成相应数据包到数据库的导入。优选的，在完成步骤403的校验之前，仍然在处理数据包结果中做相应记号，以便在步骤403中校验结果错误后，能够进行内容回溯。

在步骤403中，在总占用资源小于第二预设阈值时，对所述映射关系进行校验。

上述步骤401-403的优势就在于，历史仅有几种应用标识与该同一IP地址的第一端口产生过关联，那么，此时根据概率来说，采用上述方案能够有效的提升整个系统的执行效率。即便存在个别情况需要对已经处理的数据包进行回溯的可能。

结合本发明实施例，对于步骤201中所涉及的所述若应用识别自学习和数据包处理的共同资源占用大于等于第一预设阈值，则优先进行确信映射关系的数据包处理过程，还提供了一种具体的优选实现内容，具体包括：

暂停或者结束应用识别自学习过程，并为所述暂停或者结束应用识别自学习过程创建日志；以便在所述应用识别自学习和数据包处理的总资源恢复到小于第一预设阈值后，根据所述日志恢复所述被暂停或者结束的应用识别自学习过程。

实施例2：

本发明实施例以一个较为完整的流程阐述纯粹考虑应用自学习和映射关系确认之间的方法过程，而实施例1中所介绍的第一阈值和/或第二阈值的确定和相关处理过程可以作为本发明实施例方法过程的突发应对方案理解，即在满足实施例1中的条件情况下，本发明实施例的方法过程便会依照实施例1中的操作进行对应调整。在本发明实施例中，以目的IP和目的端口，外加ip协议(TCP或UDP)为key值建立自学习哈希表(因为存在IP端口相同，但一个是UDP流一个是TCP流的情况)，哈希表内记录活跃时间和n组(推荐n＝3)数据，内容包括对应应用ID，命中次数，命中数达到一定阈值时，识别结果有效。数据报文通过syn方向或<1024端口来确定c-s方向建五元组流，流中记录初始化这条流的应用ID为0，即没有识别出具体应用。如图4所示，方法包括：

在步骤501中，如果这条流已被识别成某个具体应用则结束，否则在步骤502中通过目的IP和目的端口在自学习哈希表中查找，如果找到进入503，否则进入504。

在步骤503中，按照配置的需要再次验证的比率(例如20％)来决定是否需要继续通过匹配来识别应用，如果需要则进入504，否则进入505；

在步骤504中，数据报文进入应用识别匹配模块通过包的内容识别具体应用，如果识别出具体应用则记录该目的IP和目的端口的应用ID添加到自学习哈希表中，并将这组应用ID对应的hit数加1(如果添加的个数已达到n组，则覆盖命中次数最少的那组结果)，同时更新活跃时间，如果没有识别出来则结束。

在步骤505中，将自学习表中记录的hit命中次数最多的那组数据的应用ID作为这条流的应用ID并赋值，结束。

在步骤506中，自学习表超时检查，删除一直不更新的IP端口节点，防止误识别。

实施例3：

如图5所示，是本发明实施例的基于应用识别自学习的数据包处理装置的架构示意图。本实施例的基于应用识别自学习的数据包处理装置包括一个或多个处理器21以及存储器22。其中，图5中以一个处理器21为例。

处理器21和存储器22可以通过总线或者其他方式连接，图5中以通过总线连接为例。

存储器22作为一种基于应用识别自学习的数据包处理方法和装置非易失性计算机可读存储介质，可用于存储非易失性软件程序和非易失性计算机可执行程序，如实施例1中的基于应用识别自学习的数据包处理方法。处理器21通过运行存储在存储器22中的非易失性软件程序和指令，从而执行基于应用识别自学习的数据包处理方法。

存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器22可选包括相对于处理器21远程设置的存储器，这些远程存储器可以通过网络连接至处理器21。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述程序指令/模块存储在所述存储器22中，当被所述一个或者多个处理器21执行时，执行上述实施例1中的基于应用识别自学习的数据包处理方法，例如，执行以上描述的图1-图4所示的各个步骤。

本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于应用识别自学习的数据包处理方法，其特征在于，方法包括：

若应用识别自学习和数据包处理的共同资源占用率大于等于第一预设阈值，且总的资源占用率大于等于第二预设阈值，则优先进行确信映射关系的数据包处理；其中，所述确信映射关系为数据包的IP和目的端口两者构成的组合对象与应用标识之间的映射关系；

若应用识别自学习和数据包处理的共同资源占用率恢复到小于第一预设阈值，则按照应用识别自学习和数据包处理各自任务所申请的资源进行分配；所述应用识别自学习通过解析数据包获得所述数据包所对应应用标识，并建立所述应用标识与所述组合对象的确信映射关系；

对于总的资源占用率大于等于第二预设阈值时，利用应用识别自学习得到的应用标识，并由此建立起待校验映射关系；其中，在资源占用小于第二预设阈值时，通过解析获取到的数据包，完成所述待校验映射关系的校对过程，得到确信映射关系；

另一方面，对于总的资源占用率小于第二预设阈值时，利用应用识别自学习得到的应用标识，并由此建立起确信映射关系；

其中，所述第一预设阈值是指由完成应用识别自学习和数据包处理的共同资源占用率，理解为两者所占用的CPU和内存资源；所述第二预设阈值是指当前服务器中总的资源被占用情况，而引发所述总的资源被占用情况，包括所述完成应用识别自学习和数据包处理。

2.根据权利要求1所述的基于应用识别自学习的数据包处理方法，其特征在于，若应用识别自学习和数据包处理的共同资源占用率大于等于第一预设阈值，并且，优先进行确信映射关系的数据包处理后；在执行完当前拥有的所有已经确信映射关系的数据包处理后，应用识别自学习和数据包处理的共同资源占用率仍然大于等于所述第一预设阈值，所述方法还包括：

将已接收到数据包按照各自包含的IP和目的端口进行分组后，所述分组由相应IP和目的端口两者构成的组合对象进行标识；

根据对应各组合对象已完成分组的数据包总量大小的排名，按照排名的先后，利用所述应用识别自学习，进行数据包的应用标识识别，并建立数据包的IP和目的端口两者构成的组合对象与应用标识之间的确信映射关系；

根据所述确信映射关系，完成相应数据包处理，以便于释放数据包处理所占用的资源。

3.根据权利要求1所述的基于应用识别自学习的数据包处理方法，其特征在于，所述解析获取到的数据包，包括对http协议的host，referer，user-agent字段的解析匹配，http回应报文的server字段，tls协议的clienthello消息的servername字段解析匹配，tcp或udp的负载匹配中的一项或者多项。

4.根据权利要求1或2所述的基于应用识别自学习的数据包处理方法，其特征在于，所述第一预设阈值为30％-50％，所述第二预设阈值为70％-80％。

5.根据权利要求1所述的基于应用识别自学习的数据包处理方法，其特征在于，若应用识别自学习和数据包处理的共同资源占用大于等于第一预设阈值，并且，优先进行确信映射关系的数据包处理后；在执行完当前拥有的所有已经确信映射关系的数据包处理后，应用识别自学习和数据包处理的总资源仍然大于等于所述第一预设阈值，所述方法还包括：

若确认对应同一IP地址的第一端口数据包发送结束，并且，根据历史记录相应IP地址和第一端口的组合对象，仅与N个应用标识建立过映射关系，则直接使用其中出现概率最高的应用标识，建立待校验映射关系；

根据所述待校验映射关系处理数据包；

在总的资源占用率小于第二预设阈值时，对所述待校验映射关系进行校验。

6.根据权利要求1-3或5任一所述的基于应用识别自学习的数据包处理方法，其特征在于，所述应用识别自学习，具体包括：对http协议的host，useragent字段的解析匹配，tls协议的clienthello消息的servername字段解析匹配，tcp或udp的负载匹配中的一项或者多项。

7.一种基于应用识别自学习的数据包处理装置，其特征在于，所述装置包括：

至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有被所述至少一个处理器执行的指令，所述指令被程序设置为执行权利要求1-6任一所述的基于应用识别自学习的数据包处理方法。

Images