CN107547536B - 一种特征库更新方法及装置 - Google Patents
一种特征库更新方法及装置 Download PDFInfo
- Publication number
- CN107547536B CN107547536B CN201710750265.7A CN201710750265A CN107547536B CN 107547536 B CN107547536 B CN 107547536B CN 201710750265 A CN201710750265 A CN 201710750265A CN 107547536 B CN107547536 B CN 107547536B
- Authority
- CN
- China
- Prior art keywords
- feature
- messages
- library
- destination address
- feature library
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请实施例提供了一种特征库更新方法及装置,应用于网络设备,方法包括:获取多条流量的前第一预设数量个报文;这前第一预设数量个报文与正式特征库包括的特征均不匹配;将获取的报文分别与临时特征库中包括的特征进行匹配;根据临时特征库中各个特征在目的地址相同的流量的前第一预设数量个报文中出现的次数,确定临时特征库中每一特征的命中率;将命中率在预定范围内的特征添加至正式特征库。应用本申请实施例,提高了基于特征对流量进行处理的准确性。
Description
技术领域
本申请涉及通信技术领域,特别是涉及一种特征库更新方法及装置。
背景技术
实际应用中,常需要对流量进行处理,例如禁止转发某一流量,或限制某一流量转发速率等。现有技术中,转发设备,例如DPI(Deep Packet Inspection,深度包检测)设备上配置有特征库,及特征库中的特征对应的处理操作。通常转发设备在接收到的流量后,确定该接收到的流量与特征库中的哪些特征匹配,然后进而基于匹配上的特征对应的处理操作对流量进行处理。
然而,随着互联网技术的发展,网络环境日趋复杂,各种各样的应用层出不穷,即使是被广泛认知的应用也在为适应网络环境而发生着变化,为了适应层出不穷的应用,这就需要更新特征库。
目前,特征库的更新主要是通过人工来实现的,人为的获取某一流量,对流量进行分析,获取到针对该流量的新特征,将新特征更新到特征库中,并配置该新特征对应的处理操作。采用人工进行特征库更新的方法,受人的主观因素的影响,直接导致的结果是:添加至特征库中的特征不能代表目的地址相同的一类流量的特征,基于特征库包括的特征确定出的流量匹配的特征不准确,进而基于该不准确的特征对应的处理操作对流量进行处理也是不准确的。
发明内容
本申请实施例的目的在于提供一种特征库更新方法及装置,以提高基于特征对流量进行处理的准确性。具体技术方案如下:
一方面,本申请实施例公开了一种特征库更新方法,应用于网络设备,所述方法包括:
获取多条流量的前第一预设数量个报文;所述前第一预设数量个报文与正式特征库包括的特征均不匹配;
将获取的报文分别与临时特征库中包括的特征进行匹配;
根据所述临时特征库中各个特征在目的地址相同的流量的前第一预设数量个报文中出现的次数,确定所述临时特征库中每一特征的命中率;
将命中率在预定范围内的特征添加至所述正式特征库。
二方面,本申请实施例公开了一种特征库更新装置,应用于网络设备,所述装置包括:
获取单元,用于获取多条流量的前第一预设数量个报文;所述前第一预设数量个报文与正式特征库包括的特征均不匹配;
匹配单元,用于将获取的报文分别与临时特征库中包括的特征进行匹配;
确定单元,用于根据所述临时特征库中各个特征在目的地址相同的流量的前第一预设数量个报文中出现的次数,确定所述临时特征库中每一特征的命中率;
添加单元,用于将命中率在预定范围内的特征添加至所述正式特征库。
三方面,本申请实施例公开了一种网络设备,包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器被所述机器可执行指令促使:实现上述的特征库更新方法步骤。
四方面,本申请实施例公开了一种机器可读存储介质,存储有机器可执行指令,在被处理器调用和执行时,所述机器可执行指令促使所述处理器:实现上述的特征库更新方法步骤。
本申请实施例中,获取多条流量的前第一预设数量个报文,将获取的报文分别与临时特征库中包括的特征进行匹配,确定临时特征库中每一特征的命中率,这里,每一特征的命中率均是由网络设备根据多条流量包括的多个报文与该特征进行匹配来确定的,将确定的命中率在预定范围内的特征添加至正式特征库,排除了人的主观因素的影响,使得添加至特征库中的特征能代表目的地址相同的一类流量的特征,进而提高基于正式特征库包括的特征确定出的流量匹配的特征的准确性,提高基于特征对流量进行处理的准确性。当然,实施本申请的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的特征库更新方法的第一种流程示意图;
图2为本申请实施例提供的特征库更新方法的第二种流程示意图;
图3为本申请实施例提供的特征库更新方法的第三种流程示意图;
图4为本申请实施例提供的特征库更新装置的第一种结构示意图;
图5为本申请实施例提供的特征库更新装置的第二种结构示意图;
图6为本申请实施例提供的网络设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
目前,特征库的更新主要是通过人工来实现的,而采用人工进行特征库更新的方法,受人的主观因素的影响,直接导致的结果是:添加至特征库中的特征不能代表目的地址相同的一类流量的特征,基于特征库包括的特征确定出的流量匹配的特征不准确,进而基于该不准确的特征对应的处理操作对流量进行处理也是不准确的。为了提高添加至特征库中的特征的准确率,本申请实施例提供了一种特征库更新方法及装置。
参考图1,图1为本申请实施例提供的特征库更新方法的第一种流程示意图,应用于网络设备。
值得一个的是,该网络设备可以为通过正式特征库识别流量对应的应用的转发设备;该网络设备也可以为非转发设备,以减轻特征库更新对转发设备的负担,减小对转发设备进行流量处理的影响。
上述应用于网络设备的特征库更新方法包括:
S101:获取多条流量的前第一预设数量个报文;
其中,前第一预设数量个报文与正式特征库包括的特征均不匹配。
这里,正式特征库中包括许多的特征,并且配置有与正式特征库中的特征对应的处理操作,以基于流量匹配上的特征对应的处理操作对流量进行处理。值得一提的是,本申请实施例中提到的流量包括的报文为除握手报文外的TCP(Transmission ControlProtocol,传输控制协议)/UDP(User Datagram Protocol,用户数据报协议)报文;特征为字符串。
另外,第一预设数量可以根据经验值确定,可以为3、4、5等。一般的,一条流量的前几个报文就会包含能够代表该流量的特征,若一条流量的前几个报文与正式特征库包括的特征均不匹配,则确定该流量与正式特征库包括的特征不匹配,即不能从正式特征库中确定出与该流量匹配特征。本申请实施例中,获取流量的前第一预设数量个报文,而不是获取流量的全部报文,提高了网络设备的处理效率。
在本申请的一个实施例中,若网络设备为非转发设备,上述网络设备获取与正式特征库包括的特征不匹配的多条流量的前第一预设数量个报文的过程可以为:转发设备接收到流量的报文后,将流量的报文输入DIM(Deep Inspect Management,深度检测管理)引擎,与正式特征库中包括的特征进行匹配;若流量的报文与正式特征库中包括的某一特征匹配,即流量的报文中含有正式特征库中包括的某一特征,则可以确定该特征为该流量的特征,基于该特征对应的处理操作对流量进行处理;
若接收到流量的报文与正式特征库中的特征不匹配,缓存该报文;当缓存了该流量的前第一预设数量个报文,且这前第一预设数量个报文与正式特征库中的特征均不匹配时,则将缓存的该流量的前第一预设数量个报文镜像至上述网络设备上。
S102:将获取的报文分别与临时特征库中包括的特征进行匹配;
其中,临时特征库用于更新正式特征库包括的特征。
在本申请的一个实施例中,临时特征库包括目的地址与特征的对应关系。针对每条流量,将获取的该流量的前第一预设数量个报文分别与临时特征库中包括的该流量的目的地址对应的特征进行匹配。
例如,临时特征库中包括IP 1对应的特征T01、T02和T03,IP 2对应的特征T04、T05和T06;第一预设数量为3,若获取到目的地址为IP 1的流量L01的前3个报文和目的地址为IP 2的流量L02的前3个报文,其中,流量L01的前3个报文为A、B和C,流量L02的前3个报文为D、E和F,则将报文A、B和C分别与特征T01、T02和T03进行匹配;将报文D、E和F分别与特征T04、T05和T06进行匹配。
需要说明的是,临时特征库中包括的目的地址与特征的对应关系可以为用户预先配置的,也可以为网络设备根据两条或多条与正式特征库包括的特征不匹配的流量确定的,本申请实施例对此不进行限定。
S103:根据临时特征库中各个特征在目的地址相同的流量的前第一预设数量个报文中出现的次数,确定临时特征库中每一特征的命中率;
特征的命中率是衡量一个特征能否作为代表目的地址相同的一类流量的特征的一个重要参数。例如,特征的命中率过低,表明该特征在流量包括的多个报文中的少数报文中存在,不能作为该流量的特征;特征的命中率过高,表明该特征在流量包括的多个报文中非常常见,那么,该特征也可能在与该流量的目的地址不同的一类流量中非常常见,因此也不能作为该流量的特征。
网络设备每获取到一条与正式特征库包括的特征不匹配的流量的前第一预设数量个报文,就将获取的这条流量的前第一预设数量个报文与临时特征库包括的特征进行匹配,在本申请的一个实施例中,为了保证计算的特征的命中率的准确,可以为在特征添加至临时特征库中时为特征设置一个预设时间,该预设时间可以理解为该特征的老化时间,在老化时间超时前,获取每条与正式特征库包括的特征不匹配的流量的前第一预设数量个报文,并将获取的报文分别与临时特征库包括的特征进行匹配;在老化时间超时后,再根据临时特征库中各个特征在目的地址相同的多条流量的前第一预设数量个报文中出现的次数,确定临时特征库中每一特征的命中率。
在本申请的一个实施例中,临时特征库中包括目的地址与特征的对应关系,为了准确确定临时特征库中每一特征的命中率,对于临时特征库中的每一特征,可以先确定该特征对应的第一数值和第二数值,计算该特征对应的第一数值和第二数值的比值,将该比值作为该特征的命中率。
在本申请的一种实现方式中,可以以目的地址为该特征对应的目的地址的多条流量中前第一预设数量个报文中出现该特征的流量的条数作为第一数值,以目的地址为该特征对应的目的地址的多条流量的条数作为第二数值,计算该特征对应的第一数值和第二数值的比值,将该比值作为该特征的命中率。这里,一个特征在一条流量的前第一预设数量个报文中出现一次或多次,该流量即为前第一预设数量个报文中出现该特征的流量。
例如,第一预设数量为3,获取到10条流量,L11、L12、L13、L14、L15、L16、L17、L18、L19、L10的前3个报文,其中,L11、L12、L13、L14、L15、L16、L17的目的地址为IP 3,L18、L19、L10的目的地址为IP 4,若对于临时特征库中的每一特征,例如目的地址IP 3对应T11,目的地址为IP 4对应T12;
T11在L11、L12、L13、L14、L15的前3个报文中出现,则以IP 3为目的地址的流量的前3个报文中出现该特征的流量的条数为5,IP 3为目的地址的流量的条数为7,特征T11的命中率为5/7=71.43%;
T12在L18的前3个报文中出现,则以IP 4为目的地址的流量的前3个报文中出现该特征的流量的条数为1,IP 4为目的地址的流量的条数为3,特征T12的命中率为1/3=33.33%。
在本申请的另一种实现方式中,可以以该特征在目的地址为该特征对应的目的地址的多条流量的前第一预设数量个报文中出现的次数之和作为第一数值,以目的地址为该特征对应的目的地址的多条流量的前第一预设数量个报文的总个数作为第二数值,计算该特征对应的第一数值和第二数值的比值,将比值作为该特征的命中率。
例如,第一预设数量为3,获取到10条流量,L21、L22、L23、L24、L25、L26、L27、L28、L29、L20的前3个报文,其中,L21、L22、L23、L24、L25、L26的目的地址为IP 5,L27、L28、L29、L20的目的地址为IP 6,若对于临时特征库中的每一特征,例如目的地址IP 5对应T21,目的地址IP 6对应T22;
若T21在目的地址为IP 5的流量的前3个报文中出现的次数为:[L21,1]、[L22,3]、[L23,2]、[L24,4]、[L25,3]、[L26,3],则T21在目的地址为IP5的流量的前3个报文中出现的次数之和为:1+3+2+4+3+3=16,目的地址为IP5的流量的前3个报文的总个数为6*3=18,则T21的命中率为16/18=88.89%;
若T22在目的地址为IP 6的流量的前3个报文中出现的次数为:[L27,1]、[L28,2]、[L29,1]、[L20,1],则T22在目的地址为IP 6的流量的前3个报文中出现的次数之和为:1+2+1+1=5,目的地址为IP 6的流量的前3个报文的总个数为4*3=12,则T21的命中率为5/12=41.67%。
在本申请的一个实施例中,临时特征库中不包括目的地址与特征的对应关系,此时,可以将获取的每条流量的报文先与临时特征库中的特征进行匹配,之后,再统计与每一特征匹配的目的地址相同的流量的条数或报文的个数,进而计算出上述两种命中率。
S104:将命中率在预定范围内的特征添加至正式特征库。
确定命中率在预定范围内的特征,将这些特征编译成DPI规则,然后添加至正式特征库。这里,每一特征的命中率均是由多条流量确定的,即每一特征均是经过多条流量验证过的,提高了基于正式特征库包括的特征确定出的流量匹配的特征的准确性。
仍以S103中的例子进行说明,若预定范围为50%-200%,特征T11的命中率为50%<71.43%<200%,特征T12的命中率为33.33%<50%,则将特征T11编译成DPI规则,添加至正式特征库。
在本申请的一个实施例中,为了提高临时特征库中每一特征的命中率的准确性,可以综合考虑上述两种命中率,即将两种命中率均在预定范围内的特征添加至正式特征库;也可以仅考虑上述两种命中率中的一种命中率,即计算两种命中率中一种,若计算出的命中率在预定范围内,则将该特征添加至正式特征库,以提高命中率的计算效率。本申请实施例对此不进行限定。
在本申请的一个实施例中,在将命中率在预定范围内的特征添加至正式特征库之前,可以先根据流量的目的端口对流量进行识别,确定流量对应的应用,进而将命中率在预定范围内的特征与识别出的应用的对应关系添加至正式特征库;若未识别出流量对应的应用,可以将一个预定应用作为该流量对应的应用,与命中率在预定范围内的特征对应添加至正式特征库。这样,就可以基于应用对流量的进行处理。
在将命中率在预定范围内的特征添加至正式特征库之后,为了节约存储资源,从临时特征库中删除该命中率在预定范围内的特征。
在本申请的一个实施例中,在确定每一特征的命中率后,可以输出命中率在预定范围内的特征,用户根据输出的特征,确定该输出的特征是否能作为目的地址相同的一类流量的特征,并输入控制指令;若用户确定输出的特征能作为目的地址相同的一类流量的特征,输入的控制指令为添加指令,则将该输出的特征添加至正式特征库;另外,为了节约存储资源,在将输出的特征添加至正式特征库之后,还可以将输出的特征从临时特征库中删除,即将添加至正式特征库的特征从临时特征库中删除;
若用户确定输出的特征不能作为目的地址相同的一类流量的特征,输入的控制指令为删除指令,则将该输出的特征从临时特征库中删除。
这里,为了便于用户确定输出的特征是否能作为目的地址相同的一类流量的特征,可以输出特征与目的地址的对应关系。
在本申请的一个实施例中,对于命中率在预定范围外的特征,包括命中率过低和过高的特征,其中,命中率过低和过高的特征均不能作为目的地址相同的一类流量的特征,从临时特征库中删除,以节约存储资源。
在本申请的一个实施例中,参考图2,图2为本申请实施例提供的特征库更新方法的第二种流程示意图,基于图1,在S101之后,该方法还可以包括:
S105:若多条流量中存在目的地址相同、且前第一预设数量个报文与临时特征库中包括的特征均不匹配的至少两条流量,提取这至少两条流量的前第一预设数量个报文中相同的字符串;
网络设备在获取到多条流量的前第一预设数量个报文后,在这多条流量中若存在目的地址相同、且前第一预设数量个报文与临时特征库中包括的特征均不匹配的至少两条流量,则对比这至少两条流量的前第一预设数量个报文,提取这至少两条流量的前第一预设数量个报文中相同的字符串。
在本申请的一个实施例中,临时特征库中包括目的地址与特征的对应关系。这种情况下,S105可以为:在这多条流量中若存在目的地址相同、且临时特征库中不包括该目的地址对应的特征的至少两条流量,则对比这至少两条流量的前第一预设数量个报文,提取这至少两条流量的前第一预设数量个报文中相同的字符串。
在本申请的一个实施例中,可以提取这至少两条流量的前第一预设数量个报文中前第二预设数量个字节中相同的字符串,以快速的提取到流量的目的地址对应的特征。可选的,第二预设数量为500。
在本申请的一个实施例中,为了保证提取到的字符串的可用性和可靠性,字符串的长度应大于等于3个字节,且取最长的字符串。
在本申请的一个实施例中,在提取至少两条流量的前第一预设数量个报文中相同的字符串时,可以一条流量为基准,其他流量从第一个字符开始向后移动一周,每移动一个字符后生成新的字符出与作为基准的流量匹配,确定两条流量相同的字符串。
例如,第二预设数量为15;获取到目的地址相同的两条流量的前第一预设数量个报文,分别为流量1、流量2,流量1的前第一预设数量个报文的前15个字节的字符串a为12345wezxcvbnmj,流量2的前15个字节的字符串b为ui12345tyjwezf2,以字符串a作为基准,从字符串b的第一个字符为开始节点移动一周,例如b移动一个字符后变为i12345tyjwezf2u,与字符串a没有匹配成功;然后在此基础上继续移动后变为12345tyjwezf2ui,此时字符串a、b的前5个字节“12345”能够匹配,作为一特征记录,然后继续移动字符变为2345tyjwezf2ui1,以此类推,直至移动一周回到初始状态ui12345tyjwezf2,此轮匹配结束,获取到字符串a和字符串b相同的字符串有“12345”、“2345”、“345”和“wez”,其中,“12345”中包括“2345”和“345”,取最长的字符串,确定字符串a和字符串b相同的字符串有“12345”和“wez”。
S106:将提取的字符串作为这至少两条流量的目的地址对应的特征加入临时特征库。
这样,就可以返回继续执行S102,将获取的报文分别与临时特征库包括的特征进行匹配,确定需要更新至正式特征库中的特征。
在本申请的一个实施例中,为了保证提取到的字符串的可用性和可靠性,在提取到字符串后,可以过滤掉字符串中的空格字符、相同的字符以及非法字符等,这里,相同的字符可参考aaaa、bbbb等;将过滤后的字符串作为流量的目的地址对应的特征加入临时特征库。
下面结合图3所示的特征库更新的第三流程示意图对本申请实施例进行详细说明。
若正式特征库位于转发设备,临时特征库位于非转发设备,临时特征库中包括目的地址与特征的对应关系;
S01、转发设备接收流量;
转发设备接收到流量的前第一预设数量个报文后,将流量的前第一预设数量个报文输入DIM引擎与正式特征库中包括的特征进行匹配。
S02、转发设备将流量的前第一预设数量个报文与正式特征库中包括的特征进行匹配;若匹配成功,确定出流量对应的特征,执行S03;若匹配失败,将流量的前第一预设数量个报文镜像至非转发设备,执行S04;
S03、转发设备基于确定出的特征对应的处理操作对流量进行处理;
S04、非转发设备将该流量的前第一预设数量个报文分别与临时特征库中该流量的目的地址对应的特征进行匹配;若匹配失败,执行S05;若匹配成功,执行S06;
S05、非转发设备进行特征采集,提取该流量的前第一预设数量个报文和与该流量的目的地址相同的其他流量的前第一预设数量个报文中相同的字符串,将提取的字符串作为该流量的目的地址对应的特征加入临时特征库;
S06、非转发设备进行特征过滤,对于该流量的目的地址对应的每一特征,计算该特征的命中率,确定该特征的命中率是否在预定范围内;如果在,执行S07;如果不在,执行S08;
在本申请实施例中,临时特征库中的每一特征均会保存一段时间,在这一段时间内,每获取到一条流量的前第一预设数量个报文后,则执行S02-S06;在这一段时间过期后,统计每一特征的命令率,确定每一特征的命中率是否在预定范围内。
S07、非转发设备确认添加特征,将命中率在预定范围内的特征添加至正式特征库,并将命中率在预定范围内的特征从临时特征库中删除;
另外,转发设备或非转发设备可以先根据流量的目的端口对流量进行识别,确定流量对应的应用,进而将命中率在预定范围内的特征与识别出的应用的对应关系添加至正式特征库。
S08、非转发设备确认删除特征,将命中率在预定范围外的特征从临时特征库中删除。
本申请实施例中,获取多条流量的前第一预设数量个报文,将获取的报文分别与临时特征库中包括的特征进行匹配,确定临时特征库中每一特征的命中率,这里,每一特征的命中率均是由网络设备根据多条流量包括的多个报文与该特征进行匹配来确定的,将确定的命中率在预定范围内的特征添加至正式特征库,排除了人的主观因素的影响,使得添加至特征库中的特征能代表目的地址相同的一类流量的特征,进而提高基于正式特征库包括的特征确定出的流量匹配的特征的准确性,提高基于特征对流量进行处理的准确性。
与特征库更新方法实施例对应,本申请实施例还提供了一种特征库更新装置。
参考图4,图4为本申请实施例提供的特征库更新装置的第一种结构示意图,应用于网络设备,该装置包括:
获取单元401,用于获取多条流量的前第一预设数量个报文;这前第一预设数量个报文与正式特征库包括的特征均不匹配;
匹配单元402,用于将获取的报文分别与临时特征库中包括的特征进行匹配;
确定单元403,用于根据临时特征库中各个特征在目的地址相同的流量的前第一预设数量个报文中出现的次数,确定临时特征库中每一特征的命中率;
添加单元404,用于将命中率在预定范围内的特征添加至正式特征库。
在本申请的一个实施例中,临时特征库中包括目的地址与特征的对应关系;
匹配单元402,具体用于:
针对每条流量,将获取的该流量的前第一预设数量个报文分别与临时特征库中包括的该流量的目的地址对应的特征进行匹配;
确定单元403,具体用于:
针对临时特征库中的每一特征,计算该特征对应的第一数值和第二数值的比值,将比值作为该特征的命中率;
其中,第一数值为:目的地址为该特征对应的目的地址的多条流量中前第一预设数量个报文中出现该特征的流量的条数,第二数值为:目的地址为该特征对应的目的地址的多条流量的条数;或
第一数值为:该特征在目的地址为该特征对应的目的地址的多条流量的前第一预设数量个报文中出现的次数之和,第二数值为:目的地址为该特征对应的目的地址的多条流量的前第一预设数量个报文的总个数。
在本申请的一个实施例中,参考图5所示的特征库更新装置的第二种结构示意图,基于图4,该装置还可以包括:
提取单元405,用于若多条流量中存在目的地址相同、且前第一预设数量个报文与临时特征库中包括的特征均不匹配的至少两条流量,提取这至少两条流量的前第一预设数量个报文中相同的字符串;
加入单元406,用于将提取的字符串作为这至少两条流量的目的地址对应的特征加入所述临时特征库。
在本申请的一个实施例中,提取单元405,具体可以用于:
提取这至少两条流量的前第一预设数量个报文中前第二预设数量个字节中相同的字符串。
在本申请的一个实施例中,添加单元404,具体可以用于:
输出命中率在预定范围内的特征,以使用户根据输出的特征输入控制指令;
若控制指令为添加指令,则将输出的特征添加至正式特征库。
在本申请的一个实施例中,添加单元404,还可以用于:
若控制指令为删除指令,则将输出的特征从临时特征库中删除。
在本申请的一个实施例中,上述特征库更新装置还可以包括:
删除单元,用于从临时特征库中删除命中率在预定范围外的特征;
删除单元,还用于在将命中率在预定范围内的特征添加至正式特征库之后,从临时特征库中删除命中率在预定范围内的特征。
本申请实施例中,获取多条流量的前第一预设数量个报文,将获取的报文分别与临时特征库中包括的特征进行匹配,确定临时特征库中每一特征的命中率,这里,每一特征的命中率均是由网络设备根据多条流量包括的多个报文与该特征进行匹配来确定的,将确定的命中率在预定范围内的特征添加至正式特征库,排除了人的主观因素的影响,使得添加至特征库中的特征能代表目的地址相同的一类流量的特征,进而提高基于正式特征库包括的特征确定出的流量匹配的特征的准确性,提高基于特征对流量进行处理的准确性。
本申请实施例还提供了一种网络设备,如图6所示,包括处理器601和机器可读存储介质602,机器可读存储介质602存储有能够被处理器601执行的机器可执行指令。
另外,如图6所示,网络设备还可以包括:通信接口603和通信总线604;其中,处理器601、机器可读存储介质602、通信接口603通过通信总线604完成相互间的通信,通信接口603用于上述网络设备与其他设备之间的通信。
处理器601被机器可执行指令促使实现如下步骤:
获取多条流量的前第一预设数量个报文;这前第一预设数量个报文与正式特征库包括的特征均不匹配;
将获取的报文分别与临时特征库中包括的特征进行匹配;
根据临时特征库中各个特征在目的地址相同的流量的前第一预设数量个报文中出现的次数,确定临时特征库中每一特征的命中率;
将命中率在预定范围内的特征添加至所述正式特征库。
本申请实施例中,获取多条流量的前第一预设数量个报文,将获取的报文分别与临时特征库中包括的特征进行匹配,确定临时特征库中每一特征的命中率,这里,每一特征的命中率均是由网络设备根据多条流量包括的多个报文与该特征进行匹配来确定的,将确定的命中率在预定范围内的特征添加至正式特征库,排除了人的主观因素的影响,使得添加至特征库中的特征能代表目的地址相同的一类流量的特征,进而提高基于正式特征库包括的特征确定出的流量匹配的特征的准确性,提高基于特征对流量进行处理的准确性。
上述通信总线604可以是PCI(Peripheral Component Interconnect,外设部件互连标准)总线或EISA(Extended Industry Standard Architecture,扩展工业标准结构)总线等。该通信总线604可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
机器可读存储介质602可以包括RAM(Random Access Memory,随机存取存储器),也可以包括NVM(Non-Volatile Memory,非易失性存储器),例如至少一个磁盘存储器。另外,机器可读存储介质602还可以是至少一个位于远离前述处理器的存储装置。
上述处理器601可以是通用处理器,包括CPU(Central Processing Unit,中央处理器)、NP(Network Processor,网络处理器)等;还可以是DSP(Digital SignalProcessing,数字信号处理器)、ASIC(Application Specific Integrated Circuit,专用集成电路)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)或其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供了一种机器可读存储介质,存储有机器可执行指令,在被处理器调用和执行时,机器可执行指令促使处理器实现以下骤:
获取多条流量的前第一预设数量个报文;这前第一预设数量个报文与正式特征库包括的特征均不匹配;
将获取的报文分别与临时特征库中包括的特征进行匹配;
根据临时特征库中各个特征在目的地址相同的流量的前第一预设数量个报文中出现的次数,确定临时特征库中每一特征的命中率;
将命中率在预定范围内的特征添加至所述正式特征库。
本申请实施例中,获取多条流量的前第一预设数量个报文,将获取的报文分别与临时特征库中包括的特征进行匹配,确定临时特征库中每一特征的命中率,这里,每一特征的命中率均是由网络设备根据多条流量包括的多个报文与该特征进行匹配来确定的,将确定的命中率在预定范围内的特征添加至正式特征库,排除了人的主观因素的影响,使得添加至特征库中的特征能代表目的地址相同的一类流量的特征,进而提高基于正式特征库包括的特征确定出的流量匹配的特征的准确性,提高基于特征对流量进行处理的准确性。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于特征库更新装置、网络设备、机器可读存储介质实施例而言,由于其基本相似于特征库更新方法实施例,所以描述的比较简单,相关之处参见特征库更新方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。
Claims (14)
1.一种特征库更新方法,其特征在于,应用于网络设备,所述方法包括:
获取多条流量的前第一预设数量个报文;所述前第一预设数量个报文与正式特征库包括的特征均不匹配,所述正式特征库中包括特征、以及与所述正式特征库中的特征对应的处理操作;
将获取的报文分别与临时特征库中包括的特征进行匹配,所述临时特征库用于更新所述正式特征库包括的特征;
根据所述临时特征库中各个特征在目的地址相同的流量的前第一预设数量个报文中出现的次数,确定所述临时特征库中每一特征的命中率;
将命中率在预定范围内的特征添加至所述正式特征库;
其中,所述临时特征库中包括目的地址与特征的对应关系;
所述将获取的报文分别与临时特征库中包括的特征进行匹配的步骤,包括:
针对每条流量,将获取的该流量的前第一预设数量个报文分别与临时特征库中包括的该流量的目的地址对应的特征进行匹配;
所述根据所述临时特征库中各个特征在目的地址相同的流量的前第一预设数量个报文中出现的次数,确定所述临时特征库中每一特征的命中率的步骤,包括:
针对所述临时特征库中的每一特征,计算该特征对应的第一数值和第二数值的比值,将所述比值作为该特征的命中率;
其中,第一数值为:目的地址为该特征对应的目的地址的多条流量中前第一预设数量个报文中出现该特征的流量的条数,第二数值为:目的地址为该特征对应的目的地址的多条流量的条数;或
第一数值为:该特征在目的地址为该特征对应的目的地址的多条流量的前第一预设数量个报文中出现的次数之和,第二数值为:目的地址为该特征对应的目的地址的多条流量的前第一预设数量个报文的总个数。
2.根据权利要求1所述的方法,其特征在于,在所述获取多条流量的前第一预设数量个报文的步骤之后,所述方法还包括:
若所述多条流量中存在目的地址相同、且前第一预设数量个报文与所述临时特征库中包括的特征均不匹配的至少两条流量,提取所述至少两条流量的前第一预设数量个报文中相同的字符串;
将提取的字符串作为所述至少两条流量的目的地址对应的特征加入所述临时特征库。
3.根据权利要求2所述的方法,其特征在于,所述提取所述至少两条流量的前第一预设数量个报文相同的字符串的步骤,包括:
提取所述至少两条流量的前第一预设数量个报文中前第二预设数量个字节中相同的字符串。
4.根据权利要求1所述的方法,其特征在于,所述将命中率在预定范围内的特征添加至所述正式特征库的步骤,包括:
输出命中率在预定范围内的特征,以使用户根据输出的特征输入控制指令;
若所述控制指令为添加指令,则将输出的特征添加至所述正式特征库。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
若所述控制指令为删除指令,则将输出的特征从所述临时特征库中删除。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
从所述临时特征库中删除命中率在所述预定范围外的特征;
在将命中率在所述预定范围内的特征添加至所述正式特征库之后,从所述临时特征库中删除命中率在所述预定范围内的特征。
7.一种特征库更新装置,其特征在于,应用于网络设备,所述装置包括:
获取单元,用于获取多条流量的前第一预设数量个报文;所述前第一预设数量个报文与正式特征库包括的特征均不匹配,所述正式特征库中包括特征、以及与所述正式特征库中的特征对应的处理操作;
匹配单元,用于将获取的报文分别与临时特征库中包括的特征进行匹配,所述临时特征库用于更新正式特征库包括的特征;
确定单元,用于根据所述临时特征库中各个特征在目的地址相同的流量的前第一预设数量个报文中出现的次数,确定所述临时特征库中每一特征的命中率;
添加单元,用于将命中率在预定范围内的特征添加至所述正式特征库;
其中,所述临时特征库中包括目的地址与特征的对应关系;
所述匹配单元,具体用于:
针对每条流量,将获取的该流量的前第一预设数量个报文分别与临时特征库中包括的该流量的目的地址对应的特征进行匹配;
所述确定单元,具体用于:
针对所述临时特征库中的每一特征,计算该特征对应的第一数值和第二数值的比值,将所述比值作为该特征的命中率;
其中,第一数值为:目的地址为该特征对应的目的地址的多条流量中前第一预设数量个报文中出现该特征的流量的条数,第二数值为:目的地址为该特征对应的目的地址的多条流量的条数;或
第一数值为:该特征在目的地址为该特征对应的目的地址的多条流量的前第一预设数量个报文中出现的次数之和,第二数值为;目的地址为该特征对应的目的地址的多条流量的前第一预设数量个报文的总个数。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
提取单元,用于若所述多条流量中存在目的地址相同、且前第一预设数量个报文与所述临时特征库中包括的特征均不匹配的至少两条流量,提取所述至少两条流量的前第一预设数量个报文中相同的字符串;
加入单元,用于将提取的字符串作为所述至少两条流量的目的地址对应的特征加入所述临时特征库。
9.根据权利要求8所述的装置,其特征在于,所述提取单元,具体用于:
提取所述至少两条流量的前第一预设数量个报文中前第二预设数量个字节中相同的字符串。
10.根据权利要求7所述的装置,其特征在于,所述添加单元,具体用于:
输出命中率在预定范围内的特征,以使用户根据输出的特征输入控制指令;
若所述控制指令为添加指令,则将输出的特征添加至所述正式特征库。
11.根据权利要求10所述的装置,其特征在于,所述添加单元,还用于:
若所述控制指令为删除指令,则将输出的特征从所述临时特征库中删除。
12.根据权利要求7所述的装置,其特征在于,所述装置还包括:
删除单元,用于从所述临时特征库中删除命中率在所述预定范围外的特征;
所述删除单元,还用于在将命中率在所述预定范围内的特征添加至所述正式特征库之后,从所述临时特征库中删除命中率在所述预定范围内的特征。
13.一种网络设备,其特征在于,包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器被所述机器可执行指令促使:实现权利要求1-6任一所述的方法步骤。
14.一种机器可读存储介质,其特征在于,存储有机器可执行指令,在被处理器调用和执行时,所述机器可执行指令促使所述处理器:实现权利要求1-6任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710750265.7A CN107547536B (zh) | 2017-08-28 | 2017-08-28 | 一种特征库更新方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710750265.7A CN107547536B (zh) | 2017-08-28 | 2017-08-28 | 一种特征库更新方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107547536A CN107547536A (zh) | 2018-01-05 |
CN107547536B true CN107547536B (zh) | 2021-03-19 |
Family
ID=60958205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710750265.7A Active CN107547536B (zh) | 2017-08-28 | 2017-08-28 | 一种特征库更新方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107547536B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109147788B (zh) * | 2018-10-19 | 2021-06-04 | 珠海格力电器股份有限公司 | 本地语音库的更新方法及装置 |
CN109857726B (zh) * | 2019-02-27 | 2023-05-12 | 深信服科技股份有限公司 | 一种应用特征库维护方法、装置、电子设备及存储介质 |
CN112579618B (zh) * | 2019-09-30 | 2022-07-05 | 奇安信安全技术(珠海)有限公司 | 特征库的升级方法、装置、存储介质及计算机设备 |
CN111046388B (zh) * | 2019-12-16 | 2022-09-13 | 北京智游网安科技有限公司 | 识别应用中第三方sdk的方法、智能终端及储存介质 |
CN112134898A (zh) * | 2020-09-28 | 2020-12-25 | 北京嘀嘀无限科技发展有限公司 | 一种网络流量判定方法和系统 |
CN112468410B (zh) * | 2020-11-05 | 2021-10-22 | 武汉绿色网络信息服务有限责任公司 | 一种增强网络流量特征准确率的方法和装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102025636A (zh) * | 2010-12-09 | 2011-04-20 | 北京星网锐捷网络技术有限公司 | 报文特征处理方法、装置及网络设备 |
CN103297440A (zh) * | 2013-06-24 | 2013-09-11 | 北京星网锐捷网络技术有限公司 | 应用流量特征库的建立方法和装置、网络设备 |
CN103428209A (zh) * | 2013-08-02 | 2013-12-04 | 汉柏科技有限公司 | 一种生成特征的方法及安全网关设备 |
CN105939328A (zh) * | 2016-01-27 | 2016-09-14 | 杭州迪普科技有限公司 | 网络攻击特征库的更新方法及装置 |
-
2017
- 2017-08-28 CN CN201710750265.7A patent/CN107547536B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102025636A (zh) * | 2010-12-09 | 2011-04-20 | 北京星网锐捷网络技术有限公司 | 报文特征处理方法、装置及网络设备 |
CN103297440A (zh) * | 2013-06-24 | 2013-09-11 | 北京星网锐捷网络技术有限公司 | 应用流量特征库的建立方法和装置、网络设备 |
CN103428209A (zh) * | 2013-08-02 | 2013-12-04 | 汉柏科技有限公司 | 一种生成特征的方法及安全网关设备 |
CN105939328A (zh) * | 2016-01-27 | 2016-09-14 | 杭州迪普科技有限公司 | 网络攻击特征库的更新方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN107547536A (zh) | 2018-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107547536B (zh) | 一种特征库更新方法及装置 | |
CN109274593B (zh) | 一种信息存储方法及装置 | |
CN109327357B (zh) | 应用软件的特征提取方法、装置及电子设备 | |
US10868873B2 (en) | Communication session log analysis device, method and recording medium | |
CN106897196B (zh) | 网站页面间访问路径的确定方法及装置 | |
CN112417404B (zh) | 用户身份识别方法、计算设备及计算机存储介质 | |
CN108270783B (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
CN112153095A (zh) | Cdn功能模块运行方法、运行装置、电子设备及存储介质 | |
US8782092B2 (en) | Method and apparatus for streaming netflow data analysis | |
CN109688094B (zh) | 基于网络安全的可疑ip配置方法、装置、设备及存储介质 | |
CN109377383A (zh) | 产品数据同步方法、装置、计算机设备及存储介质 | |
CN112272179A (zh) | 一种网络安全处理方法、装置、设备及机器可读存储介质 | |
CN112887333A (zh) | 一种异常设备检测方法、装置、电子设备及可读存储介质 | |
CN103927303A (zh) | 一种查找账户的方法和装置 | |
CN110012124B (zh) | 一种对网络地址范围段进行拆分的方法及装置 | |
CN113660359A (zh) | 域名解析记录的管理方法及装置、存储介质及电子设备 | |
CN116432190B (zh) | 接口未授权访问检测方法、装置、计算机设备及存储介质 | |
CN110955460B (zh) | 一种服务进程启动方法、装置、电子设备和存储介质 | |
CN106506270B (zh) | 一种ping报文处理方法及装置 | |
EP3790260A1 (en) | Device and method for identifying network devices in a nat based communication network | |
JP2006244422A (ja) | ネットワークを利用した、システムパラメータの自動チューニング方法 | |
CN114745329B (zh) | 流量控制方法和装置、存储介质及电子装置 | |
CN108037950A (zh) | 一种信息删除方法、装置、电子设备及可读存储介质 | |
US11411919B2 (en) | Deep packet inspection application classification systems and methods | |
CN111163184B (zh) | 一种报文特征的提取方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |