CN111061707A - 一种dpi设备协议规则库和规则样本的优化方法和装置 - Google Patents
一种dpi设备协议规则库和规则样本的优化方法和装置 Download PDFInfo
- Publication number
- CN111061707A CN111061707A CN201911085753.6A CN201911085753A CN111061707A CN 111061707 A CN111061707 A CN 111061707A CN 201911085753 A CN201911085753 A CN 201911085753A CN 111061707 A CN111061707 A CN 111061707A
- Authority
- CN
- China
- Prior art keywords
- rule
- equipment
- hit
- rules
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种DPI设备协议规则库和规则样本的优化方法和装置,方法包括:收集各地的设备规则命中情况后,对各规则的命中程度进行划分,不满足要求的进入预删除状态,满足要求的放入预发布规则库;进入预删除状态的设备规则,基于实验室规则周期命中情况判断是否失效,如果未失效则放入预发布规则库;对预发布规则库中的各设备规则进行性能损耗测试,测试不达标的规则修改或删除;对预发布规则库中的各规则样本进行测试,测试合格则将对应的设备规则和样本发布。本发明结合设备规则库规则命中情况、实验室规则周期命中情况及规则性能损耗程度,对协议规则库和样本进行了优化,减少了规则库中的规则冗余和样本冗余,提高识别性能。
Description
【技术领域】
本发明涉及网络通信技术领域,具体涉及一种DPI设备协议规则库和规则样本的优化方法和装置。
【背景技术】
DPI设备是指具备业务数据流识别、业务数据流控制能力,工作在OSI模型传输层到应用层,具有高数据处理能力,能够对网络所承载的业务进行识别和流量管理,可部署在网络骨干层、城域网和企业内部的网络设备。传统的DPI设备通常基于规则表达式对应用流量进行识别,并且通常会提取设备规则对应的数据包作为规则样本。
然而,一方面,由于新应用协议的增加以及应用版本升级和应用变更等,为满足应用流量的识别功能,规则数量需不断增加,样本数量也在不断增加。也就是说,实际上部分规则可能已失去效用,但规则和对应样本却一直保存在协议识别规则库中。因此,为减少类似规则冗余和数据样本冗余,需要对规则库和规则样本进行优化。另一方面,由于规则的内容和书写的方式不同,对识别引擎的性能损耗也不同;因此,为减小识别引擎的损耗,也需要不断优化协议规则库。
鉴于此,克服上述现有技术所存在的缺陷是本技术领域亟待解决的问题。
【发明内容】
本发明需要解决的技术问题是:
对于DPI设备,由于新应用协议的增加、应用版本升级和应用变更等,规则和样本数量不断增加,为减少规则库中的规则和样本冗余,需要对规则库和规则样本进行优化;同时,为减小识别引擎的损耗也需要不断优化协议规则库。
本发明通过如下技术方案达到上述目的:
第一方面,本发明提供了一种DPI设备协议规则库和规则样本的优化方法,包括:
对部署在各地的设备规则的命中情况进行收集后,根据命中情况对各设备规则的命中程度进行划分,并将命中程度不满足预设要求的设备规则进入预删除状态,满足预设要求的设备规则放入预发布规则库;
对于进入预删除状态的设备规则,基于应用情况和实验室规则周期命中情况判断各设备规则是否失效;如果失效则直接删除设备规则及对应的规则样本,如果未失效则将设备规则放入所述预发布规则库;
对放入所述预发布规则库中的各设备规则进行性能损耗测试,并对测试不达标的设备规则进行修改或删除,将测试达标的设备规则放回所述预发布规则库;
对所述预发布规则库中的各规则样本进行测试,如果测试合格则将对应的设备规则和规则样本进行发布,如果测试不合格则直接将对应的设备规则和规则样本进行删除。
优选的,所述设备规则的命中程度分为高命中度、中命中度、低命中度和无命中4个种类,且具体根据各设备规则的命中比例或命中次数进行命中程度的划分。
优选的,所述对部署在各地的设备规则的命中情况进行收集后,根据命中情况对各设备规则的命中程度进行划分,具体为:
分别对部署在各地的设备规则的命中情况进行分类,得到每个设备节点下设备规则的初级命中程度并记录;
将各设备节点下设备规则的初级命中程度进行汇总,并根据汇总结果将各设备规则划分为不同命中程度。
优选的,所述分别对部署在各地的设备规则的命中情况进行分类,得到每个设备节点下设备规则的初级命中程度并记录,具体为:
对于各地的设备规则,将无任何命中的设备规则先剔除,并将其初级命中程度记录为“无”;
将剩余的设备规则按照命中次数或命中比例由高到低进行排序,并将排名在前x%的设备规则的初级命中程度记录为“高”,排名在前x%到前y%之间的设备规则的初级命中程度记录为“中”,排名在后(100-y)%的设备规则的初级命中程度记录为“低”。
优选的,所述将各设备节点下设备规则的初级命中程度进行汇总,并根据汇总结果将各设备规则划分为不同命中程度,具体为:
将各设备节点下记录的设备规则的初级命中程度进行汇总后,将在各记录中均为“无”的设备规则划分为无命中规则,将在任何一个记录中为“高”的设备规则划分为高命中度规则,将在超过预设比例的记录中为“低”的设备规则划分为低命中度规则,其他设备规则划分为中命中度规则;
其中,高命中度规则和中命中度规则视为满足预设要求,放入所述预发布规则库;低命中度规则和无命中规则视为不满足预设要求,进入预删除状态。
优选的,所述对于进入预删除状态的设备规则,基于应用情况和实验室规则周期命中情况判断各设备规则是否失效,具体为:
统计进入预删除状态的各设备规则对应的应用,并获取对应的各应用商店的应用更新和下架信息,进而判断各应用的使用情况;
如果判断应用已下架或应用无法正常使用或应用无法正常访问,则直接将该应用对应的设备规则和规则样本删除;
如果判断应用依然可正常使用,则通过该应用对应的设备规则,对预设周期内实验室获取和保存的该应用的各规则样本进行扫描,判断该设备规则是否能命中规则样本;
如果该设备规则未能命中规则样本,则直接将该设备规则和对应的规则样本删除;如果该设备规则能命中任一个规则样本,则将该设备规则保留并放入所述预发布规则库。
优选的,对放入所述预发布规则库中的各设备规则,采用时间作为衡量标准进行性能损耗测试,具体为:
通过协议识别引擎加载单条设备规则,并对pcap文件进行多次回放来模拟收包;统计每个数据包从加载该单条设备规则到匹配完成所耗时的平均值或中值,并将该平均值或中值作为该单条设备规则的性能损耗值;
其中,所述性能损耗值的结果越大,表示对应设备规则的性能越差。
优选的,通过计算得到所述预发布规则库中的各设备规则的性能损耗值之后,所述方法还包括:
根据得出的各设备规则的性能损耗值,评估出性能损耗的标准值;
对性能损耗值小于等于所述标准值的设备规则,视为测试达标,则直接将对应的设备规则放回所述预发布规则库;
对性能损耗值大于所述标准值的设备规则进行修改,如果修改后性能损耗值可达到所述标准值以内,则将对应的设备规则放回所述预发布规则库;如果修改后仍未达到所述标准值以内,则将对应的设备规则删除。
优选的,所述对所述预发布规则库中的各规则样本进行测试,具体为:
将所述预发布规则库中的规则样本进行全量回放,如果规则样本的协议名和测试结果一致,则视为测试合格,对应的设备规则进入发布版本;
如果规则样本的协议名和测试结果不一致,则进行修正,修正通过后对应的设备规则进入发布版本,修正不通过则视为测试不合格,将对应的设备规则和规则样本进行删除;
封装协议规则库版本和样本测试报告,以便在协议规则识别库进行设备规则和规则样本的发布。
第二方面,本发明还提供了一种DPI设备协议规则库和规则样本的优化装置,包括至少一个处理器和存储器,所述至少一个处理器和存储器之间通过数据总线连接,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令在被所述处理器执行后,用于完成第一方面所述的DPI设备协议规则库和规则样本的优化方法
本发明的有益效果是:
本发明提供的优化方法中,结合运行设备规则库规则周期命中情况、实验室规则周期命中情况以及规则的性能损耗程度三个方面,对DPI设备协议规则库和规则样本进行了优化,将不满足命中要求或性能损耗测试的设备规则和规则样本进行删除,减少了协议识别规则库中的规则冗余和样本冗余,提高识别性能。
【附图说明】
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种DPI设备协议规则库和规则样本的优化方法流程图;
图2为本发明实施例提供的一种DPI设备协议规则库和规则样本的优化过程细化图;
图3为本发明实施例提供的一种设备规则命中程度的划分方法流程图;
图4为本发明实施例提供的一种设备规则性能损耗测试的方法流程图;
图5为本发明实施例提供的一种DPI设备协议规则库和规则样本的优化装置架构图。
【具体实施方式】
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。下面就参考附图和实施例结合来详细说明本发明。
实施例1:
本发明实施例提供了一种DPI设备协议规则库和规则样本的优化方法,如图1所示,具体包括以下步骤:
步骤10,对部署在各地的设备规则的命中情况进行收集后,根据命中情况对各设备规则的命中程度进行划分,并将命中程度不满足预设要求的设备规则进入预删除状态,满足预设要求的设备规则放入预发布规则库。
该步骤主要是“收集和划分各设备规则的命中情况,并为各设备规则打上程度标签”。需要注意的是,这里需要基于现有的协议识别规则库,对部署在各地(即各设备节点)的设备规则的命中情况都进行收集汇总,再对所有设备规则的命中程度进行统一划分。以图2为例,共收集了A省/市、B省/市和C省/市三地的现网运行设备规则命中情况,并进行了汇总。其中,在实际操作时,具体可根据各设备规则的命中比例或命中次数进行命中程度的划分。
在一个具体的实施例中,我们可将所述设备规则的命中程度按照由高到低的顺序依次划分为高命中度、中命中度、低命中度和无命中4个种类;当然,还可根据实际需求选择划分为更多或更少的命中程度种类,在此不做唯一限定。以图2为例,对三地的设备规则命中情况进行汇总后,对于任一设备规则可先判断其是否有命中,如果无命中则为无命中规则,如果有命中则可继续根据其命中比例或命中次数判断是高命中度规则、中命中度规则还是低命中度规则。最终,高命中度规则和中命中度规则可视为命中程度满足预设要求,放入所述预发布规则库,等待后续进行性能损耗检测;低命中度规则和无命中规则可视为命中程度不满足预设要求,需进入预删除状态进一步判断。具体的划分过程及细节将在后续进行介绍,在此不做赘述。
步骤20,对于进入预删除状态的设备规则,基于应用情况和实验室规则周期命中情况判断各设备规则是否失效;如果失效则直接删除设备规则及对应的规则样本,如果未失效则将设备规则放入所述预发布规则库。
该步骤主要是“预删除状态的设备规则处理情况”,具体实施过程可参考图2,包括以下步骤:
首先,统计进入预删除状态的各设备规则所对应的应用,然后对应用进行人工或者自动化筛选,并通过人工或者爬虫获取对应的各应用商店的应用更新和下架信息,进而判断各应用的使用情况。如果判断应用已下架或应用无法正常使用或应用无法正常访问,则认为该应用对应的设备规则已失效,直接进入删除状态,即,将该应用所对应的全部设备规则和规则样本(即设备规则对应的测试样本)删除。
其次,如果判断应用依然可正常使用,则可通过该应用对应的设备规则,对预设周期内(例如1年周期内)实验室抓包所获取和保存的该应用的全部规则样本进行扫描,判断该设备规则是否能够命中其中的规则样本。如果该设备规则未能命中任何规则样本,则直接将该设备规则和对应的规则样本删除;如果该设备规则能命中实验室抓包所获取和保存的任一个规则样本,则认为该设备规则仍未失效,将该设备规则保留并放入所述预发布规则库,等待后续进行性能损耗检测。
步骤30,对放入所述预发布规则库中的各设备规则进行性能损耗测试,并对测试不达标的设备规则进行修改或删除,将测试达标的设备规则放回所述预发布规则库。
该步骤主要是“性能损耗测试过程”。如图2所示,放入所述预发布规则库中的各设备规则均需要进行性能损耗测试,性能损耗值达到标准值的设备规则视为测试达标,可继续等待进行下一步的样本测试;而对于性能损耗值未达到标准值的设备规则,则需要进行修改或删除,修改后达标的方可继续等待进行下一步的样本测试。为了能够量化这个性能数据,需要用一个统一的标准来对每条设备规则进行判定,例如,在本发明实施例中,选择采用时间作为衡量标准来进行性能损耗测试,即一条设备规则对一个数据包从匹配到得出结果所使用的时间,从秒(sec)、毫秒(msec)、微妙(usec)到纳秒(nsec)不等。具体性能损耗值的计算过程将在后续展开介绍,在此不做赘述。当然,除了时间以外,还可采用其他合适的衡量标准来进行计算,在此并不唯一限定。
步骤40,对所述预发布规则库中的各规则样本进行测试,如果测试合格则将对应的设备规则和规则样本进行发布,如果测试不合格则直接将对应的设备规则和规则样本进行删除。
该步骤主要是“预发布规则库中规则样本的测试和发布”,具体可参考图2,包括以下步骤:
首先,将所述预发布规则库中的规则样本(即性能损耗测试达标后的样本)进行全量回放,如果规则样本的协议名和测试结果一致,则视为测试合格,对应的设备规则进入发布版本。如果规则样本的协议名和测试结果不一致,则可通过人工查看规则样本内容和设备规则内容来进行修正;修正通过后对应的设备规则可进入发布版本,修正不通过则视为测试不合格,将对应的设备规则和规则样本进行删除。其中,修正不通过可能是设备规则的书写有问题,或者设备规则的内容有问题,或者规则样本有问题等情况。
然后,对于进入发布版本的(即上面通过样本测试的)设备规则和规则样本,封装协议规则库版本和样本测试报告,以便在协议规则识别库进行设备规则和规则样本的发布。至此,完成DPI设备协议规则库和规则样本的优化。
本发明实施例提供的上述优化方法中,结合运行设备规则库规则周期命中情况、实验室规则周期命中情况以及规则的性能损耗程度三个方面,对DPI设备协议规则库和规则样本进行了优化,将不满足命中要求或性能损耗测试的设备规则和规则样本进行删除,仅保留并发布满足命中要求且性能损耗测试达标的设备规则和样本,减少了协议识别规则库中的规则冗余和样本冗余,提高识别性能。
进一步参考图3,在步骤10中,所述对部署在各地的设备规则的命中情况进行收集后,根据命中情况对各设备规则的命中程度进行划分,具体可包括以下步骤:
步骤101,分别对部署在各地的设备规则的命中情况进行分类,得到每个设备节点下设备规则的初级命中程度并记录。
由于每个设备节点部署的时间不同,单从各设备规则命中次数的数值不一定能真实地反应设备规则的实际命中情况。因此,需要首先对各设备节点下的设备规则命中情况进行分类,将无任何命中的设备规则先剔除,并将其初级命中程度记录为“无”;剩下的设备规则可按照命中次数的数值或命中比例由高到低进行排序,并将排名在前x%的设备规则的初级命中程度记录为“高”,排名在前x%到前y%之间的设备规则的初级命中程度记录为“中”,排名在后(100-y)%的设备规则的初级命中程度记录为“低”。
例如,在一个具体的实施例中,可将x和y分别取为50和90,即命中次数或命中比例排名在前50%的设备规则为高命中,排名在前50%-90%之间的设备规则为中命中,排名在后10%的设备规则为低命中。假如某个设备节点有15000条设备规则,无任何命中的为5000条,初级命中程度记录为“无”;剩余还有10000条有命中的设备规则,按设备规则的命中次数对剩余的各设备规则进行排序后,前5000条设备规则的初级命中程度记录为“高”,排名在中间4000条(即第5001-9000条)设备规则的初级命中程度记录为“中”,排名最后的1000条设备规则的初级命中程度记录为“低”。
步骤102,将各设备节点下设备规则的初级命中程度进行汇总,并根据汇总结果将各设备规则划分为不同命中程度。
单个设备节点的设备规则命中程度(即初级命中程度)划分完成后,将各设备节点下记录的全部设备规则的初级命中程度进行汇总,此时可将全部记录均为“无”的设备规则划分为无命中规则,将在任何一个记录中为“高”的设备规则划分为高命中度规则,将在超过预设比例的记录中为“低”的设备规则划分为低命中度规则,其他设备规则划分为中命中度规则。例如,此处可将有超过半数的记录均为“低”的设备规则划分为低命中度规则。当然,上面仅是提供的一种命中程度划分方法,除此以外,还可采用其他合适的算法进行设备规则命中程度的划分,在此并不唯一限定。
划分完成后,最终高命中度规则和中命中度规则可视为满足预设要求,放入所述预发布规则库,等待下一步的性能损耗测试;低命中度规则和无命中规则可视为不满足预设要求,进入预删除状态进一步判断处理。
进一步地,在步骤30中,当采用时间作为衡量标准来进行性能损耗测试时,各设备规则的性能损耗测试值的具体计算方法如下:
首先通过协议识别引擎加载单条设备规则,并对pcap文件进行多次回放来模拟收包;然后统计每个数据包从加载该单条设备规则到匹配完成所耗时的平均值或中值,并将该平均值或中值作为该单条设备规则的性能损耗值;其中,所述性能损耗值的结果越大,表示对应设备规则的性能越差。
例如,在一个具体的实施例中,具体可采用混合协议标准测试pcap包一个(可在现网随机抓取)、只包含tcp协议的测试pcap包一个和只包含udp协议的测试pcap包一个;当然,也可根据实际需要选择其他协议,例如http、https协议报文等,在此不做唯一限定。每个测试样本通过回放多次(可以回放10-100),计算每条设备规则从加载到匹配完成所消耗的时间,计算时可去掉最高耗时和最低耗时,再选取中间值或平均值;然后可将分别计算出的三个样本的平均耗时取和作为该设备规则的性能损耗值。
通过上述方法计算得到所述预发布规则库中的各设备规则的性能损耗值之后,还需根据性能损耗值来判断各设备规则是否测试达标,具体可参考图4,包括以下步骤:
步骤301,根据得出的各设备规则的性能损耗值,评估出性能损耗的标准值。例如,可选取高于90%设备规则的性能损耗值作为标准值。
步骤302,对性能损耗值小于等于所述标准值的设备规则,视为测试达标,则直接将对应的设备规则放回所述预发布规则库。
步骤303,对性能损耗值大于所述标准值的设备规则进行修改,修改后如果性能损耗值可达到所述标准值以内,则将对应的设备规则放回所述预发布规则库;如果仍未达到所述标准值以内,则将对应的设备规则删除。
其中,修改时具体可通过改变设备规则内容依然可以保持流量正常可识别的办法,或者改变设备规则的语法表达式书写方式等。修改后对该设备规则的性能损耗值进行重新计算,如果此时得到的性能损耗值可达到标准值以内,则测试达标;如果仍然不能达到标准值以内,则测试不达标,可直接将对应的设备规则删除。
综上所述,本发明实施例可结合运行设备规则库规则周期命中情况、实验室规则周期命中情况以及规则的性能损耗程度三个方面,对DPI设备协议规则库和规则样本进行优化,减少了协议识别规则库中的规则冗余和样本冗余,提高识别性能,减小了识别引擎的损耗。
实施例2:
在上述实施例1提供的DPI设备协议规则库和规则样本的优化方法的基础上,本发明还提供了一种可用于实现上述方法的DPI设备协议规则库和规则样本的优化装置,如图5所示,是本发明实施例的装置架构示意图。本实施例的DPI设备协议规则库和规则样本的优化装置包括一个或多个处理器21以及存储器22。其中,图5中以一个处理器21为例。
所述处理器21和所述存储器22可以通过总线或者其他方式连接,图5中以通过总线连接为例。
所述存储器22作为一种DPI设备协议规则库和规则样本的优化方法非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如实施例1中的DPI设备协议规则库和规则样本的优化方法。所述处理器21通过运行存储在所述存储器22中的非易失性软件程序、指令以及模块,从而执行DPI设备协议规则库和规则样本的优化装置的各种功能应用以及数据处理,即实现实施例1的DPI设备协议规则库和规则样本的优化方法。
所述存储器22可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,所述存储器22可选包括相对于所述处理器21远程设置的存储器,这些远程存储器可以通过网络连接至所述处理器21。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述程序指令/模块存储在所述存储器22中,当被所述一个或者多个处理器21执行时,执行上述实施例1中的DPI设备协议规则库和规则样本的优化方法,例如,执行以上描述的图1-图4所示的各个步骤。
本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,RandomAccessMemory)、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种DPI设备协议规则库和规则样本的优化方法,其特征在于,包括:
对部署在各地的设备规则的命中情况进行收集后,根据命中情况对各设备规则的命中程度进行划分,并将命中程度不满足预设要求的设备规则进入预删除状态,满足预设要求的设备规则放入预发布规则库;
对于进入预删除状态的设备规则,基于应用情况和实验室规则周期命中情况判断各设备规则是否失效;如果失效则直接删除设备规则及对应的规则样本,如果未失效则将设备规则放入所述预发布规则库;
对放入所述预发布规则库中的各设备规则进行性能损耗测试,并对测试不达标的设备规则进行修改或删除,将测试达标的设备规则放回所述预发布规则库;
对所述预发布规则库中的各规则样本进行测试,如果测试合格则将对应的设备规则和规则样本进行发布,如果测试不合格则直接将对应的设备规则和规则样本进行删除。
2.根据权利要求1所述的DPI设备协议规则库和规则样本的优化方法,其特征在于,所述设备规则的命中程度分为高命中度、中命中度、低命中度和无命中4个种类,且具体根据各设备规则的命中比例或命中次数进行命中程度的划分。
3.根据权利要求1所述的DPI设备协议规则库和规则样本的优化方法,其特征在于,所述对部署在各地的设备规则的命中情况进行收集后,根据命中情况对各设备规则的命中程度进行划分,具体为:
分别对部署在各地的设备规则的命中情况进行分类,得到每个设备节点下设备规则的初级命中程度并记录;
将各设备节点下设备规则的初级命中程度进行汇总,并根据汇总结果将各设备规则划分为不同命中程度。
4.根据权利要求3所述的DPI设备协议规则库和规则样本的优化方法,其特征在于,所述分别对部署在各地的设备规则的命中情况进行分类,得到每个设备节点下设备规则的初级命中程度并记录,具体为:
对于各地的设备规则,将无任何命中的设备规则先剔除,并将其初级命中程度记录为“无”;
将剩余的设备规则按照命中次数或命中比例由高到低进行排序,并将排名在前x%的设备规则的初级命中程度记录为“高”,排名在前x%到前y%之间的设备规则的初级命中程度记录为“中”,排名在后(100-y)%的设备规则的初级命中程度记录为“低”。
5.根据权利要求4所述的DPI设备协议规则库和规则样本的优化方法,其特征在于,所述将各设备节点下设备规则的初级命中程度进行汇总,并根据汇总结果将各设备规则划分为不同命中程度,具体为:
将各设备节点下记录的设备规则的初级命中程度进行汇总后,将在各记录中均为“无”的设备规则划分为无命中规则,将在任何一个记录中为“高”的设备规则划分为高命中度规则,将在超过预设比例的记录中为“低”的设备规则划分为低命中度规则,其余设备规则划分为中命中度规则;
其中,高命中度规则和中命中度规则视为满足预设要求,放入所述预发布规则库;低命中度规则和无命中规则视为不满足预设要求,进入预删除状态。
6.根据权利要求1所述的DPI设备协议规则库和规则样本的优化方法,其特征在于,所述对于进入预删除状态的设备规则,基于应用情况和实验室规则周期命中情况判断各设备规则是否失效,具体为:
统计进入预删除状态的各设备规则对应的应用,并获取对应的各应用商店的应用更新和下架信息,进而判断各应用的使用情况;
如果判断应用已下架或应用无法正常使用或应用无法正常访问,则直接将该应用对应的设备规则和规则样本删除;
如果判断应用依然可正常使用,则通过该应用对应的设备规则,对预设周期内实验室获取和保存的该应用的各规则样本进行扫描,判断该设备规则是否能命中规则样本;
如果该设备规则未能命中规则样本,则直接将该设备规则和对应的规则样本删除;如果该设备规则能命中任一个规则样本,则将该设备规则保留并放入所述预发布规则库。
7.根据权利要求1所述的DPI设备协议规则库和规则样本的优化方法,其特征在于,对放入所述预发布规则库中的各设备规则,采用时间作为衡量标准进行性能损耗测试,具体为:
通过协议识别引擎加载单条设备规则,并对pcap文件进行多次回放来模拟收包;统计每个数据包从加载该单条设备规则到匹配完成所耗时的平均值或中值,并将该平均值或中值作为该单条设备规则的性能损耗值;
其中,所述性能损耗值的结果越大,表示对应设备规则的性能越差。
8.根据权利要求7所述的DPI设备协议规则库和规则样本的优化方法,其特征在于,通过计算得到所述预发布规则库中的各设备规则的性能损耗值之后,所述方法还包括:
根据得出的各设备规则的性能损耗值,评估出性能损耗的标准值;
对性能损耗值小于等于所述标准值的设备规则,视为测试达标,则直接将对应的设备规则放回所述预发布规则库;
对性能损耗值大于所述标准值的设备规则进行修改,如果修改后性能损耗值可达到所述标准值以内,则将对应的设备规则放回所述预发布规则库;如果修改后仍未达到所述标准值以内,则将对应的设备规则删除。
9.根据权利要求1所述的DPI设备协议规则库和规则样本的优化方法,其特征在于,所述对所述预发布规则库中的各规则样本进行测试,具体为:
将所述预发布规则库中的规则样本进行全量回放,如果规则样本的协议名和测试结果一致,则视为测试合格,对应的设备规则进入发布版本;
如果规则样本的协议名和测试结果不一致,则进行修正,修正通过后对应的设备规则进入发布版本,修正不通过则视为测试不合格,将对应的设备规则和规则样本进行删除;
封装协议规则库版本和样本测试报告,以便在协议规则识别库进行设备规则和规则样本的发布。
10.一种DPI设备协议规则库和规则样本的优化装置,其特征在于,包括至少一个处理器和存储器,所述至少一个处理器和存储器之间通过数据总线连接,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令在被所述处理器执行后,用于完成权利要求1-9任一所述的DPI设备协议规则库和规则样本的优化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911085753.6A CN111061707B (zh) | 2019-11-08 | 2019-11-08 | 一种dpi设备协议规则库和规则样本的优化方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911085753.6A CN111061707B (zh) | 2019-11-08 | 2019-11-08 | 一种dpi设备协议规则库和规则样本的优化方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111061707A true CN111061707A (zh) | 2020-04-24 |
CN111061707B CN111061707B (zh) | 2020-12-22 |
Family
ID=70297837
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911085753.6A Active CN111061707B (zh) | 2019-11-08 | 2019-11-08 | 一种dpi设备协议规则库和规则样本的优化方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111061707B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113905411A (zh) * | 2021-10-28 | 2022-01-07 | 中国联合网络通信集团有限公司 | 深度包检测识别规则的检测方法、装置、设备及存储介质 |
CN114598659A (zh) * | 2020-11-19 | 2022-06-07 | 华为技术有限公司 | 规则库优化方法和装置 |
CN114826956A (zh) * | 2022-03-30 | 2022-07-29 | 杭州迪普科技股份有限公司 | 用于dpi测试设备的dpi策略库文件自动生成方法和装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103227756A (zh) * | 2013-04-17 | 2013-07-31 | 华为技术有限公司 | 在线协议优化方法和装置 |
US20170005986A1 (en) * | 2015-06-30 | 2017-01-05 | Nicira, Inc. | Firewall Rule Management |
CN106713067A (zh) * | 2016-11-30 | 2017-05-24 | 广东电网有限责任公司信息中心 | 一种基于dpi的敏感文件流转监控方法 |
CN110198313A (zh) * | 2019-05-23 | 2019-09-03 | 新华三信息安全技术有限公司 | 一种策略生成的方法及装置 |
-
2019
- 2019-11-08 CN CN201911085753.6A patent/CN111061707B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103227756A (zh) * | 2013-04-17 | 2013-07-31 | 华为技术有限公司 | 在线协议优化方法和装置 |
US20170005986A1 (en) * | 2015-06-30 | 2017-01-05 | Nicira, Inc. | Firewall Rule Management |
CN106713067A (zh) * | 2016-11-30 | 2017-05-24 | 广东电网有限责任公司信息中心 | 一种基于dpi的敏感文件流转监控方法 |
CN110198313A (zh) * | 2019-05-23 | 2019-09-03 | 新华三信息安全技术有限公司 | 一种策略生成的方法及装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114598659A (zh) * | 2020-11-19 | 2022-06-07 | 华为技术有限公司 | 规则库优化方法和装置 |
CN113905411A (zh) * | 2021-10-28 | 2022-01-07 | 中国联合网络通信集团有限公司 | 深度包检测识别规则的检测方法、装置、设备及存储介质 |
CN113905411B (zh) * | 2021-10-28 | 2023-05-02 | 中国联合网络通信集团有限公司 | 深度包检测识别规则的检测方法、装置、设备及存储介质 |
CN114826956A (zh) * | 2022-03-30 | 2022-07-29 | 杭州迪普科技股份有限公司 | 用于dpi测试设备的dpi策略库文件自动生成方法和装置 |
CN114826956B (zh) * | 2022-03-30 | 2023-05-26 | 杭州迪普科技股份有限公司 | 用于dpi测试设备的dpi策略库文件自动生成方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111061707B (zh) | 2020-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111061707B (zh) | 一种dpi设备协议规则库和规则样本的优化方法和装置 | |
CN106874190B (zh) | 用户界面的测试方法及服务器 | |
US20220398835A1 (en) | Target detection system suitable for embedded device | |
CN103905261B (zh) | 协议特征库在线更新方法及系统 | |
CN112543470B (zh) | 基于机器学习的终端定位方法及系统 | |
CN108282414B (zh) | 一种数据流的引导方法、服务器和系统 | |
CN104427547A (zh) | 业务和网络关联测试方法、装置及系统 | |
CN111479287B (zh) | 非独立组网核心网仿真测试方法、装置、设备及存储介质 | |
US7715317B2 (en) | Flow generation method for internet traffic measurement | |
CN110807493A (zh) | 一种车辆分类模型的优化方法及设备 | |
CN110138638B (zh) | 一种网络流量的处理方法及装置 | |
CN113052308A (zh) | 训练目标小区识别模型的方法及目标小区识别方法 | |
CN111277451B (zh) | 一种业务评估方法、装置、终端设备和介质 | |
CN106789411B (zh) | 一种机房内活跃ip数据的采集方法和装置 | |
CN111935769B (zh) | 质差小区识别方法、装置和设备 | |
CN114827951A (zh) | 一种基于车辆终端的车辆网络质量分析方法、系统及存储介质 | |
CN114125864B (zh) | 基于mdt的邻区检测方法及装置 | |
CN114595146A (zh) | Ab测试方法、装置、系统、电子设备及介质 | |
CN114244691A (zh) | 视频业务的故障定位方法、装置及电子设备 | |
CN111385342A (zh) | 一种物联网行业识别方法、装置、电子设备及存储介质 | |
CN111225405B (zh) | 视频质量问题定界方法、装置、设备及介质 | |
CN117692378A (zh) | 流量数据的聚类方法、装置、存储介质及电子设备 | |
CN114286196A (zh) | 基于无线网络指标的视频质差原因分析方法及装置 | |
CN113965391B (zh) | 一种多数据包文件冒泡排序的方法 | |
CN114860569A (zh) | 应用程序自动化测试方法、设备、存储介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |