CN103227756B - 在线协议优化方法和装置 - Google Patents

Abstract

本发明实施例公开了一种在线协议优化方法和装置。所述方法包括：采集深度包检测DPI系统在运行过程中产生的计数信息；根据所述计数信息生成优化指令；将所述优化指令发送给所述DPI系统，以使所述DPI系统根据所述优化指令对自身的协议特征库中的规则或协议进行优化。本发明实施例提供的在线协议优化方法和装置，能够在线获取DPI系统的信息，通过识别失效规则、检测规则优先级，以及识别协议关联项的命中频率，相应地生成规则更新调整的优化指令和/或老化时间调整的优化指令并下发DPI系统执行，实现了对DPI系统在线协议识别优化。

Description

在线协议优化方法和装置

技术领域

本发明涉及网络数据处理技术领域，尤其涉及一种在线协议优化方法和装置。

背景技术

随着新的网络协议不断涌现，深度包检测（Deep Packet Inspection,DPI）设备需要及时更新协议特征库以支持新协议。而随着特征库中协议和协议规则的增加，DPI设备性能会不断下降，从而导致网络延迟增加、用户体验变差。DPI设备的主要消耗在其对网络流量的识别过程，因此优化DPI识别系统的性能是提升DPI设备竞争力的一个重要途径。

离线进行识别优化是现有DPI设备提供商进行DPI性能优化的常用技术，通过定期从现网收集样本，进行线下性能评估，经过人工分析和制定优化策略来调整知识库，再将知识库更新到DPI识别系统中。离线进行识别优化离开了真实的运行环境，无法保证优化后的知识库在线网运行的效果。因为分析与优化策略的制定都需要人工参与，因此工作周期长、效率低、时效性差，还存在个人隐私泄露的风险。

发明内容

本发明实施例提供了一种在线协议优化方法和装置，可以实现DPI系统的在线协议优化，提高协议优化的实时性和可靠性。

在第一方面，本发明实施例提供了一种在线协议优化方法，所述方法包括：

采集深度包检测DPI系统在运行过程中产生的计数信息；

根据所述计数信息生成优化指令；

将所述优化指令发送给所述DPI系统，以使所述DPI系统根据所述优化指令对自身的协议特征库中的规则或协议进行优化。

在第一种可能的实现方式中，所述计数信息包括关联项的命中次数、命中时间以及所述关联项与应用层协议的对应关系，所述根据所述计数信息生成优化指令具体包括：

基于所述计数信息中包含的所述关联项的命中次数和命中时间计算得到单位时间内的所述关联项的命中次数，当单位时间内所述关联项的命中次数不小于第一阈值时，生成延长所述关联项所对应的应用层协议的老化时间的第一优化指令；当单位时间内所述关联项的命中次数不大于第二阈值时，生成减少所述关联项所对应的应用层协议的老化时间的第二优化指令；其中，所述第二阈值小于所述第一阈值；

所述将所述优化指令发送给所述DPI系统，以使所述DPI系统根据所述优化指令对自身的协议特征库规则或协议进行优化，包括：

将所述生成的所述第一优化指令或者所述第二优化指令发送给所述DPI系统，以使所述DPI系统调整自身的协议特征库中所述关联项所对应的应用层协议的老化时间。

在第二种可能的实现方式中，所述计数信息包括多个关联项的计数信息，其中，每个关联项的计数信息包括：该关联项的命中次数、命中时间以及该关联项与应用层协议的对应关系，所述根据所述计数信息生成优化指令具体包括：

基于各个关联项的命中次数和命中时间，以及关联项与应用层协议的对应关系，计算得到每个应用层协议所对应的所有关联项的平均命中频率；

当所述每个应用层协议对应的所有关联项的平均命中频率不小于第三阈值时，生成延长所述每个应用层协议老化时间的第三优化指令；当协议对应的每个关联项的平均命中频率不大于第四阈值时，生成减少所述每个应用层协议老化时间的第四优化指令；其中，所述第四阈值小于所述第三阈值；

所述将所述优化指令发送给所述DPI系统，以使所述DPI系统根据所述优化指令对自身的协议特征库规则或协议进行优化，包括：

将所述生成的所述第三优化指令或者所述第四优化指令发送给所述DPI系统，以使所述DPI系统调整自身的协议特征库中所述每个应用层协议的老化时间。

在第三种可能的实现方式中，所述计数信息包括所述DPI系统的协议特征库中包含的各个规则的规则ID和每个所述规则的命中时间，所述根据所述计数信息生成优化指令具体包括：

根据所述计数信息中各个规则的最晚命中时间识别失效的规则；

生成用以删除所述失效的规则的第五优化指令；

所述将所述优化指令发送给所述DPI系统，以使所述DPI系统根据所述优化指令对自身的协议特征库规则或协议进行优化，包括：

将所述生成的所述第五优化指令发送给所述DPI系统，以使所述DPI系统从自身的协议特征库中删除所述失效的规则。

在第四种可能的实现方式中，所述计数信息包括所述DPI系统的协议特征库中包含的各个规则的优先级、规则ID和所述规则ID对应的规则的命中次数和命中时间；所述根据所述计数信息生成优化指令，具体包括：

基于每一个规则的命中次数和命中时间，计算得到所述每一个规则的命中频率；

当所述每一个规则的命中频率不小于第五阈值时，生成用以提高所述每一个规则的优先级的第六优化指令；

当所述每一个规则的命中频率小于第六阈值时，生成用以降低所述每一个规则的优先级的第七优化指令；

所述将所述优化指令发送给所述DPI系统，以使所述DPI系统根据所述优化指令对自身的协议特征库规则或协议进行优化，包括：

将所述生成的所述第六优化指令或者所述第七优化指令发送给所述DPI系统，以使所述DPI系统调整自身的协议特征库中所述每一个规则的优先级。

结合第一方面或者第一方面的第四种可能的实现方式，在第五种可能的实现方式中，所述第五阈值具体为所述规则所属协议中所有规则的命中频率的平均值的倍数；所述第六阈值具体为所述规则所属协议中所有规则的命中频率的平均值的一半。

结合第一方面或者第一方面的第四种可能的实现方式，在第六种可能的实现方式中，所述第五阈值具体为所述DPI系统的协议特征库中包含的所有规则的命中频率的平均值的倍数；所述第六阈值具体为所述DPI系统的协议特征库中包含的所有规则的命中频率的平均值的一半。

在第七种可能的实现方式中，所述方法还包括：

在所述采集深度包检测DPI系统的计数信息之后，将所述计数信息进行汇总，并将汇总的计数信息存放在数据库中。

在第二方面，本发明实施例提供了一种在线协议优化装置，所述装置包括：

计数信息收集模块，用于采集深度包检测DPI系统在运行过程中产生的计数信息；

处理模块，用于根据所述计数信息生成优化指令；

策略下发模块，用于将所述优化指令发送给所述DPI系统，以使所述DPI系统根据所述优化指令对自身的协议特征库中的规则或协议进行优化。

在第一种可能的实现方式中，所述计数信息包括关联项的命中次数、命中时间以及所述关联项与应用层协议的对应关系；

所述处理模块包括：老化时间评估单元，用于根据所述计数信息中包含的所述关联项的命中次数和命中时间计算得到单位时间内的所述关联项的命中次数;

优化指令生成单元，用于当单位时间内所述关联项的命中次数不小于第一阈值时，生成延长所述关联项所对应的应用层协议的老化时间的第一优化指令；当单位时间内所述关联项的命中次数不大于第二阈值时，生成减少所述关联项所对应的应用层协议的老化时间的第二优化指令；其中，所述第二阈值小于所述第一阈值；

所述策略下发模块具体用于，将所述生成的所述第一优化指令或者所述第二优化指令发送给所述DPI系统，以使所述DPI系统调整自身的协议特征库中所述关联项所对应的应用层协议的老化时间。

在第二种可能的实现方式中，所述计数信息包括多个关联项的计数信息，其中，每个关联项的计数信息包括：该关联项的命中次数、命中时间以及该关联项与应用层协议的对应关系；

所述处理模块包括：

老化时间评估单元，用于，基于各个关联项的命中次数和命中时间，以及关联项与应用层协议的对应关系，计算得到每个应用层协议所对应的所有关联项的平均命中频率；

优化指令生成单元，用于当所述每个应用层协议对应的所有关联项的平均命中频率不小于第三阈值时，生成延长所述每个应用层协议老化时间的第三优化指令；当协议对应的每个关联项的平均命中频率不大于第四阈值时，生成减少所述每个应用层协议老化时间的第四优化指令；其中，所述第四阈值小于所述第三阈值；

所述策略下发模块具体用于，将所述生成的所述第三优化指令或者所述第四优化指令发送给所述DPI系统，以使所述DPI系统调整自身的协议特征库中所述每个应用层协议的老化时间。

在第三种可能的实现方式中，所述计数信息包括所述DPI系统的协议特征库中包含的各个规则的规则ID和每个所述规则的命中时间，所述处理模块包括：

规则状态评估单元，用于根据所述计数信息中各个规则的最晚命中时间识别失效的规则；

优化指令生成单元，用于生成用以删除所述规则状态评估单元识别出的失效的规则的第五优化指令；

所述策略下发模块具体用于，将所述生成的所述第五优化指令发送给所述DPI系统，以使所述DPI系统从自身的协议特征库中删除所述失效的规则。

在第四种可能的实现方式中，所述计数信息包括所述DPI系统的协议特征库中包含的各个规则的优先级、规则ID和所述规则ID对应的规则的命中次数和命中时间，所述处理模块包括：

规则状态评估模块，用于根据每一个规则的命中次数和命中时间，计算得到所述每一个规则的命中频率；

优化指令生成单元，用于当所述每一个规则的命中频率不小于第五阈值时，生成用以提高所述每一个规则的优先级的第六优化指令；当所述每一个规则的命中频率小于第六阈值时，生成用以降低所述每一个规则的优先级的第七优化指令；

所述策略下发模块具体用于，将所述生成的所述第六优化指令或者所述第七优化指令发送给所述DPI系统，以使所述DPI系统调整自身的协议特征库中所述每一个规则的优先级。

结合第二方面或第二方面的第四种可能的实现方式，在第五种可能的实现方式中，所述第五阈值具体为所述规则所属协议中所有规则的命中频率的平均值的倍数；所述第六阈值具体为所述规则所属协议中所有规则的命中频率的平均值的一半。

结合第二方面或第二方面的第四种可能的实现方式，在第六种可能的实现方式中，所述第五阈值具体为所述DPI系统的协议特征库中包含的所有规则的命中频率的平均值的倍数；所述第六阈值具体为所述DPI系统的协议特征库中包含的所有规则的命中频率的平均值的一半。

在第七种可能的实现方式中，所述装置还包括：

数据库管理模块，用于在所述采集深度包检测DPI系统的计数信息之后，将所述计数信息进行汇总，并将汇总的计数信息存放在数据库中。

本发明实施例提供的在线协议优化方法和装置，通过实施采集DPI系统运行过程中产生的计数信息，通过评估该计数信息来处理生成优化指令，并下发DPI系统，从而实现DPI系统的在线协议优化，提高协议优化的实时性和可靠性。

附图说明

图1为本发明实施例提供的一种在线协议优化方法流程图；

图2为本发明实施例提供的一种在线协议优化方法信令图；

图3为本发明实施例提供的一种在线协议优化装置的框图；

图4为本发明实施例提供的一种应用在线协议优化装置的系统组网图；

图5为本发明实施例提供的另一种应用在线协议优化装置的系统组网图；

图6为本发明实施例提供的一种在线协议优化装置的系统示意图。

下面通过附图和实施例，对本发明实施例的技术方案做进一步的详细描述。

具体实施方式

图1为本发明实施例一提供的一种在线协议优化方法流程图。如图1所示，本实施例包括如下步骤：

步骤110，采集深度包检测DPI系统的计数信息；

具体的，采集DPI系统在运行过程中产生的计数信息。优选的，计数信息包括：协议ID、规则ID、命中时间、识别流的字节数、关联项的命中次数等。

其中，关联项用于表示一个网络节点的地址及协议信息，关联项的作用类似于地址，一个网络节点要想和另外一个网络节点通信，必须要知道其对端网络节点的地址信息和协议信息，比如IP地址、端口号以及协议类型，我们称之为关联项。具体地，在一个实施例中，关联项包括网络节点使用的IP地址、端口号、传输层协议类型（UDP或TCP）。关联项与应用层协议之间存在映射关系，一个或多个关联项对应一个应用层协议。针对一个固定的服务器节点，可以把它使用的关联项与应用层协议关联起来，如果后续的访问流量也具有相同的关联组，那么认为这个流量就是和这个关联项所关联的应用层协议的流量。在一个例子中，DPI以日志形式存放计数信息，该日志形式具体可以包括：识别计数日志（如表1所示）和关联项计数日志（如表2所示）。

表1

表2

通过每隔一个固定的时间读取日志文件，从而获得计数信息。相应的，计数信息可以包括识别计数信息（如表3所示）和关联项计数信息（如表4所示）。

协议ID	规则ID	命中时间	流的字节数	计数来源
					888	1888	2012-7-3012:22:12	5000	DPIA
999	1999	2012-7-3013:10:10	8000	DPIA
					…

777	1777	2012-8-2012:22:12	5000	DPIA
					1323	3434	2012-9-113:10:10	8000	DPIA

表3

关联项	协议	老化时间	计数来源	命中间隔
					58.2.134.123:UDP:2142	BT	1000	DPIA	1秒
56.3.78.121:UDP:2142	Skype	200	DPIA	2秒
					…
58.2.134.134:UDP:3212	MSN	200	DPIA	5秒
					58.2.134.134:UDP:3213	QQ	200	DPIA	8秒

表4

上述计数信息被存放在数据库中，并且这些计数信息的汇总信息，即计数汇总信息也存放在数据库中。相应的，计数汇总信息可以包括识别计数汇总信息（如表5所示）和关联项计数汇总信息（如表6所示）。

协议ID	规则ID	最晚出现时间	计数来源	流数/每天	字节数/天
						888	1888	2012-8-2818:10:10	DPIA	180	200000
999	1999	2012-8-2913:10:10	DPIA	100	300000
						…
777	1777	2012-8-2012:22:12	DPIA	20	100000
						1323	3434	2012-9-211:03:30	DPIA	200	600000

表5

关联项	协议	老化时间	计数来源	命中次数	最晚命中间隔
						58.2.134.123:UDP:2142	BT	1000	DPIA	1000	1000
56.3.78.121:UDP:2142	Skype	200	DPIA	800	130
						…
58.2.134.134:UDP:3212	MSN	200	DPIA	1	5
						58.2.134.134:UDP:3213	QQ	200	DPIA	1	8

表6

步骤120，根据所述计数信息生成优化指令；

具体的，可以包括如下四种实现方式：

在第一种实现方式中，根据所述计数信息生成优化指令的方法具体包括：

步骤120-1a，基于所述计数信息中包含的所述关联项的命中次数和命中时间计算得到单位时间内的所述关联项的命中次数，并基于单位时间内的所述关联项的命中次数，识别出需要调整老化时间的协议；

进一步具体的，

识别出需要降低老化时间的关联项，也就是不常被命中的关联项，即冷节点；

识别出需要延长老化时间的关联项，也就是常被命中的关联项，即热节点。

冷节点和热节点可以通过关联项每秒命中次数（mps）和命中频率参考系数来识别。

命中频率参考系数包括延长系数（DelayAgedCoe）和缩小系数（CutAgedCoe）。

其中，DelayAgedCoe=DPI负荷/1000;CutAgedCoe=DPI负荷/100000。DPI负荷是指 DPI单位时间内可以处理的最大流数。当然，此处的1/1000与1/100000的倍数关系也可以是 其他数值，也可以设定DelayAgedCoe及CutAgedCoe为固定值。CutAgedCoe必须小于 DelayAgedCoe。

在一个统计周期(CycTime)内，如果一个关联项的mps>=DelayAgedCoe，则该关联项被识别为热节点；如果一个关联项的mps<=CutAgedCoe，则该关联项被识别为冷节点。

上述识别过程可以反复执行，即每隔CycTime的时间，统计一次关联项每秒被命中次数(mps)。

CycTime可以配置，优选的，如果CycTime小于MinAgedTime/2，则CycTime取值为MinAgedTime/2。

当单位时间内所述关联项的命中次数不小于DelayAgedCoe时，生成延长所述关联项所对应的应用层协议的老化时间的第一优化指令；当单位时间内所述关联项的命中次数不大于CutAgedCoe时，生成减少所述关联项所对应的应用层协议的老化时间的第二优化指令；

步骤120-1b，生成老化时间调整的优化指令；

根据老化时间调整策略，生成相应的老化时间调整的优化指令。

老化时间调整策略包括：关联项老化时间调整策略和协议关联老化时间调整策略。其中，根据关联项老化时间调整策略生成的关联项老化时间调整的优化指令，仅用于对关联表中的关联项的老化时间进行调整，而根据协议关联老化时间调整策略生成的协议关联老化时间调整的优化指令，用于对关联表中相应协议的所有关联项进行老化时间的更新调整。

在下述例子中，对关联项老化时间调整的第一、第二优化指令的产生进行说明。

当通过mps>=DelayAgedCoe识别出热节点后，按照新的关联项老化时间=原来的关联项老化时间+(mps/DelayAgedCoe)×CycTime×AgedCoe计算该热节点的新的老化时间，如果这个新的老化时间小于最大老化时间(MaxAgedTime)，则产生该热节点的关联项老化时间调整的第一优化指令。如果新的老化时间大于等于MaxAgedTime，则不生成优化指令。MaxAgedTime是可以配置的，例如，可以为5400秒。

当通过mps<=CutAgedCoe识别出冷节点之后，按照新的关联项老化时间=原来的关联项老化时间–(CutAgedCoe/mps)×CycTime×AgedCoe计算该冷节点的新的老化时间，如果这个新的老化时间大于最小老化时间(MinAgedTime)，则产生该冷节点的关联项老化时间调整的第二优化指令。如果新的老化时间小于等于MinAgedTime，则不生成优化指令。MinAgedTime是可以配置的，例如，可以为30秒。

此外，还可以在生成关联项老化时间调整的优化指令之前，判断上述热节点/冷节点的更新次数是否小于等于2次，如果超过2次则不再对其老化时间进行调整，即不生成新的优化指令。这样可以避免万一发生误识别的情况下一直更新老化时间，永不发生节点老化的情况发生。

上述生成的第一优化指令或者第二优化指令发送给DPI系统，可以使DPI系统调整自身的协议特征库中所述关联项所对应的应用层协议的老化时间。

在第二种实现方式中，根据所述计数信息生成优化指令的方法具体包括：

步骤120-2a，基于各个关联项的命中次数和命中时间，以及关联项与应用层协议的对应关系，计算得到每个应用层协议所对应的所有关联项的平均命中频率，识别出需要调整老化时间的协议；

进一步具体的，

冷节点和热节点可以通过协议平均每个关联项的命中频率（pmps）和命中频率参考系数来识别。

pmps=协议包括的关联项的累积命中次数/(协议包括的关联项数量×CycTime)

如果pmps>=(DelayAgedCoe/2)，则该协议包括的关联项均被识别为热节点；

如果pmps<=(CutAgedCoe/2)，则该协议包括的关联项均被识别为冷节点。

当每个应用层协议对应的所有关联项的平均命中频率不小于DelayAgedCoe/2时，生成延长每个应用层协议老化时间的第三优化指令；当协议对应的每个关联项的平均命中频率不大于CutAgedCoe/2时，生成减少所述每个应用层协议老化时间的第四优化指令。其中，CutAgedCoe小于DelayAgedCoe；

以上举例为本发明实施例提供的冷节点和热节点识别的优选方案。冷节点还可以通过如：关联项的命中次数与最晚命中间隔之积小于等于关联项的老化时间的方法或其他方法来识别；其中最晚命中间隔是指最晚一次命中规则的时间至当前时间的间隔。热节点也可以通过如：关联项的命中次数与老化时间之比大于某一固定值的方法或其他方法来识别，该特定值可以通过配置设定。

步骤120-2b，生成老化时间调整的优化指令；

在下述例子中，对协议关联老化时间调整的优化指令的产生进行说明。

当通过pmps>=(DelayAgedCoe/2)识别出热节点后，按照新的协议关联老化时间=原来的协议关联老化时间+(pmps/DelayAgedCoe)×CycTime×(AgedCoe/3)计算该热节点所属协议的新的老化时间，即该协议包括的所有关联项的新的老化时间。如果这个新的老化时间小于最大老化时间(MaxAgedTime)，则产生协议关联老化时间调整的第三优化指令。如果新的老化时间大于等于MaxAgedTime，则不生成优化指令。MaxAgedTime是可以配置的，例如，可以为5400秒。其中，AgedCoe为老化系数，可以配置。优选的，AgedCoe=关联表的大小/DPI负荷。通常该值小于等于1。

当通过pmps<=(CutAgedCoe/2)识别出冷节点后，按照新的协议关联老化时间=原来的协议关联老化时间-(CutAgedCoe/pmps)×CycTime×(AgedCoe/3)计算该冷节点所属协议的新的老化时间。如果这个新的老化时间大于最小老化时间（MinAgedTime），则产生协议关联老化时间调整的第四优化指令。如果新的老化时间小于等于MinAgedTime，则不生成优化指令。MinAgedTime是可以配置的，例如，可以为30秒。

上述生成的第三优化指令或者第四优化指令发送给所述DPI系统，可以使DPI系统调整自身的协议特征库中所述每个应用层协议的老化时间。

上述第一、第二、第三、第四优化指令均为老化时间调整的优化指令，用于使接收该优化指令的DPI系统执行相应的老化时间调整。延长热节点的老化时间，可以有效减少热节点被重复增加/删除的几率，减少互斥访问的次数，而降低冷节点的老化时间，可以有效降低关联表中关联项的数量，以减少查询关联表所用时间，达到性能优化的目的。以上述表6为例，通过上述方法生成的老化时间调整的优化指令，可以提高热节点58.2.134.123:UDP:2142的关联项老化时间并降低MSN和QQ协议的协议关联老化时间。DPI系统执行优化指令后的调整效果如表7所示。

关联项	协议	老化时间	计数来源	命中次数	最晚命中间隔
						58.2.134.123:UDP:2142	BT	1500	DPIA	1000	1000
56.3.78.121:UDP:2142	Skype	200	DPIA	800	130
						…
58.2.134.134:UDP:3212	MSN	30	DPIA	1	5
						58.2.134.134:UDP:3213	QQ	30	DPIA	1	8

表7

上述处理方法通过动态老化时间调整的方法，提高关联表的稳定度和减少关联项的数量，达到性能优化的目的。

在第三种实现方式中，根据所述计数信息生成优化指令的方法具体包括：

步骤120-3a，根据所述计数信息中各个规则的最晚命中时间识别失效的规则；

优选的，当规则的最晚命中时间距离当前时间达到或超过设定的第一阈值时间时，则该规则为失效的规则。

此外，还可以通过检测所述协议的可用性，获取协议可用性信息，来识别失效的规则。

优选的，当协议不可用时间超过设定的第二阈值时间时，则该协议为失效协议，该协议包括的规则均为失效的规则。

其中，协议可用性信息具体可以通过周期性的协议可用性检测来获得。例如，每间隔一定时间执行一次软件的自动运行，当探测到某个软件/服务不可运行的时间达到或超过设定的阈值时间时，则在协议可用性信息中记录相应的协议失效。上述阈值时间可以配置设定。上述协议可用性信息存储在数据库中，具体可以如表8所示。根据表8所示的协议可用性信息可以识别出协议999为失效协议。

协议ID	协议版本	是否失效	版本发布日期	失效日期
					999	1.1.1	是	2011/3/3	2011/8/30
…
					1323	2.1.1	否	2012/1/3	NULL

表8

步骤120-3b，生成用以删除所述失效的规则的第五优化指令。

当识别出失效规则以及失效协议包含的失效的规则之后，生成用以删除所述失效的规则和所述失效协议所包含规则的规则更新调整的第五优化指令。

上述生成的第五优化指令发送给DPI系统，可以使DPI系统从自身的协议特征库中删除所述失效的规则。

在第四种实现方式中，根据所述计数信息生成优化指令的方法具体包括：

步骤120-4a，基于每一个规则的命中次数和命中时间，计算得到所述每一个规则的命中频率；

在一个例子中，规则的优先级可以通过当前规则的命中频率和当前规则所属协议中规则的平均命中频率来检测。

当每一个规则的命中频率不小于第五阈值时，生成用以提高每一个规则的优先级的第六优化指令；其中，第五阈值具体为规则所属协议中所有规则的命中频率的平均值的倍数。

优选的，如果在M个连续的优先级检测周期内，一个规则的命中频率都不小于该规则所属协议中其他规则平均命中频率的N倍，那么该规则的优先级被评估为高优先级。M、N均为正整数，可以通过配置来设定M、N的具体数值。

当每一个规则的命中频率小于第六阈值时，生成用以降低每一个规则的优先级的第七优化指令；其中，所述第六阈值具体为规则所属协议中所有规则的命中频率的平均值的几分之一。

优选的，如果在P个连续的优先级检测周期内，一个规则的命中频率都小于该规则所属协议中其他规则平均命中频率的1/Q，那么该规则的优先级被评估为低优先级。P、Q均为正整数，可以通过配置来设定P、Q的具体数值。

在另一个例子中，规则的优先级可以通过规则的命中频率和全部规则的平均命中频率来检测。

当每一个规则的命中频率不小于第五阈值时，生成用以提高每一个规则的优先级的第六优化指令；其中第五阈值具体为DPI系统的协议特征库中包含的所有规则的命中频率的平均值的倍数。

优选的，如果在M个连续的优先级检测周期内，一个规则的命中频率都高于所有规则的平均命中频率的N倍，那么该规则的优先级被评估为高优先级。M、N均为正整数，可以通过配置来设定M、N的具体数值。

当每一个规则的命中频率小于第六阈值时，生成用以降低每一个规则的优先级的第七优化指令；其中，第六阈值具体为DPI系统的协议特征库中包含的所有规则的命中频率的平均值的几分之一。

优选的，如果在P个连续的优先级检测周期内，一个规则的命中频率都低于所有规则的平均命中频率的1/Q，那么该规则的优先级被评估为低优先级。P、Q均为正整数，可以通过配置来设定P、Q的具体数值。

步骤120-4b，根据规则的优先级生成规则更新调整的优化指令，用以调整所述规则的优先级。

在下述例子中，对产生用于规则优先级更新调整的优化指令进行说明。

当检测出规则中高优先级的规则与低优先级的规则之后，对于高优先级的规则，按照生成上调其优先级K个等级的策略生成优化指令。如果提升后的规则的新优先级大于最大优先级（MaxPri），则生成使该规则的新优先级调整为MaxPri的第六优化指令。其中K为可以配置的正整数。对于低优先级的规则，按照生成下调其优先级L个等级的策略生成优化指令。如果降低后的规则的新优先级小于最小优先级（MinPri），则生成使该规则的新优先级调整为MinPri的第七优化指令。其中L为可以配置的正整数。

将生成的第六优化指令或者第七优化指令发送给所述DPI系统，可以使所述DPI系统调整自身的协议特征库中所述每一个规则的优先级。

上述第五、第六、第七优化指令均为规则更新调整的优化指令，用于使接收该优化指令的DPI系统执行相应的失效规则删除及规则优先级调整。删除失效规则可以有效减少协议规则的数量，以减少规则匹配所用时间；规则优先级调整可以决定规则的匹配顺序和识别结果，使网络流量总能被优先级最高的规则先匹配，从而实现对DPI系统性能的高效优化。

此外，上述四种可能的实现方式还可以任意两种、三种或者四种的相互结合，生成老化时间调整的优化指令和规则更新调整的优化指令，对系统性能进行优化。具体方法同上述两种实现方式，此处不再赘述。

步骤130，将所述优化指令下发DPI系统，用于对DPI系统的规则或协议进行处理，从而实现对DPI系统的优化。

将上述步骤120中生成的优化指令下发到DPI系统执行，从而对DPI系统进行协议优化。

前述实施例说明了实现DPI系统的在线协议优化方法，进一步地，该实现DPI系统的在线协议优化方法的过程可以如图2所示。

图2为本发明实施例提供一种在线协议优化方法信令图。如图2所示，具体包括如下步骤：

步骤201，计数信息收集模块采集DPI系统的计数信息；

具体的，DPI系统以日志方式存放计数信息，计数信息收集模块每隔一段时间去取一次日志文件，读取有用的计数信息。

步骤202，计数信息收集模块通过数据库管理模块将计数信息存放到数据库中；

具体的，计数信息收集模块调用数据库管理模块的接口，将采集到的计数信息存放到数据库中。

步骤203，计数信息收集模块将计数信息汇总为计数汇总信息并存放到数据库中；

具体的，计数信息收集模块每隔一段时间获取一次数据库中存放的计数信息，将这些计数信息进行汇总，并将汇总后的计数信息页存放到数据库中。

步骤204，协议可用性探测模块将探测获得的协议可用性信息通过数据库管理模块存放到数据库中；

具体的，协议可用性探测模块不停地测试一些软件/服务的可用性，获取协议可用性信息，并通过数据库管理模块将协议可用性信息存放到数据库中。

步骤205，规则状态评估模块通过数据库管理模块访问存储在数据库中的计数信息、计数汇总信息和协议可用性信息；

步骤206，规则状态评估模块通过访问的信息识别失效的规则，并对规则的优先级进行检测，生成规则更新调整的优化指令。

具体的，识别失效的规则的过程如上述方法实施例中步骤120-3a所述，检测规则的优先级的过程如上述方法实施例中步骤120-4a所述，生成规则更新调整的优化指令的过程如上述方法实施例中步骤120-3b、120-4b所述，此处不再赘述。

步骤207，规则状态评估模块传送规则更新调整的优化指令至规则下发模块；

步骤208，老化时间评估模块通过数据库管理模块访问存储在数据库中的计数信息和计数汇总信息；

步骤209，规则状态评估模块通过访问的信息识别计数信息中的冷节点和热节点，生成老化时间调整的优化指令。

具体的，识别计数信息中的冷节点和热节点的过程如上述方法实施例中步骤120-1a、120-2a所述，生成老化时间调整的优化指令的过程如上述方法实施例中步骤120-1b、120-2b所述，此处不再赘述。

步骤210，老化时间评估模块生成并传送老化时间调整的优化指令至规则下发模块；

步骤211，规则下发模块将老化时间调整的优化指令和规则更新调整的优化指令下发到DPI系统。

本发明实施例提供的在线协议优化方法，能够在线获取DPI系统的信息，通过识别计数信息中的失效规则和检测规则优先级，以及识别协议关联项的命中频率，相应地生成规则更新调整的优化指令和老化时间调整的优化指令并下发DPI系统执行，实现了对DPI系统的在线协议优化。

本发明实施例还提供了一种在线协议优化装置，用以实现本发明上述实施例提供的在线协议优化方法。如图3所示，在线协议优化装置30包括：计数信息收集模块310，处理模块320和策略下发模块330。计数信息收集模块310用于采集深度包检测DPI系统在运行过程中产生的计数信息；处理模块320，用于根据所述计数信息生成优化指令；策略下发模块330，用于将所述优化指令发送给所述DPI系统，以使所述DPI系统根据所述优化指令对自身的协议特征库中的规则或协议进行优化。

优选的，处理模块320包括老化时间评估单元321和优化指令生成单元322；

优选的，在一个实施例中，计数信息包括关联项的命中次数、命中时间以及所述关联项与应用层协议的对应关系；

相应地，老化时间评估单元321具体用于，根据所述计数信息中包含的所述关联项的命中次数和命中时间计算得到单位时间内的所述关联项的命中次数；优化指令生成单元322，具体用于当老化时间评估单元321计算得出的单位时间内所述关联项的命中次数不小于第一阈值时，生成延长所述关联项所对应的应用层协议的老化时间的第一优化指令；当老化时间评估单元321计算得出的单位时间内所述关联项的命中次数小于第二阈值时，生成减少所述关联项所对应的应用层协议的老化时间的第二优化指令；其中，所述第二阈值小于或等于所述第一阈值；

在这种情形下，策略下发模块330具体用于，将优化指令生成单元322生成的所述第一优化指令或者所述第二优化指令发送给所述DPI系统，以使所述DPI系统调整自身的协议特征库中所述关联项所对应的应用层协议的老化时间。

优选的，在另一个实施例中，计数信息包括多个关联项的计数信息，其中，每个关联项的计数信息包括：该关联项的命中次数、命中时间以及该关联项与应用层协议的对应关系；

相应地，老化时间评估单元321具体用于，根据各个关联项的命中次数和命中时间，以及关联项与应用层协议的对应关系，计算得到每个应用层协议所对应的所有关联项的平均命中频率；优化指令生成单元322，具体用于当所述每个应用层协议对应的所有关联项的平均命中频率不小于第三阈值时，生成延长所述每个应用层协议老化时间的第三优化指令；当协议对应的每个关联项的平均命中频率小于第四阈值时，生成减少所述每个应用层协议老化时间的第四优化指令；其中，第四阈值小于或等于第三阈值；

在这种情形下，策略下发模块330具体用于，将所述生成的所述第三优化指令或者所述第四优化指令发送给所述DPI系统，以使所述DPI系统调整自身的协议特征库中所述每个应用层协议的老化时间。

在另一个实施例中，处理模块320包括规则状态评估模块323和优化指令生成单元322；

优选的，在一个实施例中，计数信息包括所述DPI系统的协议特征库中包含的各个规则的规则ID和每个所述规则的命中时间；

相应地，规则状态评估模块323，具体用于根据所述计数信息中各个规则的最晚命中时间识别失效的规则；优化指令生成单元322，具体用于生成用以删除规则状态评估模块323识别出的失效的规则的第五优化指令；

策略下发模块330具体用于，将所述生成的所述第五优化指令发送给所述DPI系统，以使所述DPI系统从自身的协议特征库中删除所述失效的规则。

优选的，在另一个实施例中，计数信息包括所述DPI系统的协议特征库中包含的各个规则的优先级、规则ID和所述规则ID对应的规则的命中次数和命中时间；

相应地。规则状态评估模块323具体用于：根据每一个规则的命中次数和命中时间，计算得到所述每一个规则的命中频率；

优化指令生成单元322，具体用于当规则状态评估模块323计算得到的所述每一个规则的命中频率不小于第五阈值时，生成用以提高所述每一个规则的优先级的第六优化指令；当当规则状态评估模块323计算得到的所述每一个规则的命中频率小于第六阈值时，生成用以降低所述每一个规则的优先级的第七优化指令；

策略下发模块330具体用于，将优化指令生成单元323生成的所述第六优化指令或者所述第七优化指令发送给所述DPI系统，以使所述DPI系统调整自身的协议特征库中所述每一个规则的优先级。

进一步优选的，第五阈值具体为所述规则所属协议中所有规则的命中频率的平均值的倍数；所述第六阈值具体为所述规则所属协议中所有规则的命中频率的平均值的一半。

进一步优选的，第五阈值具体为所述DPI系统的协议特征库中包含的所有规则的命中频率的平均值的倍数；所述第六阈值具体为所述DPI系统的协议特征库中包含的所有规则的命中频率的平均值的一半。

策略下发模块330接收老化时间评估模块321和规则状态评估模块323产生的优化指令，并将上述优化指令下发DPI系统，用以对所述DPI系统中的规则或协议进行处理，从而对所述DPI系统进行优化。

优选的，上述装置还包括：数据库管理模块340。该模块用于在采集深度包检测DPI系统的计数信息之后，将所述计数信息进行汇总，并将汇总的计数信息存放在数据库中。

优选的，上述装置还包括：协议可用性探测模块350。该模块用于通过检测协议的可用性，获取协议可用性信息，从而识别失效的规则。

协议可用性探测模块350识别出的失效的规则也可以通过规则状态评估模块323生成规则更新调整的优化指令，并执行去除协议可用性探测模块350识别出的失效规则后的未失效规则的优先级评估。

需要说明的是，本发明实施例提供的在线协议优化装置30，是与本发明实施例提供的在线协议优化方法对应的装置，该线协议优化装置30中各个模块和单元的具体实现细节可以参考前述方法实施例，此处不再赘述。

应用本发明实施例提供的在线协议优化装置，通过计数信息收集模块在线采集DPI系统中的计数信息，经处理模块对计数信息分析后生成优化指令，通过策略下发模块330下发到DPI系统，实现了对DPI系统的在线协议优化。

本发明实施例提供的在线协议优化装置可以部署在多种网络环境中。其中，作为示例而非限定，本发明实施例提供的在线协议优化装置可以部署在ISP提供商的全网环境中，同时优化多个网关设备。图4为本发明实施例提供的一种应用在线协议优化装置的组网图。

如图4所示，该应用环境中包括RNC站点网关420、GGSN网关430和SCG网关440，在线协议优化装置410分别采集RNC站点网关420的DPI设备421、GGSN网关430的DPI设备431和SCG网关440的DPI设备441的计数信息，对这些计数信息进行检测之后，生成相应的优化指令，分别下发到上述各DPI设备，从而可以同时对上述各网关的DPI设备进行优化。

或者，本发明实施例提供的在线协议优化装置也可以部署在国际互联网络internet中，同时优化多家企业网关上的DPI设备。图5为本发明实施例提供的另一种应用在线协议优化装置的组网图。

如图5所示，该应用环境中包括企业A网关上的DPI设备520、企业B网关上的DPI设备530和企业C网关上的DPI设备540，在线协议优化装置510分别采集企业A网关上的DPI设备520、企业B网关上的DPI设备530和企业C网关上的DPI设备540的计数信息，对这些计数信息进行检测之后，生成相应的优化指令，分别下发到上述各DPI设备，从而可以同时对上述各企业网关的DPI设备进行优化。

图6为本发明实施例提供的另一种在线协议优化装置的结构示意图，如图6所示，本实施例的装置包括通信接口61，至少一个处理器62和存储器63。处理器62、存储器63和通信接口61通过总线64连接并完成相互间的通信。所述总线64可以是工业标准体系结构（Industry Standard Architecture，简称为ISA）总线、外部设备互连（PeripheralComponent，简称为PCI）总线或扩展工业标准体系结构（Extended Industry StandardArchitecture，简称为EISA）总线等。所述总线64可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线64或一种类型的总线64。其中，通信接口61可以为网口、USB接口、射频单元、天线、wi-fi通信模块等可以实现数据收发功能的器件或单元；存储器63用于存储可执行程序代码，该程序代码包括计算机操作指令。存储器63可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatilememory），例如至少一个磁盘存储器。在一个实施例中，处理器62通过读取存储器63中存储的DPI系统在运行过程中产生的计数信息，以用于：根据所述计数信息生成优化指令；将所述优化指令通过通信接口61发送给所述DPI系统，以使所述DPI系统根据所述优化指令对自身的协议特征库中的规则或协议进行优化处理器62可能是一个中央处理器（CentralProcessing Unit，简称为CPU），或者是特定集成电路（Application Specific IntegratedCircuit，简称为ASIC），或者是被配置成实施本发明实施例的一个或多个集成电路。

上述处理器62除了实现上述功能之外，还可用于执行上述方法实施例中的其他流程，在此不再赘述。

其中，上述流程的具体细节，可以参照上述方法实施例，此处不再赘述。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种在线协议优化方法，其特征在于，所述方法包括：

采集深度包检测DPI系统在运行过程中产生的计数信息，在所述采集深度包检测DPI系统的计数信息之后，将所述计数信息进行汇总，并将汇总的计数信息存放在数据库中，所述计数信息包括关联项的命中时间和命中次数，或者，所述计数信息包括：所述DPI系统的协议特征库中各个规则的命中次数和命中时间；

根据所述计数信息生成优化指令；

将所述优化指令发送给所述DPI系统，以使所述DPI系统根据所述优化指令对自身的协议特征库中的规则或协议进行优化。

2.根据权利要求1所述的方法，其特征在于，所述计数信息包括关联项的命中次数和命中时间，所述根据所述计数信息生成优化指令具体包括：

基于所述计数信息中包含的所述关联项的命中次数和命中时间计算得到单位时间内的所述关联项的命中次数，当单位时间内所述关联项的命中次数不小于第一阈值时，生成延长所述关联项所对应的应用层协议的老化时间的第一优化指令；当单位时间内所述关联项的命中次数不大于第二阈值时，生成减少所述关联项所对应的应用层协议的老化时间的第二优化指令；其中，所述第二阈值小于所述第一阈值；

所述将所述优化指令发送给所述DPI系统，以使所述DPI系统根据所述优化指令对自身的协议特征库规则或协议进行优化，包括：

将所述生成的所述第一优化指令或者所述第二优化指令发送给所述DPI系统，以使所述DPI系统调整自身的协议特征库中所述关联项所对应的应用层协议的老化时间。

3.根据权利要求1所述的方法，其特征在于，所述计数信息包括关联项的命中次数、命中时间以及该关联项与应用层协议的对应关系，所述根据所述计数信息生成优化指令具体包括：

基于各个关联项的命中次数和命中时间，以及关联项与应用层协议的对应关系，计算得到每个应用层协议所对应的所有关联项的平均命中频率；当所述每个应用层协议对应的所有关联项的平均命中频率不小于第三阈值时，生成延长所述每个应用层协议老化时间的第三优化指令；当协议对应的每个关联项的平均命中频率不大于第四阈值时，生成减少所述每个应用层协议老化时间的第四优化指令；其中，所述第四阈值小于所述第三阈值；

所述将所述优化指令发送给所述DPI系统，以使所述DPI系统根据所述优化指令对自身的协议特征库规则或协议进行优化，包括：

将所述生成的所述第三优化指令或者所述第四优化指令发送给所述DPI系统，以使所述DPI系统调整自身的协议特征库中所述每个应用层协议的老化时间。

4.根据权利要求1所述的方法，其特征在于，所述根据所述计数信息生成优化指令具体包括：

根据所述计数信息中各个规则的最晚命中时间识别失效的规则；

生成用以删除所述失效的规则的第五优化指令；

所述将所述优化指令发送给所述DPI系统，以使所述DPI系统根据所述优化指令对自身的协议特征库规则或协议进行优化，包括：

将所述生成的所述第五优化指令发送给所述DPI系统，以使所述DPI系统从自身的协议特征库中删除所述失效的规则。

5.根据权利要求1所述的方法，其特征在于，所述计数信息还包括所述DPI系统的协议特征库中包含的各个规则的优先级；所述根据所述计数信息生成优化指令，具体包括：

基于每一个规则的命中次数和命中时间，计算得到所述每一个规则的命中频率；

当所述每一个规则的命中频率不小于第五阈值时，生成用以提高所述每一个规则的优先级的第六优化指令；

当所述每一个规则的命中频率小于第六阈值时，生成用以降低所述每一个规则的优先级的第七优化指令；

所述将所述优化指令发送给所述DPI系统，以使所述DPI系统根据所述优化指令对自身的协议特征库规则或协议进行优化，包括：

将所述生成的所述第六优化指令或者所述第七优化指令发送给所述DPI系统，以使所述DPI系统调整自身的协议特征库中所述每一个规则的优先级。

6.根据权利要求5所述的方法，其特征在于，所述第五阈值具体为所述规则所属协议中所有规则的命中频率的平均值的倍数；所述第六阈值具体为所述规则所属协议中所有规则的命中频率的平均值的一半。

7.根据权利要求5所述的方法，其特征在于，所述第五阈值具体为所述DPI系统的协议特征库中包含的所有规则的命中频率的平均值的倍数；所述第六阈值具体为所述DPI系统的协议特征库中包含的所有规则的命中频率的平均值的一半。

8.一种在线协议优化装置，其特征在于，所述装置包括：

计数信息收集模块，用于采集深度包检测DPI系统在运行过程中产生的计数信息，所述计数信息包括关联项的命中时间和命中次数，或者，所述计数信息包括：所述DPI系统的协议特征库中各个规则的命中次数和命中时间；

数据库管理模块，用于在所述采集深度包检测DPI系统的计数信息之后，将所述计数信息进行汇总，并将汇总的计数信息存放在数据库中；

处理模块，用于根据计数信息收集模块采集到的所述计数信息生成优化指令；

策略下发模块，用于将所述处理模块生成的所述优化指令发送给所述DPI系统，以使所述DPI系统根据所述优化指令对自身的协议特征库中的规则或协议进行优化。

9.根据权利要求8所述的装置，其特征在于，所述计数信息包括关联项的命中次数和命中时间，所述处理模块包括：老化时间评估单元，用于根据所述计数信息中包含的所述关联项的命中次数和命中时间计算得到单位时间内的所述关联项的命中次数；

优化指令生成单元，用于当单位时间内所述关联项的命中次数不小于第一阈值时，生成延长所述关联项所对应的应用层协议的老化时间的第一优化指令；当单位时间内所述关联项的命中次数不大于第二阈值时，生成减少所述关联项所对应的应用层协议的老化时间的第二优化指令；其中，所述第二阈值小于所述第一阈值；

所述策略下发模块具体用于，将所述生成的所述第一优化指令或者所述第二优化指令发送给所述DPI系统，以使所述DPI系统调整自身的协议特征库中所述关联项所对应的应用层协议的老化时间。

10.根据权利要求8所述的装置，其特征在于，所述计数信息包括关联项的命中次数、命中时间以及该关联项与应用层协议的对应关系，所述处理模块包括：

老化时间评估单元，用于，基于各个关联项的命中次数和命中时间，以及关联项与应用层协议的对应关系，计算得到每个应用层协议所对应的所有关联项的平均命中频率；

优化指令生成单元，用于当所述每个应用层协议对应的所有关联项的平均命中频率不小于第三阈值时，生成延长所述每个应用层协议老化时间的第三优化指令；当协议对应的每个关联项的平均命中频率不大于第四阈值时，生成减少所述每个应用层协议老化时间的第四优化指令；其中，所述第四阈值小于所述第三阈值；

所述策略下发模块具体用于，将所述生成的所述第三优化指令或者所述第四优化指令发送给所述DPI系统，以使所述DPI系统调整自身的协议特征库中所述每个应用层协议的老化时间。

11.根据权利要求8所述的装置，其特征在于，所述处理模块包括：

规则状态评估单元，用于根据所述计数信息中各个规则的最晚命中时间识别失效的规则；

优化指令生成单元，用于生成用以删除所述规则状态评估单元识别出的失效的规则的第五优化指令；

所述策略下发模块具体用于，将所述生成的所述第五优化指令发送给所述DPI系统，以使所述DPI系统从自身的协议特征库中删除所述失效的规则。

12.根据权利要求8所述的装置，其特征在于，所述计数信息还包括所述DPI系统的协议特征库中包含的各个规则的优先级，所述处理模块包括：

规则状态评估模块，用于根据每一个规则的命中次数和命中时间，计算得到所述每一个规则的命中频率；

优化指令生成单元，用于当所述每一个规则的命中频率不小于第五阈值时，生成用以提高所述每一个规则的优先级的第六优化指令；当所述每一个规则的命中频率小于第六阈值时，生成用以降低所述每一个规则的优先级的第七优化指令；

所述策略下发模块具体用于，将所述生成的所述第六优化指令或者所述第七优化指令发送给所述DPI系统，以使所述DPI系统调整自身的协议特征库中所述每一个规则的优先级。

13.根据权利要求12所述的装置，其特征在于，所述第五阈值具体为所述规则所属协议中所有规则的命中频率的平均值的倍数；所述第六阈值具体为所述规则所属协议中所有规则的命中频率的平均值的一半。

14.根据权利要求12所述的装置，其特征在于，所述第五阈值具体为所述DPI系统的协议特征库中包含的所有规则的命中频率的平均值的倍数；所述第六阈值具体为所述DPI系统的协议特征库中包含的所有规则的命中频率的平均值的一半。