CN101483557A - 一种用于深度报文检测设备的日志统计、保存方法和系统 - Google Patents

Abstract

本发明公开了一种用于深度报文检测设备的日志统计、保存方法和系统，该方法包括：业务识别模块通过检测接收到的IP报文中的相关信息，向统计模块发送反映活跃用户日志信息的状态消息；老化模块老化不活跃的用户和协议连接，向统计模块发送反映不活跃用户日志信息的状态消息；统计模块根据收到的反映活跃用户和不活跃用户日志信息的状态消息，对日志信息进行统计和保存。该系统包括业务识别模块、老化模块、统计模块。采用本发明的技术方案，可以高效准确的完成对日志信息的统计与保存。

Description

一种用于深度报文检测设备的日志统计、保存方法和系统

技术领域

本发明涉及数据通信技术领域，尤其涉及一种用于深度报文检测设备的日志统计、保存方法和系统。

背景技术

随着互联网技术的快速发展，网络上承载的内容越来越丰富，网络服务供应商对用户提供的服务内容及业务应用种类也越来越多，这些发展在繁荣网络的同时，也给网络服务供应商、企业、用户等在网络管理、业务运维、网络安全等方面带来了诸多问题，这些问题是由于传统网络本身缺乏业务层的管控能力，无法对网络中的业务和用户进行识别所造成的，因而产生了完成业务识别与管控功能的深度报文检测设备。

深度报文检测设备不仅要对4层以下的报文头做检测，而且需要查看4层以上，甚至是报文内容，这样才能对应用层进行分析，进而区分不同的报文应用类型。深度报文检测设备运行中对大量的IP(Internet protocol，互联网协议)报文进行分析，得到所述IP报文中反映的用户信息、协议连接情况以及报文应用类型等日志信息，而现有技术中还没有适用于深度报文检测设备的统计及保存日志信息的方法。另一方面，日志信息的统计与保存是否高效准确直接影响到深度报文检测设备的性能及用户的使用。

专利200610171782提供了一种移动通信中统计流量的方法和系统，对不同的分组数据协议上下文分开统计，从而可以实现对不同内容无线增值业务分别计费。该方法是在独立深度包检测设备中建立上下文用户表，该表为映射关系，该映射关系包括业务流模板、分组数据协议上下文类型及用户的信息，并包括步骤：在远程认证拨号用户服务消息中附着可以区分主、次分组数据协议上下文及不同次分组数据协议上下文的业务流模板信息；独立深度包检测根据收到的远程认证拨号用户服务消息及其中的业务流模板信息对上下文用户表项进行操作；独立深度包检测对经过其的数据包进行深度检测并提取业务流模板信息，通过在上下文用户表中查找该数据包的类型并进行统计。该系统包括：网关通用分组无线服务支持节点和独立深度包检测设备，其中独立深度包检测设备具有分组数据协议会话管理单元、上下文用户表单元、业务流模板单元以及检测和统计单元。该专利是针对移动通信技术领域中用户使用无线增值业务时，现有技术不能对不同的分组数据协议上下文分开统计以实现对不同内容无线增值业务分别计费的问题，提出的一个解决方案，该方案基于移动通信领域的数据包建立了一套识别用户、分组数据协议上下文类型的系统和方法，具体的检测过程是：从数据包中提取业务流模板信息，在上下文用户表中根据数据包中的检测信息和业务流模板信息分别查找该数据包对应的用户和对应分组数据协议上下文的类型。而由于解决的技术问题和处理的对象不同，该方案并不适用于数据通信技术领域。专利200810098105中提出了一种深度报文检测方法和装置，公开了如何对IP报文进行应用类型识别的技术内容，但并未记载如何对IP报文中的日志信息进行统计和保存的过程，同样，专利200610171782主要记载的是对用户、分组数据协议上下文类型的识别过程，也未详细记载如何对数据包中的日志信息进行统计和保存，目前国内外现有的日志统计与保存方法也均不适于深度报文检测设备。

发明内容

本发明要解决的技术问题是，提供一种用于深度报文检测设备的日志统计、保存方法和系统，高效准确的完成对日志信息的统计与保存。

本发明采用的技术方案是，所述用于深度报文检测设备的日志统计、保存方法，包括：业务识别模块通过检测接收到的IP报文中的相关信息，向统计模块发送反映活跃用户日志信息的状态消息；

老化模块老化不活跃的用户和协议连接，向统计模块发送反映不活跃用户日志信息的状态消息；

统计模块根据收到的反映活跃用户和不活跃用户日志信息的状态消息，对日志信息进行统计和保存。

所述相关信息为IP报文中的源IP地址、目的IP地址、源端口、目的端口和协议类型；所述活跃用户日志信息包括用户信息、协议连接情况和报文应用类型，所述不活跃用户日志信息包括用户信息或协议连接情况。

进一步的，所述业务识别模块通过检测接收到的IP报文中的相关信息，向统计模块发送反映活跃用户日志信息的状态消息具体包括：

步骤a、业务识别模块收到IP报文后，先进行用户识别，对不在线的用户进行用户上线操作，并向统计模块发送用户上线消息；

步骤b、进行协议连接识别，对未识别出协议连接的情况进行建立协议连接操作，并向统计模块发送协议连接建立消息；

步骤c、进行报文应用类型识别，识别出报文应用类型后，向统计模块发送报文应用类型确定消息。

进一步的，所述老化模块老化不活跃的用户和已识别的协议连接，向统计模块发送反映不活跃用户日志信息的状态消息具体包括：

当老化模块老化不活跃的协议连接时，删除已识别的协议连接记录，并向统计模块发送协议连接关闭消息；

当老化模块老化不活跃的用户时，对不活跃的用户做下线处理，并向统计模块发送用户下线消息。

进一步的，所述统计模块根据收到的反映活跃用户和不活跃用户日志信息的状态消息，对日志信息进行统计和保存具体包括：

当统计模块收到用户上线消息时，在内部存储介质的当前日志中记录用户上线时间；

当统计模块收到协议连接建立消息时，在内部存储介质的当前日志中记录协议连接建立时间；

当统计模块收到报文应用类型确定消息时，在内部存储介质的当前日志中记录报文应用类型；

当统计模块收到协议连接关闭消息时，在内部存储介质的当前日志中记录协议连接关闭时间，统计协议连接的流量，并将该协议连接的日志信息从内部存储介质的当前日志移入历史日志中；

当统计模块收到用户下线消息时，在内部存储介质的当前日志中记录用户下线时间，并将该用户的日志信息从内部存储介质的当前日志移入历史日志中。

该协议连接的日志信息包括用户上线时间、协议连接建立时间、关闭协议连接时间、报文应用类型和协议连接的流量；

该用户的日志信息包括用户上线时间和用户下线时间。

作为一种优选的技术方案，该方法中的所述统计模块还定时更新和转存日志信息。

一种用于深度报文检测设备的日志统计、保存系统，包括：

业务识别模块，用于通过检测接收到的IP报文中的相关信息，向统计模块发送反映活跃用户日志信息的状态消息；

老化模块，用于老化不活跃的用户和已识别的协议连接，向统计模块发送反映不活跃用户日志信息的状态消息；

统计模块，用于根据收到的反映活跃用户和不活跃用户日志信息的状态消息，对日志信息进行统计和保存。

进一步的，所述业务识别模块通过检测接收到的IP报文中的相关信息，向统计模块发送反映活跃用户日志信息的状态消息具体包括：

业务识别模块收到IP报文后，先进行用户识别，对不在线的用户进行用户上线操作，并向统计模块发送用户上线消息；

在进行协议连接识别时，对未识别出协议连接的情况进行建立协议连接操作，并向统计模块发送协议连接建立消息；

在进行报文应用类型识别时，识别出报文应用类型后，向统计模块发送报文应用类型确定消息。

进一步的，所述统计模块根据收到的反映活跃用户和不活跃用户日志信息的状态消息，对日志信息进行统计和保存具体包括：

当统计模块收到用户上线消息时，在内部存储介质的当前日志中记录用户上线时间；

当统计模块收到协议连接建立消息时，在内部存储介质的当前日志中记录协议连接建立时间；

当统计模块收到报文应用类型确定消息时，在内部存储介质的当前日志中记录报文应用类型；

当统计模块收到协议连接关闭消息时，在内部存储介质的当前日志中记录协议连接关闭时间，统计协议连接的流量，并将该协议连接的日志信息从内部存储介质的当前日志移入历史日志中；

当统计模块收到用户下线消息时，在内部存储介质的当前日志中记录用户下线时间，并将该用户的日志信息从内部存储介质的当前日志移入历史日志中。

作为一种优选的技术方案，该系统进一步包括定时模块，用于定时触发统计模块更新和转存日志信息。

采用上述技术方案，本发明至少具有下列优点：

本发明所述用于深度报文检测设备的日志统计、保存方法和系统，基于深度报文检测设备的识别功能，对业务数据流中的大量IP报文进行检测，识别出反映用户信息、协议连接情况以及报文应用类型等日志信息，并在上述日志信息的基础上对其进行统计，在内部存储介质的日志中记录日志信息，且定期更新和转存日志信息，从而高效准确的完成对日志信息的统计与保存，进一步提升了深度报文检测设备的性能及用户的体验和感受。

附图说明

图1为本发明第一实施例中所述业务识别模块工作流程图；

图2为本发明第一实施例中所述统计模块工作流程图；

图3为本发明第二实施例中所述用于深度报文检测设备的日志统计、保存系统结构示意图；

图4为本发明第三实施例中所述用于深度报文检测设备的日志统计、保存系统结构示意图。

具体实施方式

为更进一步阐述本发明为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明提出的用于深度报文检测设备的日志统计、保存方法和系统，详细说明如后。

本发明第一实施例中，一种用于深度报文检测设备的日志统计、保存方法，包括：

步骤一、业务识别模块通过检测接收到的IP报文中的相关信息，向统计模块发送反映活跃用户日志信息的状态消息，所述相关信息为IP报文中的源IP地址、目的IP地址、源端口、目的端口和协议类型，如图1所示，步骤一具体包括：

步骤a、业务识别模块收到业务数据流中的IP报文后，通过检查报文头中的源IP地址或目的IP地址进行用户识别，判断用户是否在线，如果用户在线，则直接执行步骤b，如果用户不在线，则进行用户上线操作，向统计模块发送用户上线消息，再执行步骤b。

步骤b、业务识别模块通过检查报文头中的源端口或目的端口进行协议连接识别，判断协议连接是否识别成功，如果识别出协议连接，则直接执行步骤c，如果未识别出协议连接，则进行建立协议连接操作，向统计模块发送协议连接建立消息，再执行步骤c；在执行步骤c之前，统计模块可以开始记录协议连接流量，该协议连接的流量是指该协议连接的时间段内累计传送IP报文的长度。

步骤c、业务识别模块通过检查报文头中的协议类型以及IP报文中协议的特征字进行报文应用类型识别，判断报文应用类型是否识别成功，识别出报文应用类型后，向统计模块发送报文应用类型确定消息，无论是否能识别出报文应用类型，IP报文经业务识别模块检查后都将发送控制模块进行下一步的处理。所述控制模块完成业务数据流的策略控制，该策略控制的内容是本技术领域常用的处理IP报文的后续方法，本发明的技术方案并不涉及此内容，故此处不详述。

需要说明的是，业务识别模块在识别出用户、协议连接后会在内部存储介质中为其分别设置标志位，并根据用户、协议连接的活跃情况更改该标志位，具体地，业务识别模块会定期检测业务数据流中的IP报文以得出用户的协议连接情况，然后在内部存储介质中更改协议连接的标志位信息，若检测出该用户的所有协议连接均不活跃，则在内部存储介质中更改该用户的标志位信息。该标志位的作用是供老化模块判断用户、协议连接是否活跃时使用。设置、更改标志位的过程是本领域中业务识别模块通常具有的功能，故此处不详述。

步骤二、老化模块老化不活跃的用户和协议连接，向统计模块发送反映不活跃用户日志信息的状态消息，具体包括：

当老化模块通过判断内部存储介质中的标志位发现不活跃的协议连接时，删除该协议连接记录，并向统计模块发送协议连接关闭消息。

当老化模块通过判断内部存储介质中的标志位发现不活跃的用户时，对其做下线处理，并向统计模块发送用户下线消息。

步骤三、统计模块根据收到的反映活跃用户和不活跃用户日志信息的状态消息，对日志信息进行统计和保存，如图2所示，具体包括：

当统计模块收到用户上线消息时，在内部存储介质的当前日志中记录用户上线时间；

当统计模块收到协议连接建立消息时，在内部存储介质的当前日志中记录协议连接建立时间；

当统计模块收到报文应用类型确定消息时，在内部存储介质的当前日志中记录报文应用类型；

当统计模块收到协议连接关闭消息时，在内部存储介质的当前日志中记录协议连接关闭时间，统计协议连接的流量，并将用户上线时间、协议连接建立时间、关闭协议连接时间、报文应用类型和协议连接的流量等记录从内部存储介质的当前日志移入历史日志中，该协议连接的流量是指该协议连接的时间段内累计传送IP报文的长度；

当统计模块收到用户下线消息时，在内部存储介质的当前日志中记录用户下线时间，并将用户上线时间和用户下线时间等记录从内部存储介质的当前日志移入历史日志中。

本发明第二实施例中，一种用于深度报文检测设备的日志统计、保存系统，如图3所示，包括：

业务识别模块，用于通过检测接收到的IP报文中的相关信息，向统计模块发送反映活跃用户日志信息的状态消息，具体包括：

业务识别模块收到业务数据流中的IP报文后，通过检查报文头中的源IP地址或目的IP地址进行用户识别，判断用户是否在线，如果用户在线，则通过检查报文头中的源端口或目的端口进行协议连接识别进行协议连接识别，如果用户不在线，则进行用户上线操作，向统计模块发送用户上线消息，再进行协议连接识别。

在进行协议连接识别时，判断协议连接是否识别成功，如果识别出协议连接，则通过检查报文头中的协议类型以及IP报文中协议的特征字进行报文应用类型识别，如果未识别出协议连接，则进行建立协议连接操作，向统计模块发送协议连接建立消息，再进行报文应用类型识别；在进行报文应用类型识别之前，统计模块可以开始记录协议连接流量，该协议连接的流量是指该协议连接的时间段内累计传送IP报文的长度。

在进行报文应用类型识别时，判断报文应用类型是否识别成功，识别出报文应用类型后，向统计模块发送报文应用类型确定消息，无论是否能识别出报文应用类型，IP报文经业务识别模块检查后都将发送控制模块进行下一步的处理。所述控制模块完成业务数据流的策略控制，该策略控制的内容是本技术领域常用的处理IP报文的后续方法，本发明的技术方案并不涉及此内容，故此处不详述。

需要说明的是，业务识别模块在识别出用户、协议连接后会在内部存储介质中为其分别设置标志位，并根据用户、协议连接的活跃情况更改该标志位，具体地，业务识别模块会定期检测业务数据流中的IP报文以得出用户的协议连接情况，然后在内部存储介质中更改协议连接的标志位信息，若检测出该用户的所有协议连接均不活跃，则在内部存储介质中更改该用户的标志位信息。该标志位的作用是供老化模块判断用户、协议连接是否活跃时使用。设置、更改标志位的过程是本领域中业务识别模块通常具有的功能，故此处不详述。

老化模块，用于老化不活跃的用户和已识别的协议连接，向统计模块发送反映不活跃用户日志信息的状态消息，具体包括：

当老化模块通过判断内部存储介质中的标志位发现不活跃的协议连接时，删除该协议连接记录，并向统计模块发送协议连接关闭消息；

当老化模块通过判断内部存储介质中的标志位发现不活跃的用户时，对其做下线处理，并向统计模块发送用户下线消息。

统计模块，用于根据收到的反映活跃用户和不活跃用户日志信息的状态消息，对日志信息进行统计和保存，具体包括：

当统计模块收到用户上线消息时，在内部存储介质的当前日志中记录用户上线时间；

当统计模块收到协议连接建立消息时，在内部存储介质的当前日志中记录协议连接建立时间；

当统计模块收到报文应用类型确定消息时，在内部存储介质的当前日志中记录报文应用类型；

当统计模块收到协议连接关闭消息时，在内部存储介质的当前日志中记录协议连接关闭时间，统计协议连接的流量，并将用户上线时间、协议连接建立时间、关闭协议连接时间、报文应用类型和协议连接的流量等记录从内部存储介质的当前日志移入历史日志中，该协议连接的流量是指该协议连接的时间段内累计传送IP报文的长度，；

当统计模块收到用户下线消息时，在内部存储介质的当前日志中记录用户下线时间，并将用户上线时间和用户下线时间等记录从内部存储介质的当前日志移入历史日志中。

本发明第三实施例中，一种用于深度报文检测设备的日志统计、保存系统与第二实施例中的所述日志统计、保存系统大致相同，如图4所示，区别仅在于第三实施例中的所述日志统计、保存系统还包括定时模块，用于定时触发统计模块更新和转存日志信息，具体包括：

当第一定时时间到后向统计模块发送更新协议连接的流量时间到消息，统计模块收到更新协议连接的流量时间到消息后，在内部存储介质的当前日志中对协议连接的流量记录进行更新；

当第二定时时间到后向统计模块发送向外部存储介质保存日志信息时间到消息，统计模块收到向外部存储介质保存日志信息时间到消息后，将内部存储介质中的日志信息保存到外部存储介质上，清空内部存储介质中的历史日志。

本发明第四实施例是与第三实施例中所述日志统计、保存系统对应的一种用于深度报文检测设备的日志统计、保存方法，该方法除了包含第一实施例中的所述用于深度报文检测设备的日志统计、保存方法的所有步骤之外，业务识别模块还定时更新和转存日志信息，所述更新和转存日志信息具体包括：

当第一定时时间到后向统计模块发送更新协议连接的流量时间到消息，统计模块收到更新协议连接的流量时间到消息后，在内部存储介质的当前日志中对协议连接的流量记录进行更新；

当第二定时时间到后向统计模块发送向外部存储介质保存日志信息时间到消息，统计模块收到向外部存储介质保存日志信息时间到消息后，将内部存储介质中的日志信息保存到外部存储介质上，清空内部存储介质中的历史日志。

通过具体实施方式的说明，当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图示仅是提供参考与说明之用，并非用来对本发明加以限制。

Claims (10)

1、一种用于深度报文检测设备的日志统计、保存方法，其特征在于，业务识别模块通过检测接收到的IP报文中的相关信息，向统计模块发送反映活跃用户日志信息的状态消息；

老化模块老化不活跃的用户和协议连接，向统计模块发送反映不活跃用户日志信息的状态消息；

统计模块根据收到的反映活跃用户和不活跃用户日志信息的状态消息，对日志信息进行统计和保存。

2、根据权利要求1所述用于深度报文检测设备的日志统计、保存方法，其特征在于所述相关信息为IP报文中的源IP地址、目的IP地址、源端口、目的端口和协议类型；

所述活跃用户日志信息包括用户信息、协议连接情况和报文应用类型，所述不活跃用户日志信息包括用户信息或协议连接情况。

3、根据权利要求2所述用于深度报文检测设备的日志统计、保存方法，其特征在于所述业务识别模块通过检测接收到的IP报文中的相关信息，向统计模块发送反映活跃用户日志信息的状态消息具体包括：

步骤a、业务识别模块收到IP报文后，先进行用户识别，对不在线的用户进行用户上线操作，并向统计模块发送用户上线消息；

步骤b、进行协议连接识别，对未识别出协议连接的情况进行建立协议连接操作，并向统计模块发送协议连接建立消息；

步骤c、进行报文应用类型识别，识别出报文应用类型后，向统计模块发送报文应用类型确定消息。

4、根据权利要求1或2或3所述用于深度报文检测设备的日志统计、保存方法，其特征在于所述老化模块老化不活跃的用户和已识别的协议连接，向统计模块发送反映不活跃用户日志信息的状态消息具体包括：

当老化模块老化不活跃的协议连接时，删除已识别的协议连接记录，并向统计模块发送协议连接关闭消息；

当老化模块老化不活跃的用户时，对不活跃的用户做下线处理，并向统计模块发送用户下线消息。

5、根据权利要求4所述用于深度报文检测设备的日志统计、保存方法，其特征在于所述统计模块根据收到的反映活跃用户和不活跃用户日志信息的状态消息，对日志信息进行统计和保存具体包括：

当统计模块收到用户上线消息时，在内部存储介质的当前日志中记录用户上线时间；

当统计模块收到协议连接建立消息时，在内部存储介质的当前日志中记录协议连接建立时间；

当统计模块收到报文应用类型确定消息时，在内部存储介质的当前日志中记录报文应用类型；

当统计模块收到协议连接关闭消息时，在内部存储介质的当前日志中记录协议连接关闭时间，统计协议连接的流量，并将该协议连接的日志信息从内部存储介质的当前日志移入历史日志中；

当统计模块收到用户下线消息时，在内部存储介质的当前日志中记录用户下线时间，并将该用户的日志信息从内部存储介质的当前日志移入历史日志中。

6、根据权利要求1或2或3或5所述用于深度报文检测设备的日志统计、保存方法，其特征在于，所述统计模块还定时更新和转存日志信息。

7、一种用于深度报文检测设备的日志统计、保存系统，其特征在于包括：

业务识别模块，用于通过检测接收到的IP报文中的相关信息，向统计模块发送反映活跃用户日志信息的状态消息；

老化模块，用于老化不活跃的用户和已识别的协议连接，向统计模块发送反映不活跃用户日志信息的状态消息；

统计模块，用于根据收到的反映活跃用户和不活跃用户日志信息的状态消息，对日志信息进行统计和保存。

8、根据权利要求7所述用于深度报文检测设备的日志统计、保存系统，其特征在于，所述业务识别模块通过检测接收到的IP报文中的相关信息，向统计模块发送反映活跃用户日志信息的状态消息具体包括：

业务识别模块收到IP报文后，先进行用户识别，对不在线的用户进行用户上线操作，并向统计模块发送用户上线消息；

在进行协议连接识别时，对未识别出协议连接的情况进行建立协议连接操作，并向统计模块发送协议连接建立消息；

在进行报文应用类型识别时，识别出报文应用类型后，向统计模块发送报文应用类型确定消息。

9、根据权利要求8所述用于深度报文检测设备的日志统计、保存系统，其特征在于，所述统计模块根据收到的反映活跃用户和不活跃用户日志信息的状态消息，对日志信息进行统计和保存具体包括：

当统计模块收到用户上线消息时，在内部存储介质的当前日志中记录用户上线时间；

当统计模块收到协议连接建立消息时，在内部存储介质的当前日志中记录协议连接建立时间；

当统计模块收到报文应用类型确定消息时，在内部存储介质的当前日志中记录报文应用类型；

当统计模块收到协议连接关闭消息时，在内部存储介质的当前日志中记录协议连接关闭时间，统计协议连接的流量，并将该协议连接的日志信息从内部存储介质的当前日志移入历史日志中；

当统计模块收到用户下线消息时，在内部存储介质的当前日志中记录用户下线时间，并将该用户的日志信息从内部存储介质的当前日志移入历史日志中。

10、根据权利要求7或8或9所述用于深度报文检测设备的日志统计、保存系统，其特征在于，该系统进一步包括定时模块，用于定时触发统计模块更新和转存日志信息。

Images