CN108123843B - 流量检测方法、检测数据处理方法及装置 - Google Patents

Abstract

本发明实施例公开了一种流量检测方法、检测数据处理方法及装置，所述方法包括：检测数据包的预定位置是否存储有检测标记；当未检测到所述检测标记时，对所述数据包进行第一类检测，形成第一类检测记录；在完成所述第一类检测之后，在所述预定位置插入指示完成检测的检测标记；将所述第一类检测记录发送给预定服务器。本实施例中所述检测设备可以根据数据包内的检测标记，确定是否进行第一类检测，从而避免大量的重复第一类检测，减少重复第一类检测产生的冗余检测数据。

Description

流量检测方法、检测数据处理方法及装置

技术领域

本发明涉及通信领域，尤其涉及一种流量检测方法、检测数据处理方法及装置。

背景技术

用于检测流量的检测设备，例如，深度报文检测(Deep Packet Inspection，DPI)设备在运营商网络内广泛部署，进行流量识别与监控。而一个数据流量可能会经过网络的不同位置，位于不同位置的检测设备，都会对该数据流量进行检测，从而导致多次的重复冗余检测，检测产生的检测数据冗余等问题。

发明内容

有鉴于此，本发明实施例提供一种流量检测方法、流量数据处理方法及装置。

本发明的技术方案是这样实现的：

本发明实施例第一方面提供一种流量检测方法，包括：

检测数据包的预定位置是否存储有检测标记；

当未检测到所述检测标记时，对所述数据包进行第一类检测，形成第一类检测记录；

在完成所述第一类检测之后，在所述预定位置插入指示完成检测的检测标记；

将所述第一类检测记录发送给预定服务器。

基于上述方案，所述方法还包括：

当检测到所述检测标记之后，对所述数据包进行第二类检测，形成第二类检测记录；其中，所述第二类检测记录包括的第二检测结果数小于所述第一类检测记录包括的第一检测结果数；

将所述第二类检测记录发送给所述预定服务器。

基于上述方案，所述方法还包括：

根据所述第二类检测的检测结果，从所述预定服务器获取所述第一类检测记录。

基于上述方案，所述方法还包括：

在完成所述第二类检测之后，在所述预定位置插入指示完成检测的检测标记。

基于上述方案，所述检测标记为检测设备的逻辑位置标识。

本发明实施例第二方面提供一种检测数据处理方法，包括：

接收第一类检测记录；其中，所述第一类检测记录是检测设备在数据包内未检测到检测标记时检测并发送的

记录所述第一类检测记录。

基于上述方案，所述方法还包括：

接收第二类检测记录；其中，所述第二类检测记录是所述检测设备在所述数据包中检测到检测标记时检测并发送的；所述第二类检测记录包括的第二检测结果数小于所述第一类检测记录包括的第一检测结果数；

关联记录所述第一类检测记录和所述第二类检测记录，形成关联记录。

基于上述方案，所述方法还包括：

在接收到第一数据包的第n条检测记录后的预定时间间隔内，未接收到第n+1条检测记录时，结束所述第一数据包的检测记录的接收和关联操作；其中，所述第n条检测记录为所述第一类检测记录或所述第二类检测记录，所述第n+1条检测记录为第二类检测记录；所述n为不小于1的整数。

基于上述方案，所述方法，还包括：

将所述第n条检测记录存储在内存中；

所述在接收到第一数据包的第n条检测记录后的预定时间间隔内，未接收到第n+1条检测记录时，结束所述第一数据包的检测记录的接收和关联操作，包括：

形成所述第一数据包的最终关联记录；

将所述最终关联记录存储到预定位置。

基于上述方案，所述方法还包括：

所述在接收到第一数据包的第n条检测记录后的预定时间间隔内，接收到所述第n+1条检测记录时，将所述第n+1条检测记录对应存储在所述内存中，形成暂时关联记录。

基于上述方案，所述方法还包括：

接收基于第二类检测记录对应的第二类检测发送的查询请求；

将与所述第二类检测记录对应的第一类检测记录返回给所述检测设备。

基于上述方案，所述方法还包括：

根据所述第一类检测记录和第二类检测记录，进行流量统计。

基于上述方案，所述方法还包括：

记录网络地址转换前后的第一网络地址和第二网络地址的对应关系；

通过查询所述对应关系，确定以不同网络地址标识的检测记录是否属于同一数据包；其中，所述检测记录包括所述第一类检测记录和所述第二类检测记录。

本发明实施例第三方面提供一种流量检测装置，应用于检测设备中，包括：

检测单元，用于检测数据包的预定位置是否存储有检测标记；

第一形成单元，用于当未检测到所述检测标记时，对所述数据包进行第一类检测，形成第一类检测记录；

标记单元，用于在完成所述第一类检测之后，在所述预定位置插入指示完成检测的检测标记；

发送单元，用于将所述第一类检测记录发送给预定服务器。

基于上述方案，所述装置还包括：

第二形成单元，用于当检测到所述检测标记之后，对所述数据包进行第二类检测，形成第二类检测记录；其中，所述第二类检测记录包括的第二检测结果数小于所述第一类检测记录包括的第一检测结果数；

所述发送单元，用于将所述第二类检测记录发送给所述预定服务器。

基于上述方案，所述装置还包括：

获取单元，用于根据所述第二类检测的检测结果，从所述预定服务器获取所述第一类检测记录。

基于上述方案，所述标记单元，还用于在完成所述第二类检测之后，在所述预定位置插入指示完成检测的检测标记。

基于上述方案，所述检测标记为检测设备的逻辑位置标识。

本发明实施例第四方面提供一种检测数据处理装置，应用于预定服务器中，包括：

接收单元，用于接收第一类检测记录；其中，所述第一类检测记录是检测设备在数据包内未检测到检测标记时检测并发送的

记录单元，用于记录所述第一类检测记录。

基于上述方案，所述接收单元，还用于接收第二类检测记录；其中，所述第二类检测记录是所述检测设备在所述数据包中检测到检测标记时检测并发送的；所述第二类检测记录包括的第二检测结果数小于所述第一类检测记录包括的第一检测结果数；

所述装置还包括：

关联单元，用于关联记录所述第一类检测记录和所述第二类检测记录，形成关联记录。

基于上述方案，所述装置还包括：

处理单元，用于在接收到第一数据包的第n条检测记录后的预定时间间隔内，未接收到第n+1条检测记录时，结束所述第一数据包的检测记录的接收和关联操作；其中，所述第n条检测记录为所述第一检类测记录或所述第二类检测记录，所述第n+1条检测记录为第二类检测记录；所述n为不小于1的整数。

基于上述方案，所述记录单元，具体用于将所述第n条检测记录存储在内存中；

所述在处理单元，用于形成所述第一数据包的最终关联记录；将所述最终关联记录存储到预定位置。

基于上述方案，所述记录单元，具体用于所述在接收到第一数据包的第n条检测记录后的预定时间间隔内，接收到所述第n+1条检测记录时，将所述第n+1条检测记录对应存储在所述内存中，形成暂时关联记录。

基于上述方案，所述接收单元，还用于接收基于第二类检测记录对应的第二类检测发送的查询请求；将与所述第二类检测记录对应的第一类检测记录返回给所述检测设备。

基于上述方案，所述装置还包括：

统计单元，用于根据所述第一类检测记录和第二类检测记录，进行流量统计。

基于上述方案，所述记录单元，还用于记录网络地址转换前后的第一网络地址和第二网络地址的对应关系，并通过查询所述对应关系，确定以不同网络地址标识的检测记录是否属于同一数据包；其中，所述检测记录包括所述第一类检测记录和所述第二类检测记录。

本实施例中检测设备在接收到一个数据包之后，将检测数据包内是否有检测标记，若未有检测标记才进行第一类检测，从而避免大量的重复第一类检测，减少重复第一类检测产生的冗余检测数据。

附图说明

图1为本发明实施例提供的一种流量检测方法的流程示意图；

图2为本发明实施例提供的一种检测数据处理方法的流程示意图；

图3为本发明实施例提供的一种流量检测装置的结构示意图；

图4为本发明实施例提供的一种检测数据处理装置的结构示意图；

图5为本发明实施例提供的一种通信系统的结构示意图；

图6为本发明实施例提供的预定服务器中一种检测记录的示意图。

具体实施方式

以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。

如图1所示，本实施例提供一种流量检测方法，包括：

步骤S110：检测数据包的预定位置是否存储有检测标记；

步骤S120：当未检测到所述检测标记时，对所述数据包进行第一类检测，形成第一类检测记录；

步骤S130：在完成所述第一类检测之后，在所述预定位置插入指示完成检测的检测标记；

步骤S140：将所述第一类检测记录发送给预定服务器。

本实施例所述流量检测方法，可为应用于各种检测设备中的报文或数据包检测方法，例如可为应用于DPI设备中的检测方法。

在步骤S110中检测设备在接收到一个数据包之后，首先会查看该数据包的预定位置是否包括指示已经完成检测的检测标记。通常所述预定位置为数据包的包头的预留字节。

在步骤S120中发现该数据包的预定位置没有检测标记，表明该数据包还未被检测设备检测过，可能本次需要进行全量检测。这里的全量检测即为所述第一类检测的一种，将形成所述第一类检测记录。通常这里的检测，包括检测该数据包的五元组，这里的五元组包括数据包的源网络协议IP地址、目的IP地址、源端口、目的端口以及传输遵守的通信协议等。该五元组可作为该数据包的流量标识或数据包标识。通常所述第一类检测还可包括通过提取数据包预定类型的信息，确定该数据包的业务类型或流量类型，统计该数据包的数据量(即报文长度)等信息。所述第一类检测还可包括检测该数据局包的请求方式、响应状态码、请求时间、响应时间等各种检测字段。这里的一个检测字段的检测内容可对应于第一类检测或第二类检测中的一个检测项，每一个检测项可对应于一个检测结果。

在形成所述第一类检测记录之后，会将所述第一类检测记录发送给预定服务器。这里的预定服务器将存储所述第一类检测记录，方便后续其他检测设备发起的查询。

这样的话，多个检测设备就不用对同一个数据包重复进行第一类检测，减少了第一类检测的重复次数，减少了产生的数据量。

进一步地，所述方法还包括：

当检测到所述检测标记之后，对所述数据包进行第二类检测，形成第二类检测记录；其中，所述第二类检测形成的第二检测结果数小于所述第一类检测形成的第一检测结果数；

将所述第二类检测记录发送给所述预定服务器。

在本实施中所述方法还包括：当发现所述数据包已经携带了检测标记，表明该数据包至少被进行了第一类检测，就无需进行第一类检测，但是为了获取数据包的相关信息，例如，提取数据包的五元组，还会进行第二类检测，形成第二类检测记录，将第二类检测记录发送给预定服务器。这样，预定服务器就知道该数据包经过了哪些检测设备，且经过的顺序是怎样的。在具体实现时，所述第二类检测可为所述第一类检测的部分检测，显然这样可以减少不同检测设备的重复检测，减少因重复检测产生的大量冗余数据，从而减少因冗余检测占用的检测资源以及冗余数据存储占用的存资源。

在一些实施例中，所述方法还包括：根据所述第二类检测的检测记录果，从所述预定服务器获取所述第一类检测记录。

在本实施例中所述第二类检测至少包括提取所述数据包的标识信息，例如，五元组；将所述第二检测记录发送给预定服务器，同时该第二类检测记录可作为所述预定服务器向检测设备返回第一类检测记录的触发条件，即所述第二类检测记录可以作为所述第一类检测记录的查询请求。预定服务器可以将第二类检测记录中的五元组，作为查询所述第一类检测记录的查询依据。当然具体实现时，若所述检测设备需要所述第一类检测记录时，还可以专门向预定服务器发送携带有被第二类检测的数据包的标识的查询请求。这样的话，若检测设备不需要所述第一类检测记录，则预定服务器即便接收到所述第二类检测记录也不会自动返回对应的第一类检测记录。

在另一些实施例中，所述方法还包括：

在完成所述第二类检测之后，在所述预定位置插入指示完成检测的检测标记。

在本实施例中，所述检测标记可同时指示是否执行了检测。在本实施例中指示完成了所述第一类检测的检测标记和指示完成了第二类检测的检测标记，可为同一类检测标记，也可以为不同类型的检测标记。

通过在预定位置添加检测标记，一方面方便后续检测设备根据检测标记，确定是否需要进行检测或是进行第一类检测还是第二类检测。当然，若检测到一个数据包检测标记，也可以不再进行检测，直接从预定服务器获取对应的检测记录即可。

但是，在本实施例中不管是第一类检测还是第二类检测，都在数据包中写入相应的检测标记，这样可以根据一个数据包内的检测标记，就可以知道该数据包依次经过了哪些数据包。在添加检测标记时，检测标记的添加位置可与该数据包经过的检测设备的顺序相关。例如，所述预留位置包括多个比特，采用N比特用于一个检测标记的记录。所述N可为1或大于1的整数。当所述数据包经过第M个检测设备时，所述第M个检测设备在第M个所述N个比特，写入所述检测标记。这样的话，一个数据包第一次进入检测设备，则该检测设备会在第1个N个比特写入对应的检测标记。为了方便，后续可以直接查看该数据包就知道数据包具体经过了哪些检测设备，在本实施例中所述检测标记为检测设备的逻辑位置标识。所述逻辑位置标识，可为检测设备的逻辑位置编号。例如，检测设备是无线网络侧的检测设备和有线网络的检测设备，因为位于的网络位置不同，逻辑位置标识也不同。当然有线网络又可分为区域网和骨干网。骨干网可连接多个区域网的中间网络。位于一个区域网内的多个检测设备，可能共用一个所述逻辑位置标识，这样的话，一个从区域网进入到骨干网的数据包，若被检测过了，则将携带该区域内检测设备的逻辑位置标识。当然不同的区域网内的检测设备的逻辑位置标识不同，这样骨干网通过分析检测标记，也可以知道该数据包来自哪一个区域网。总之，在本实施例中利用逻辑位置标识作为检测标记，可以方便对数据包的传输路径的追踪。

如图2所示，本实施例提供一种检测数据处理方法，包括：

步骤S210：接收第一类检测记录；其中，所述第一类检测记录是检测设备在数据包内未检测到检测标记时检测并发送的；

步骤S220：记录所述第一类检测记录。

本实施例所述方法可为应用于前述实施例中所述的预定服务器中的方法。在本实施例中所述第一类检测记录，是由检测设备未检测到有检测标记时对数据包进行检测，并发送的。本实施例中所述第一类检测记录的检测项可至少包括对数据包的属于哪种数据流量的检测。

这样预定服务器接收到的重复第一类检测记录的数目将大大的减少，从而可以减少预定服务器内存储数据的冗余度，减少冗余数据占用的存储资源。

在一些实施例中，所述方法还包括：

接收第二类检测记录；其中，所述第二类检测记录是所述检测设备在所述数据包中检测到检测标记时检测并发送的；所述第二类检测记录包括的第二检测结果数小于所述第一类检测记录包括的第一检测结果数；

关联记录所述第一类检测记录和所述第二类检测记录，形成关联记录。

在本实施例中所述预定服务器还接收到第二类检测记录，该第二类检测记录可为第一类检测中的部分检测操作形成的。在本实施例中通过第二类检测记录的接收及关联，可方便后续知道一个数据包经过的检测设备。

值得注意的是不管是第一类检测记录还是第二类检测记录，所述检测记录中都包括检测设备的设备标识或逻辑位置标识。

在有些实施例中，所述方法还包括：

在接收到第一数据包的第n条检测记录后的预定时间间隔内，未接收到第n+1条检测记录时，结束所述第一数据包的检测记录的接收和关联操作；其中，所述第n条检测记录为所述第一类检测记录或所述第二类检测记录，所述第n+1条检测记录为第二类检测记录；所述n为不小于1的整数。

通过超时机制，对同一个数据包的相邻两条检测记录的接收时间间隔，确定是否需要接续等待接收该数据包的检测记录，并关联检测记录。所述关联记录可直接为一个数据包的所有检测记录的汇总，也可以是基于所有检测记录生成的新记录。例如，可能任意两条检测记录都会包括数据包的流量标识，(例如，数据包的五元组)，在形成关联记录时，可以把不同检测记录中相同检测结果进行合并，以进一步减少关联记录的数据量。当然，但是有些字段是无法合并的，例如，检测设备的设备标记或逻辑位置标识，或者不同的检测状态等。

在有些实施例中，所述方法，还包括：

将所述第n条检测记录存储在内存中；

所述在接收到第一数据包的第n条检测记录后的预定时间间隔内，未接收到第n+1条检测记录时，结束所述第一数据包的检测记录的接收和关联操作，包括：

形成所述第一数据包的最终关联记录；

将所述最终关联记录存储到预定位置。

将所述第n条检测记录存储在内存中，当预定服务器接收到一条检测记录时，就可以直接与内存中的检测记录进行匹配，确定是否属于同一个数据包的检测记录，就不用预定服务器的处理器从硬盘等其他存储位置，将对应的检测记录读取到内存中，再比对，从而简化了预定服务器的操作，于此同时由于内存的操作速度比一般的存储介质块，通过减少读取操作及内存的存储特性可以提升预定服务器的处理速率。

在本实施例中可以仅在所述内存存储所述第n条检测记录，也可以存储有一个数据包的当前时刻以前的所有检测记录，方便后续检测记录的关联。当然，所述预定服务器，为了避免内存不足，也可以在内存中仅存放一个数据包的一个检测记录，以供匹配。这样的话，当前时刻接收到一条新的检测记录，则内存中存储当前接收的检测记录，等待下一条检测记录。最后关联记录可为最后在内存形成的，当有一条检测记录超时，可认为该数据包已经达到目的地址或被丢弃不再传输了，则可以关闭该数据包的检测记录的处理流程，将最终关联记录存储到硬盘或数据库中，以从内存中导出。

在一些实施例中，所述方法还包括：

所述在接收到第一数据包的第n条检测记录后的预定时间间隔内，接收到所述第n+1条检测记录时，将所述第n+1条检测记录对应存储在所述内存中，形成暂时关联记录。

若在预设时间间隔内，收到下一条检测记录，则该新收到的检测记录与前面的检测记录对应存储在内存中，实现对应和关联操作，形成暂时关联记录，这样一边接收一边关联的方式，一旦确定下一条检测记录没有接收到，最终关联记录也就完成了，提升了处理速率。

在有些实施例中，所述方法还包括：

接收基于第二类检测记录对应的第二类检测发送的查询请求；

将与所述第二类检测记录对应的第一类检测记录返回给所述检测设备。

这里的返回给检测设备的第一类检测记录，用于检测设备的流量统计，这样的话，可以由检测设备进行分布式流量统计。

在另一些实施例中，所述方法还包括：

根据所述第一类检测记录和第二类检测记录，进行流量统计。

在本实施例中，流量统计由预定服务器完成，则预定服务器可以不向检测设备返回第一类检测记录。预定服务器在进行流量统计时，将根据所述逻辑位置标识进行流量统计，从而可以得到网络中不同逻辑位置的各类业务的流量，也可以根据不同的检测设备的设备标识进行流量统计，从而可以确定不同设备上所经过的业务流量。总之，流量统计的粒度不同，则会得到不同粒度的流量统计结果。

在有些实施例中，所述方法还包括：

记录网络地址转换前后的第一网络地址和第二网络地址的对应关系；

通过查询所述对应关系，确定以不同网络地址标识的检测记录是否属于同一数据包；其中，所述检测记录包括所述第一类检测记录和所述第二类检测记录。

例如，区域网和骨干网之间交互的数据，可能需要进行私网IP地址和公网IP地址的转换。转换之后，数据包中携带的五元组就发送了变化，但是数据包的正文内容还是一样的。为了处理这种状况，所述预定服务器中还存储网络地址转换的对应关系，根据对应关系的查询，可以方便关联同一个数据包在网络地址转换之后的两条检测记录。

如图3所示，本实施例提供一种流量检测装置，应用于检测设备中，包括：

检测单元110，用于检测数据包的预定位置是否存储有检测标记；

第一形成单元120，用于当未检测到所述检测标记时，对所述数据包进行第一类检测，形成第一类检测记录；

标记单元130，用于在完成所述第一类检测之后，在所述预定位置插入指示完成检测的检测标记；

发送单元140，用于将所述第一类检测记录发送给预定服务器。

本实施例提供一种流量检测装置，应用于检测设备中，例如，应用于DPI设备中。

所述检测单元110、第一形成单元120及标记单元130可对应于处理器或处理电路。所述处理器可为中央处理器、微处理器、数字信号处理器、应用处理器或可编程阵列等。所述处理电路可包括专用集成电路。所述处理器或处理电路可通过预定代码的执行，实现上述单元的功能。

所述发送单元相当于检测设备的通信接口，可用于向预定服务器发送所述第一类检测记录。

在有些实施例中，所述装置还包括：

第二形成单元，用于当检测到所述检测标记之后，对所述数据包进行第二类检测，形成第二类检测记录；其中，所述第二类检测形成的第二检测结果数小于所述第一类检测形成的第一检测结果数；

所述发送单元140，用于将所述第二类检测记录发送给所述预定服务器。

在本实施例中所述装置还引入了第二形成单元，用于形成第二类检测记录。所述发送单元140还可复用向预定服务器发送第二类检测记录。

在有些实施例中，所述装置还包括：

获取单元，用于根据所述第二类检测的检测结果，从所述预定服务器获取所述第一类检测记录。

这里的获取单元可对应于通信接口，可用于从预定服务器获取第一类检测记录，方便检测设备的流量统计。

进一步地，所述标记单元130，还用于在完成所述第二类检测之后，在所述预定位置插入指示完成检测的检测标记。在本实施例中不管检测设备对一个数据包进行的是第一类检测还是第二类检测，都需要插入对应的检测标记，一方面方便后续的检测设备的查看，一方面可以直接通过数据包中检测标记可知道经过了哪些网络位置或经过了哪些检测设备。

值得注意的是：在本实施中优选为一个数据包的任意两个检测标记不相互覆盖，这样就可以确保一个数据包的所有检测标记都一直保存在数据中。

可选地，所述检测标记为检测设备的逻辑位置标识。这里的逻辑位置标记的相关描述可以参见前述实施例。

如图4所示，本实施例提供一种检测数据处理装置，应用于预定服务器中，包括：

接收单元210，用于接收第一类检测记录；其中，所述第一类检测记录是检测设备在数据包内未检测到检测标记时检测并发送的

记录单元220，用于记录所述第一类检测记录。

本实施例所述接收单元可对应于预定服务器的通信接口，可用于与检测设备进行通信。记录单元220可对应于处理器或处理电路，及与处理器或处理电路连接的存储介质。所述处理器或处理电路，将所述第一类检测记录写到所述存储介质中。

在一些实施例中，所述接收单元210，还用于接收第二类检测记录；其中，所述第二类检测记录是所述检测设备在所述数据包中检测到检测标记时检测并发送的；所述第二类检测记录包括的第二检测结果数小于所述第一类检测记录包括的第一检测结果数；所述装置还包括：关联单元，用于关联记录所述第一类检测记录和所述第二类检测记录，形成关联记录。

在本实施例中还引入了关联单元，这里的关联单元对应的物理结构可为前述的处理器或处理电路。所述关联单元，对一个数据包的所有检测记录进行汇总和/或数据去冗余处理等，从而形成关联记录。

具体地，所述装置还包括：

处理单元，用于在接收到第一数据包的第n条检测记录后的预定时间间隔内，未接收到第n+1条检测记录时，结束所述第一数据包的检测记录的接收和关联操作；其中，所述第n条检测记录为所述第一类检测记录或所述第二类检测记录，所述第n+1条检测记录为第二类检测记录；所述n为不小于1的整数。

这里的处理单元，可对应于前述的处理器或处理电路，可通过预设时间间隔的计时等操作，执行超时机制。这里的时间可以为任意长时间，通常可根据经验值或仿真确定的时间值，例如，2分、3分等时长。

在有些实施例中，所述记录单元220，具体用于将所述第n条检测记录存储在内存中；所述处理单元，用于形成所述第一数据包的最终关联记录；将所述最终关联记录存储到预定位置。这个预定位置为内存以外的存储位置。

在有些实施中，所述记录单元220，具体用于在接收到第一数据包的第n条检测记录后的预定时间间隔内，接收到所述第n+1条检测记录时，将所述第n+1条检测记录对应存储在所述内存中，形成暂时关联记录。

进一步地，所述接收单元210，还用于接收基于第二类检测记录对应的第二类检测发送的查询请求；将与所述第二类检测记录对应的第一类检测记录返回给所述检测设备。这样通过第一类检测记录的返回，方便检测设备的流量统计。这里的第一类检测记录的返回可以是整条第一类检测记录，也可以是第一类检测记录中预定的检测项的检测结果。

当然，为了避免向检测设备大量的返回第一类检测记录，所述装置还包括：

统计单元，用于根据所述第一类检测记录和第二类检测记录，进行流量统计。

在本实施例中，相当于所述预定服务器会进行流量统计。所述统计单元可对应于计数器或者有计算功能的处理器，可进行流量的统计。

在有些实施例中，所述记录单元，还用于记录网络地址转换前后的第一网络地址和第二网络地址的对应关系，并通过查询所述对应关系，确定以不同网络地址标识的检测记录是否属于同一数据包；其中，所述检测记录包括所述第一类检测记录和所述第二类检测记录。

在本实施例中还记录有对应关系，这样即使数据包的网络地址发生变化，也能够成功获取关于同一个数据包的检测记录。

以下结合上述实施例提供几个具体示例：

示例一：

如图5所示，本示例提供一种通信系统，包括用户设备、区域网、骨干网、第三方网络及日志关联服务器。所述用户设备包括移动用户的用户设备，宽带用户的用户设备等。所述区域网包括一级区域网和二级区域网。所述一级区域网可包括城域网；所述二级区域网可包括省网。这里的日志关联服务器为前述预定服务器的一种。

全量流量记录为前述的第一类检测记录的一种；所述增量记录为前述的第二类检测记录的一种。

在图5中还包括信息数据中心出口，通常所述信息数据中心的出口处、无线网络的S1/Gn口处等多处都设置有检测设备，例如，DPI设备。可用于对数据包进行检测，进行数据流量识别。DPI设备不进行全量检测时，可以到日志关联服务器查询流量识别结果。

以下结合图5所示的通信系统，提供一种数据包的检测方法：

本示例中，为了使同样的流量不要被重复采集、重复分析、重复存储流记录，发明了一种对流量进行标记的机制。

通信网内不同位置的DPI设备，根据DPI设备所在网段的逻辑位置进行编号。

DPI设备对流量进行解析后，对流量进行标记，标志此条流(即数据包)已被分析并产生了流记录。

其他DPI设备对流量进行解析时，首先检查DPI标志位，如果已经被标志，则只产生并向服务器发送增量记录，同时不再对这条流进行解析。

流量标记方法：

DPI设备解析流量后，对属于一条流的每个数据包进行标记，可以在现有IP数据包的包头中，利用预留字段进行标记。好处：不更改数据包的结构，且包头位置容易进行写操作，处理速度快。

不同网段的DIP设备设置不同的标记值。其他DPI设备优先检查标记字段决定是否对此条流进行检测。

对于一条流经过多个DPI设备的情况，每个DPI设备均进行标记，累加标记。可以标记出流量的路径。

日志关联服务器，为新增网络设备，用于收集、处理网络各个位置的DPI数据，即流记录。

DPI设备在识别过程中，对识别的结果加以记录，并以一定格式将记录结果进行输出，形成流记录。流记录的示例可图6所示，

日志关联服务器负责把不同位置的设备的流记录进行关联，形成流量的全纪录。

关联服务器以第一次收到的全量流记录作为基准，将此条流记录保存在内存中，等待其他位置流记录对此条流的增量记录。若收到其他的位置的增量记录，依据增量记录中包含的流标志来找到内存中已经存在的流记录，并关联。设置超时机制。根据数据流量的转发时延和流记录的处理时延，设置超时时限，如2分钟。超过时限后关闭内存记录，输出此条流的完整信息。

一条流记录在关联服务器中可以一条日志的形式存在。

流标记，可为一条流的唯一标记，可包括五元组：源IP地址、目的IP地址、源端口号、目的端口号、通信协议。网内用五元组标记一条流时，存在问题：

移动用户设备在移动网关处进行(Network Address Translation，NAT)公私地址转换，S1接口DPI设备标记的流和省网出口标记的流，虽然是同一条流，但是IP地址和端口号都进行了变更；

家宽用户设备在城域网或省网出口处进行NAT公私地址转换，IDC出口DPI设备标记的流和骨干网间出口标记的流，虽然是同一条流，但是IP地址和端口号都进行了变更。

在具体实现时，关联服务器同时收集NAT的公私地址转换对应关系。在服务器中，建立对应关系列表，当增量流记录的流标识无法查询时，根据对应关系将其对应到转换前的流中，并将转换后的IP地址同时加入流记录。

当二次流经的DPI设备检测到该条流的标识位置为已经被检测，此DPI设备不再进行重复识别以节省设备性能，只做简单的信息输出和流量统计。

但对于该位置的DPI设备来讲，会产生部分流量没有识别结果。

DPI设备对关联服务器发起查询请求，根据流标识，查询此条流的已有识别结果。关联服务器将流量识别结果返回给DPI设备，DPI设备将此流标记为所查询的结果，如微信，并在数据统计等方面对此结果加以应用。

当然，为避免流识别结果查询对关联服务器接口产生过大压力，也可采用关联服务器进行业务统计。关联服务器拥有所有采集位置，可根据流记录中的流量标记，区分流量的采集位置。对于某一位置的统计需求，关联服务器按照所请求时间段的所有流记录进行统计，并根据请求把统计报表发送给采集位置的DPI设备。

示例二：

第一移动通信网络内的某长期演进(Long Term Evolution，LTE)用户设备使用了新闻应用APP观看了一条新闻，提供该新闻的新浪服务器位于第二移动通信的网内。上述情况下，该用户设备的访问流量将顺序流经S1口、省网出口、骨干网间出口三个DPI设备的采集点。流经S1口时，DPI设备检测数据流中的解析标志位，发现没有任何标记，认为此条数据流没有经过解析。所以在S1口的DPI设备对此流进行详细解析，识别出此流为新浪新闻，并按照要求分析出该条流的共74个特征字段并形成全量流记录上传给关联服务器；同时，在数据流的标志位打上S1口DPI设备的编号，举例为01。流经省网出口时，DPI设备检测数据流中的解析标志位，发现01，认为此条流已经被其他位置的DPI设备解析过了。所以在省网出口DPI设备只对此流进行简要五元组标记、流量统计、及省网出口的省份等特殊记录，不识别此流的业务种类，将此条增量流记录上传给关联服务器；同时，在数量流的标志位打上省网出口DPI的编号，举例为03，此时该条流的标志位为0103。

流经骨干网间出口时，DPI设备检测数据流中的解析标志位，发现0103，认为此条流已经被其他位置的DPI设备解析过了。处理方式同省网出口。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (22)

1.一种流量检测方法，其特征在于，应用于检测设备中，包括：

检测数据包的预定位置是否存储有检测标记；

当未检测到所述检测标记时，对所述数据包进行第一类检测，形成第一类检测记录；

在完成所述第一类检测之后，在所述预定位置插入指示完成检测的检测标记；

将所述第一类检测记录发送给预定服务器，其中，所述第一类检测记录，用于供其他检测设备从所述预定服务器查询；

当检测到所述检测标记之后，对所述数据包进行第二类检测，形成第二类检测记录；其中，所述第二类检测形成的第二检测结果数小于所述第一类检测形成的第一检测结果数；

将所述第二类检测记录发送给所述预定服务器。

2.根据权利要求1所述的方法，其特征在于，

所述方法还包括：

根据所述第二类检测的检测结果，从所述预定服务器获取所述第一类检测记录。

3.根据权利要求1所述的方法，其特征在于，

所述方法还包括：

在完成所述第二类检测之后，在所述预定位置插入指示完成检测的检测标记。

4.根据权利要求1至3任一项所述的方法，其特征在于，

所述检测标记为检测设备的逻辑位置标识。

5.一种检测数据处理方法，其特征在于，应用于预定服务器中，包括：

接收第一类检测记录；其中，所述第一类检测记录是检测设备在数据包内未检测到检测标记时检测并发送给的；

记录所述第一类检测记录，其中，所述第一类检测记录，用于供其他检测设备从所述预定服务器查询；

接收第二类检测记录；其中，所述第二类检测记录是所述检测设备在所述数据包中检测到检测标记时检测并发送的；所述第二类检测记录包括的第二检测结果数小于所述第一类检测记录包括的第一检测结果数；

关联记录所述第一类检测记录和所述第二类检测记录，形成关联记录。

6.根据权利要求5所述的方法，其特征在于，

所述方法还包括：

在接收到第一数据包的第n条检测记录后的预定时间间隔内，未接收到第n+1条检测记录时，结束所述第一数据包的检测记录的接收和关联操作；其中，所述第n条检测记录为所述第一类检测记录或所述第二类检测记录，所述第n+1条检测记录为第二类检测记录；所述n为不小于1的整数。

7.根据权利要求6所述的方法，其特征在于，

所述方法，还包括：

将所述第n条检测记录存储在内存中；

所述在接收到第一数据包的第n条检测记录后的预定时间间隔内，未接收到第n+1条检测记录时，结束所述第一数据包的检测记录的接收和关联操作，包括：

形成所述第一数据包的最终关联记录；

将所述最终关联记录存储到预定位置。

8.根据权利要求7所述的方法，其特征在于，

所述方法还包括：

所述在接收到第一数据包的第n条检测记录后的预定时间间隔内，接收到所述第n+1条检测记录时，将所述第n+1条检测记录对应存储在所述内存中，形成暂时关联记录。

9.根据权利要求8所述的方法，其特征在于，

所述方法还包括：

接收基于第二类检测记录对应的第二类检测发送的查询请求；

将与所述第二类检测记录对应的第一类检测记录返回给所述检测设备。

10.根据权利要求5至9任一项所述的方法，其特征在于，

所述方法还包括：

根据所述第一类检测记录和所述第二类检测记录，进行流量统计。

11.根据权利要求5至9任一项所述的方法，其特征在于，

所述方法还包括：

记录网络地址转换前后的第一网络地址和第二网络地址的对应关系；

通过查询所述对应关系，确定以不同网络地址标识的检测记录是否属于同一数据包；其中，所述检测记录包括所述第一类检测记录和所述第二类检测记录。

12.一种流量检测装置，其特征在于，应用于检测设备中，包括：

检测单元，用于检测数据包的预定位置是否存储有检测标记；

第一形成单元，用于当未检测到所述检测标记时，对所述数据包进行第一类检测，形成第一类检测记录；

标记单元，用于在完成所述第一类检测之后，在所述预定位置插入指示完成检测的检测标记；

发送单元，用于将所述第一类检测记录发送给预定服务器，其中，所述第一类检测记录，用于供其他检测设备从所述预定服务器查询；

第二形成单元，用于当检测到所述检测标记之后，对所述数据包进行第二类检测，形成第二类检测记录；其中，所述第二类检测形成的第二检测结果数小于所述第一类检测形成的第一检测结果数；

所述发送单元，用于将所述第二类检测记录发送给所述预定服务器。

13.根据权利要求12所述的装置，其特征在于，

所述装置还包括：

获取单元，用于根据所述第二类检测的检测结果，从所述预定服务器获取所述第一类检测记录。

14.根据权利要求12所述的装置，其特征在于，

所述标记单元，还用于在完成所述第二类检测之后，在所述预定位置插入指示完成检测的检测标记。

15.根据权利要求12至14任一项所述的装置，其特征在于，

所述检测标记为检测设备的逻辑位置标识。

16.一种检测数据处理装置，其特征在于，应用于预定服务器中，包括：

接收单元，用于接收第一类检测记录；其中，所述第一类检测记录是检测设备在数据包内未检测到检测标记时检测并发送给预定服务器的，所述第一类检测记录，用于供其他检测设备从所述预定服务器查询；

记录单元，用于记录所述第一类检测记录；

所述接收单元，还用于接收第二类检测记录；其中，所述第二类检测记录是所述检测设备在所述数据包中检测到检测标记时检测并发送的；所述第二类检测记录包括的第二检测结果数小于所述第一类检测记录包括的第一检测结果数；

所述装置还包括：

关联单元，用于关联记录所述第一类检测记录和所述第二类检测记录，形成关联记录。

17.根据权利要求16所述的装置，其特征在于，

所述装置还包括：

处理单元，用于在接收到第一数据包的第n条检测记录后的预定时间间隔内，未接收到第n+1条检测记录时，结束所述第一数据包的检测记录的接收和关联操作；其中，所述第n条检测记录为所述第一类检测记录或所述第二类检测记录，所述第n+1条检测记录为第二类检测记录；所述n为不小于1的整数。

18.根据权利要求17所述的装置，其特征在于，

所述记录单元，具体用于将所述第n条检测记录存储在内存中；

所述处理单元，用于形成所述第一数据包的最终关联记录；将所述最终关联记录存储到预定位置。

19.根据权利要求18所述的装置，其特征在于，

所述记录单元，具体用于在接收到第一数据包的第n条检测记录后的预定时间间隔内，接收到所述第n+1条检测记录时，将所述第n+1条检测记录对应存储在所述内存中，形成暂时关联记录。

20.根据权利要求19所述的装置，其特征在于，

所述接收单元，还用于接收基于第二类检测记录对应的第二类检测发送的查询请求；将与所述第二类检测记录对应的第一类检测记录返回给所述检测设备。

21.根据权利要求16至20任一项所述的装置，其特征在于，

所述装置还包括：

统计单元，用于根据所述第一类检测记录和所述第二类检测记录，进行流量统计。

22.根据权利要求16至20任一项所述的装置，其特征在于，

所述记录单元，还用于记录网络地址转换前后的第一网络地址和第二网络地址的对应关系，并通过查询所述对应关系，确定以不同网络地址标识的检测记录是否属于同一数据包；其中，所述检测记录包括所述第一类检测记录和所述第二类检测记录。

Images