CN104639391A - 一种生成网络流量记录的方法及相应的流量检测设备 - Google Patents

Abstract

一种生成网络流量记录的方法及相应的流量检测设备，该方法包括：监测网络流量，对承载在IP之上的用户业务应用数据流进行识别，生成包括服务侧IP地址的流量特征数据；通过查询确定所述服务侧IP地址对应的服务侧域名；根据所述流量特征数据生成流量记录时，在所述流量记录中加入所述服务侧域名。相应的流量检测设备包括特征提取模块、域名确定模块和记录生成模块。本发明将域名加入到网络流量记录中，可以更准确地识别出业务提供商和用户使用的应用类型，有利于数据分析和挖掘工作。

Description

一种生成网络流量记录的方法及相应的流量检测设备

技术领域

本发明涉及移动通信，更具体地，涉及一种生成网络流量记录的方法及相应的流量检测设备。

背景技术

随着互联网，包括移动互联网的迅猛发展，对网络流量信息进行识别、记录并进行数据分析挖掘成为一个热门领域。

目前在对网络上的数据流量进行分析时，通常需要识别出该流量是访问哪个互联网业务提供商提供的哪个应用，生成记录，以便进行后续的统计和分析挖掘处理。通常深度包检测技术(DPI：Deep Packet Inspection)设备可以通过流量指纹等特征匹配的方式进行识别，如根据访问的目的IP地址、端口号，以及对应用层协议中的特征字等，识别出业务提供商和用户使用的应用类型。生成的记录通常如下：

用户侧IP地址、用户侧端口号、服务侧IP地址、服务侧端口号、业务应用类型、访问地址(URL)、开始时间、结束时间等等。

但是，通过IP地址、端口号以及应用协议特征字等进行业务提供商和应用类型识别，需要事先收集和分析此类特征信息，而互联网上的业务提供商数以百万计，提供的业务应用数目更是难以穷举。可以事先收集和分析的特征极为有限，数目通常不过几十或者数百这样的量级。即使能够分析足够量的特征，庞大的特征库也将对DPI设备的性能产生极大的影响。

其次，业务提供商和应用类型的特征会经常发生变化。例如，如果业务提供商提供业务的IP地址发生变化，这样依赖IP地址来识别业务提供商和应用类型就会出现问题。

再次，目前很多互联网应用采用加密方式进行数据传输，如通过SSL或者TLS协议等，此时应用层协议和内容完全无法获取。在此种情况下，DPI设备可以用来进行业务提供商和应用类型识别的数据仅有3-4层协议中的目的IP地址、端口号等有限的信息，在此情况下DPI设备基本无能为力。

发明内容

有鉴于此，本发明提供了一种生成流量记录的方法，应用于流量检测设备，包括：

监测网络流量，对承载在IP之上的用户业务应用数据流进行识别，生成包括服务侧IP地址的流量特征数据；

通过查询确定所述服务侧IP地址对应的服务侧域名；

根据所述流量特征数据生成流量记录时，在所述流量记录中加入所述服务侧域名。

较佳地，

所述通过查询确定所述服务侧IP地址对应的服务侧域名，包括：

根据所述服务侧IP地址查询本地保存的IP地址和域名的映射关系表，确定所述服务侧IP地址对应的服务侧域名。

较佳地，

所述本地保存的IP地址和域名的映射关系表通过以下方式得到：

监测网络流量，如监测到DNS查询请求及DNS响应，解析所述DNS响应中的域名查询结果；

将所述域名查询结果中的IP地址和域名保存到所述映射关系表新插入的一记录中，或者将所述映射关系表中包含所述IP地址的一记录中的域名更新为所述域名查询结果中的域名。

较佳地，

将所述域名查询结果中的IP地址和域名保存到所述映射关系表新插入的一记录中时，还将所述域名查询结果中的有效时间保存到所述记录中，同时在所述记录中添加记录生成时间；

将所述映射关系表中包含所述IP地址的一记录中的域名更新为所述域名查询结果中的域名时，还将所述记录中的有效时间更新为所述域名查询结果中的有效时间，同时将所述记录中的记录生成时间更新为系统当前时间。

较佳地，

定期对所述映射关系表中的记录进行维护，如某一记载中记录生成时间到当前时间的时长超过了所述记录中的有效时间，则删除所述记录。

有鉴于此，本发明还提供了一种流量检测设备，包括：

特征提取模块，用于监测网络流量，对承载在IP之上的用户业务应用数据流进行识别，生成包括服务侧IP地址的流量特征数据；

域名确定模块，用于通过查询确定所述服务侧IP地址对应的服务侧域名；

记录生成模块，用于根据所述流量特征数据生成流量记录时，在所述流量记录中加入所述服务侧域名。

较佳地，

所述域名确定模块通过查询确定所述服务侧IP地址对应的服务侧域名，包括：根据所述服务侧IP地址查询本地保存的IP地址和域名的映射关系表，确定所述服务侧IP地址对应的服务侧域名。

较佳地，

所述流量检测设备还包括：映射管理模块；

所述特征提取模块还用于在监测网络流量时，如监测到DNS查询请求及DNS响应，解析所述DNS响应中的域名查询结果；

所述映射管理模块用于将所述域名查询结果中的IP地址和域名保存到所述映射关系表新插入的一记录中，或者将所述映射关系表中包含所述IP地址的一记录中的域名更新为所述域名查询结果中的域名。

较佳地，

所述映射管理模块将所述域名查询结果中的IP地址和域名保存到所述映射关系表新插入的一记录中时，还将所述域名查询结果中的有效时间保存到所述记录中，同时在所述记录中添加记录生成时间；

所述映射管理模块将所述映射关系表中包含所述IP地址的一记录中的域名更新为所述域名查询结果中的域名时，还将所述记录中的有效时间更新为所述域名查询结果中的有效时间，同时将所述记录中的记录生成时间更新为系统当前时间。

较佳地，

所述映射管理模块还用于定期对所述映射关系表中的记录进行维护，如某一记载中记录生成时间到系统当前时间的时长超过了所述记录中的有效时间，则删除所述记录。

上述方案将域名加入到网络流量记录中，可以更准确地识别出业务提供商和用户使用的应用类型，有利于数据分析和挖掘工作。进一步地，通过监测DNS查询请求和响应，从中获取IP地址和域名的对应关系，可以达到对流量记录中IP地址对应域名的广泛覆盖和实时更新，并且无需改变流量检测设备的网络连接。

附图说明

图1是本发明实施例生成网络流量记录的方法的流程图；

图2是本发明实施例流量检测设备的模块图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互任意组合。

提供互联网服务的业务提供商通常会申请域名。业务提供商提供服务的IP地址可以随时增加和变换(如根据业务访问量的增加，增加新的访问服务器等)，但提供服务的域名却是稳定不变。域名可以直观反映业务提供商的信息，如chinaunicom.cn是中国联通，qq.com是腾讯，apple.com是苹果公司等。同时，域名还可以直观反映业务应用的信息，如mail.chinaunicom.cn是中国联通的企业邮箱，weixin.qq.com是微信，itunes.apple.com是苹果的应用商店等。而业务应用客户端在访问网络服务时，也通常是通过域名来进行访问，而少有直接通过IP地址访问的情况。在此情况下，业务应用客户端会首先发起DNS查询请求，获得该域名对应的IP地址，然后建立IP连接，访问网络服务。对DPI设备而言，上述访问(一次DNS查询、然后根据IP地址访问网络服务)各自是独立事件，并不进行关联。而如果可以进行关联，无疑会从普遍意义上解决业务提供商和业务应用的识别问题。

为此，本实施例提供了一种生成网络流量记录的方法，应用于流量检测设备，如图1所示，包括：

步骤110，监测网络流量，对承载在IP之上的用户业务应用数据流进行识别，生成包括服务侧IP地址的流量特征数据；

本步骤中，流量检测设备可以通过深度报文检测(DPI)或者深度流检测(DFI)等技术，对承载在IP之上的用户业务应用数据流进行识别，根据需要生成“流量特征数据记录”，如：用户侧IP地址(终端侧IP)、用户侧端口(终端侧端口)、服务侧IP地址(网络侧IP地址)、服务侧端口(网络侧端口)、业务应用类型、访问地址(URL)、开始时间、结束时间、上行流量、下行流量、等等。

步骤120，通过查询确定所述服务侧IP地址对应的服务侧域名；

IP地址和域名的对应关系可以通过实时的DNS查询获取，但是流量检测设备如果对每一IP地址都进行查询的话会额外形成很大的网络流量，浪费网络资源。因而本实施例的流量检测设备在本地保存一个IP地址和域名的映射关系表，根据服务侧IP地址查询该映射关系表，即可确定所述服务侧IP地址对应的服务侧域名。

流量检测设备可以定时或者根据DNS的域名更新通知，主动发起向DNS的域名查询请求，获取IP地址和域名的对应关系并保存在映射关系表中，但是这样可以获取到的IP地址和域名的对应关系在数量上很有限，而且实时性不强。不能够达到对流量记录中IP地址对应域名的广泛覆盖和实时更新。另外，还需要依赖外部设备并存在网络连接才能实现上述功能。

本实施例提出一种得到所述映射关系表的方式，包括：

监测网络流量，如监测到DNS查询请求及DNS响应，解析所述DNS响应中的域名查询结果；

将所述域名查询结果中的IP地址和域名保存到所述映射关系表新插入的一记录中，或者将所述映射关系表中包含所述IP地址的一记录中的域名更新为所述域名查询结果中的域名。

因为流量检测设备可以监测网络中所有DNS查询和响应请求，这意味着用户所有访问涉及的DNS访问都被监测到，从而能够达到流量记录中IP地址对应域名的广泛覆盖。另外，也不需要依赖外部DNS设备，无需与外部DNS设备进行网络连接。

域名查询结果中除了IP地址和域名外，还有有效时间的信息。较佳地，将所述域名查询结果中的IP地址和域名保存到所述映射关系表新插入的一记录中时，还将所述域名查询结果中的有效时间保存到所述记录中，同时在所述记录中添加记录生成时间；及，将所述映射关系表中包含所述IP地址的一记录中的域名更新为所述域名查询结果中的域名时，还将所述记录中的有效时间更新为所述域名查询结果中的有效时间，同时将所述记录中的记录生成时间更新为系统当前时间。这样就可以定期对所述映射关系表中的记录进行维护，如某一记载中记录生成时间到当前时间的时长超过了所述记录中的有效时间，则删除所述记录。

步骤130，根据所述流量特征数据生成流量记录时，在所述流量记录中加入所述服务侧域名。

相应地，本实施例还提供了一种流量检测设备(DPI设备)，流量检测设备可以通过串接或者旁路的方式部署在网络上，采集并监测网络数据流。如图2所示，本实施例的流量检测设备包括：

特征提取模块10，用于监测网络流量，对承载在IP之上的用户业务应用数据流进行识别，生成包括服务侧IP地址的流量特征数据；

域名确定模块20，用于通过查询确定所述服务侧IP地址对应的服务侧域名；

记录生成模块30，用于根据所述流量特征数据生成流量记录时，在所述流量记录中加入所述服务侧域名。

较佳地，

所述域名确定模块通过查询确定所述服务侧IP地址对应的服务侧域名，包括：根据所述服务侧IP地址查询本地保存的IP地址和域名的映射关系表，确定所述服务侧IP地址对应的服务侧域名。

较佳地，

所述流量检测设备还包括：映射管理模块；

所述特征提取模块还用于在监测网络流量时，如监测到DNS查询请求及DNS响应，解析所述DNS响应中的域名查询结果；

所述映射管理模块用于将所述域名查询结果中的IP地址和域名保存到所述映射关系表新插入的一记录中，或者将所述映射关系表中包含所述IP地址的一记录中的域名更新为所述域名查询结果中的域名。

较佳地，

所述映射管理模块将所述域名查询结果中的IP地址和域名保存到所述映射关系表新插入的一记录中时，还将所述域名查询结果中的有效时间保存到所述记录中，同时在所述记录中添加记录生成时间；

所述映射管理模块将所述映射关系表中包含所述IP地址的一记录中的域名更新为所述域名查询结果中的域名时，还将所述记录中的有效时间更新为所述域名查询结果中的有效时间，同时将所述记录中的记录生成时间更新为系统当前时间。

较佳地，

所述映射管理模块还用于定期对所述映射关系表中的记录进行维护，如某一记载中记录生成时间到系统当前时间的时长超过了所述记录中的有效时间，则删除所述记录。

下面用一示例进行说明。

流量检测设备创建一个“IP地址-域名列表”(即IP地址和域名的映射关系表)，用于保存IP地址和域名的映射关系，例如；

上表中，域名解析类型包括：A记录(主机地址)、MX记录(邮箱交换记录)等等；有效时间(Time to Live)为域名解析结果中的有效时间(如300秒)；记录生成时间为相应记录的插入时间(插入记录时的系统当前时间)或者更新时间(更新记录时的系统当前时间)。

流量检测设备可以对“IP地址-域名列表”进行定期扫描，清除有效时间过期的记录，即如某一记载中记录生成时间到当前时间的时长超过了所述记录中的有效时间，则删除所述记录。

流量监测设备监测网络流量，当监测到DNS查询请求和DNS响应时，解析DNS响应中的域名查询结果，获取域名与IP地址的对应关系，即<IP地址,域名,域名记录类型,有效时间>；如果DNS应答消息有多条解析结果，则有多条对应关系，可按DNS应答消息中的顺序进行排序，即：

<IP地址1，域名,域名记录类型1,有效时间1>、

<IP地址2，域名,域名记录类型2,有效时间2>、

…。

之后做如下处理：

A，如果IP地址在“IP地址-域名列表”中不存在，则插入一条“IP地址-域名”记录来保存所述IP地址和域名的映射关系，还可以将域名查询结果中的有效时间和/或域名记录类型也保存在该记录中，同时在该记录中添加记录生成时间；

B，如果IP地址在“IP地址-域名列表”中存在，则将包含所述IP地址的记录中的域名更新为域名查询结果中的域名，如果列表中有有效时间和/或域名记录类型，也将记录中的有效时间和/或域名记录类型更新为域名查询结果中的有效时间和/或域名记录类型，更新后同时将记录生成时间更新为系统当前时间；

对于DNS应答消息有多条解析结果的情况，可以处理所有解析结果中的对应关系，也可以只处理第一条记录。

对于DNS查询请求和DNS响应之外的其他流量类型，流量监测设备完成如下处理：

通过深度报文检测(DPI)或者深度流检测(DFI)等技术，对承载在IP之上的用户业务应用数据流进行识别，根据需要生成“流量特征数据记录”，如：用户侧IP地址(终端侧IP)、用户侧端口(终端侧端口)、服务侧IP地址(网络侧IP地址)、服务侧端口(网络侧端口)、业务应用类型、访问地址(URL)、开始时间、结束时间、上行流量、下行流量、等等；

在“IP地址-域名列表”中查询IP地址为“服务侧IP地址(网络侧IP地址)”的记录，如果存在，则获取对应的域名，并与上述“流量特征数据记录”进行关联，生成最终的“流量记录”。同时，还可以根据“IP地址-域名记录”中的域名记录类型辅助进行业务应用类型判断。

最终生成流量记录形如：

<用户侧IP地址,用户侧端口,服务侧IP地址,服务侧端口,服务侧域名,业务应用类型,访问地址(URL),开始时间,结束时间,上行流量，下行流量,…>

对于DNS查询请求和响应本身，流量监测设备也可以生成流量记录，只不过无需与“IP地址-域名列表”进行关联。

流量检测设备可以将生成的“流量记录”写入文件，或者通过网络方式发送给其他处理设备/模块，以进行后续处理和使用。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种生成流量记录的方法，应用于流量检测设备，包括：

监测网络流量，对承载在IP之上的用户业务应用数据流进行识别，生成包括服务侧IP地址的流量特征数据；

通过查询确定所述服务侧IP地址对应的服务侧域名；

根据所述流量特征数据生成流量记录时，在所述流量记录中加入所述服务侧域名。

2.如权利要求1所述的方法，其特征在于：

所述通过查询确定所述服务侧IP地址对应的服务侧域名，包括：

根据所述服务侧IP地址查询本地保存的IP地址和域名的映射关系表，确定所述服务侧IP地址对应的服务侧域名。

3.如权利要求2所述的方法，其特征在于：

所述本地保存的IP地址和域名的映射关系表通过以下方式得到：

监测网络流量，如监测到DNS查询请求及DNS响应，解析所述DNS响应中的域名查询结果；

将所述域名查询结果中的IP地址和域名保存到所述映射关系表新插入的一记录中，或者将所述映射关系表中包含所述IP地址的一记录中的域名更新为所述域名查询结果中的域名。

4.如权利要求3所述的方法，其特征在于：

将所述域名查询结果中的IP地址和域名保存到所述映射关系表新插入的一记录中时，还将所述域名查询结果中的有效时间保存到所述记录中，同时在所述记录中添加记录生成时间；

将所述映射关系表中包含所述IP地址的一记录中的域名更新为所述域名查询结果中的域名时，还将所述记录中的有效时间更新为所述域名查询结果中的有效时间，同时将所述记录中的记录生成时间更新为系统当前时间。

5.如权利要求4所述的方法，其特征在于：

定期对所述映射关系表中的记录进行维护，如某一记载中记录生成时间到当前时间的时长超过了所述记录中的有效时间，则删除所述记录。

6.一种流量检测设备，其特征在于，包括：

特征提取模块，用于监测网络流量，对承载在IP之上的用户业务应用数据流进行识别，生成包括服务侧IP地址的流量特征数据；

域名确定模块，用于通过查询确定所述服务侧IP地址对应的服务侧域名；

记录生成模块，用于根据所述流量特征数据生成流量记录时，在所述流量记录中加入所述服务侧域名。

7.如权利要求6所述的流量检测设备，其特征在于：

所述域名确定模块通过查询确定所述服务侧IP地址对应的服务侧域名，包括：根据所述服务侧IP地址查询本地保存的IP地址和域名的映射关系表，确定所述服务侧IP地址对应的服务侧域名。

8.如权利要求7所述的流量检测设备，其特征在于：

所述流量检测设备还包括：映射管理模块；

所述特征提取模块还用于在监测网络流量时，如监测到DNS查询请求及DNS响应，解析所述DNS响应中的域名查询结果；

所述映射管理模块用于将所述域名查询结果中的IP地址和域名保存到所述映射关系表新插入的一记录中，或者将所述映射关系表中包含所述IP地址的一记录中的域名更新为所述域名查询结果中的域名。

9.如权利要求8所述的流量检测设备，其特征在于：

所述映射管理模块将所述域名查询结果中的IP地址和域名保存到所述映射关系表新插入的一记录中时，还将所述域名查询结果中的有效时间保存到所述记录中，同时在所述记录中添加记录生成时间；

所述映射管理模块将所述映射关系表中包含所述IP地址的一记录中的域名更新为所述域名查询结果中的域名时，还将所述记录中的有效时间更新为所述域名查询结果中的有效时间，同时将所述记录中的记录生成时间更新为系统当前时间。

10.如权利要求9所述的流量检测设备，其特征在于：

所述映射管理模块还用于定期对所述映射关系表中的记录进行维护，如某一记载中记录生成时间到系统当前时间的时长超过了所述记录中的有效时间，则删除所述记录。