CN103888305A - 一种基于家庭网关的监测方法和系统 - Google Patents

Abstract

本发明公开了一种基于家庭网关的监测方法和系统，家庭网关定时采集网络质量信息并实时记录用户上网行为；家庭网关基于应用层协议分析IP包的内容，采集用户上网信息；家庭网关将网络质量信息和用户上网信息上传到文件采集服务器；统计分析服务器从文件采集服务器中获取网络质量信息和用户上网信息，进行用户上网信息统计和网络资源使用统计。本发明的基于家庭网关的监测方法和系统，在家庭网关上采用DPI技术采集用户的上网信息，例如，客户上网模式、行为偏好等信息，将DPI技术从骨干网旁路式分析转为嵌入式分析，使信息获取点更接近用户，获取的内容更丰富、定位更精确。将庞大的信息分析工作分散到海量终端进行，降低了成本。

Description

一种基于家庭网关的监测方法和系统

技术领域

本发明涉及IP业务识别与控制技术领域，尤其涉及一种基于家庭网关的监测方法和系统。

背景技术

基于应用层协议分析的DPI，适用于几乎全部的互联网应用层业务识别、流量分析和业务控制。若通过北向接口与BOSS系统加以关联，就可以组建一套完整的客户行为分析系统和IP业务差异化服务控制系统。

目前，国内主要的应用是通过在城域网骨干出口分光，对映射的流量进行抽样的DPI分析，这种机制的弊端主要有两个：一是对分析系统的处理能力要求很高，而且必须随着网络流量的增大不断扩容；二是信息获取点距离客户较远，定位难以准确，例如，无法获取客户上网方式等。

发明内容

有鉴于此，本发明要解决的一个技术问题是提供一种基于家庭网关的监测方法，在家庭网关上采用DPI技术采集用户的上网信息。

一种基于家庭网关的监测方法，包括：家庭网关定时采集网络质量信息并实时记录用户上网行为；其中，所述家庭网关采用DPI技术，基于应用层协议分析IP包的内容，采集用户上网信息；所述家庭网关将网络质量信息和用户上网信息上传到文件采集服务器；统计分析服务器从所述文件采集服务器中获取网络质量信息和用户上网信息，进行用户上网信息统计和网络资源使用统计。

根据本发明的方法的一个实施例，进一步的，所述家庭网关将网络质量信息和用户上网信息生成标准格式的采集文件，并将采集文件通过TR069管理通道上传到所述文件采集服务器；所述统计分析服务器定期从所述文件采集服务器获取采集文件。

根据本发明的方法的一个实施例，进一步的，所述文件采集服务器向终端综合管理系统ITMS上传文件采集服务器账号密码和采集文件压缩密码；所述ITMS向所述家庭网关下发控制指令，所述控制指令包括：数据采集策略、采集文件上传周期、文件采集服务器URL、文件采集服务器账号密码和采集文件压缩密码；所述家庭网关将网络质量信息和用户上网信息生成标准格式的采集文件，定期将采集文件上传到所述文件采集服务器。

根据本发明的方法的一个实施例，进一步的，在IP数据包、TCP或UDP数据流通过所述家庭网关时，所述家庭网关读取IP包载荷的内容，基于应用层协议分析IP包载荷的内容，进行用户上网信息采集；所述家庭网关采集的数据包括：拨号账号、拨号时间、使用的应用软件账号、使用时间、浏览网站、搜索引擎和关键字、e-mail收发地址、标题、附件大小、使用的流量。

根据本发明的方法的一个实施例，进一步的，所述家庭网关建立标签库，将采集的数据与标签库中的行为标签进行匹配，生成采集文件。

根据本发明的方法的一个实施例，进一步的，所述统计分析服务器统计用户上网的URL,分析用户的上网偏好并进行用户分群。

本发明要解决的一个技术问题是提供一种基于家庭网关的监测系统，在家庭网关上采用DPI技术采集用户的上网信息。

一种基于家庭网关的监测系统，包括：家庭网关、文件采集服务器和统计分析服务器；所述家庭网关定时采集网络质量信息并实时记录用户上网行为；其中，所述家庭网关采用DPI技术，基于应用层协议分析IP包的内容，采集用户上网信息；所述家庭网关将网络质量信息和用户上网信息上传到所述文件采集服务器；所述统计分析服务器从所述文件采集服务器中获取网络质量信息和用户上网信息，进行用户上网信息统计和网络资源使用统计。

根据本发明的系统的一个实施例，进一步的，所述家庭网关将网络质量信息和用户上网信息生成标准格式的采集文件，并将采集文件通过TR069管理通道上传到所述文件采集服务器；所述统计分析服务器定期从所述文件采集服务器获取采集文件。

根据本发明的方法的一个实施例，进一步的，所述文件采集服务器向终端综合管理系统ITMS上传此文件采集服务器的账号密码和采集文件压缩密码；所述ITMS向家庭网关下发控制指令，所述控制指令包括：数据采集策略、采集文件上传周期、文件采集服务器URL、文件采集服务器账号密码和采集文件压缩密码；所述家庭网关将网络质量信息和用户上网信息生成标准格式的采集文件，定期将采集文件上传到所述文件采集服务器。

根据本发明的方法的一个实施例，进一步的，在IP数据包、TCP或UDP数据流通过所述家庭网关时，所述家庭网关读取IP包载荷的内容，基于应用层协议分析IP包载荷的内容，进行用户上网信息采集；所述家庭网关采集的数据包括：拨号账号、拨号时间、使用的应用软件账号、使用时间、浏览网站、搜索引擎和关键字、e-mail收发地址、标题、附件大小、使用的流量。

根据本发明的方法的一个实施例，进一步的，所述家庭网关建立标签库，将采集的数据与标签库中的行为标签进行匹配，生成采集文件。

根据本发明的方法的一个实施例，进一步的，所述统计分析服务器统计用户上网的URL,分析用户的上网偏好并进行用户分群。

本发明的基于家庭网关的监测方法和系统，在家庭网关上采用DPI技术采集用户的上网信息，例如，客户上网模式、行为偏好等信息，将DPI技术从骨干网旁路式分析转为嵌入式分析，使信息获取点更接近用户，获取的内容更丰富、定位更精确。将庞大的信息分析工作分散到海量终端进行，降低了成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明的基于家庭网关的监测方法的一个实施例的流程图；

图2为根据本发明的基于家庭网关的监测方法的另一个实施例的流程图；

图3为根据本发明的基于家庭网关的监测方法的又一个实施例的流程图；

图4为根据本发明的基于家庭网关的监测方法的一个实施例中家庭网关采集用户数据的示意图；

图5为根据本发明的基于家庭网关的监测方法的一个实施例的示意图。

具体实施方式

下面参照附图对本发明进行更全面的描述，其中说明本发明的示例性实施例。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。下面结合各个图和实施例对本发明的技术方案进行多方面的描述。

图1为根据本发明的基于家庭网关的监测方法的一个实施例的流程图。如图1所示：

步骤102，家庭网关定时采集网络质量信息并实时记录用户上网行为。其中，家庭网关采用DPI技术，基于应用层协议分析IP包的内容，采集用户上网信息。

步骤103，家庭网关将网络质量信息和用户上网信息上传到文件采集服务器。

步骤104，统计分析服务器从文件采集服务器中获取网络质量信息和用户上网信息，进行用户上网信息统计和网络资源使用统计。

本发明中的家庭网关为家庭网关类终端，包括一般的家庭网关，也包括ADSL、机顶盒等等。

DPI技术，即DPI(Deep Packet Inspection)深度包检测技术是一种基于应用层的流量检测和控制技术，通过深入读取IP包载荷的内容来对OSI七层协议中的应用层信息进行重组，从而得到整个应用程序的内容，深度数据包检测(DPI)是一项已经在流量管理、安全和网络分析等方面获得成功的技术，DPI技术首先能够将数据包组装到网络的流量中，数据处理(包括协议分类)接着可以从流量内容中提取信息，流量重组和内容。

本发明的基于家庭网关的监测方法，家庭网关嵌入软件定时监测网络质量、基于DPI技术实时记录用户上网行为。家庭网关使用TR069管理通道作为信息上报通道。设置服务器作为终端网络质量和用户行为分析管理平台。

根据本发明的一个实施例，家庭网关检测软件可通过管理平台指令启用和关闭。家庭网关上报标准格式的记录文件，供后台分析解读。家庭网关检测软件应适用于在网终端，不需要硬件升级，仅通过软件版本升级即可实现全网部署。终端检测记录具备加密加压功能。

根据本发明的一个实施例，家庭网关将网络质量信息和用户上网信息生成标准格式的采集文件，并将采集文件通过TR069管理通道上传到文件采集服务器。统计分析服务器定期从文件采集服务器获取采集文件。

图2为根据本发明的基于家庭网关的监测方法的另一个实施例的流程图。如图2所示：

步骤201，文件服务器向ITMS上传家庭网关上传采集文件的账号密码和采集文件的压缩密码。

步骤202，ITMS向家庭网关下发控制指令，控制指令包括：开启监控、数据采集策略、采集文件上传周期、文件采集服务器URL、文件采集服务器账号密码和采集文件压缩密码等。

步骤203，家庭网关采集用户行为数据并存储于固定大小的临时存储区。

步骤204，当临时存储区满时，上传采集文件。

步骤205，根据设定的采集文件上传周期，定时上传采集文件。

步骤206，文件采集服务器可以随时改变家庭网关上传采集文件的账号密码和采集文件的压缩密码。并将新的账号密码和采集文件的压缩密码发送到ITMS。ITMS（Integrated Terminal Management System，终端综合管理系统）是一种终端管理系统，它通过北向接口与BOSS系统，通过南向接口实现对家庭网关的统一管理。

步骤207，ITMS向家庭网关下发控制指令，控制指令包括：关闭监控、新的数据采集策略、采集文件上传周期、文件采集服务器URL、文件采集服务器账号密码和采集文件压缩密码等。

步骤208，统计分析服务器定期从文件采集服务器获取采集文件。

步骤209，获取成功后，删除文件采集服务器上的文件。

根据本发明的一个实施例，家庭网关阶段性、分布地将采集文件上传至文件收集服务器后，由统计分析服务器对文件进行抽取、加工，经数据解析、剔除异常值等必要的数据预处理后，存入数据库。

图3为根据本发明的基于家庭网关的监测方法的又一个实施例的流程图。如图3所示：

步骤301，ITMS向家庭网关下发控制指令，控制指令包括：关闭监控、新的数据采集策略、采集文件上传周期、文件采集服务器URL、文件采集服务器账号密码和采集文件压缩密码等。

步骤302，家庭网关采集用户行为数据并存储于固定大小的临时存储区。

步骤303，家庭网关将采集文件通过TR069管理通道上传到文件收集服务器集群。

步骤304，统计分析服务器集群定期从文件采集服务器获取采集文件。获取成功后，删除文件采集服务器集群上的文件。

步骤305，统计分析服务器集群根据采集文件，对用户的上网行为进行挖掘分析。

步骤306，统计分析服务器集群将分析结果和报表发送到ITMS服务器。

根据本发明的一个实施例，在分析系统建立标签库，将通过家庭网关采集到的数据与标签库中的行为标签进行匹配。统计分析服务器统计用户上网的URL,分析用户的上网偏好并进行用户分群。

根据本发明的一个实施例，识别用户的前提是识别用户行为。为精准定义用户行为特征，准确刻画用户行为视图，可以综合运用爬虫、分词、文本分类、索引等技术，根据主流导航网站分类方式，结合市场营销需求，整理出22个大类、241个小类URL分类词库，通过对各标签用户进行与、或等逻辑操作，实现用户偏好分析及用户分群。

根据本发明的一个实施例，基于家庭网关的监测包括三大模块：数据采集、数据抽取及数据预处理、用户偏好分析及用户分群。打上相应偏好及分群标签的用户信息与企业其他数据源一起共同构建客户全息视图，最终实现客户识别及实现面向客户的精确营销。

图4为根据本发明的基于家庭网关的监测方法的一个实施例中家庭网关采集用户数据的示意图。如图4所示：

家庭网关的ONU收发IP数据包、TCP或UDP数据流等，经过报文过滤器，通过特征库，家庭网关对IP数据包进行DPI处理，家庭网关读取IP包载荷的内容，基于应用层协议分析IP包载荷的内容，进行用户上网信息采集。并将数据上传到文件采集服务器。

随着DPI应用的普及，应用识别和处理按模块化处理，业务、应用的识别由特征库模块负责，特征库可独立维护、升级，特征库的分析结果作为DPI处理模块的输入。

家庭网关采集的数据包括：拨号账号、拨号时间、使用的应用软件账号、使用时间、浏览网站、搜索引擎和关键字、e-mail收发地址、标题、附件大小、使用的流量等。

根据本发明的一个实施例，家庭网关涉及的厂家多，产品及类型复杂，为统一信息采集内容、规范信息抽取方式，可以在家庭网关中内嵌用户行为数据采集模块，由家庭网关定期收集用户信息并通过管理通道上传文件收集服务器中。

根据本发明的一个实施例，家庭网关内置DPI功能，根据需要采集相关信息、通过FTP上传到智能分析平台进行用户行为分析，并将分析结果上报给策略平台进行智能化的策略控制和资源联动，终端作为用户侧感知点负责具体的数据采集、上传和策略执行。

图5为根据本发明的基于家庭网关的监测方法的一个实施例的示意图。如图5所示：基于家庭网关的监测系统，包括家庭网关51、文件采集服务器52和统计分析服务器53。

家庭网关51定时采集网络质量信息并实时记录用户上网行为。其中，家庭网关51基于应用层协议分析IP包的内容，采集用户上网信息。家庭网关51将网络质量信息和用户上网信息上传到文件采集服务器52。统计分析服务器53从文件采集服务器52中获取网络质量信息和用户上网信息，进行用户上网信息统计和网络资源使用统计。

根据本发明一个实施例，家庭网关51将网络质量信息和用户上网信息生成标准格式的采集文件，并将采集文件通过TR069管理通道上传到文件采集服务器52。统计分析服务器53定期从文件采集服务器52获取采集文件。

根据本发明的一个实施例，在IP数据包、TCP或UDP数据流通过家庭网关51时，家庭网关51读取IP包载荷的内容，基于应用层协议分析IP包载荷的内容，进行用户上网信息采集。家庭网关51采集的数据包括：拨号账号、拨号时间、使用的应用软件账号、使用时间、浏览网站、搜索引擎和关键字、e-mail收发地址、标题、附件大小、使用的流量。

在家庭网关上设置DPI的性能影响：现有功能点对终端的性能影响在可接受程度内，不影响规划中的业务开展。DPI功能涉及数据流的分析，软件的实现势必影响内存的开销。如果在终端上开发的DPI功能点越多，检测的报文越深，内存的开销就越大。DPI实际部署阶段根据关键、迫切需求进行性能评估，裁剪优化DPI功能点，将性能影响降到最低，尽量在可接受的范围内。终端DPI功能一旦成为主流应用后，势必驱动行业终端整体性能的提高。

一些运营商，例如，中国电信推出的“E家”系列家庭网关具备多业务综合接入能力，是网络延伸到客户的末梢，处理能力较此前的ADSL MODEM有很大提高，例如终端技术规范中就要求具备“中间件”嵌入技术。E家终端的推广，客观上使得DPI分析分散到终端成为可能。同时中国电信要求家庭网关类终端能够通过TR069协议接受ITMS的远程控制，通过该协议，ITMS能够设备设置终端内几乎所有的参数，这更使得终端监测功能的灵活部署成为可能

一旦运营者完全掌握、了解了网络之后，就需要挖掘网络的潜力以创造更多收入，DPI系统可以做为一种工具来发现更多的业务机会。将来并不是简单地推出基于速率分级的业务，而是完全基于应用的业务等级，使用DPI系统在实现基于限额带宽、基于站点计费后，可以推出基于内容收费的业务。

本发明的基于家庭网关的监测方法和方法，就是为了满足互联网运营需要，把DPI分析从骨干层旁路方式，向网络嵌入方式演进。一方面降低DPI分析成本，另一方面更贴近用户，为将来“区分比特颜色、按内容收费”打下基础。

可能以许多方式来实现本发明的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和系统。用于方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (12)

1.一种基于家庭网关的监测方法，其特征在于，包括：

家庭网关定时采集网络质量信息并实时记录用户上网行为；其中，所述家庭网关采用DPI技术，基于应用层协议分析IP包的内容，采集用户上网信息；

所述家庭网关将网络质量信息和用户上网信息上传到文件采集服务器；

统计分析服务器从所述文件采集服务器中获取网络质量信息和用户上网信息，进行用户上网信息统计和网络资源使用统计。

2.如权利要求1所述的方法，其特征在于：

所述家庭网关将网络质量信息和用户上网信息生成标准格式的采集文件，并将采集文件通过TR069管理通道上传到所述文件采集服务器；

所述统计分析服务器定期从所述文件采集服务器获取采集文件。

3.如权利要求2所述的方法，其特征在于：

所述文件采集服务器向终端综合管理系统ITMS上传文件采集服务器账号密码和采集文件压缩密码；

所述ITMS向所述家庭网关下发控制指令，所述控制指令包括：数据采集策略、采集文件上传周期、文件采集服务器URL、文件采集服务器账号密码和采集文件压缩密码；

所述家庭网关将网络质量信息和用户上网信息生成标准格式的采集文件，定期将采集文件上传到所述文件采集服务器。

4.如权利要求3所述的方法，其特征在于：

在IP数据包、TCP或UDP数据流通过所述家庭网关时，所述家庭网关读取IP包载荷的内容，基于应用层协议分析IP包载荷的内容，进行用户上网信息采集；

所述家庭网关采集的数据包括：拨号账号、拨号时间、使用的应用软件账号、使用时间、浏览网站、搜索引擎和关键字、e-mail收发地址、标题、附件大小、使用的流量。

5.如权利要求4所述的方法，其特征在于：

所述家庭网关建立标签库，将采集的数据与标签库中的行为标签进行匹配，生成采集文件。

6.如权利要求5所述的方法，其特征在于：

所述统计分析服务器统计用户上网的URL,分析用户的上网偏好并进行用户分群。

7.一种基于家庭网关的监测系统，其特征在于，包括：

家庭网关、文件采集服务器和统计分析服务器；

所述家庭网关定时采集网络质量信息并实时记录用户上网行为；其中，所述家庭网关采用DPI技术，基于应用层协议分析IP包的内容，采集用户上网信息；所述家庭网关将网络质量信息和用户上网信息上传到所述文件采集服务器；

所述统计分析服务器从所述文件采集服务器中获取网络质量信息和用户上网信息，进行用户上网信息统计和网络资源使用统计。

8.如权利要求7所述的系统，其特征在于：

所述家庭网关将网络质量信息和用户上网信息生成标准格式的采集文件，并将采集文件通过TR069管理通道上传到所述文件采集服务器；

所述统计分析服务器定期从所述文件采集服务器获取采集文件。

9.如权利要求8所述的系统，其特征在于：

所述文件采集服务器向终端综合管理系统ITMS上传此文件采集服务器的账号密码和采集文件压缩密码；

所述ITMS向家庭网关下发控制指令，所述控制指令包括：数据采集策略、采集文件上传周期、文件采集服务器URL、文件采集服务器账号密码和采集文件压缩密码；

所述家庭网关将网络质量信息和用户上网信息生成标准格式的采集文件，定期将采集文件上传到所述文件采集服务器。

10.如权利要求9所述的系统，其特征在于：

在IP数据包、TCP或UDP数据流通过所述家庭网关时，所述家庭网关读取IP包载荷的内容，基于应用层协议分析IP包载荷的内容，进行用户上网信息采集；

所述家庭网关采集的数据包括：拨号账号、拨号时间、使用的应用软件账号、使用时间、浏览网站、搜索引擎和关键字、e-mail收发地址、标题、附件大小、使用的流量。

11.如权利要求10所述的系统，其特征在于：

所述家庭网关建立标签库，将采集的数据与标签库中的行为标签进行匹配，生成采集文件。

12.如权利要求11所述的系统，其特征在于：

所述统计分析服务器统计用户上网的URL,分析用户的上网偏好并进行用户分群。

Images