CN101990003B - 一种基于ip地址属性的用户行为监控系统与方法 - Google Patents

Abstract

一种基于IP地址属性的用户行为监控系统与方法，通过离线基础数据获取模块、在线数据实时分析模块、数据中心和分析模块四部分协同工作完成用户行为的监控。首先提出显著IP地址的概念，并采用主被动监控相结合的方法实现显著IP地址的获取。随后，提出将服务类型和地理位置作为IP地址的属性，并结合所筛选的显著IP地址构建IP地址属性信息库。为了综合反映网络用户行为的特征，可以采用多种行为图谱描述用户行为在时间和空间上的特征，在建立行为图谱的基础上，可以实现用户行为聚集性、关联性、相似性、周期性、迁移性等特征的分析，进一步了解网络用户的需求和访问特征，有效加强对网络访问的监管。

Description

一种基于IP地址属性的用户行为监控系统与方法

技术领域

本发明涉及网络通信安全与用户行为监控领域，特别是涉及一种基于IP地址属性的用户行为监控系统与方法。

背景技术

互联网应用已成为人们日常生活的重要方式，国外已经就用户的网络行为展开了许多专门的研究。早在1994年1月，美国就有机构对万维网用户及其使用行为进行初步的统计分析，随着时间的推移，研究越来越深入，逐步采用问卷调查、用户观察、访谈、小组讨论、出声思考法、实验和系统日志分析等多种方法，探讨各类网络用户行为的表现、策略以及影响因素，并构建了专门的网络行为模式。对网络用户行为的研究有很大一部分是针对特定用户群体开展的，而且研究的用户群体以教育界的教师和学生为主。蒂洛森(Tillotson)等人对多伦多大学的学生及教工使用网络的情形进行了调查和分析，包括确定谁是因特网的用户，他们在性别和学历上是否存在差异，上网地点，用因特网来查找些什么，对查找结果是否满意，对学校提供的上网设施是否满意，对改进系统的建议等。

我国对网络用户行为的研究还在起步阶段，主要的研究方法还是对站点服务器的各种日志的原始数据进行分析。挖掘网络用户在进行浏览、查询、检索等动作时的行为特征。其主要工作也集中在入侵检测分析，网络模型复杂现象的分析、网络用户行为审计等方面。

根据网络用户行为的分析方法和分类标准上的不同，在网络行为的分类上主要有一下四种：

1)基于应用层方法：互联网实验室就中国目前互联网用户群进行研究，并从应用角度对网络用户行为进行了分析和分类。以互联网实验室把网络用户行为划分为基础网络行为和扩展网络行为，进而把所有网络行为分成五大类，即信息获取类、沟通交流类、休闲娱乐类、电子服务类、电子商务类。但这种分类方法主要是通过计算机网上自动搜寻、网上联机，电话抽样、相关单位上报数据等方式进行，还属于人工统计范畴。

2)基于地址端口的分类方法：在入侵检测领域，在网络层就源地址、端口和目的地址、端口的不同组合对网络用户行为进行分类研究，把网络用户分为正常行为和异常行为。但是这种方法的出发点是关注异常的攻击行为，对网络用户的正常行为特征没有进行过多的关注和分析。

3)基于IP连接关系分类方法：主要通过网络层源端IP地址于目的端IP地址的不同组合对用户进行分类。把网络用户行为从宏观上分为：单IP对单IP的访问、单IP对多IP的访问、多IP对单IP的访问、多IP对多IP的访问。这种分类方法仅仅是通过连接关系来分类，其信息源并没有实际的物理意义。

4)基于网络测量的分类方法：这类方法主要通过测量用户使用网络时产生的流量大小将用户分为平均每天使用网络8个小时以上的用户，平均每天使用网络8-4个小时的用户，平均每天使用网络4-1个小时的用户以及平均每天使用网络一个小时以下的用户，这种分类方法只能分辨出用户使用网络的频繁程度，但是对具体的服务类型没有涉及。

为更方便的比较以上分类方法，下面以表1的形式简单给出各网络行为分类方法比较结果。综上所述，针对目前用户行为分类研究的不足，为了实现大规模网络中复杂用户行为的建模和分类，分析用户行为之间的内在关联，为大规模网络用户行为分类与监控提供科学依据。

表1用户分类方法的比较

分类方法	信息源	分类目的	评价
				基于应用层的方法	各种统计数据	预测网络发展方向	分类工作量巨大
基于地址端口	地址、端口信息	入侵检测	只适用于异常用户
				基于网络层	IP对应关系	检测相似用户	数据源没有实际的物理意义
基于网络测量	网络流量	用户监控	分类过于简单

通过研究发现，网络中10％以下的IP地址承载着网络中90％以上的流量，这些IP地址被称为显著IP地址。如果对这些IP地址的网络行为进行有效的监控则可以追踪到用户的绝大多数访问网络时的行为。通过对这些行为的统计和分析，并提出一套有效的行为刻画方法，有助于实现对用户主体行为的监控和对用户进行更为复杂和细致的分类。

综上所述，本发明提出基于行为图谱的用户行为分析方法。该分析方法是在IP地址属性的基础上，为网络用户构建各种行为图谱，通过对用户行为图谱的分析，实现用户行为的周期性、关联性、聚集性、迁移性等特征的分析，实现一种高效的用户行为分析方法。

发明内容

本发明的目的在于提供一种基于IP地址属性的用户行为监控系统与监控方法。

为达到上述目的，本发明的系统包括以下模块：

离线基础数据获取模块：该模块用于从被监控网络出口路由器处，截获并存储网络中的NetFlow信息，获取包括网络流的源IP地址、目的IP地址、目的端口、访问时间等关键网络流信息，并将所获取的网络流信息存入数据库中，此部分数据集称为离线数据集，主要为显著IP地址的获取提供数据源；

显著IP地址属性库建立模块：以所捕获的离线数据源为基础，通过分析网络连接数、数据量、数据包个数的特点，结合二八定理，获取网络中承载着众多流量的IP地址，建立显著IP地址库，并同时分析这些IP地址在服务类型、地理位置、ISP类型方面的信息，从而建立IP地址属性数据库；

在线数据实时分析模块：该模块用于从网络中实时获取流量，并同时将所获取的IP地址与显著IP地址属性库中的IP地址相匹配，实现用户访问行为类型的获取，并根据用户的分类结果，建立多种网络用户的行为图谱，对用户的访问行为进行可视化分析；

数据中心模块：该模块存放两种数据：IP地址属性库和用户行为信息库，IP地址属性库存放着监控网络中的显著IP地址和显著IP地址所能提供的服类型、地理位置等属性信息，用户行为信息库存放着用户的访问行为类特征，包括所访问的服务类型、物理位置、访问时间、访问所产生的流量信息等；

用户行为分析模块：该模块根据所建立网络用户行为图谱特征、行为迁移图谱等放映用户行为特征的图谱，分析挖掘网络用户行为的兴趣所在，为网络管理、网络信息推送、网络资源配置方面提供帮助。

本发明的监控方法包括以下步骤：

步骤1：将显著IP地址定义为承载着网络中90％以上网络流量的IP地址，显著IP地址库的建立采用被动监听和主动探测的方式获取，被动监听方式通过在路由器处收集流量数据，通过统计IP地址在数据包数目、网络流条数、字节量等方面的排序，取占上述统计量90％的IP地址，称此部分IP地址为基于被动监听方法获取的显著IP地址；主动探测方法通过收集当前网络中的知名服务和知名网站，知名服务为当前网络中经常应用的服务，如搜索、新闻等，而提供这些知名服务的网站则称为知名网站。通过DNS域名解析服务查询出知名网站域名所对应的IP地址，采用这种方法获取的IP地址称为基于主动监控方法获取的显著IP地址。通过采用以上两种方法相结合，可以有效的建立显著IP地址库；

步骤2：建立显著IP地址属性库，对于IP地址，定义两个主要属性和三个度量属性：

IP属性定义1：服务类型，定义为该IP地址所提供的应用类型，将服务类型分为：体育类、财经类、视频类、电子产品类、下载类、工作类、军事类、音乐类、博客空间类、电子邮件类、社区类、搜索引擎类、生活信息类、汽车类、文学小说类、沟通交友类、新闻类、电子商务类、游戏类等；

IP属性定义2：地域特性，定义为该IP地址所处的物理地址，IP地址的物理地址具体到省级单位；

为了量化用户对不同IP地址的访问频繁度和访问量，定义三个度量属性：

度量属性1：会话数，定义为在规定时间内该IP地址被网络用户群访问的次数；

度量属性2：流量大小，定义为在规定时间内该IP地址与网络用户群交互数据的总字节数；

度量属性3：包个数，定义为在规定时间内该IP地址被网络用户群访问时所产生的数据包量；

步骤3：结合IP地址属性库，建立用户访问行为的多种行为图谱；使用基于IP地址属性的网络行为图谱作为用户行为可视化建模方法，通过分析行为图谱之间的特性迁移实现用户群体的识别和监控；

步骤4：依据所建立的行为图谱，分析用户行为的聚集性、周期性、迁移性、关联性等方面的特征，实现当前用户的需求分析，进一步实现对网络用户行为的监督和管理；

步骤5：IP地址属性库的更新

IP地址访问数据表更新，在内存中维持一张IP地址表，根据NetFlow数据情况，对IP访问数据进行实时更新，具体方法为：如果IP地址在表中存在，则更新相应的属性值，否则，则添加新项。

附图说明

图1：基于行为图谱的用户行为监控系统架构

图2：网络数据采集机存储

图3：显著IP地址库更新方法

图4：用户访问行为类型库建立方法

图5：用户行为图谱形成方法

图6：用户行为图谱呈现方法

图7：用户行为迁移图谱呈现方法

图8：用户行为地域图谱呈现方法

具体实施方式

参见图1所示，一种基于IP地址属性的网络用户行为监控系统，是由数据获取模块、显著IP地址及其属性建立模块、用户行为类别和图谱建立模块和用户行为分析模块四部分构成。

首先数据获取模块通过实时捕获路由器产生的NetFlow统计的数据包，并按照NetFlow协议格式进行协议分析，得到NetFlow记录(协议号，包数，字节数，源IP地址，源端口，目的IP地址，目的端口)。在本发明中，为了尽可能高的提升系统运行、计算效率和跨平台设计，采用了基于Jpcap的NetFlow收集方法。随后将所收集到的网络流量数据存入数据库中，在数据存储中，采用每5分钟建立一张新表的方法。由于数据量巨大，数据库中最多只存放500张表，当数据库中的Netflow表超过500张时，则按建立顺序删除较早的表。其中数据采集及存储的具体实施流程方式参见图2。

其次，显著IP地址及其属性库建立模块首先按照所收集到的数据，按照三个度量属性(连接数、字节量和数据包个数)进行排序，按照网络监控的原则，选择占三个度量属性总量的90％的所有IP地址为显著IP地址，综合考虑三种度量属性，建立基于被动监听的显著IP地址属性库。由主动监听所获得的显著IP地址，则直接添加到显著IP地址数据库中。综合上述两种方法，形成显著IP地址数据库。显著IP地址随着时间的推移，会发生变化，故本发明同时给出了显著IP地址库的更新方法，具体实施方式如图3所示。

显著IP地址属性库的建立首先要实现显著IP地址服务类型的标定，本发明根据网络所能提供的服务，并按照服务的特点进行了分类，将网络服务分类19类，具体如下所示：

访问行为类型1：体育类(sports)，其访问的显著IP地址主要有新浪体育、搜狐体育、体坛网等和体育有关的网站。

访问行为类型2：财经类(finance)，其访问的显著IP地址主要包括东方财富、金融界、百度财经、腾讯财经等财经类网站。

访问行为类型3：视频类(video)，其访问的显著IP地址主要包括优酷、土豆、酷6等在线视频类网站。

访问行为类型4：电子产品类(eproduct)，其访问的显著IP地址主要包括新蛋、京东在线等在线数码购物网站。

访问行为类型5：下载类(download)，其访问的显著IP地址主要包括迅雷、电驴、华军等下载类的网站。

访问行为类型6：工作类(job)，其访问的显著IP地址主要包括中华英才网、智联招聘、51job、前程无忧等网站。

访    问行为类型7：军事类(military)，其访问的显著IP地址主要包括中华军事网，凤凰军事网，国防部等网站。

访问行为类型8：音乐类(music)，其访问的显著IP地址主要包括蓝莲花音乐台、一听音乐网、百度MP3等网站。

访问行为类型9：博客空间(blog)，其访问的显著IP地址主要包括QQ空间，百度空间，网易博客、新浪博客等网站。

访问行为类型10：电子邮件(email)，其访问的显著IP地址主要包括163邮箱、雅虎邮箱、谷歌邮箱等网站。

访问行为类型11：社区类(community)，其访问的显著IP地址主要包括兵马俑BBS、天涯社区、猫扑等网站。

访问行为类型12：搜索引擎(search_engine)，其访问的显著IP地址主要包括百度、谷歌、腾讯搜搜等网站。

访问行为类型13：生活(life)，其访问的显著IP地址主要包括搜房网、同城网以及百姓网等网站。

访问行为类型14：汽车(auto)，其访问的显著IP地址主要包括太平洋汽车、易车网、汽车之家等网站。

访问行为类型15：文学小说(literature)，其访问的显著IP地址主要包括起点、小说阅读网、红袖添香等网站。

访问行为类型16：沟通交友(communication)，其访问的显著IP地址主要包括QQ、人人网、开心网、世纪佳缘等网站。

访问行为类型17：新闻类(news)，其访问的显著IP地址主要包括新浪新闻，腾讯新闻、南方周末等网站。

访问行为类型18：电子商务(ebusiness)，其访问的显著IP地址主要包括淘宝网、支付宝、百度有吧、腾讯拍拍等网站。

访问行为类型19：游戏类(game)，其访问的显著IP地址主要包括魔兽世界、网易游戏、腾讯游戏等知名游戏的官方网站。

而对于显著IP地址属性的地理位置属性，本发明采用精确到省级单位的定位方法，实现IP地址物理位置的定位。

经过建立显著IP地址及其属性库，可以实时监控网络中用户的访问行为特征，其实施方式如图4所示。首先实时捕获网络中用户访问的目的IP地址，通过和显著IP地址库中的IP地址进行比对，如果匹配成功，则表明该次访问为显著访问，同时标定其访问行为类型，否则丢弃。通过这种实时监控，获取用户的访问行为类型数据和访问整体状态数据。

再者，用户行为图谱建立模块根据所建立的网络用户访问行为类型库，绘制网络用户行为图谱。为了使用户行为图谱能够更清晰和直观的反映网络用户的访问行为，本发明使用红、绿、蓝三种不同的颜色来刻画用户的访问行为的度量特征，红色代笔访问行为的字节数据量，蓝色代表访问行为的数据包数，绿色代表用户访问行为的连接数。同时采用数据点的数量多少表示这次访问量的大小，具体实施步骤如图5所示。根据以上着色方法，本发明提出了三种网络用户行为图谱，具体如下所述：

1)用户访问行为空间图谱的构建，根据所获取的用户行为访问数据类型，采用时间(每天24小时)和访问行为类(19类)，构建19X24的用户行为图谱空间，按照用户在某时刻所访问的行为类，进行空间布点和着色，实现网络用户行为空间图谱的建立，用以反映用户访问行为的分布特征，具体实施方法和呈现方式如图6所示。

2)用户访问行为迁移图谱的构建，根据所获取的用户行为访问数据类型，采用时间(每天24小时)和访问行为类(19类)，构建19X24的用户行为迁移空间，按照用户访问类型在随着时间的迁移所发生的变化，构建用户行为迁移特征，采用线型图，描述用户访问行为随着时间的变化关系，其具体实施方法和呈现方式如图7所示。

3)用户访问行为地域图谱构建，网络用户访问行为图谱的构建，根据所获取的用户行为访问数据类型，采用时间(每天24小时)和访问行为类(19类)，构建19X24的用户行为地域空间，按照用户在某时刻所访问的地理位置，进行空间布点和着色，实现网络用户地域图谱的建立，用以反映用户访问行为在物理位置空间的分布特征，具体实施方法和呈现方式如图8所示。

上述三种类型的行为图谱，由不同的角度呈现了用户的访问行为特征，至此，用户行为图谱构建完成，在此基础上，用户行为分析模块，可以实现网络用户行为的周期性、聚集性、迁移性、突发性等多方面的特征进行测量和分析，实现网络用户行为的有效监管和控制。

Claims (2)

1.一种基于IP地址属性的用户行为监控系统，其特征在于，包括以下模块：

离线基础数据获取模块：该模块用于从被监控网络出口路由器处，截获并存储网络中的NetFlow信息，获取包括网络流的源IP地址、目的IP地址、目的端口、访问时间的关键网络流信息，并将所获取的网络流信息存入数据库中，此部分数据集称为离线数据集，为显著IP地址的获取提供数据源；

显著IP地址属性库建立模块：以所捕获的离线数据源为基础，通过分析网络连接数、数据量、数据包个数的特点，结合二八定理，获取网络中承载着众多流量的IP地址，建立显著IP地址库，并同时分析这些IP地址在服务类型、地理位置、ISP类型方面的信息，从而建立显著IP地址属性库；

在线数据实时分析模块：该模块用于从网络中实时获取流量，并同时将所获取的IP地址与显著IP地址属性库中的IP地址相匹配，实现用户访问行为类型的获取，并根据用户的分类结果，建立多种网络用户的行为图谱，对用户的访问行为进行可视化分析；

数据中心模块：该模块存放两种数据：显著IP地址属性库和用户行为信息库，显著IP地址属性库存放着监控网络中的显著IP地址和显著IP地址所能提供的服务类型、地理位置属性信息，用户行为信息库存放着用户的访问行为类特征，包括所访问的服务类型、物理位置、访问时间、访问所产生的流量信息；

用户行为分析模块：该模块根据所建立网络用户行为图谱特征分析挖掘网络用户行为的兴趣所在，为网络管理、网络信息推送、网络资源配置方面提供帮助，用户行为图谱包括行为迁移图谱。

2.一种如权利要求1所述的基于IP地址属性的用户行为监控系统的监控方法，其特征在于，包括以下步骤：

步骤1：将显著IP地址定义为承载着网络中90%以上网络流量的IP地址，显著IP地址库的建立采用被动监听和主动探测的方式获取，被动监听方式通过在路由器处收集流量数据，通过统计IP地址在数据包数目、网络流条数、网络字节量方面的排序，取占上述统计量90%的IP地址，称此部分IP地址为基于被动监听方法获取的显著IP地址；主动探测方法通过收集当前网络中的知名服务和知名网站，知名服务为当前网络中经常应用的服务，而提供这些知名服务的网站则称为知名网站；通过DNS域名解析服务查询出知名网站域名所对应的IP地址，采用这种方法获取的IP地址称为基于主动探测方法获取的显著IP地址，通过采用以上两种方法相结合，可以有效的建立显著IP地址库；

步骤2：建立显著IP地址属性库，对于IP地址，定义两个主要属性和三个度量属性：

IP属性定义1：服务类型，定义为该IP地址所提供的应用类型，将服务类型分为：体育类、财经类、视频类、电子产品类、下载类、工作类、军事类、音乐类、博客空间类、电子邮件类、社区类、搜索引擎类、生活信息类、汽车类、文学小说类、沟通交友类、新闻类、电子商务类、游戏类；

IP属性定义2：地域特性，定义为该IP地址所处的物理地址，IP地址的物理地址具体到省级单位；

为了量化用户对不同IP地址的访问频繁度和访问量，定义三个度量属性，

度量属性1：会话数，定义为在规定时间内该IP地址被网络用户群访问的次数；

度量属性2：流量大小，定义为在规定时间内该IP地址与网络用户群交互数据的总字节数；

度量属性3：包个数，定义为在规定时间内该IP地址被网络用户群访问时所产生的数据包量；

步骤3：结合显著IP地址属性库，建立用户访问行为的多种行为图谱；使用基于IP地址属性的网络行为图谱进行用户行为可视化建模，通过分析行为图谱的特征实现对网络用户的识别和监控；

步骤4：依据所建立的行为图谱，分析用户行为的聚集性、周期性、迁移性、关联性方面的特征，实现当前用户的需求分析，进一步实现对网络用户行为的监督和管理，并为网络信息推送、网络资源配置方面提供帮助；

步骤5：显著IP地址属性库的更新，IP地址访问数据表更新，在内存中维持一张IP地址表，根据NetFlow数据情况，对IP访问数据进行实时更新，具体方法为：如果最新获取的IP地址在表中存在，则更新相应的属性值，否则，则添加新项。

Images