CN111563190A

CN111563190A - 一种区域网络用户行为的多维度分析与监管方法及系统

Info

Publication number: CN111563190A
Application number: CN202010264707.9A
Authority: CN
Inventors: 张谦; 王吉; 唐泽宇; 李�昊; 顾杰
Original assignee: CETC 29 Research Institute
Current assignee: CETC 29 Research Institute
Priority date: 2020-04-07
Filing date: 2020-04-07
Publication date: 2020-08-21
Anticipated expiration: 2040-04-07
Also published as: CN111563190B

Abstract

本发明公开了一种区域网络用户行为的多维度分析与监管方法及系统。该方法的离线训练过程包括用户访问场景、用户行为、用户活动规律分析。用户访问场景分析提取用户访问过程中的行为特征；用户行为分析将文本语义化为词向量，采用类别向量和情感向量表示用户行为特征；用户活动规律分析基于语义化的时间对象序列，并引入用户活动位置的语义信息对用户活动轨迹数据进行建模来表示用户行为特征。本发明基于用户行为特征构建能够描述用户网络身份和行为的网络行为画像库，并以画像库中的用户网络行为模式为依据对当前网络环境中的异常行为及用户进行检测，实现对用户网络身份的审查、网络舆情信息的管控、异常用户和行为检测等网络环境的监管。

Description

一种区域网络用户行为的多维度分析与监管方法及系统

技术领域

本发明涉及网络监管技术领域，特别是一种区域网络用户行为的多维度分析与监管方法及系统。

背景技术

针对不同类型的网络用户数据和行为分析需求，围绕着如何理解用户网络行为这个核心问题，兰州交通大学的刘宗成使用关联分析的方法来挖掘用户在网络访问中的喜爱偏好，通过寻找频繁出现的用户访问，并使用聚类的方法来提取用户的访问偏好。华中科技大学的刘威通过对用户交互过程中的数据进行分析和拟合，构建用户访问行为模型来描述用户上网的特性和规律。在文本挖掘方面，由于外部知识库包含的领域和主题比较少，词汇更新速度慢，很难应用到短文本处理上，另一种方法是借助外部文本，如知识库、搜索引擎的结果，扩展文本特征。西安电子科技大学的范云杰借助维基百科知识库对文本特征进行扩展，以辅助对文本的分类。在文本的情感分析方面，海军工程大学的孙艳等人分别使用支持向量机和朴素贝叶斯等机器学习的方法来对用户文本数据进行情感分析。

对于用户的活动和行为模式，北京邮电大学的符饶通过使用基于网络的聚类算法来识别用户的访问位置，并使用状态转移矩阵来实现用户活动轨迹的预测，提出了基于马尔可夫模型的位置预测算法。东华大学的薛丹使用局部线性回归和关联规则的方法来分析用户的移动规则，并通过用户移动规则来对用户活动进行预测。北京大学黄文彬等人从用户的频繁活动、规律行为以及移动速度等方法对基站通信网络数据进行了分析，并构建了移动用户行为画像。中国电信公司张慷等人在大数据平台上对电信用户的上网日志进行了分析，结合电信业务中的套餐、终端等信息，形成了手机用户画像。

目前，针对网络数据的用户行为分析与研究已经取得了一些进展，但仍存在以下亟需解决的难题：

(1)缺少对用户行为语义的理解。大多数研究都是通过统计特征或关联分析的方式来获取用户在行为上的相似性和差异性，从而分析用户行为的规律，没有对用户行为所代表的语义和现实含义进行理解，分析过程受数据的统计分布限制，当用户数据不够全面时，容易存在用户行为特征上的理解偏差。

(2)维度单一的问题。大多数研究都是针对用户网络数据中的URL访问、文本内容或活动轨迹其中单一的数据进行用户行为的分析，并没有结合多个维度的用户数据来联合挖掘用户的复合行为特征和模式，由于用户在各个维度上的行为彼此之间存在一定的联系，因此维度单一的用户行为分析无法全面的理解用户的行为。

发明内容

本发明所要解决的技术问题是：针对网络用户结构多样性、信息开放性、通信匿名性、传播高效性等特点导致的网络用户身份和行为难以分析和管理的问题，提供了一种区域网络用户行为的多维度分析与监管方法及系统。

本发明采用的技术方案如下：一种区域网络用户行为的多维度分析与监管方法，包括：

用户访问场景分析：建立用户和访问类别映射标签，挖掘用户偏爱访问路径和使用场景，提取用户访问过程中的行为特征；

用户行为分析：将文本语义化为词向量，基于词向量进行文本分类和情感分析并获取类别向量和情感向量，采用类别向量和情感向量表示用户行为特征；

用户活动规律分析：通过位置兴趣点的语义信息和目标区域图像的空间结构信息，将用户活动轨迹数据转换为语义化的时间对象序列；并引入用户活动位置的语义信息对用户活动轨迹数据进行建模来表示用户行为特征。

进一步的，所述区域网络用户行为的多维度分析与监管方法还包括数据采集过程：通过在区域和/或城域网网络出口节点与骨干网络节点之间部署采集探针设备，采用网络流量分光的方式对用户网络数据进行采集。

进一步的，所述用户访问场景分析过程中：步骤SA，提取浏览器特征、操作系统特征和访问轨迹特征组成网络访问数据集，通过集成学习从网络访问数据集中识别用户的实际访问，并构建用户和访问类别映射标签库；步骤SB，使用序列模式挖掘用户偏爱访问路径和使用场景。

进一步的，在一定连续时期内重复进行步骤SA和步骤SB，计算用户访问场景的转移概率，得到用户访问的行为规律。

进一步的，所述用户行为分析过程中：首先，在文本数据预处理过程中将文本转化为适合文本挖掘处理的形式，并滤除任务不相关的冗余特征，进行文本分词获得目标文本集；然后，利用主题模型对目标文本集进行建模分析，发现文本数据中隐含的主题，通过主题对文档进行标注并转换为词向量表示；最后，在语义化的词向量基础上，对用户的文本数据进行文本分类和情感分析。

进一步的，所述用户活动规律建分析过程中：利用位置兴趣点建立语义位置库，经过兴趣点筛选、融合、排除以及一些补充处理之后，结合地理实体识别，完成对用户位置的语义和功能的划分；将功能的划分为五类：生活，工作，娱乐，交通和其它(其它指不能划分为工作，工作，娱乐，交通的一类)，与用户活动数据中的定位信息一起进行时间对象序列的提取，将提取的每一条位置记录语义化为一个“时间-对象-类型”的标签；根据标签的表示方法，构建基于典型状态的用户活动轨迹的行为模型，利用所述行为模型进行行为预测。

进一步的，建立用户行为特征和用户身份属性的映射，并形成画像库，基于画像库对采集的用户网络数据进行分析。

本发明还公开了一种区域网络用户行为的多维度分析与监管系统，包括：

数据获取模块，用于采集用户网络数据，对采集的采集用户网络数据进行预处理，获取身份属性数据、URL访问数据、文本内容数据、活动轨迹数据；

数据分析模块：用于基于URL访问数据进行用户访问场景分析、基于文本内容数据进行用户行为分析、基于活动轨迹数据进行用户活动规律分析；用户访问场景分析：建立用户和访问类别映射标签，挖掘用户偏爱访问路径和使用场景，提取用户访问过程中的行为特征；用户行为分析：将文本语义化为词向量，基于词向量进行文本分类和情感分析并获取类别向量和情感向量，采用类别向量和情感向量表示用户行为特征；用户活动规律分析：通过位置兴趣点的语义信息和目标区域图像的空间结构信息，将用户活动轨迹数据转换为语义化的时间对象序列；在此基础上，从不同维度分析用户的活动轨迹数据，挖掘其中潜在的用户活动行为特征，引入用户活动位置的语义信息对用户活动轨迹数据进行建模来表示用户行为特征；

用户画像模块，用于建立用户行为特征和用户身份属性的特征映射，获取用户网络行为画像库；

实时监管模块，用于根据用户网络行为画像库，对实时采集的用户网络数据进行异常检测。

进一步的，所述实时监管模块包括异常检测模块，所述异常检测模块用于对异常行为和异常用户进行检测。

与现有技术相比，本发明具有以下有益效果：本发明以用户网络行为分析方法和技术作为基础，通过提取区域网络中的用户身份属性数据，并对用户访问数据、文本内容数据和活动轨迹数据中隐含的行为模式进行分析和表示，构建能够描述用户网络身份和行为的网络行为画像库，并以画像库中的用户网络行为模式为依据对当前网络环境中的异常行为及用户进行检测，从而解决区域网络舆情信息、用户身份和行为监管的诸多技术难题，能够帮助网络监管部门实现对用户网络身份的审查、网络舆情信息的管控、异常用户和行为检测等网络环境的监管，创建更和谐的网络环境。此外，由于用户行为分析不仅是计算机领域的理论和技术，用户行为与社会学、心理学、人类行为学、经济学等学科密切相关，用户行为分析研究成果可以为多个学科提供参考和帮助。

附图说明

图1为本发明网络用户数据采集环境示意图。

图2为本发明区域网络用户行为的多维度分析与监管系统结构图。

图3为本发明用户访问场景、用户行为、用户活动规律分析的离线训练处理流程图。

图4为本发明实施监管流程示意图。

图5为本发明区域网络用户行为的多维度分析与监管系统为基础的区域网络用户异常行为管控系统部署图。

具体实施方式

下面结合附图对本发明做进一步描述：本实施实例在以本发明技术方法为前提下进行实施，给出了详细的实施方式，但本发明的保护范围不限于下述的实施实例。

随着我国网络的飞速发展，在网络使用过程中产生了海量的网络用户数据，这些数据中不仅隐藏了网络的状态和使用情况，还包含了大量的用户网络行为信息，描述了用户对于现实生活中各种事件和问题的了解、关注、评论以及活动的整个过程，而网络用户的真实身份极易隐藏在以虚拟网络身份为主要标识的网络信息交流过程中。因此网络用户结构多样性、信息开放性、通信匿名性、传播高效性等特点，本发明的目的是对用户在网络中所产生的数据和行为进行全面分析，挖掘其对应的网络行为规律和模式，并掌握具有不同代表性的用户在网络中的行为模式，实现对网络用户身份和行为的监管和预测，为创建和谐健康的网络环境提供保障。

本发明用户网络数据主要通过在区域和/或城域网网络出口节点与骨干网络节点之间部署采集探针设备，采用网络流量分光的方式对用户网络数据进行采集，通过流量采集探针集群，获取数据服务器集群，采集环境如图1所示；利用网络数据包中的协议、端口以及访问内容等网络流量特征能够还原用户在网络环境中的访问会话，这些会话主要包括用户的网页访问、社交平台交流、邮件通信等Web数据，以及即时通信、活动轨迹等业务数据。根据业务数据类型，本发明包括：用户访问场景、用户行为、用户活动规律分析。

本实施例提供的一种区域网络用户行为的多维度分析与监管方法，包括：

用户行为分析：将文本语义化为词向量，基于词向量进行文本分类和情感分析并获取类别向量和情感向量，采用类别向量和情感向量表示用户行为；

用户活动规律分析：通过位置兴趣点的语义信息和目标区域图像的空间结构信息，将用户活动轨迹数据转换为语义化的时间对象序列；在此基础上，从不同维度分析用户的活动轨迹数据，挖掘其中潜在的用户活动行为特征，引入用户活动位置的语义信息对用户活动轨迹数据进行建模。

作为其中一种实施例：

用户访问场景分析的主要方法是通过基于规则和集成学习的用户访问识别方法，消除了资源加载类噪声数据的影响，提取用户访问过程中的行为特征。为了获取用户访问的语义类别信息，采用用户访问类别映射的标签化方法，结合频繁序列模式、马尔可夫链等理论，通过对用户偏爱访问路径和场景的挖掘，从而实现对用户访问行为模式的分析和提取。如图3所示，本实施例对采集的用户网络数据中的账号进行便利，提取账号网络数据，对数据类型进行判断，基于URL访问数据，进行用户访问场景分析过程中：由于用户在互联网上浏览各种网页时，通常会具有特定的行为特征，包括使用的设备、网络访问的轨迹等；因此首先进行步骤SA，提取浏览器特征、操作系统特征和访问轨迹特征组成网络访问数据集，通过集成学习从网络访问数据集中识别用户的实际访问，并构建用户和访问类别映射标签库，完成对用户访问关系的映射和匹配。然后进行步骤SB，使用序列模式挖掘用户偏爱访问路径和使用场景。

作为其中一种实施例：

用户访问场景化分析方法通过一段时间内的用户访问数据，可以提取出用户在该时段的网络访问场景。网络访问场景中包含了用户频繁访问的类别标签，构成了较为稳定的用户网络访问偏爱，从一定程度上体现了用户在网络访问时的兴趣和意图。然而，用户的网络访问行为是一个动态变化的过程。因此，为了挖掘动态变化的用户网络访问行为模式，本实施例还进行了如下过程：进行步骤SA和步骤SB，计算用户访问场景的转移概率，得到用户访问的行为规律。本实施例分析了用户的在一定连续时期内的变化规律。

作为其中一种实施例：

用户行为分析的主要方法是通过文本预处理、主题提取、向量化表示、文本分类以及情感分析等多种文本挖掘方法，利用文本的语义化词向量表示和基于词向量的文本分类和情感分析，将用户的文本数据转换为类别向量和情感向量，构建了用户文本数据的行为表示方法，语义化的文本行为表示能够更好的识别和区分用户在文本内容数据中的类别偏好和情感倾向等隐藏行为特征，从而解决了传统表示方法高维稀疏和缺少用户语义信息的问题。

如图3所示，本实施例对采集的用户网络数据中的账号进行便利，提取账号网络数据，对数据类型进行判断，基于文本内容数据，进行用户行为分析方法：首先，为了保证能够快速有效地执行文本挖掘任务，实现对用户行为模式的分析和评估，需要在文本数据预处理过程中将文本转化为适合文本挖掘处理的形式，并滤除任务不相关的冗余特征，主要包括数据清洗和文本分词；所述用户行为分析过程中：首先，在文本数据预处理过程中将文本转化为适合文本挖掘处理的形式，并滤除任务不相关的冗余特征，进行文本分词获得目标文本集；然后，利用主题模型对目标文本集进行建模分析，发现文本数据中隐含的主题，通过主题对文档进行标注并转换为词向量表示；在语义化的词向量基础上，对用户的文本数据进行文本分类和情感分析，构建用户文本数据的向量化行为表示方法来表征用户行为，从而实现对用户文本数据的行为分析。

作为其中一种实施例：

对用户活动轨迹的意图分析是用户活动行为分析的一个重要研究内容，其目的在于从用户的历史活动行为轨迹中挖掘和解释用户的日常行为规律。如图3所示，本实施例对采集的用户网络数据中的账号进行便利，提取账号网络数据，对数据类型进行判断，基于活动轨迹数据，进行用户活动规律分析过程：首先，要实现对用户活动轨迹的意图分析和建模，需要理解用户的轨迹信息所代表的现实意义，因此利用位置兴趣点建立语义位置库，经过兴趣点筛选、融合、排除和补充处理之后，结合地理实体识别，完成对用户位置的语义和功能的划分。然后，将功能的划分为五类：生活，工作，娱乐，交通和其它，与用户活动数据中的定位信息一起进行时间对象序列的提取，将每一条位子记录语义化为一个“时间-对象-类型”的标签；通过对用户活动数据的语义化，将用户活动行为与地理实体的功能性联系起来。最后，假设如果用户具有规律性的出现在某个固定地点，通常暗示了该用户的一种潜在典型状态，同样用户不同的典型状态也通常对应了不同的地点，因此根据时间对象序列的表示方法，构建基于典型状态的用户活动轨迹的行为模型，利用用户活动轨迹行为模型实现对用户活动行为的预测。

图3中，因为采集的数据存在多个账号数据，因此在形成画像库形成过程中，上述实施例的用户访问场景分析、用户行为分析、用户活动规律分析过程示意图循环遍历的过程。

如图2所示，本实施例提供的一种区域网络用户行为的多维度分析与监管系统，包括：

数据获取模块，用于采集用户网络数据，获取采集集群，对采集集群进行实时数据流处理，将处理的实时数据流存入用户历史数据库，对用户历史数据库的数据进行数据预处理，获取身份属性数据、URL访问数据、文本内容数据、活动轨迹数据，身份属性数据用于获得用户身份属性；

数据分析模块：用于基于URL访问数据进行用户访问场景分析、基于文本内容数据进行用户行为分析、基于活动轨迹数据进行用户活动规律分析；用户访问场景分析：建立用户和访问类别映射标签，挖掘用户偏爱访问路径和使用场景，提取用户访问过程中的行为特征；用户访问场景分析过程基于URL访问数据通过URL访问识别、URL标签化、URL场景化获取用户行为表示。用户行为分析：将文本语义化为词向量，基于词向量进行文本分类和情感分析并获取类别向量和情感向量，采用类别向量和情感向量表示用户行为特征；用户行为分析过程基于文本内容数据通过主题提取、文本分类、情感分析获取用于行为表示；用户活动规律分析：通过位置兴趣点的语义信息和目标区域图像的空间结构信息，将用户活动轨迹数据转换为语义化的时间对象序列；在此基础上，从不同维度分析用户的活动轨迹数据，挖掘其中潜在的用户活动行为特征，引入用户活动位置的语义信息对用户活动轨迹数据进行建模来表示用户行为特征；用户活动规律分析过程基于活动轨迹数据，通过POI库构建、位置语义化、活动轨迹建模获取用户行为表示。

用户画像模块，用于建立用户行为表示的用户行为特征和用户身份属性的特征映射，获取用户网络行为画像库；

实时监管模块，用于根据用户网络行为画像库，对处理的实时数据进行异常检测。

本实施例对当前网络环境中异常的用户和行为进行识别和检测，从而达到对区域网络环境实时监管和预警的目的。

作为其中一种实施例：

所述实时监管模块包括异常检测模块，异常检测模块得到用户异常行为和群体异常行为，实现异常行为和异常用户进行检测。如图4所示，根据实时数据流得到用户会话识别，进而得到用户会话列表，基于用户网络行为画像库，判断用户行为是否异常，如果不异常则丢弃，如果异常则进入异常用户列表，再判断群体行为是否异常，如果是则进行群体异常预警。

以本发明的区域网络用户行为的多维度分析与监管系统为基础，如图5所示，建立区域网络用户异常行为管控系统部署图，管控系统可部署在城域网高速数据链路的目标区域网络出口节点上，采集探针集群设置在目标区域网络出口节点和骨干结点之间，使用采集探针集群对用户网络数据进行镜像，因此不会影响原始网络负载。对于镜像回来的原始网络用户数据，在经过初次过滤之后，一方面作为用户历史数据在数据服务器集群中保存，另一方面经过实时数据处理和转发之后，作为实时的网络数据传输到实时监控任务调度服务器，由该服务器完成对实时监控任务的调度。另外，用户访问场景分析、用户行为分析、用户活动规律分析的离线训练过程获得画像库，结合离线训练的画像库进行实时的网络数据监管；基于离线训练和实时监管，系统不仅能够描绘出区域内的用户网络形象和行为特征，更全面的理解用户网络身份与行为之间的关系，而且能够实现对区域当前网络状况的实时监管。因此，本发明提出的区域网络用户行为分析技术可以有效的识别用户在网络中多种维度的行为模式，并发现网络中存在的异常。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。如果本领域技术人员，在不脱离本发明的精神所做的非实质性改变或改进，都应该属于本发明权利要求保护的范围。

Claims

1.一种区域网络用户行为的多维度分析与监管方法，其特征在于，包括：

2.如权利要求1所述的区域网络用户行为的多维度分析与监管方法，其特征在于，还包括数据采集过程：通过在区域和/或城域网网络出口节点与骨干网络节点之间部署采集探针设备，采用网络流量分光的方式对用户网络数据进行采集。

3.如权利要求1所述的区域网络用户行为的多维度分析与监管方法，其特征在于，所述用户访问场景分析过程中：步骤SA，提取浏览器特征、操作系统特征和访问轨迹特征组成网络访问数据集，通过集成学习从网络访问数据集中识别用户的实际访问，并构建用户和访问类别映射标签库；步骤SB，使用序列模式挖掘用户偏爱访问路径和使用场景。

4.如权利要求3所述的区域网络用户行为的多维度分析与监管方法，其特征在于，在一定连续时期内重复进行步骤SA和步骤SB，计算用户访问场景的转移概率，得到用户访问的行为规律。

5.如权利要求1所述的区域网络用户行为的多维度分析与监管方法，其特征在于，，所述用户行为分析过程中：首先，在文本数据预处理过程中将文本转化为适合文本挖掘处理的形式，并滤除任务不相关的冗余特征，进行文本分词获得目标文本集；然后，利用主题模型对目标文本集进行建模分析，发现文本数据中隐含的主题，通过主题对文档进行标注并转换为词向量表示；最后，在语义化的词向量基础上，对用户的文本数据进行文本分类和情感分析。

6.如权利要求1所述的区域网络用户行为的多维度分析与监管方法，其特征在于，所述用户活动规律建分析过程中：利用位置兴趣点建立语义位置库，经过兴趣点筛选、融合、排除之后，结合地理实体识别，完成对用户位置的语义和功能的划分；将功能的划分为五类：生活，工作，娱乐，交通和其它，与用户活动数据中的定位信息一起进行时间对象序列的提取，将提取的每一条位置记录语义化为一个“时间-对象-类型”的标签；根据标签的表示方法，构建基于典型状态的用户活动轨迹的行为模型，利用所述行为模型进行行为预测。

7.如权利要求1所述的区域网络用户行为的多维度分析与监管方法，其特征在于，建立用户行为特征和用户身份属性的映射，并形成画像库，基于画像库对采集的用户网络数据进行分析。

8.一种区域网络用户行为的多维度分析与监管系统，其特征在于，包括：

9.如权利要求8所述的区域网络用户行为的多维度分析与监管系统，其特征在于，所述实时监管模块包括异常检测模块，所述异常检测模块用于对异常行为和异常用户进行检测。