CN105718579B

CN105718579B - 一种基于上网日志挖掘和用户活动识别的信息推送方法

Info

Publication number: CN105718579B
Application number: CN201610045890.7A
Authority: CN
Inventors: 陈岭; 应鸳凯
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2016-01-22
Filing date: 2016-01-22
Publication date: 2018-12-18
Anticipated expiration: 2036-01-22
Also published as: CN105718579A

Abstract

本发明公开了一种基于上网日志挖掘和用户活动识别的信息推送方法，包括数据预处理阶段、潜在推送用户筛选阶段和适时推送阶段。数据预处理阶段包括网页画像、网页层次化分类和用户画像；潜在推送用户筛选阶段利用基于矩阵分解的方法求新信息与用户访问的历史网页之间的相似性，筛选出可能对新信息感兴趣的潜在推送用户；适时推送阶段包括基于移动智能设备的情境信息获取和活动识别，以及活动情境适应的信息适时推送。本发明通过挖掘上网日志数据，发现对信息感兴趣的潜在用户，当有新信息产生时，将其适时的推送给潜在用户，从而提高信息推送效率。

Description

一种基于上网日志挖掘和用户活动识别的信息推送方法

技术领域

本发明涉及信息推送技术领域，具体涉及一种基于上网日志挖掘和用户活动识别的信息推送方法。

背景技术

随着互联网时代的逐步深入，“信息爆炸”与“信息孤岛”成为人们需求信息时面临的一对矛盾。一方面信息产生速度非常之快，新的信息源源不断；另一方面人们在复杂而又庞大的信息面前显得手足无措。在此背景下，信息推送服务也就有了巨大的发展空间。信息推送服务是利用推送技术自动搜索网络上用户感兴趣的信息，并主动推送给用户服务，也可以称为基于“推”模式的网络信息服务。

向不同的用户推送不同的、能够满足用户个性需求的信息就是个性化信息推送服务。传统的个性化信息推送服务在进行用户画像方面主要有以下两类方式：

第一类是通过用户提交需求特征。在用户首次使用信息推送服务时，用户通过设计好的表单向推送系统提交用户的兴趣爱好、网络使用习惯、使用信息的目的、关注的信息领域和网站、表达信息需求的关键词等个人信息，初步建立用户画像。

但这种方式对用户输入有较强的依赖，当用户不向信息提供商提交个人信息时，此类方法无法工作，当提交的信息不够详细时，此类方法无法对用户的信息需求进行准确描述。

第二类是用户兴趣挖掘方式。通过跟踪用户使用信息推送服务的行为，利用机器学习或者心理学分析的方式推测用户潜在的兴趣爱好和信息需求。但这种方式的前提是用户已经使用过一段时间的信息推送服务，因此存在冷启动问题，那些首次使用的用户无法得到个性化的信息推送。此外，传统的个性化信息推送方法往往不考虑用户当前的情境是否适合接收信息，随时随地地向用户推送信息，导致用户体验不佳。

发明内容

本发明提供的基于上网日志挖掘和用户活动识别的信息推送方法，通过挖掘上网日志数据，发现对信息感兴趣的潜在用户，当有新信息产生时，将其适时的推送给潜在用户，从而提高信息推送效率。

一种基于上网日志挖掘和用户活动识别的信息推送方法，依次包括在服务器端进行的数据预处理阶段、潜在推送用户筛选阶段以及在客户端进行的适时推送阶段，其中，数据预处理阶段包括：

步骤1-1、输入信息分类树和用户上网日志数据；

步骤1-2，提取用户访问的历史网页的特征，对网页进行画像；

步骤1-3，依据信息分类树对用户访问的历史网页进行层次化分类，并打上标签；

步骤1-4，根据用户访问的历史网页，构建用户的偏好层次结构，对用户进行画像；

潜在推送用户筛选阶段包括：

步骤2-1、根据网页的画像计算得到网页的相似性矩阵；

步骤2-2、根据用户的偏好层次结构计算得到用户的相似性矩阵；

步骤2-3、根据用户上网日志数据，构建用户-网页矩阵并补全矩阵；

步骤2-4、利用矩阵分解的方法筛选潜在推送用户，并向潜在推送用户的客户端推送信息；

适时推送阶段包括：

步骤3-1、获取情境信息；

步骤3-2、依据情境信息识别用户当前活动；

步骤3-3、向用户推送与当前活动相适应的信息。

本发明针对当前信息推送准确性和适时性不足的问题，研发基于上网日志大数据挖掘和活动识别的信息推送方法，本发明主要由三部分组成，包括数据预处理阶段、潜在推送用户筛选阶段和基于客户端感知的适时推送阶段。

数据预处理阶段主要是为后续阶段提供支持，包括网页画像、网页层次化分类和用户画像。

潜在推送用户筛选阶段利用基于矩阵分解的方法求新信息与用户访问的历史网页之间的相似性，筛选出可能对新信息感兴趣的潜在推送用户。

基于客户端(移动智能终端，例如手机)感知的适时推送阶段包括基于移动智能设备的情境信息获取和活动识别，以及活动情境适应的信息适时推送，在此阶段，当有新信息产生时，服务器端在筛选出推送用户后立即推送给用户，但在客户端上本方法会结合用户当前的活动情境，并根据事先定义好的规则库确定向用户显示信息的最佳时机。

作为优选，提取用户访问的历史网页的特征时，提取统计特征、语义特征和结构特征。

作为优选，采用信息分类树表示用户的画像，利用如下公式计算两个用户的相似性：

其中Sim(u,u′)表示两个用户的相似性；LevelSim(u,u′,l)表示两个用户的画像在第l层的相似性；D(u,l)表示用户画像中第l层中用户u偏好的多样性；D(u’,l)表示用户画像中第l层中用户u’偏好的多样性；|l|表示用户画像中层次结构的层数；β＝2^l；C_l表示第l层的信息类别集合，c是C_l中的一个元素；u.w_c表示用户u的画像中信息类别c的权值；u’.w_c表示用户u’的画像中信息类别c的权值；u.P(c)表示用户u访问信息类别为c的信息的概率。

作为优选，采用基于用户相似性和网页相似性的协同过滤方法对用户-网页矩阵进行补全，计算公式如下：

A’＝S^U·A·S^P

其中为经过补全的用户-网页矩阵，A为根据用户的上网日志构造用户-网页矩阵，S^U为用户的相似性矩阵，S^P为网页的相似性矩阵。

作为优选，利用矩阵分解的方法筛选潜在推送用户包括如下步骤：

步骤2-4-1、将经过补全的用户-网页矩阵A＇分解成矩阵和矩阵然后将矩阵V分解为矩阵和矩阵计算公式如下：

A＇→U·V

V→X·Y；

步骤2-4-2、当有新的信息产生时，提取该信息的相关特征，形成新信息的画像然后通过下列公式将画像α降维为k维的一个向量计算公式如下：

α′＝α·(X^T)^-1；

步骤2-4-3、将画像α′分别与矩阵V中的每一列做相似性计算，找到与新信息最相似的前N个网页组成集合T，从补全后的用户-网页矩阵A′中删去不属于集合T的网页列，得到矩阵A″；

步骤2-4-4、在矩阵A″中对每个用户对应的行求和得到该用户潜在推送的一个分数，最后确定潜在的推送用户为分数最大的前S个网页用户。

作为优选，情境信息以本地文件的形式存储在客户端。

作为优选，客户端接收服务器端推送的信息后，在识别用户的当前活动后，基于预定的推送规则，确定将服务器端推送过来的信息显示给用户的最佳时机。

本发明的优点包括：

1)通过用户上网日志数据挖掘对用户进行画像，不仅能对用户进行准确刻画，而且由于上网日志的泛在性，还能避免传统个性化信息服务中存在的冷启动问题；

2)基于信息分类树的用户画像，可以更加准确的计算用户间的相似度；

3)基于矩阵分解的潜在推送用户筛选，在筛选时充分利用用户和信息的属性来提高信息筛选的计算效率和准确性；

4)利用活动识别确定合适的推送时机，减少信息推送对用户的干扰。

附图说明

图1为本发明基于上网日志挖掘和用户活动识别的信息推送方法流程图；

图2为实施例中的信息分类树结构示意图；

图3为网页画像的流程图；

图4为网页层次化分类的流程图；

图5为用户画像的示意图；

图6为在移动智能终端获取情境信息的流程图；

图7为用户活动识别的流程图；

图8为在移动终端感知适时推送的流程图。

具体实施方式

下面结合附图，对本发明基于上网日志挖掘和用户活动识别的信息推送方法做详细描述。

本发明提出的基于上网日志挖掘和用户活动识别的信息推送方法意在解决信息推送不准确以及适时性差的问题，本发明的流程如图1所示，主要分为三个阶段：数据预处理阶段、潜在推送用户筛选阶段以及适时推送阶段。

数据预处理阶段主要进行用户画像和网页画像，数据预处理阶段包括：

步骤1-1、输入信息分类树和用户上网日志数据。

信息分类树如图2所示，信息分类树是对互联网中各种信息由大到小、由粗粒度到细粒度的总结与分类，是后续用户画像的基础。

一条用户上网日志数据包括：用户ID、开始时间、结束时间、用户访问的URL和该URL所对应的网页内容。本发明使用了包括用户ID、用户访问的URL和该URL所对应的网页内容三个字段，一条用户上网日志的结构如下：

L＝<uid,url,content>

其中uid表示用户ID，url表示用户访问的URL，content表示该URL所对应的网页内容。

步骤1-2，提取用户访问的历史网页的特征，对网页进行画像。

本发明从统计、语义和结构三方面提取网页的分类特征，提取流程如图3所示。

基于统计的文本特征主要包括TF-IDF值和互信息(MI)等。TF-IDF值可以评估一个词对于一个语料库中一个文档的重要程度。词的重要性随着其在文档中出现的次数增加，但同时会随着其在语料库中出现的频率下降。词和类别之间的互信息体现了词与类别之间的相关程度，在某个类别中出现的概率高，而在其它类别中出现的概率低的词将获得较高的互信息。

基于语义的文本特征主要包括基于本体的语义标注和网页文本的主题表征。语义标注把上下文看作无结构词集，整合了上下文窗口中众多的词汇信息来确定词汇含义。本发明采用基于最短路径的语义标注方法，把关键词映射到候选语义对象作为标注有向图的节点，选择标注有向图中的最短路径作为标注结果。网页文本的主题表征则通过主题模型映射高维向量到潜在语义空间，使其降维。本发明采用LDA、pLSA等方法对文档矩阵进行分解，得到主题-词语矩阵和文档-主题矩阵，在此基础上将网页内容映射到主题空间中。

基于结构的文本特征主要包括网页的内部结构特征和外部结构特征。内部结构特征主要是网页本身包含的一些tag信息，比如标记为title的网页标题(通常标题里的关键词会具有更高的权重)。外部结构特征主要包括网页链接信息和网站本身层次结构特征。

步骤1-3，依据信息分类树对用户访问的历史网页进行层次化分类，并打上标签。

本发明采用层次化分类技术对网页进行自动分类，自动分类流程如图4所示。

本发明首先人工标注一批网页作为训练数据集。在进行层次化分类模型训练时，采用自顶向下的方法逐层对整个信息分类树的每个非叶子节点训练出基于支持向量机或者boosting等的多分类模型。

在分类过程中当一个待分类网页到来后，先用最顶层的分类器把网页分到某一类，然后再利用该类所在节点对应的分类器对网页继续分类，如此进行下去，直到将网页分到一个叶子节点为止。最后将网页的类别标签补充到用户日志记录L中后得到L′，结构如下：

L′＝<uid,url,content,category>。

步骤1-4，根据用户访问的历史网页，构建用户的偏好层次结构，对用户进行画像。

根据用户的网页访问历史构建用户的画像，用户画像具有如图5所示的层次结构，图5中的每个节点表示信息的一个类别，如新闻、广告等。其中权值W_ij表示用户对信息类别C_ij(i表示信息分类树中的第i层，j表示同一层中第j个类别)的偏爱程度，计算公式如下：

其中|{L′:category∈C_ij}|表示访问信息类别为C_ij的日志数量，L′表示用户的一条上网日志，C_ij表示信息分类树中第i层中第j个信息类别，W₁₁为用户画像的根节点，表示用户的上网日志总数。

潜在推送用户筛选阶段包括相关矩阵的构建和通过矩阵分解筛选出潜在的推送用户，具体包括：

步骤2-1、根据网页的画像计算得到网页的相似性矩阵。

在数据预处理阶段得到网页的画像，即抽取网页的相关特征组合成网页的特征向量，将所有网页特征向量组合成网页特征矩阵本发明中计算网页的相似性采用余弦相似性，计算公式如下：

其中表示网页的相似性矩阵中的一项，P_i表示P中的第i行，P_j表示P中的第j行。

步骤2-2、根据用户的偏好层次结构计算得到用户的相似性矩阵。

本发明采用信息分类树表示用户的画像，运用一种计算层次结构相似性的方法来计算用户的相似性，从而构建用户相似性矩阵本发明将两个用户画像的相似性计算过程分解为计算两个信息分类树对应层之间相似性的加权和，计算公式如下：

其中Sim(u,u′)表示两个用户的相似性；LevelSim(u,u′,l)表示两个用户的画像在第l层的相似性；D(u,l)表示用户画像中第l层中用户u偏好的多样性；D(u’,l)表示用户画像中第l层中用户u’偏好的多样性；|l|表示用户画像中层次结构的层数；β随着层数的变化而变化，层数越大β越大，表示底层用户偏好的相似度相对更加重要，本发明我们选择β＝2^l；C_l表示层次l上的信息类别集合，c是C_l中的一个元素；u.w_c表示用户u的画像中信息类别c的权值；u’.w_c表示用户u’的画像中信息类别c的权值；u.P(c)表示用户u访问信息类别为c的信息的概率。

步骤2-3、根据用户上网日志数据，构建用户-网页矩阵并补全矩阵。

根据用户的上网日志L构造用户-网页矩阵其中项A_ij表示用户i访问网页j的频数。由于巨大的网页数量以及有限的用户网页访问，矩阵A必然是个稀疏矩阵，本发明运用基于用户相似性和网页相似性的协同过滤方法对稀疏矩阵A进行补全，计算公式如下：

A’＝S^U·A·S^P

其中为经过补全的用户-网页矩阵。

步骤2-4、利用矩阵分解的方法筛选潜在推送用户。

将A′分解成矩阵和矩阵然后将矩阵V分解为矩阵和矩阵计算公式如下：

A′→U·V

V→X·Y。

当有新的信息产生时，提取该信息的相关特征(如统计特征、语义特征、结构特征等)，形成新信息的画像然后通过下列公式将α降维为k维的一个向量计算公式如下：

α′＝α·(X^T)^-1。

将α′分别与矩阵V中的每一列做相似性计算，找到与新信息最相似的topN个网页(前N个网页)组成集合T，从补全后的用户-网页矩阵A′中删去不属于集合T的网页列，得到矩阵A″。在A″中对每个用户对应的行求和得到该用户潜在推送的一个分数Score，最后确定推送用户为Score最大的topS个(前S个网页)用户。

适时推送阶段根据用户当前的活动识别结果，结合推送规则库确定向用户显示信息的最佳时机，具体包括：

步骤3-1、在移动智能终端获取情境信息。

通过智能手机等移动智能终端采集用户的情境信息，采集流程如图6所示。采集智能手机内置的各类传感器信息(包括运动信息和位置信息)和用户操作信息，运动信息包括加速度信息、角速度信息、磁场信息，位置信息包括GPS信息、移动蜂窝基站信息、WiFi信息，用户操作信息包括用户常用软件信息、系统开机与关机信息等。

考虑到用户隐私保护问题，本发明将情境信息数据以本地文件的形式进行存储，同时，活动识别模型也以离线的方式在本地进行训练和分类，用户可以选择是否上传活动识别结果。

步骤3-2、识别用户当前活动。

本发明建立了移动智能设备用户的活动类别体系，并在此基础上构建活动分类训练数据集。采用机器学习的方法进行用户当前活动分类，如支持向量机、boosting、贝叶斯网络等。分类流程如图7所示，分为情境特征的提取、活动分类模型训练和当前活动分类三个阶段。

在情境特征提取阶段，本发明结合数据的时/频域统计特征和非结构化特征构建更具多样性和代表性的特征。在活动分类模型训练阶段，使用迁移学习的方法解决活动类别数量多时训练数据不足的问题，充分利用已有训练数据。在此基础上构建基于支持向量机、boosting、决策树等机器学习方法的分类模型。

在当前活动分类阶段，使用集成学习的方法融合不同分类模型的分类结果，输出更具可靠性的识别结果。

步骤3-3、向用户推送与当前活动相适应的信息。

本发明中的信息推送方法由服务器端和客户端两部分组成，如图8所示，服务器端主要负责数据的预处理、潜在推送用户的筛选以及向筛选出来的用户及时推送新信息；客户端在接收到服务器推送过来的信息后并不立即显示给用户，而是在识别当前的活动情境的情况下，结合预先定义好的推送规则库，确定将服务器端推送过来的信息显示给用户的最佳时机，从而提高信息推送的准确度和适时性。

Claims

1.一种基于上网日志挖掘和用户活动识别的信息推送方法，其特征在于，依次包括在服务器端进行的数据预处理阶段、潜在推送用户筛选阶段以及在客户端进行的适时推送阶段，其中，数据预处理阶段包括：

步骤1-1、输入信息分类树和用户上网日志数据；

潜在推送用户筛选阶段包括：

步骤2-1、根据网页的画像计算得到网页的相似性矩阵；

适时推送阶段包括：

步骤3-1、获取情境信息；

步骤3-2、依据情境信息识别用户当前活动；

步骤3-3、向用户推送与当前活动相适应的信息；

采用信息分类树表示用户的画像，利用如下公式计算两个用户的相似性：

其中Sim(u，u′)表示两个用户的相似性；LevelSim(u，u′，l)表示两个用户的画像在第l层的相似性；D(u，l)表示用户画像中第l层中用户u偏好的多样性；D(u’，l)表示用户画像中第l层中用户u’偏好的多样性；|l|表示用户画像中层次结构的层数；β＝2^l；C_l表示第l层的信息类别集合，c是C_l中的一个元素；u.w_c表示用户u的画像中信息类别c的权值；u’.w_c表示用户u’的画像中信息类别c的权值；u.P(c)表示用户u访问信息类别为c的信息的概率。

2.如权利要求1所述的基于上网日志挖掘和用户活动识别的信息推送方法，其特征在于，提取用户访问的历史网页的特征时，提取统计特征、语义特征和结构特征。

3.如权利要求1所述的基于上网日志挖掘和用户活动识别的信息推送方法，其特征在于，采用基于用户相似性和网页相似性的协同过滤方法对用户-网页矩阵进行补全，计算公式如下：

A’＝S^U·A·S^P

4.如权利要求3所述的基于上网日志挖掘和用户活动识别的信息推送方法，其特征在于，利用矩阵分解的方法筛选潜在推送用户包括如下步骤：

步骤2-4-1、将经过补全的用户-网页矩阵A′分解成矩阵和矩阵然后将矩阵V分解为矩阵和矩阵计算公式如下：

A′→U·V

V→X·Y：

α′＝α·(X^T)^-1；

步骤2-4-4、在矩阵A"中对每个用户对应的行求和得到该用户潜在推送的一个分数，最后确定潜在的推送用户为分数最大的前S个网页用户。

5.如权利要求1所述的基于上网日志挖掘和用户活动识别的信息推送方法，其特征在于，情境信息以本地文件的形式存储在客户端。

6.如权利要求5所述的基于上网日志挖掘和用户活动识别的信息推送方法，其特征在于，客户端接收服务器端推送的信息后，在识别用户的当前活动后，基于预定的推送规则，确定将服务器端推送过来的信息显示给用户的最佳时机。