CN111695625A - 一种基于多级注意力机制网络的移动应用流行度预测方法 - Google Patents

一种基于多级注意力机制网络的移动应用流行度预测方法 Download PDF

Info

Publication number
CN111695625A
CN111695625A CN202010523267.4A CN202010523267A CN111695625A CN 111695625 A CN111695625 A CN 111695625A CN 202010523267 A CN202010523267 A CN 202010523267A CN 111695625 A CN111695625 A CN 111695625A
Authority
CN
China
Prior art keywords
popularity
mobile application
attention mechanism
features
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010523267.4A
Other languages
English (en)
Inventor
郭斌
张艺璇
刘佳琪
於志文
王柱
梁韵基
王亮
崔禾磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202010523267.4A priority Critical patent/CN111695625A/zh
Publication of CN111695625A publication Critical patent/CN111695625A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Human Resources & Organizations (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于多级注意力机制网络的移动应用流行度预测方法，获取移动应用的各项特征数据，对数据进行预处理操作，针对时序数据进行标准化等操作，筛选用于流行度预测的特征；分析所述筛选出的特征序列与目标应用的流行度序列的线性、非线性相关性；对于不同类型的特征设计不同模块，包括时间层级模块、特征层级模块，用于捕获特征与目标应用的流行度之间的相关性；构建不同模块间共享相同的网络结构，不同模块的输出进行融合并输入至多层感知机中，生成对目标应用未来流行度的预测值。

Description

一种基于多级注意力机制网络的移动应用流行度预测方法
技术领域
本发明涉及移动应用的流行度分析与预测问题，尤其涉及基于多级注意力机制网络的移动应用流行度预测问题。
背景技术
随着智能手机的普及，数以万计的移动应用在应用市场中发布并服务于人们生活中的多个方面，例如社交通信、在线购物和日常娱乐等。而用户在移动设备上下载并安装的应用数量非常有限。面对应用市场中如此激烈的竞争与应用程序日趋同质化的倾向，针对应用的流行度演化进行建模和预测具有很强的研究价值与应用价值。对于开发者而言，预先知道流行度的变化趋势能够助力运营决策，当未来流行度表现不佳时便于提前制定计划、采取措施以及时提高产品的人气。对于广告商和投资者来说，及时掌握目标应用的未来流行度表现有利于正确选择短期合作或投资对象，促使收益最大化并有效规避投资风险。对于应用市场来说，预知流行度有助于更新市场排名信息，提高用户对于推荐服务的体验。
现有的预测机制比较单一，没有考虑流行度预测的众多影响因素，得到的预测结果不够准确。
发明内容
针对以上缺陷，本发明提供一种包含多特征、多层级的融合多级注意力机制网络的移动应用流行度预测方法移动应用流行度预测方法，有效的用于市场对用户的服务。
本发明的一种基于多级注意力机制网络的移动应用流行度预测方法的技术方案为：
一种基于多级注意力机制网络的移动应用流行度预测方法，包括：获取移动应用的各项特征数据，对数据进行预处理操作，针对时序数据进行标准化等操作，筛选用于流行度预测的特征；
分析所述筛选出的特征序列与目标应用的流行度序列的线性、非线性相关性；
对于不同类型的特征设计不同模块，包括时间层级模块、特征层级模块，用于捕获特征与目标应用的流行度之间的相关性；
构建不同模块间共享相同的网络结构，不同模块的输出进行融合并输入至多层感知机中，生成对目标应用未来流行度的预测值。
进一步地，一种基于多级注意力机制网络的移动应用流行度预测方法，所述用于预测的特征包括：下载量、评论量、评分和用户情感得分。
进一步地，一种基于多级注意力机制网络的移动应用流行度预测方法，所述时间层级模块用于捕获时间级自序列相关性，利用移动应用的历史流行度表现预测未来一段时间的流行度。
进一步地，一种基于多级注意力机制网络的移动应用流行度预测方法，所述特征层级模块包括局部特征模块和全局特征模块。
进一步地，一种基于多级注意力机制网络的移动应用流行度预测方法，所述局部特征模块用于捕获移动应用自身相关特征包括评论、评分和用户情感等与流行度的动态相关性。
进一步地，一种基于多级注意力机制网络的移动应用流行度预测方法，所述全局特征模块用于捕获与目标应用存在交互影响关系的应用流行度序列与目标应用流行度序列的相关性。
进一步地，一种基于多级注意力机制网络的移动应用流行度预测方法，所述网络结构为包含注意力机制的循环神经网络结构；所述循环神经网络用于捕获不同时间序列的历史状态对当前状态的影响；所述注意力机制用于为不同特征的历史状态分配权重，也为模型提供了可解释性。
本发明的有益效果为：不同模块的输出结果进行聚合，并通过多层感知机计算目标应用程序在未来一段时间的预估流行度。这种方法能够从不同层级捕获特征与流行度的隐含非线性关联关系；不同模块中特有的注意力机制辅助模型从不同的历史状态中选取最相关的状态用于当前的流行度预测，能够有效减小预测误差，并为深度神经网络模型增加一定的可解释性。对于开发者而言，预先知道流行度的变化趋势能够助力运营决策，当未来流行度表现不佳时便于提前制定计划、采取措施以及时提高产品的人气。对于广告商和投资者来说，及时掌握目标应用的未来流行度表现有利于正确选择短期合作或投资对象，促使收益最大化并有效规避投资风险。对于应用市场来说，预知流行度有助于更新市场排名信息，提高用户对于推荐服务的体验。
附图说明
图1为本发明实例提供的一种基于多级注意力机制网络的移动应用流行度预测模型图。
具体实施方式
下面结合图1来进一步描述本发明的技术方案。
步骤1：获取移动应用的各项特征数据，对数据进行预处理操作，针对时序数据进行标准化等操作，筛选用于流行度预测的特征。
本实施例中，采集安卓应用商店中1023款应用在2017年1月1日至2018年1月1日的各项特征数据，包括应用名称、应用类别、下载量、评论、评分等；剔除特征数据过少的应用。
步骤2、针对移动应用数据集中的文本数据进行语句分割、文本预处理和情感分析等工作；针对其中的时间序列数据进行标准化。所有数据处理为格式统一的时间序列数据。
经过数据整理，用于预测应用流行度的特征共有四类：下载量、评论、评分和评论情感。不同因素对移动应用的流行度有不同的影响，具体表现在：
历史的下载量直接反映了使用某款应用的新增人数，如果长时间的下载量变化直观地反映了应用的流行度的变化趋势。
评论能够反映用户对应用的直接意见，并且间接影响了新用户是否选择下载使用。
评分直接反映用户对应用的满意程度，间接影响了应用的排名和流行度。
评论情感能够反映用户对移动应用的情感倾向，是影响应用流行度的重要指标。
步骤3：对于不同类型的特征设计不同模块，包括时间层级模块、特征层级模块，用于捕获特征与目标应用的流行度之间的相关性。
所述时间层级模块用于捕获时间级自序列相关性，利用移动应用的历史流行度表现预测未来一段时间的流行度。具体来说，基于隐藏状态zt-1和输入状态yt-1可得当前时刻输入的注意力权重，公式如下：
Figure BDA0002532909660000051
为了保证所有注意力权重加和为1，对上式进行归一化：
Figure BDA0002532909660000052
在得到注意力权重之后，就可以计算得到时刻t的输出权重数值为：
Figure BDA0002532909660000053
之后采用GRU更新下一时刻的状态，过程如下：
rt＝σ(Wr[ht-1，ct]+br)，
ut＝σ(Wu[ht-1，ct]+bu)，
Figure BDA0002532909660000054
Figure BDA0002532909660000055
所述特征层级模块包括局部特征模块和全局特征模块。所述局部特征模块用于捕获移动应用自身相关特征包括评论、评分和用户情感等与流行度的动态相关性。所述全局特征模块用于捕获与目标应用存在交互影响关系的应用流行度序列与目标应用流行度序列的相关性。
针对应用的局部特征，利用局部特征层级捕获不同局部特征与目标应用的流行度之间的关联。通过对隐藏状态zt-1和当前输入状态xt-1编码，可得当前时刻局部特征的注意力权重：
Figure BDA0002532909660000061
归一化权重系数得：
Figure BDA0002532909660000062
上下文向量可以计算为：
Figure BDA0002532909660000063
这里的输出向量将作为GRU的输入进行计算。
利用全局特征层级的模块捕获应用的全局特征与流行度之间的关联关系。通过对隐藏状态zt-1和当前输入状态xt-1编码，可得当前时刻全局特征的注意力权重：
Figure BDA0002532909660000064
对权重进行归一化得：
Figure BDA0002532909660000065
在得到注意力权重之后，上下文向量可以计算得到：
Figure BDA0002532909660000066
之后将得到的向量输入到GRU计算。
步骤4：构建不同模块间共享相同的网络结构，不同模块的输出进行融合并输入至多层感知机中，生成对目标应用未来流行度的预测值。
所述网络结构为包含注意力机制的循环神经网络结构；所述循环神经网络用于捕获不同时间序列的历史状态对当前状态的影响；所述注意力机制用于为不同特征的历史状态分配权重，也为模型提供了可解释性。
本发明为基于多级注意力机制网络的移动应用流行度预测方法，从时间、局部特征和全局特征三个层级捕获不同特征与流行度的相关性，从而对移动应用在未来一段时间的流行度数值进行预测。

Claims (7)

1.一种基于多级注意力机制网络的移动应用流行度预测方法，其特征在于：所述方法包括：
获取移动应用的各项特征数据，对数据进行预处理操作，针对时序数据进行标准化等操作，筛选用于流行度预测的特征；
分析所述筛选出的特征序列与目标应用的流行度序列的线性、非线性相关性；
对于不同类型的特征设计不同模块，包括时间层级模块、特征层级模块，用于捕获特征与目标应用的流行度之间的相关性；
构建不同模块间共享相同的网络结构，不同模块的输出进行融合并输入至多层感知机中，生成对目标应用未来流行度的预测值。
2.根据权利要求1所述的一种基于多级注意力机制网络的移动应用流行度预测方法，其特征在于：所述用于预测的特征包括：下载量、评论量、评分和用户情感得分。
3.根据权利要求1所述的一种基于多级注意力机制网络的移动应用流行度预测方法，其特征在于：所述时间层级模块用于捕获时间级自序列相关性，利用移动应用的历史流行度表现预测未来一段时间的流行度。
4.根据权利要求1所述的一种基于多级注意力机制网络的移动应用流行度预测方法，其特征在于：所述特征层级模块包括局部特征模块和全局特征模块。
5.根据权利要求4所述的一种基于多级注意力机制网络的移动应用流行度预测方法，其特征在于：所述局部特征模块用于捕获移动应用自身相关特征包括评论、评分和用户情感等与流行度的动态相关性。
6.根据权利要求4所述的一种基于多级注意力机制网络的移动应用流行度预测方法，其特征在于：所述全局特征模块用于捕获与目标应用存在交互影响关系的应用流行度序列与目标应用流行度序列的相关性。
7.根据权利要求1所述的一种基于多级注意力机制网络的移动应用流行度预测方法，其特征在于：所述网络结构为包含注意力机制的循环神经网络结构；所述循环神经网络用于捕获不同时间序列的历史状态对当前状态的影响；所述注意力机制用于为不同特征的历史状态分配权重，也为模型提供了可解释性。
CN202010523267.4A 2020-06-10 2020-06-10 一种基于多级注意力机制网络的移动应用流行度预测方法 Pending CN111695625A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010523267.4A CN111695625A (zh) 2020-06-10 2020-06-10 一种基于多级注意力机制网络的移动应用流行度预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010523267.4A CN111695625A (zh) 2020-06-10 2020-06-10 一种基于多级注意力机制网络的移动应用流行度预测方法

Publications (1)

Publication Number Publication Date
CN111695625A true CN111695625A (zh) 2020-09-22

Family

ID=72480032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010523267.4A Pending CN111695625A (zh) 2020-06-10 2020-06-10 一种基于多级注意力机制网络的移动应用流行度预测方法

Country Status (1)

Country Link
CN (1) CN111695625A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112182423A (zh) * 2020-10-14 2021-01-05 重庆邮电大学 一种基于注意力机制的信息传播演化趋势预测方法
CN115604130A (zh) * 2022-12-01 2023-01-13 中南大学（Cn） App流行度预测模型构建方法、预测方法、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876044A (zh) * 2018-06-25 2018-11-23 中国人民大学 一种基于知识增强神经网络的线上内容流行度预测方法
CN109658147A (zh) * 2018-12-14 2019-04-19 西北工业大学 一种基于霍克斯过程的移动应用流行度预测方法
CN109902862A (zh) * 2019-02-13 2019-06-18 北京航空航天大学 一种融合时间注意力机制的时间序列预测系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876044A (zh) * 2018-06-25 2018-11-23 中国人民大学 一种基于知识增强神经网络的线上内容流行度预测方法
CN109658147A (zh) * 2018-12-14 2019-04-19 西北工业大学 一种基于霍克斯过程的移动应用流行度预测方法
CN109902862A (zh) * 2019-02-13 2019-06-18 北京航空航天大学 一种融合时间注意力机制的时间序列预测系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张艺璇等: "基于多级注意力机制网络的app流行度预测", 《计算机研究与发展》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112182423A (zh) * 2020-10-14 2021-01-05 重庆邮电大学 一种基于注意力机制的信息传播演化趋势预测方法
CN112182423B (zh) * 2020-10-14 2022-09-27 重庆邮电大学 一种基于注意力机制的网络舆情事件演化趋势预测方法
CN115604130A (zh) * 2022-12-01 2023-01-13 中南大学（Cn） App流行度预测模型构建方法、预测方法、设备及存储介质
CN115604130B (zh) * 2022-12-01 2023-03-14 中南大学 App流行度预测模型构建方法、预测方法、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111401433B (zh) 用户信息获取方法、装置、电子设备及存储介质
CN107766929B (zh) 模型分析方法及装置
CN106875206A (zh) 信息获取、评估、问卷调查方法、装置及服务器
CN110610193A (zh) 标注数据的处理方法及装置
CN105225135B (zh) 潜力客户识别方法以及装置
CN115952291B (zh) 基于多头自注意力及lstm的金融舆情分类方法及系统
CN114048436A (zh) 一种预测企业财务数据模型构建方法及构建装置
CN110147389A (zh) 帐号处理方法和装置、存储介质及电子装置
CN102402717A (zh) 数据分析设备和方法
CN111695625A (zh) 一种基于多级注意力机制网络的移动应用流行度预测方法
CN111199469A (zh) 用户还款模型生成方法、装置及电子设备
CN113570398A (zh) 推广数据处理方法、模型训练方法、系统和存储介质
CN115630433A (zh) 一种基于机器学习和bim技术的建筑设计方法及系统
CN111210332A (zh) 贷后管理策略生成方法、装置及电子设备
CN117314593B (zh) 一种基于用户行为分析的保险项目推送方法及系统
CN114942974A (zh) 电商平台商品用户评价情感倾向分类方法
KR102406375B1 (ko) 원천 기술의 평가 방법을 포함하는 전자 장치
CN109460474B (zh) 用户偏好趋势挖掘方法
CN116629716A (zh) 一种智能交互系统工效分析方法
CN116503158A (zh) 基于数据驱动的企业破产风险预警方法、系统及装置
Varuna et al. Trend prediction of GitHub using time series analysis
CN112734142B (zh) 基于深度学习的资源学习路径规划方法及装置
CN111967937A (zh) 一种基于时间序列分析的电商推荐系统及实现方法
CN116341990B (zh) 一种基础设施工程的知识管理评价方法及系统
CN115826833B (zh) 一种基于互联网的积木拼装系统的实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200922

RJ01 Rejection of invention patent application after publication