CN110119465B - 融合lfm潜在因子与svd的手机应用用户喜好检索方法 - Google Patents

Abstract

本发明提供融合LFM潜在因子与SVD的手机应用用户喜好检索方法，属于数据分类技术领域。本发明首先设置度量标准，对用户使用手机应用分别进行计分并建立用户与手机应用关系的系数矩阵A，利用LFM潜在因子算法得到没有缺省值的完整的矩阵A_lfm；采用不同的k值对A进行若干次SVD矩阵分解，每次SVD矩阵分解再次组合后得到一个无缺省值的矩阵A_SVD；从所有A_SVD中选择与矩阵A匹配度最高的矩阵；最后对矩阵A_lfm和矩阵A_SVD进行相加并进行归一化处理，根据结果判断用户的喜好领域。本发明解决了现有手机用户喜好判断准确率不高、计算速度慢的问题。本发明可用于手机用户喜好领域检索。

Description

融合LFM潜在因子与SVD的手机应用用户喜好检索方法

技术领域

本发明涉及手机用户喜好领域检索方法，属于数据分类技术领域。

背景技术

随着网络存储技术的发展与数据科学时代的到来，人们越来越多地习惯于使用云存储技术保存和管理数据而不再将数据存储于本地设备的硬盘中，在人们对手机应用数据存储与传输的需求日益增加的情况下，如何高效地对手机应用数据进行分类与检索，进而检索用户喜好，并且在过程中保证用户喜好检索的准确率和召回率，已经成为判断用户喜好领域的一个研究热点。

传统有关手机应用用户喜好(偏好)分类检索技术主要依赖于人工标注去描述应用特征信息。这种方法在当前海量手机应用数据环境下显得十分繁琐，为了提升手机应用分类效率，已有人使用SVD(奇异值分解)矩阵分解算法或基于LFM潜在因子算法构建了手机用户喜好分类系统。其中，SVD矩阵分解算法的关于手机应用的用户喜好的算法执行的步骤如图2所示，基于LFM潜在因子算法关于手机应用的用户喜好的算法执行的步骤如图3所示；尽管人们对手机应用用户喜好自动化分类和标注提出了有效的解决方案，但是在云存储环境下，仍然存在用户喜好判断准确率不高、计算速度慢的问题。

发明内容

本发明为解决现有手机用户喜好判断准确率不高、计算速度慢的问题，提供了融合LFM潜在因子与SVD的手机应用用户喜好检索方法。

本发明所述融合LFM潜在因子与SVD的手机应用用户喜好检索方法，通过以下技术方案实现：

步骤一、设置度量标准，对用户使用记录数≥阈值S条的手机应用，1<使用记录数<S条的手机应用，使用记录数＝1的手机应用，使用记录数＝0的手机应用分别进行计分；

步骤二、利用步骤一中的计分数据建立用户与手机应用关系的系数矩阵A，A为m×n维的稀疏矩阵，即：A_m×n；其中，m为手机应用的数量，n为用户数量，矩阵A中第i行第j列的元素a_ij为j个用户的第i个手机应用的计分值；i＝1,…,m；j＝1,…,n；

步骤三、将矩阵A分解成“手机应用—手机应用属性”矩阵U_m×k与“手机应用属性—用户喜好”矩阵V_k×n的乘积：

A_m×n＝U_m×k×V_k×n

其中，k为隐变量；

步骤四、对隐变量k构造损失函数，在损失函数的右边设定L2正则化惩罚项，通过损失函数计算得到梯度，并对损失函数采用梯度下降的方式求得矩阵U_m×k与V_k×n中的元素值；将U_m×k与V_k×n相乘得到没有缺省值的完整的矩阵A_lfm；

步骤五、采用不同的k值对步骤二中建立的矩阵A进行若干次SVD矩阵分解，每次SVD矩阵分解再次组合后得到一个无缺省值的矩阵A_SVD；从所有A_SVD中选择与矩阵A匹配度最高的A_SVD矩阵；

步骤六、对矩阵A_lfm和步骤五中选择的矩阵A_SVD进行相加并进行归一化处理，根据结果矩阵中所有元素数值大小排名的手机应用所属类别判断用户的喜好领域。

本发明最为突出的特点和显著的有益效果是：

本发明所涉及的融合LFM潜在因子与SVD的手机应用用户喜好检索方法，设置新的度量标准，在SVD矩阵分解算法的基础上加入LFM潜在因子算法计算的步骤，在提取过程中分析结果步骤，改进手机用户喜好提取过程；并最终融合两种算法的结果作为最后的输出；本发明可以高效地对用户手机应用数据进行分类与检索，计算速度快；并且在其过程中保证用户多方面的属性可以被考虑，考虑的更加全面；进而提升算法的实用性，提高了准确性。仿真实验结果表明，本发明方法对于手机应用用户喜好分类具有接近90％的准确率，相比SVD矩阵分解、LFM潜在因子算法，准确率平均提高约15％。

附图说明

图1为本发明方法流程图；

图2为SVD矩阵分解算法流程图；

图3为LFM潜在因子算法流程图；

图4为本发明的原理图；

图5为实施例中本发明方法与传统方法的分类准确率对比图。

具体实施方式

具体实施方式一：结合图1对本实施方式进行说明，本实施方式给出的融合LFM潜在因子与SVD的手机应用用户喜好检索方法，具体包括以下步骤：

步骤一、设置新的度量标准，对用户使用记录数≥阈值S条(频繁使用)的手机应用，1<使用记录数<S条(次频繁使用)的手机应用，使用记录数＝1(只安装并没有使用)的手机应用，使用记录数＝0(未安装)的手机应用分别进行计分；

步骤二、利用步骤一中的计分数据建立用户与手机应用关系的系数矩阵A，A反映了每个手机用户对每个手机应用的喜好程度，为m×n维的稀疏矩阵，即：A_m×n；其中，m为手机应用的数量，n为用户数量，矩阵A中第i行第j列的元素a_ij为j个用户的第i个手机应用的计分值；i＝1,…,m；j＝1,…,n；

以往的方法是逐行读取数据，为了替代以往运行效率低下的方法，在数据处理方面，对数据进行向量化，进而进行向量拼接，组成矩阵，用矩阵化的方法来进行读取，将数据进行矩阵化计算，达到运算速度明显的提升的效果。

步骤三、将矩阵A分解成“手机应用—手机应用属性”矩阵U_m×k与“手机应用属性—用户喜好”矩阵V_k×n的乘积：

A_m×n＝U_m×k×V_k×n

其中，k为隐变量；

步骤四、对隐变量k构造损失函数，基于对于A矩阵中的所有元素要与矩阵U_m×k与矩阵V_k×n的乘积对应元素差距尽可能小的原则，引入回归分析时求回归系数的训练方法，即构造一个损失函数，在损失函数的右边设定L2正则化惩罚项，该正则化惩罚项为对应于redge回归(岭回归)的正则化，通过损失函数计算得到梯度，并对损失函数采用梯度下降的方式求得矩阵U_m×k与V_k×n中的元素值；将U_m×k与V_k×n相乘得到没有缺省值的完整的矩阵A_lfm；

步骤五、采用不同的k值对步骤二中建立的矩阵A进行若干次SVD矩阵分解，多取几个k值来检测效果，如k取30、35、40、45…50来检测数据实验结果；每次SVD矩阵分解再次组合后得到一个无缺省值的矩阵A_SVD；从所有A_SVD中选择与矩阵A匹配度最高的矩阵；

步骤六、归一化综合SVD矩阵分解算法(步骤五)和LFM潜在因子算法(步骤三、四)的两者的矩阵，对矩阵A_lfm和步骤五中选择的矩阵A_SVD进行相加，根据相加结果矩阵中所有元素数值大小排名的手机应用所属类别判断用户的喜好领域。

本发明方法模拟用户上传手机应用流程是用户对手机应用有了使用信息后，将使用的信息上传到云存储服务器，根据云存储服务端的自适应学习，系统根据训练结果对用户上传的手机应用数据进行分类，并将分类信息和用户信息等数据信息写入到用户关系内容中(如图4所示)。本发明在SVD矩阵分解算法的基础上加入LFM潜在因子算法计算的步骤，在提取过程中分析结果步骤，改进手机用户喜好提取过程。提升了手机应用信息容量且同时保证了用户喜好判断的鲁棒性和透明性。

具体实施方式二：本实施方式与具体实施方式一不同的是，步骤一中，对用户使用记录数>＝阈值S条(频繁使用)的手机应用记为5分，1<使用记录数<S条(次频繁使用)的手机应用记为3分，使用记录数＝1(只安装并没有使用)的手机应用记为1分，使用记录数＝0(未安装)的手机应用记为0分。

由于后续需要进行归一化的操作，通过大量数据计算表明，采用5分、3分、1分、0分的分数记录，比起采用使用记录数，准确率更高，同时能够使计算复杂度最低。

其他步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式二不同的是，步骤一中，所述阈值S为5。通过对大量手机用户调查发现，基本上用户对喜好的手机应用，使用记录基本会超过5条，而不关注的手机应用，很少会使用超过5次，因此选取阈值为5，是比较合适的。

其他步骤及参数与具体实施方式二相同。

具体实施方式四：本实施方式与具体实施方式一不同的是，所述步骤四中所述损失函数具体为：

其中，u_ir为U_m×k中第i行第r列的元素；v_rj为V_k×n中第r行第j列的元素；r＝1,…,k；λ为惩罚控制项。

其他步骤及参数与具体实施方式一相同。

具体实施方式五：本实施方式与具体实施方式四不同的是，步骤四中得到所述矩阵A_lfm的具体过程包括：

步骤四一、为了解决过拟合和导致分解后的矩阵元素太大的问题，对损失函数求梯度的过程中需要对损失函数的右边设置L2正则化惩罚项：

步骤四二、得到梯度，先随机给定矩阵U_m×k和矩阵V_k×n的一些初始值，损失函数通过SGD(随机梯度下降)得到，通过损失函数来更新这些初始值得到没有缺省值的完整的矩阵A_lfm；求解后的结果表现为分解后的两个矩阵乘积大致还原矩阵A，还原后的矩阵对原来用户没有评价的手机应用已经有了评价值，则该值即为用户对该种手机应用的评价值的预测值。

其他步骤及参数与具体实施方式一或二相同。

具体实施方式六：本实施方式与具体实施方式一至五不同的是，所述步骤五具体包括以下过程：

SVD矩阵分解，先将A分解为的U、Σ、V的乘积，然后利用A_SVD＝UΣV^T得到再次组合候的矩阵A_SVD；

步骤五一、将A的转置A^T和A做矩阵乘法，得到n×n的一个方阵A^TA，然后进行特征分解，得到的特征值和特征向量满足(AA^T)v_j＝λ_jv_j，得到矩阵AA^T的n个特征值λ_j和对应的n个特征向量v_j；再将AA^T的所有特征向量张成一个n×n的矩阵V，是SVD矩阵分解公式里面的V；称V中的每个特征向量叫做A的右奇异向量；

步骤五二、将A和A的转置做矩阵乘法，得到m×m的一个方阵AA^T，然后进行特征分解，得到的特征值和特征向量满足下式：(AA^T)u_i＝λ_iu_i；得到矩阵AA^T的m个特征值λ_i和对应的m个特征向量u_i；将AA^T的所有特征向量张成一个m×m的矩阵U，是SVD矩阵分解公式里面的U；称U中的每个特征向量叫做A的左奇异向量；

步骤五三、由于Σ除了对角线上是奇异值其他位置都是0；而前10％的奇异值之和占据了全部的奇异值之和的99％以上，为了计算方便，选取前k个奇异值来近似描述矩阵，此时U变为i×k维的矩阵U′_i×k，V变为k×j维的矩阵V′_k×j，Σ为k×k维的矩阵Σ′_k×k；采用下式求出Σ′_k×k中的每个奇异值σ_rr；已知：

A＝UΣV^T→AV＝UΣV^TV→AV＝UΣ

其中，r＝1,…,k；σ_rr为Σ′_k×k中的第r行第r列的元素；

步骤五四、利用A_SVD＝U′_i×kΣ′_k×k(V′_k×j)^T得到SVD矩阵分解后的三个矩阵(U、Σ、V)所再次组合后的无缺省值的矩阵A_SVD；

步骤五五、改变隐变量k的值，重复若干次步骤五三～步骤五四的过程；从所有A_SVD中选择与矩阵A匹配度最高的矩阵。

其他步骤及参数与具体实施方式一至五相同。

具体实施方式七：本实施方式与具体实施方式一不同的是，所述步骤六具体包括以下过程：

步骤六一、将SVD矩阵分解的得到的矩阵A_SVD和LFM潜在因子算法得到的矩阵A_lfm进行矩阵的加法得到A_sum；

步骤六二、确定A_sum中所有元素数值大小排名前5的手机应用所属的分类领域，则这些领域即为用户喜好的领域。

排名前5只是一个概数，不过通常选取排名靠前5位元素数值比较具有代表性。

其他步骤及参数与具体实施方式一或六相同。

实施例

采用以下实施例验证本发明的有益效果：

实验环境：

Python：3.5.2

用户端环境：系统：macOS Sierra 10.12.6、配置：CPU 2.9GHz Intel Core i7、内存16GB 2133MHz LPDDR3

服务器环境：系统：CentOS 7.264位、配置：CPU 1核、内存2GB、带宽1Mbps

实验支持：

云服务：腾讯云(云存储服务器)

实验结果及分析：

(1)分类模型对比实验

本文实验训练集为每个分类100个同类型手机应用文件，所用分类方法见表1：

表1分类方法简称及全称

用户喜好分类训练集共分为5类：生活类、娱乐类、通讯类、旅游类、工具类，每种分类随机挑选5个训练集之外的手机应用数据进行用户喜好分类实验，共进行10组实验。

部分用户喜好检索分类结果见表2至表6；20个总的用户喜好检索分类实验总准确率如图5所示。

表2用户喜好分类结果

表3用户喜好分类结果

表4用户喜好分类结果

表5用户喜好分类结果

表6用户喜好分类结果

通过图5的数据可以看出，本发明方法对于手机应用用户喜好分类具有接近90％的准确率，相比SVD矩阵分解、LFM潜在因子算法，准确率平均提高约15％。分析表2-表5中的概率分布(％)相关数据可知，SVD-LFM模型可以更加拟合手机应用喜好分类的学习和认知规律地对人物喜好分类的概率分布做出分析。本发明方法可以有效地对手机应用进行自动化分类和在用户喜好的分类方面做出合理的概率分布分析。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (6)

1.融合LFM潜在因子与SVD的手机应用用户喜好检索方法，其特征在于，具体包括以下步骤：

步骤一、设置度量标准，对用户使用记录数≥阈值S条的手机应用，1<使用记录数<S条的手机应用，使用记录数＝1的手机应用，使用记录数＝0的手机应用分别进行计分；

步骤二、利用步骤一中的计分数据建立用户与手机应用关系的系数矩阵A，A为m×n维的稀疏矩阵，即：A_m×n；其中，m为手机应用的数量，n为用户数量，矩阵A中第i行第j列的元素a_ij为j个用户的第i个手机应用的计分值；i＝1,...,m；j＝1,...,n；

步骤三、将矩阵A分解成“手机应用—手机应用属性”矩阵U_m×k与“手机应用属性—用户喜好”矩阵V_k×n的乘积：

A_m×n＝U_m×k×V_k×n

其中，k为隐变量；

步骤四、对隐变量k构造损失函数，在损失函数的右边设定L2正则化惩罚项，通过损失函数计算得到梯度，并对损失函数采用梯度下降的方式求得矩阵U_m×k与V_k×n中的元素值；将U_m×k与V_k×n相乘得到没有缺省值的完整的矩阵A_lfm；

步骤五、采用不同的k值对步骤二中建立的矩阵A进行若干次SVD矩阵分解，每次SVD矩阵分解再次组合后得到一个无缺省值的矩阵A_SVD；从所有A_SVD中选择与矩阵A匹配度最高的矩阵，包括以下过程：

步骤五一、将A的转置A^T和A做矩阵乘法，得到n×n的一个方阵A^TA，然后进行特征分解，得到的特征值和特征向量满足(AA^T)v_j＝λ_jv_j，得到矩阵AA^T的n个特征值λ_j和对应的n个特征向量v_j；再将AA^T的所有特征向量张成一个n×n的矩阵V，是SVD矩阵分解公式里面的V；称V中的每个特征向量叫做A的右奇异向量；

步骤五二、将A和A的转置做矩阵乘法，得到m×m的一个方阵AA^T，然后进行特征分解，得到的特征值和特征向量满足下式：(AA^T)u_i＝λ_iu_i；得到矩阵AA^T的m个特征值λ_i和对应的m个特征向量u_i；将AA^T的所有特征向量张成一个m×m的矩阵U，是SVD矩阵分解公式里面的U；称U中的每个特征向量叫做A的左奇异向量；

步骤五三、选取前k个奇异值来近似描述矩阵，此时U变为i×k维的矩阵U′_i×k，V变为k×j维的矩阵V′_k×j，Σ为k×k维的矩阵Σ′_k×k；采用下式求出Σ′_k×k中的每个奇异值σ_rr：

其中，r＝1,...,k；σ_rr为Σ′_k×k中的第r行第r列的元素，u_ir为U_m×k中第i行第r列的元素；v_rj为V_k×n中第r行第j列的元素；

步骤五四、利用A_SVD＝U′_i×kΣ′_k×k(V′_k×j)^T得到再次组合后的无缺省值的矩阵A_SVD；

步骤五五、改变隐变量k的值，重复若干次步骤五三～步骤五四的过程；从所有A_SVD中选择与矩阵A匹配度最高的矩阵；

步骤六、对矩阵A_lfm和步骤五中选择的矩阵A_SVD进行相加，并归一化处理，根据结果矩阵中所有元素数值大小排名的手机应用所属类别判断用户的喜好领域。

2.根据权利要求1所述融合LFM潜在因子与SVD的手机应用用户喜好检索方法，其特征在于，步骤一中，对用户使用记录数>＝阈值S条的手机应用记为5分，1<使用记录数<S条的手机应用记为3分，使用记录数＝1的手机应用记为1分，使用记录数＝0的手机应用记为0分。

3.根据权利要求2所述融合LFM潜在因子与SVD的手机应用用户喜好检索方法，其特征在于，步骤一中，所述阈值S为5。

4.根据权利要求1所述融合LFM潜在因子与SVD的手机应用用户喜好检索方法，其特征在于，所述步骤四中所述损失函数具体为：

其中，u_ir为U_m×k中第i行第r列的元素；v_rj为V_k×n中第r行第j列的元素；r＝1,...,k；λ为惩罚控制项。

5.根据权利要求4所述融合LFM潜在因子与SVD的手机应用用户喜好检索方法，其特征在于，步骤四中得到所述矩阵A_lfm的具体过程包括：

步骤四一、对损失函数的右边设置L2正则化惩罚项：

步骤四二、得到梯度，随机给定矩阵U_m×k和矩阵V_k×n的初始值，损失函数通过SGD得到，通过损失函数来更新这些初始值得到没有缺省值的完整的矩阵A_lfm。

6.根据权利要求1所述融合LFM潜在因子与SVD的手机应用用户喜好检索方法，其特征在于，所述步骤六具体包括以下过程：

步骤六一、将矩阵A_SVD和矩阵A_lfm进行矩阵的加法，并进行归一化处理得到A_sum；

步骤六二、确定A_sum中所有元素数值大小排名前5的手机应用所属的分类领域，则这些领域即为用户喜好的领域。

Images