CN117522532B - 一种流行度纠偏推荐方法、装置、电子设备及存储介质 - Google Patents
一种流行度纠偏推荐方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117522532B CN117522532B CN202410020501.XA CN202410020501A CN117522532B CN 117522532 B CN117522532 B CN 117522532B CN 202410020501 A CN202410020501 A CN 202410020501A CN 117522532 B CN117522532 B CN 117522532B
- Authority
- CN
- China
- Prior art keywords
- loss
- target
- matrix
- popularity
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 238000012937 correction Methods 0.000 title claims description 17
- 239000011159 matrix material Substances 0.000 claims abstract description 94
- 238000001228 spectrum Methods 0.000 claims abstract description 33
- 238000012512 characterization method Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 16
- 230000002596 correlated effect Effects 0.000 claims abstract description 12
- 238000005457 optimization Methods 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 14
- 230000003595 spectral effect Effects 0.000 description 10
- 238000012360 testing method Methods 0.000 description 10
- 230000001364 causal effect Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000452 restraining effect Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Marketing (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Business, Economics & Management (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种流行度纠偏推荐方法、装置、电子设备及存储介质，其中，该流行度纠偏推荐方法包括：获取目标推荐模型，以最小化目标损失为优化目标，对所述目标推荐模型进行训练；其中，所述目标损失包括第一损失和第二损失，所述第一损失根据所述目标推荐模型的预测值和标签值确定，所述第二损失与目标矩阵的谱范数呈正相关，所述目标矩阵为用户表征矩阵与物品表征矩阵的转置之间乘积矩阵；通过训练后的所述目标推荐模型向用户推荐物品。通过本申请，降低了推荐模型对热门物品的偏好，缓解了推荐模型中普遍存在的流行度偏差问题。
Description
技术领域
本申请涉及物品推荐技术领域，特别是涉及一种流行度纠偏推荐方法、装置、电子设备及存储介质。
背景技术
推荐系统或者推荐模型作为一种有效缓解信息过载的技术，能够为用户提供个性化的物品推荐。现有推荐模型不断更新迭代，旨在实现设计出更加精准高效的推荐。然而，推荐模型中往往存在着损害推荐性能的流行度偏差。流行度偏差的产生来源于推荐数据中的物品交互频率呈现长尾分布，而基于此类数据进行训练的推荐模型会继承甚至放大对流行物品的偏好，导致热门物品在最终的推荐结果中占据了过多的比重，从而影响推荐的有效性和公平性。
现有解决流行度偏差的方法主要包括以下几类：
1、基于因果的方法：通过假设因果图来识别流行度偏差，并用因果推断方法消除其影响。由于基于因果的方法的有效性与因果图的准确性紧密相连，而广泛存在的无法被识别的混淆因子又会影响因果图的准确性，所以该方法对流行度偏差的优化效果并不理想。
2、基于倾向性得分的方法直接调整训练样本的权重让数据分布更加均匀。基于倾向性得分的方法会忽略其他有价值的信息（例如，物品质量等），且通常在性能上不如基于因果的方法。
3、基于正则的方法通过引入正则项来约束预测值，该方法往往直接对预测值施加较强的约束，这将潜在地影响推荐的准确性。
4、基于解耦的方法通过学习解耦的表征来消除流行度信息的影响，从而获取真实的用户兴趣。然而，基于解耦的方法对于从用户兴趣中解耦出流行度偏差的解耦效果并不能得到良好的保证，因此对流行度影响的消除效果也并不理想。
综上所述，现有的对于推荐模型流行度偏差的消除效果并不理想，导致推荐模型的推荐准确度降低，针对相关技术中的推荐模型中普遍出现的流行度偏差的问题，目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种流行度纠偏推荐方法、装置、电子设备及存储介质，以解决相关技术中的推荐模型中普遍出现的流行度偏差的问题。
第一个方面，在本发明中提供了一种流行度纠偏推荐方法，包括：
获取目标推荐模型，以最小化目标损失为优化目标，对所述目标推荐模型进行训练；其中，所述目标损失包括第一损失和第二损失，所述第一损失根据所述目标推荐模型的预测值和标签值确定，所述第二损失与目标矩阵的谱范数呈正相关，所述目标矩阵为用户表征矩阵与物品表征矩阵的转置之间乘积矩阵；
通过训练后的所述目标推荐模型向用户推荐物品。
在其中的一些实施例中，所述第二损失根据所述目标矩阵的列和向量和所述目标矩阵的乘积确定。
在其中的一些实施例中，所述目标损失根据所述第一损失、所述第二损失和所述第二损失的预设权重系数确定。
在其中的一些实施例中，所述目标损失为：
其中，为目标损失，/>为第一损失，/>为所述第二损失，β为所述第二损失的预设权重系数，U为用户表征矩阵，V为物品表征矩阵，e为n维的全1向量，n为用户的数量，/>表示/>范数；
所述第一损失为：
其中，表示用户/>是否喜欢物品/>的标签值，/>表示用户u是否喜欢物品i的预测值，n为用户的数量，m为物品的数量，/>为损失函数。
在其中的一些实施例中，所述预设权重系数选自如下参数之一：
1e-4、1e-3、1e-2、1e-1、5e-1、1或5。
在其中的一些实施例中，所述损失函数为交叉熵损失函数或平方损失函数。
在其中的一些实施例中，通过训练后的所述目标推荐模型向用户推荐物品包括：
通过所述目标推荐模型预测用户对物品的兴趣，根据所述兴趣向用户推荐物品。
第二个方面，在本发明中提供了一种流行度纠偏推荐装置，包括：
获取模块，用于获取目标推荐模型，以最小化目标损失为优化目标，对所述目标推荐模型进行训练；其中，所述目标损失包括第一损失和第二损失，所述第一损失根据所述目标推荐模型的预测值和标签值确定，所述第二损失与目标矩阵的谱范数呈正相关，所述目标矩阵为用户表征矩阵与物品表征矩阵的转置之间乘积矩阵；
推荐模块，用于通过训练后的所述目标推荐模型向用户推荐物品。
第三个方面，在本发明中提供了一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的流行度纠偏推荐方法。
第四个方面，在本发明中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的流行度纠偏推荐方法。
与相关技术相比，本发明基于目标矩阵的最大右奇异向量和物品流行度向量具有明显相似性这一特点，引入与目标矩阵的谱范数呈正相关的第二损失，通过约束目标矩阵的谱范数来减小目标推荐模型的第二损失，对目标推荐模型的目标损失进行优化，能够提高推荐模型的准确率，缓解推荐模型对热门物品的偏好的现象，解决了现有技术中推荐模型中普遍出现的流行度偏差问题。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是执行本发明中提供的流行度纠偏推荐方法的终端硬件结构框图；
图2是本发明的流行度纠偏推荐方法的流程图；
图3是本发明的流行度纠偏推荐装置的结构框图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。
除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块（单元）的过程、方法和系统、产品或设备并未限定于列出的步骤或模块（单元），而可包括未列出的步骤或模块（单元），或者可包括这些过程、方法、产品或设备固有的其他步骤或模块（单元）。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。
在本发明中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是执行本发明中提供的流行度纠偏推荐方法的终端硬件结构框图。如图1所示，终端可以包括一个或多个（图1中仅示出一个）处理器120和用于存储数据的存储器140，其中，处理器120可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备160以及输入输出设备180。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。
存储器140可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本发明中的流行度纠偏推荐方法对应的计算机程序，处理器120通过运行存储在存储器140内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器140可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器140可进一步包括相对于处理器120远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备160用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备160包括一个网络适配器（NetworkInterface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备160可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。
在本发明中提供了一种流行度纠偏推荐方法，图2是本发明的流行度纠偏推荐方法的流程图，如图2所示，该流程包括如下步骤：
步骤S201，获取目标推荐模型，以最小化目标损失为优化目标，对目标推荐模型进行训练；其中，目标损失包括第一损失和第二损失，第一损失根据目标推荐模型的预测值和标签值确定，第二损失与目标矩阵的谱范数呈正相关，目标矩阵为用户表征矩阵与物品表征矩阵的转置之间乘积矩阵。
步骤S202，通过训练后的目标推荐模型向用户推荐物品。
经实验分析和理论分析发现，目标矩阵的最大右奇异向量与物品的流行度向量（即目标矩阵的列和向量）之间具有明显的相似性，而目标矩阵的最大右奇异向量在奇异值分解中对应的权重即最大奇异值（即目标矩阵的谱范数）。因此，如果目标矩阵的谱范数减小，则会使得目标矩阵的最大右奇异向量减小，进而降低物品的流行度对目标推荐模型推荐性能的影响。
本方法中，目标推荐模型的目标损失包括第一损失和第二损失。第一损失根据目标推荐模型的预测值和标签值确定，可以是传统推荐模型中的损失。本发明在此基础上，引入与目标矩阵的谱范数呈正相关的第二损失。示例性地，两者之间的正相关关系可以通过共享参数实现，并且被共享的参数作为模型训练过程中的超参数。模型训练的目的是降低目标损失，相应第二损失也会被降低。因此在模型训练过程中，会降低目标矩阵的谱范数。通过约束目标矩阵的谱范数即可降低第二损失，最终实现对目标推荐模型的目标损失的优化，减小由于流行度偏差对目标推荐模型的推荐性能的影响。采用训练后的目标推荐模型向用户推荐物品，能够提高推荐模型的准确率，缓解推荐模型对热门物品的偏好的现象，解决了现有技术中推荐模型中普遍出现的流行度偏差问题。
具体的，在步骤S201中，第二损失根据目标矩阵的列和向量和目标矩阵的乘积确定。其中，目标矩阵的列和向量的表达式如下：
其中，r为目标矩阵的列和向量，V为物品表征矩阵，U为用户表征矩阵。
对于目标矩阵的谱范数，其计算公式如下：
其中，为目标矩阵的谱范数，/>表示/>范数，/>为目标矩阵的最大右奇异向量。
目标损失根据第一损失、第二损失和第二损失的预设权重系数确定，其中，第二损失与目标矩阵的谱范数呈正相关，所以，可以通过约束谱范数来降低第二损失，最终实现对目标损失的优化。第二损失的预设权重系数表示了第二损失在目标损失中的影响占比。在目标损失下降相同幅度的情况下，若第二损失在目标损失中的影响占比越大，则第二损失的下降幅度越大，进而第二损失会被优化的越小。相应的，目标矩阵的谱范数也会约束的越小。因此，第二损失的预设权重系数越大，对谱范数的约束就越强，从而能够更好地约束物品流行度偏差对目标推荐模型推荐性能的影响。
在实际应用中，可以直接通过约束上述目标矩阵的谱范数来降低第二损失，然而，在一些情况下，无法准确获取目标矩阵的最大右奇异向量，而由于目标矩阵的最大右奇异向量与目标矩阵的列和向量具有明显的相似性，因此，将目标矩阵的列和向量r近似为目标矩阵的最大右奇异向量，得到如下表达式：
其中，即为目标矩阵的谱范数近似值，虽然谱范数近似值可能与谱范数不相等，但是两者之间的差异很小，且两者之间呈正相关，通过约束谱范数近似值也可以起到与直接约束谱范数相近的效果，此时，即可将谱范数近似值作为谱范数进行对目标损失的优化。
根据目标矩阵的谱范数近似值确定一个便于实现和计算的谱范数的近似正则项，并将该近似正则项引入目标损失的表达式，目标损失为：
其中，为目标损失，/>为所述第一损失，/>表示一种损失函数，可以为传统推荐模型中所采用的损失函数。/>为所述第二损失，β为所述第二损失的预设权重系数，预设权重系数选自如下参数之一：1e-4、1e-3、1e-2、1e-1、5e-1、1或5，U为用户表征矩阵，V为物品表征矩阵，e为n维的全1向量，n为用户的数量，/>表示向量的/>范数，Y为根据用户与物品的交互数据确定的标签值矩阵，/>，/>表示目标推荐模型的预测值矩阵。
根据目标损失的表达式可知，在目标损失下降相同幅度的情况下，若第二损失在目标损失中的影响占比越大，则第二损失的下降幅度越大，进而第二损失会被优化的越小。相应的，目标矩阵的谱范数近似值也会约束的越小。因此，第二损失的预设权重系数越大，对谱范数近似值的约束就越强，从而能够更好地约束物品流行度偏差对目标推荐模型推荐性能的影响。
所述第一损失为：
其中，为表示用户/>是否喜欢物品/>的标签值（具体可通过用户u与物品i的交互数据来体现，例如用户u在平台上的点击操作等），/>表示用户/>是否喜欢物品/>的预测值，n为用户的数量，m为物品的数量，/>其中，/>为用户/>和物品/>的表征点积经过激活函数/>后的值；/>为一种损失函数，该损失函数可以为交叉熵损失函数或平方损失函数。
在其中的一些实施例中，步骤S202，通过训练后的目标推荐模型向用户推荐物品包括：通过目标推荐模型预测用户对物品的兴趣，根据兴趣向用户推荐物品。进一步地，通过目标推荐模型预测用户对物品的兴趣，得到预测值，根据预测值的大小，向用户推荐预测值最高的K个物品，K为预先设定的物品推荐数量。示例性的，对于每个用户，按照来计算该用户对某个物品/>的兴趣得分（预测值），并根据该兴趣得分选取得分最高的/>个物品推荐给用户。
综上，基于目标矩阵的最大右奇异向量和物品流行度向量（目标矩阵的列和向量）具有明显相似性这一特点，本发明通过约束目标矩阵的谱范数（目标矩阵的最大奇异值）来缓解目标推荐模型的流行度偏差，减小目标推荐模型的第二损失，对目标推荐模型的目标损失进行优化，降低了推荐模型对热门物品的偏好，缓解了现有的推荐模型中广泛存在的流行度偏差问题。
为了验证上述方法的有效性，以常用的模型矩阵分解MF为基础推荐模型，选取两个公开的真实数据集MovieLens和Douban进行实验。首先按照隐式反馈的推荐系统一般的评判原则出发，将数据集随机划分为训练集，验证集以及测试集；此外，为了评估模型在缓解流行度偏差方面的效果，本发明根据物品流行度采样出了一个无偏的测试集，并以NDCG@20指标作为度量。最终结果如表格1所示：
表1 不同推荐方法在不同数据集上的推荐性能结果表
在表1中，“一般”表示从所有的交互数据中随机划分一部分作为测试集，这种设置下，测试集和训练集中物品的流行度（物品的交互数量）分布是一致的，都呈现长尾分布，即热门物品占据大量的交互。因此在这种设置下，当推荐模型偏好推荐热门物品时，能够在测试集得到较好的结果，因此这种设置只能更适用于测试模型的总体推荐性能，无法用于衡量模型缓解流行度偏差的能力。“无偏”是以物品流行度的倒数为概率进行采样得到的测试集，也就是在无偏测试集中，所有物品出现的数量基本一致，呈现均匀分布，这一设置中，降低了模型对热门物品偏好对结果的贡献，因此可以用于衡量模型在缓解流行度偏差上的效果。加粗的数值表示最佳性能，带有下划线的数值表示次佳性能。其中MF、Zerosum、MACR、PDA、InvCF均为现有的推荐方法，ReSN为本发明提供的推荐方法。
根据表1，在“一般”和“无偏”的两种测试模式下，本发明提出的约束谱范数的推荐方法（ReSN）的性能指标均超过现有的纠偏推荐方法，并且在“无偏”的测试模式下，本发明的提升更为明显。这说明了本发明在缓解流行度偏差的有效性。相比于现有的推荐方法，本发明的优点是：基于理论和经验支持，采用了一种更为温和的正则项来调整模型预测中流行度偏差的影响，提高了模型的推荐性能。并且，本发明便于实现，且适用于不同的基准模型，此外，本发明的算法效率也很高，引入的正则项的在0((n+m)d)的时间复杂度内就能实现。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本发明中还提供了一种流行度纠偏推荐装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图3是本发明的流行度纠偏推荐装置的结构框图，如图3所示，该装置包括：
获取模块301，用于获取目标推荐模型，以最小化目标损失为优化目标，对目标推荐模型进行训练；其中，目标损失包括第一损失和第二损失，第一损失根据目标推荐模型的预测值和标签确定，第二损失与目标矩阵的谱范数呈正相关，目标矩阵为用户表征矩阵与物品表征矩阵的转置之间乘积矩阵；
推荐模块302，用于通过训练后的目标推荐模型向用户推荐物品。
本装置中，目标推荐模型的目标损失包括第一损失和第二损失。第一损失根据目标推荐模型的预测值和标签值确定，可以是传统推荐模型中的损失。本发明在此基础上，引入与目标矩阵的谱范数呈正相关的第二损失。示例性地，两者之间的正相关关系可以通过共享参数实现，并且被共享的参数作为模型训练过程中的超参数。模型训练的目的是降低目标损失，相应第二损失也会被降低。因此在模型训练过程中，会降低目标矩阵的谱范数。通过约束目标矩阵的谱范数即可降低第二损失，最终实现对目标推荐模型的目标损失的优化，减小由于流行度偏差对目标推荐模型的推荐性能的影响。采用训练后的目标推荐模型向用户推荐物品，能够提高推荐模型的准确率，缓解推荐模型对热门物品的偏好的现象，解决了现有技术中推荐模型中普遍出现的流行度偏差问题。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在本发明中还提供了一种电子设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在一个实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取目标推荐模型，以最小化目标损失为优化目标，对目标推荐模型进行训练；其中，目标损失包括第一损失和第二损失，第一损失根据目标推荐模型的预测值和标签值确定，第二损失与目标矩阵的谱范数呈正相关，目标矩阵为用户表征矩阵与物品表征矩阵的转置之间乘积矩阵。
S2，通过训练后的目标推荐模型向用户推荐物品。
需要说明的是，本电子设备的具体示例可以参考上述方法的实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。
此外，结合上述本发明中提供的流行度纠偏推荐方法，在本发明中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种流行度纠偏推荐方法。
应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。
显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。
Claims (8)
1.一种流行度纠偏推荐方法，其特征在于，包括：
获取目标推荐模型，以最小化目标损失为优化目标，对所述目标推荐模型进行训练；其中，所述目标损失包括第一损失和第二损失，所述第一损失根据所述目标推荐模型的预测值和标签值确定，所述第二损失与目标矩阵的谱范数呈正相关，所述目标矩阵为用户表征矩阵与物品表征矩阵的转置之间乘积矩阵；
通过训练后的所述目标推荐模型向用户推荐物品；
所述目标损失根据所述第一损失、所述第二损失和所述第二损失的预设权重系数确定；
所述目标损失为：
其中，为目标损失，/>为所述第一损失，/>为所述第二损失，β为所述第二损失的预设权重系数，U为用户表征矩阵，V为物品表征矩阵，e为n维的全1向量，n为用户的数量，/>表示/>范数；
所述第一损失为：
其中，表示用户/>是否喜欢物品/>的标签值，/>表示用户/>是否喜欢物品/>的预测值，n为用户的数量，m为物品的数量，/>为损失函数。
2.根据权利要求1所述的流行度纠偏推荐方法，其特征在于，所述第二损失根据所述目标矩阵的列和向量和所述目标矩阵的乘积确定。
3.根据权利要求1所述的流行度纠偏推荐方法，其特征在于，所述预设权重系数选自如下参数之一：
1e-4、1e-3、1e-2、1e-1、5e-1、1或5。
4.根据权利要求1所述的流行度纠偏推荐方法，其特征在于，所述损失函数为交叉熵损失函数或平方损失函数。
5.根据权利要求1所述的流行度纠偏推荐方法，其特征在于，通过训练后的所述目标推荐模型向用户推荐物品包括：
通过所述目标推荐模型预测用户对物品的兴趣，根据所述兴趣向用户推荐物品。
6.一种流行度纠偏推荐装置，其特征在于，包括：
获取模块，用于获取目标推荐模型，以最小化目标损失为优化目标，对所述目标推荐模型进行训练；其中，所述目标损失包括第一损失和第二损失，所述第一损失根据所述目标推荐模型的预测值和标签确定，所述第二损失与目标矩阵的谱范数呈正相关，所述目标矩阵为用户表征矩阵与物品表征矩阵的转置之间乘积矩阵；
推荐模块，用于通过训练后的所述目标推荐模型向用户推荐物品；
所述目标损失根据所述第一损失、所述第二损失和所述第二损失的预设权重系数确定；
所述目标损失为：
其中，为目标损失，/>为所述第一损失，/>为所述第二损失，β为所述第二损失的预设权重系数，U为用户表征矩阵，V为物品表征矩阵，e为n维的全1向量，n为用户的数量，/>表示/>范数；
所述第一损失为：
其中，表示用户/>是否喜欢物品/>的标签值，/>表示用户/>是否喜欢物品/>的预测值，n为用户的数量，m为物品的数量，/>为损失函数。
7.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至5中任一项所述的流行度纠偏推荐方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的流行度纠偏推荐方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410020501.XA CN117522532B (zh) | 2024-01-08 | 2024-01-08 | 一种流行度纠偏推荐方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410020501.XA CN117522532B (zh) | 2024-01-08 | 2024-01-08 | 一种流行度纠偏推荐方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117522532A CN117522532A (zh) | 2024-02-06 |
| CN117522532B true CN117522532B (zh) | 2024-04-16 |
Family
ID=89766887
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410020501.XA Active CN117522532B (zh) | 2024-01-08 | 2024-01-08 | 一种流行度纠偏推荐方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117522532B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107122411A (zh) * | 2017-03-29 | 2017-09-01 | 浙江大学 | 一种基于离散多视图哈希的协同过滤推荐方法 |
| WO2020083020A1 (zh) * | 2018-10-23 | 2020-04-30 | 腾讯科技（深圳）有限公司 | 确定用户对物品的兴趣度的方法与装置、设备和存储介质 |
| CN113158024A (zh) * | 2021-02-26 | 2021-07-23 | 中国科学技术大学 | 一种纠正推荐系统流行度偏差的因果推理方法 |
| JP2021189553A (ja) * | 2020-05-26 | 2021-12-13 | 株式会社Preferred Networks | 訓練装置、モデル生成方法及びプログラム |
| CN114297944A (zh) * | 2022-01-05 | 2022-04-08 | 上海交通大学 | 基于物品簇级多目标优化的物品推荐方法及装置和设备 |
| CN114661999A (zh) * | 2022-03-31 | 2022-06-24 | 腾讯音乐娱乐科技（深圳）有限公司 | 一种推荐方法、推荐模型的训练方法以及相关装置 |
| CN115841366A (zh) * | 2022-12-30 | 2023-03-24 | 中国科学技术大学 | 物品推荐模型训练方法、装置、电子设备及存储介质 |
| CN116664226A (zh) * | 2023-05-06 | 2023-08-29 | 中国科学院计算技术研究所 | 一种推荐系统流行度去偏方法和系统、存储介质 |
| CN116861076A (zh) * | 2023-06-25 | 2023-10-10 | 中国科学院信息工程研究所 | 基于用户流行度偏好的序列推荐方法及装置 |
| CN117033751A (zh) * | 2022-09-02 | 2023-11-10 | 腾讯科技（深圳）有限公司 | 推荐信息处理方法、装置、存储介质及设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109033140B (zh) * | 2018-06-08 | 2020-05-29 | 北京百度网讯科技有限公司 | 一种确定搜索结果的方法、装置、设备和计算机存储介质 |
| US20220058489A1 (en) * | 2020-08-19 | 2022-02-24 | The Toronto-Dominion Bank | Two-headed attention fused autoencoder for context-aware recommendation |
| EP4174748A1 (en) * | 2021-10-29 | 2023-05-03 | Tata Consultancy Services Limited | Systems and methods for recommendation of items and controlling an associated bias thereof |
-
2024
- 2024-01-08 CN CN202410020501.XA patent/CN117522532B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107122411A (zh) * | 2017-03-29 | 2017-09-01 | 浙江大学 | 一种基于离散多视图哈希的协同过滤推荐方法 |
| WO2020083020A1 (zh) * | 2018-10-23 | 2020-04-30 | 腾讯科技（深圳）有限公司 | 确定用户对物品的兴趣度的方法与装置、设备和存储介质 |
| JP2021189553A (ja) * | 2020-05-26 | 2021-12-13 | 株式会社Preferred Networks | 訓練装置、モデル生成方法及びプログラム |
| CN113158024A (zh) * | 2021-02-26 | 2021-07-23 | 中国科学技术大学 | 一种纠正推荐系统流行度偏差的因果推理方法 |
| CN114297944A (zh) * | 2022-01-05 | 2022-04-08 | 上海交通大学 | 基于物品簇级多目标优化的物品推荐方法及装置和设备 |
| CN114661999A (zh) * | 2022-03-31 | 2022-06-24 | 腾讯音乐娱乐科技（深圳）有限公司 | 一种推荐方法、推荐模型的训练方法以及相关装置 |
| CN117033751A (zh) * | 2022-09-02 | 2023-11-10 | 腾讯科技（深圳）有限公司 | 推荐信息处理方法、装置、存储介质及设备 |
| CN115841366A (zh) * | 2022-12-30 | 2023-03-24 | 中国科学技术大学 | 物品推荐模型训练方法、装置、电子设备及存储介质 |
| CN116664226A (zh) * | 2023-05-06 | 2023-08-29 | 中国科学院计算技术研究所 | 一种推荐系统流行度去偏方法和系统、存储介质 |
| CN116861076A (zh) * | 2023-06-25 | 2023-10-10 | 中国科学院信息工程研究所 | 基于用户流行度偏好的序列推荐方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| Caching With Time-Varying Popularity Profiles: A Learning-Theoretic Perspective;Bharath, BN etal;《IEEE TRANSACTIONS ON COMMUNICATIONS》;20181228;第66卷(第9期);3837-3847 * |
| Popularity Bias is not Always Evil: Disentangling Benign and Harmful Bias for Recommendation;Chen, Jiawei etal;《IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING》;20231111;第35卷(第10期);9920-9931 * |
| 基于增量支持向量机的DoS入侵检测;刘晔;王泽兵;冯雁;古红英;;计算机工程;20060220(04);179-180, 186页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117522532A (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11580457B2 (en) | Prediction method, terminal, and server | |
| JP7343568B2 (ja) | 機械学習のためのハイパーパラメータの識別および適用 | |
| US10609433B2 (en) | Recommendation information pushing method, server, and storage medium | |
| CN110309874B (zh) | 负样本筛选模型训练方法、数据筛选方法和数据匹配方法 | |
| CN110457581A (zh) | 一种资讯推荐方法、装置、电子设备及存储介质 | |
| Perry | Fast moment-based estimation for hierarchical models | |
| CN110020022B (zh) | 数据处理方法、装置、设备及可读存储介质 | |
| CN112822526A (zh) | 视频推荐方法、服务器和可读存储介质 | |
| Bergou et al. | A subsampling line-search method with second-order results | |
| CN112417294B (zh) | 一种基于神经网络挖掘模型的业务智能推荐方法 | |
| CN115374186B (zh) | 基于大数据的数据处理方法及ai系统 | |
| Wang | Zipf Matrix Factorization: Matrix Factorization with Matthew Effect Reduction | |
| CN112257855A (zh) | 一种神经网络的训练方法及装置、电子设备及存储介质 | |
| CN111310834B (zh) | 数据处理方法及装置、处理器、电子设备、存储介质 | |
| He et al. | Variable selection for high dimensional gaussian copula regression model: An adaptive hypothesis testing procedure | |
| CN117522532B (zh) | 一种流行度纠偏推荐方法、装置、电子设备及存储介质 | |
| CN117834061A (zh) | 一种基于图卷积网络的无线频谱感知数据预测方法 | |
| CN116842447A (zh) | 分类数据的后处理方法、装置、系统和电子装置 | |
| CN112906883A (zh) | 用于深度神经网络的混合精度量化策略确定方法和系统 | |
| Guo et al. | AdaLinUCB: Opportunistic learning for contextual bandits | |
| Pan et al. | Large-scale expectile regression with covariates missing at random | |
| Feng et al. | A framework of learning through empirical gain maximization | |
| Listianingrum et al. | Smartphone hedonic price study based on online retail price in Indonesia | |
| CN115841144A (zh) | 一种文本检索模型的训练方法及装置 | |
| Yang et al. | Product form feature selection for mobile phone design using LS-SVR and ARD |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |