CN114676851B - 召回和排序模型的联合训练方法、设备和存储介质 - Google Patents
召回和排序模型的联合训练方法、设备和存储介质 Download PDFInfo
- Publication number
- CN114676851B CN114676851B CN202210369500.7A CN202210369500A CN114676851B CN 114676851 B CN114676851 B CN 114676851B CN 202210369500 A CN202210369500 A CN 202210369500A CN 114676851 B CN114676851 B CN 114676851B
- Authority
- CN
- China
- Prior art keywords
- model
- recall
- sample
- sampling
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 title claims abstract description 21
- 238000005070 sampling Methods 0.000 claims abstract description 27
- 238000009826 distribution Methods 0.000 claims abstract description 21
- 238000012952 Resampling Methods 0.000 claims abstract description 8
- 230000000694 effects Effects 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000013459 approach Methods 0.000 claims description 5
- CIWBSHSKHKDKBQ-JLAZNSOCSA-N Ascorbic acid Chemical compound OC[C@H](O)[C@H]1OC(=O)C(O)=C1O CIWBSHSKHKDKBQ-JLAZNSOCSA-N 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 abstract description 6
- 238000010801 machine learning Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
- G06F16/24578—Query processing with adaptation to user needs using ranking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
Abstract
本发明涉及机器学习以及推荐系统领域，公开了一种召回和排序模型的联合训练方法、设备和存储介质。该方法通过依据召回模型的打分重采样高质量负样本训练排序模型，并优化召回和排序模型打分分布的KL散度来增强召回模型，设计出全新的基于采样的KL散度，加速模型收敛，联合训练召回和排序阶段的模型，提升了模型的效果。
Description
技术领域
本发明涉及机器学习以及推荐系统领域，具体地，涉及一种推荐系统中召回和排序模型的联合训练方法。
背景技术
推荐系统作为一种在海量信息中快速帮助用户检索过滤的有效工具，它最需要关注的就是精准性和时效性。经典的推荐系统往往会有召回和排序两个过程，其中，召回过程用于从所有的物品中选出小部分样品，而排序过程则是在这小部分样品上进行打分和排序，给出一个有序的物品列表。一般情况下，召回过程采用的是一些时间复杂度低的算法，但损失了一部分准确性；而排序过程则更重视准确性，采取的算法往往时间复杂度更高。联合训练召回模型和排序模型是一种很自然的想法，然而，现有的技术往往都是独立训练二者或者以一种简单的方式联合的。因此，如何设计一种深度的高效联合训练方法是亟需解决的一个研究问题。
针对这个研究问题，研究者们提出了多种方式。其中，一种简单的做法是级联训练召回模型和排序模型。其中，召回模型先被训练好，而后利用召回模型选择的高分物品作为负样本去训练排序模型序。然而，这种方法会导致召回模型的效果不佳严重影响了排序模型的训练，最终导致算法效果大打折扣。
因此，亟需要一种高效的联合训练方法来解决上述难题。
发明内容
本发明的目的是提供一种召回和排序模型的联合训练方法，该方法使得排序模型得以利用高质量负样本进行更新，且召回模型可以学习更精确的排序模型的输出结果，达到了两部分模型互相增强的效果。
为了实现上述目的，本发明的第一方面提供了一种召回和排序模型的联合训练方法，该方法包括：
物品集合用表示；数据集用/>表示，每条数据均由二元组(c,k)构成，其中，c表示某个用户的交互上下文信息，k表示对应的正样本；模型由召回模型Mθ和排序模型Rφ构成，其中，θ和φ分别表示两部分模型的参数；对于一个上下文信息c和一个物品i，Mθ(i,c)表示召回模型基于上下文信息c对物品i的打分；
步骤1、对于上下文信息c，首先从某一静态分布Y(·)中采样一部分物品，组成样本池C，为样本池中每一个物品和正样本k，利用召回模型计算打分M(·,c)；基于此打分为样本池中每一个物品计算重要性采样的权重，计算公式如下：
根据该权重从采样池中进行有放回的重采样得到一个新的样本池S；
步骤2、在步骤1的基础上，利用根据召回模型打分重采样得到的样本作为负样本，使用如下的基于采样的损失函数用于排序模型的参数更新：
其中，Q0(k|c)表示采样使用的分布；根据步骤1，此处取Q0(i|c)＝QC∪{k}(i|c)；
步骤3、利用步骤2的损失对召回模型计算损失函数：
同时，将召回模型靠近排序模型的打分分布，用于提升召回模型的效果；
步骤4、根据步骤2和步骤3计算得到的两部分模型的损失函数，采用梯度下降法对两模型同时进行梯度回传以及参数迭代更新。
优选地，在步骤1中，设定新的样本池小于原样本池大小，且远小于物品集合的大小，即
优选地，当样本池C的大小趋于无穷时，即|C|→∞时，两阶段采样等价于从分布中采样。
优选地，在步骤3中，使用KL散度作为两个分布的距离度量，如下所示：
优选地，在步骤3中，采用修正的基于采样的KL散度计算方法，用于完成在全部物品上计算KL散度的近似，包括：
在基于分布Q0(·|c)的采样下得到的集合S，定义其中，/> 证明在|S|趋于无穷大时，DKL(PS(·|c)||QS(·|c))收敛于DKL(P(·|c)||Q(·|c))；此时，召回模型的损失函数由两部分组成，可表示为：
本发明的第二方面提供一种设备，该设备包括处理器及存储器；其中，存储器用于存储计算机程序，处理器用于根据计算机程序执行第一方面所述的召回和排序模型的联合训练方法。
本发明的第三方面提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，计算机程序用于执行第一方面所述的召回和排序模型的联合训练方法。
根据上述技术方案，本发明以重要性重采样的方法作为召回模型对排序模型的增强；以知识过滤的方法作为排序模型对召回模型的增强，通过相互增强的方法实现了一种高效的联合训练方法。
本发明的其他特征和优点将在随后的具体实施方式部分予以详细说明。
具体实施方式
以下对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
本发明的第一方面提供了一种召回和排序模型的联合训练方法，该方法包括：
物品集合用表示；数据集用/>表示，每条数据均由二元组(c,k)构成，其中，c表示某个用户的交互上下文信息，k表示对应的正样本；模型由召回模型Mθ和排序模型Rφ构成，其中，θ和φ分别表示两部分模型的参数；对于一个上下文信息c和一个物品i，Mθ(i,c)表示召回模型基于上下文信息c对物品i的打分；
步骤1、对于上下文信息c，首先从某一静态分布Y(·)(如均匀分布Q(i)＝1/M)中采样一部分物品，组成样本池C，为样本池中每一个物品和正样本k，利用召回模型计算打分M(·,c)；基于此打分为样本池中每一个物品计算重要性采样的权重，计算公式如下：
根据该权重从采样池中进行有放回的重采样得到一个新的样本池S；
实际应用时，在步骤1中，设定新的样本池小于原样本池大小，且远小于物品集合的大小，即
基于此，可以证明，当样本池C的大小趋于无穷时，即|C|→∞时，两阶段采样实际上等价于从分布中采样。
步骤2、在步骤1的基础上，利用根据召回模型打分重采样得到的样本作为负样本，使用如下的基于采样的损失函数用于排序模型的参数更新：
其中，Q0(k|c)表示采样使用的分布；根据步骤1，此处取Q0(i|c)＝QC∪{k}(i|c)；
步骤3、利用步骤2的损失对召回模型计算损失函数：
同时，排序模型打分导出的物品分布往往更为准确，因此将召回模型靠近排序模型的打分分布则会提升召回模型的效果。此处使用KL散度作为两个分布的距离度量，如下所示：
然而，在全部物品上计算KL散度时间开销太大，使用一种修正的基于采样的KL散度计算方法可以完成近似，具体如下：
在基于分布Q0(·|c)的采样下得到的集合S，定义其中，/> 证明在|S|趋于无穷大时，DKL(PS(·|c)||QS(·|c))收敛于DKL(P(·|c)||Q(·|c))；此时，召回模型的损失函数由两部分组成，可表示为：
步骤4、根据步骤2和步骤3计算得到的两部分模型的损失函数，采用梯度下降法对两模型同时进行梯度回传以及参数迭代更新。
此外，本发明的第二方面提供一种设备，该设备包括处理器及存储器；其中，存储器用于存储计算机程序，处理器用于根据计算机程序执行第一方面所述的召回和排序模型的联合训练方法。
另外，本发明的第三方面提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，计算机程序用于执行第一方面所述的召回和排序模型的联合训练方法。
以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。
此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。
Claims (7)
1.一种召回和排序模型的联合训练方法，其特征在于，所述方法包括：
物品集合用表示；数据集用/>表示，每条数据均由二元组(c，k)构成，其中，c表示某个用户的交互上下文信息，k表示对应的正样本；模型由召回模型Mθ和排序模型Rφ构成，其中，θ和φ分别表示两部分模型的参数；对于一个上下文信息c和一个物品i，Mθ(i，c)表示召回模型基于上下文信息c对物品i的打分；
步骤1、对于上下文信息c，首先从某一静态分布Y(·)中采样一部分物品，组成样本池C，为样本池中每一个物品和正样本k，利用召回模型计算打分M(·，c)；基于此打分为样本池中每一个物品计算重要性采样的权重，计算公式如下：
根据该权重从采样池中进行有放回的重采样得到一个新的样本池S；
步骤2、在步骤1的基础上，利用根据召回模型打分重采样得到的样本作为负样本，使用如下的基于采样的损失函数用于排序模型的参数更新：
其中，Q0(k|c)表示采样使用的分布；根据步骤1，此处取Q0(i|c)＝QC∪{k}(i|c)；
步骤3、利用步骤2的损失对召回模型计算损失函数：
同时，将召回模型靠近排序模型的打分分布，用于提升召回模型的效果；
步骤4、根据步骤2和步骤3计算得到的两部分模型的损失函数，采用梯度下降法对两模型同时进行梯度回传以及参数迭代更新。
2.根据权利要求1所述的方法，其特征在于，在步骤1中，设定新的样本池小于原样本池大小，且远小于物品集合的大小，即
3.根据权利要求2所述的方法，其特征在于，当样本池C的大小趋于无穷时，即|C|→∞时，两阶段采样等价于从分布中采样。
4.根据权利要求1所述的方法，其特征在于，在步骤3中，使用KL散度作为两个分布的距离度量，如下所示：
5.根据权利要求1所述的方法，其特征在于，在步骤3中，采用修正的基于采样的KL散度计算方法，用于完成在全部物品上计算KL散度的近似，包括：
在基于分布Q0(·|c)的采样下得到的集合S，定义其中，/> 证明在|S|趋于无穷大时，DKL(PS(·|c)||QS(·|c))收敛于DKL(P(·|c)||Q(·|c))；此时，召回模型的损失函数由两部分组成，可表示为：
6.一种设备，其特征在于，所述设备包括处理器及存储器；其中，所述存储器用于存储计算机程序，所述处理器用于根据所述计算机程序执行权利要求1-5中任一项所述的召回和排序模型的联合训练方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1-5中任一项所述的召回和排序模型的联合训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210369500.7A CN114676851B (zh) | 2022-04-08 | 2022-04-08 | 召回和排序模型的联合训练方法、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210369500.7A CN114676851B (zh) | 2022-04-08 | 2022-04-08 | 召回和排序模型的联合训练方法、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114676851A CN114676851A (zh) | 2022-06-28 |
| CN114676851B true CN114676851B (zh) | 2024-03-29 |
Family
ID=82078668
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210369500.7A Active CN114676851B (zh) | 2022-04-08 | 2022-04-08 | 召回和排序模型的联合训练方法、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114676851B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110765310A (zh) * | 2019-10-09 | 2020-02-07 | 上海麦克风文化传媒有限公司 | 一种基于参数配置的音频专辑推荐方法及系统 |
| WO2020233432A1 (zh) * | 2019-05-20 | 2020-11-26 | 阿里巴巴集团控股有限公司 | 一种信息推荐方法及装置 |
| WO2021121106A1 (zh) * | 2019-12-20 | 2021-06-24 | 深圳前海微众银行股份有限公司 | 基于联邦学习的个性化推荐方法、装置、设备及介质 |
| CN113781134A (zh) * | 2020-07-28 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 物品推荐方法、装置及计算机可读存储介质 |
| WO2022007520A1 (zh) * | 2020-07-09 | 2022-01-13 | 百果园技术(新加坡)有限公司 | 推荐项目确定方法、装置、设备及存储介质 |
| CN113947131A (zh) * | 2021-09-15 | 2022-01-18 | 北京三快在线科技有限公司 | 模型训练方法、装置、设备及存储介质 |
| CN114119050A (zh) * | 2021-12-07 | 2022-03-01 | 杭州时趣信息技术有限公司 | 一种商品召回方法、商品召回系统及相关装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109902708B (zh) * | 2018-12-29 | 2022-05-10 | 华为技术有限公司 | 一种推荐模型训练方法及相关装置 |
-
2022
- 2022-04-08 CN CN202210369500.7A patent/CN114676851B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020233432A1 (zh) * | 2019-05-20 | 2020-11-26 | 阿里巴巴集团控股有限公司 | 一种信息推荐方法及装置 |
| CN110765310A (zh) * | 2019-10-09 | 2020-02-07 | 上海麦克风文化传媒有限公司 | 一种基于参数配置的音频专辑推荐方法及系统 |
| WO2021121106A1 (zh) * | 2019-12-20 | 2021-06-24 | 深圳前海微众银行股份有限公司 | 基于联邦学习的个性化推荐方法、装置、设备及介质 |
| WO2022007520A1 (zh) * | 2020-07-09 | 2022-01-13 | 百果园技术(新加坡)有限公司 | 推荐项目确定方法、装置、设备及存储介质 |
| CN113781134A (zh) * | 2020-07-28 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 物品推荐方法、装置及计算机可读存储介质 |
| CN113947131A (zh) * | 2021-09-15 | 2022-01-18 | 北京三快在线科技有限公司 | 模型训练方法、装置、设备及存储介质 |
| CN114119050A (zh) * | 2021-12-07 | 2022-03-01 | 杭州时趣信息技术有限公司 | 一种商品召回方法、商品召回系统及相关装置 |
Non-Patent Citations (2)
| Title |
|---|
| 一种基于ElasticSearch的推荐系统架构;郝胜男;赵领杰;;电脑知识与技术;20171225(36);全文 * |
| 社交网络下基于列表级排序学习的推荐算法;郭绍翠;童向荣;杨旭;;计算机工程与设计;20190616(06);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114676851A (zh) | 2022-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106815252B (zh) | 一种搜索方法和设备 | |
| CN104598611B (zh) | 对搜索条目进行排序的方法及系统 | |
| CN106598950B (zh) | 一种基于混合层叠模型的命名实体识别方法 | |
| CN106776538A (zh) | 企业非标准格式文档的信息提取方法 | |
| CN110688502A (zh) | 一种基于深度哈希和量化的图像检索方法及存储介质 | |
| CN113887643B (zh) | 一种基于伪标签自训练和源域再训练的新对话意图识别方法 | |
| CN112084307B (zh) | 一种数据处理方法、装置、服务器及计算机可读存储介质 | |
| CN106202377A (zh) | 一种基于随机梯度下降的在线协同排序方法 | |
| CN114708903A (zh) | 一种基于自注意力机制的蛋白质残基间距离预测方法 | |
| CN111008215B (zh) | 一种结合标签构建与社区关系规避的专家推荐方法 | |
| CN112488147A (zh) | 一种基于对抗网络的冗余去除主动学习方法 | |
| CN114330291A (zh) | 基于双重注意力机制的文本推荐系统 | |
| CN113361283B (zh) | 面向Web表格的成对实体联合消歧方法 | |
| CN114676851B (zh) | 召回和排序模型的联合训练方法、设备和存储介质 | |
| CN114328963A (zh) | 基于知识图谱的故障处置辅助决策系统及方法 | |
| CN109033746B (zh) | 一种基于节点向量的蛋白质复合物识别方法 | |
| CN111597400A (zh) | 基于寻路算法的计算机检索系统及方法 | |
| CN116304728A (zh) | 一种基于句子表征的短文本相似度匹配方法及应用 | |
| CN115936389A (zh) | 一种基于大数据技术的评审专家与评审材料的匹配方法 | |
| CN113312548B (zh) | 基于知识蒸馏的信息检索方法 | |
| Haeri et al. | Developing a hybrid data mining approach based on multi-objective particle swarm optimization for solving a traveling salesman problem | |
| CN105893363A (zh) | 一种获取知识点的相关知识点的方法及系统 | |
| CN114492836A (zh) | 面向隐式反馈推荐系统的负样本采样及训练方法 | |
| CN114612914A (zh) | 一种多标签不平衡数据分类的机器学习方法及系统 | |
| CN109918659B (zh) | 一种基于不保留最优个体遗传算法优化词向量的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |