CN117194986A - 一种信息推荐模型训练方法、装置、存储介质及电子设备 - Google Patents
一种信息推荐模型训练方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN117194986A CN117194986A CN202311235396.3A CN202311235396A CN117194986A CN 117194986 A CN117194986 A CN 117194986A CN 202311235396 A CN202311235396 A CN 202311235396A CN 117194986 A CN117194986 A CN 117194986A
- Authority
- CN
- China
- Prior art keywords
- model
- corpus
- training
- answer
- information recommendation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 141
- 238000000034 method Methods 0.000 title claims abstract description 88
- 238000003860 storage Methods 0.000 title claims abstract description 22
- 230000003993 interaction Effects 0.000 claims description 41
- 238000004590 computer program Methods 0.000 claims description 16
- 238000005065 mining Methods 0.000 claims description 14
- 238000002372 labelling Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 2
- 230000008014 freezing Effects 0.000 claims description 2
- 238000007710 freezing Methods 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 26
- 230000006870 function Effects 0.000 description 17
- 230000008569 process Effects 0.000 description 14
- 230000002787 reinforcement Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000006872 improvement Effects 0.000 description 8
- 239000004615 ingredient Substances 0.000 description 7
- 238000003058 natural language processing Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 235000012149 noodles Nutrition 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- 235000013162 Cocos nucifera Nutrition 0.000 description 1
- 244000060011 Cocos nucifera Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 description 1
- 235000020415 coconut juice Nutrition 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本说明书提供了一种信息推荐模型训练方法、装置、存储介质及电子设备。在本说明书提供的信息推荐模型训练方法中，从历史数据中获取目标业务的业务数据；确定用于在所述目标业务下实现信息推荐的推荐方式；针对每个推荐方式，确定该推荐方式对应的子任务的语料模板，其中，每个语料模板至少包括指令模板与回答模板；在所述业务数据中选择与该推荐方式匹配的业务数据对所述语料模板进行填充，得到训练语料；将至少一个子任务的训练语料输入大语言模型，以调整所述大语言模型的参数，得到信息推荐模型。
Description
技术领域
本说明书涉及计算机技术领域，尤其涉及一种信息推荐模型训练方法、装置、存储介质及电子设备。
背景技术
如今，信息推荐任务在许多领域的业务中都有着广泛的应用，针对不同用户推荐不同的信息，以保证推荐的信息适配于用户，给用户带来良好的业务体验。在信息推荐任务链路中，存在着大量用于实现不同功能的子任务。为了保证信息推荐最终所能够达到的效果，往往需要将每个子任务都较好地实现。
在现有的信息推荐技术中，通常会针对每种子任务进行单独的研究与设计，并建立相应的神经网络模型来执行相应的子任务。而这种方法需要耗费大量时间与资源成本，且各子任务在整合应用时的难度也较高。
因此，如何更加简单高效地实现信息推荐任务是一个亟待解决的问题。
发明内容
本说明书提供一种信息推荐模型训练方法、装置、存储介质及电子设备，以至少部分地解决现有技术存在的上述问题。
本说明书采用下述技术方案：
本说明书提供了一种信息推荐模型训练方法，包括：
从历史数据中获取目标业务的业务数据；
确定用于在所述目标业务下实现信息推荐的推荐方式；
针对每个推荐方式，确定该推荐方式对应的子任务的语料模板，其中，每个语料模板至少包括指令模板与回答模板；
在所述业务数据中选择与该推荐方式匹配的业务数据对所述语料模板进行填充，得到训练语料；
将至少一个子任务的训练语料输入大语言模型，以调整所述大语言模型的参数，得到信息推荐模型。
可选地，所述目标业务为电商业务，所述业务数据至少包括商品名称、商品关键词、商品属性、用户画像、商家画像、用户交互历史。
可选地，所述子任务包括关键词挖掘任务、属性理解任务、相关性判断任务、有候选推荐任务、无候选推荐任务、点击预估任务中的至少一种；
所述关键词挖掘任务对应于为根据关键词确定商品的推荐方式，所述属性理解任务对应于为商品信息匹配商品的推荐方式，所述相关性判断任务对应于为搜索词匹配商品的推荐方式，所述有候选推荐任务对应于根据用户画像与用户交互历史在候选商家中为用户推荐商家的推荐方式，所述无候选推荐任务对应于根据用户画像与用户交互历史在所有商家中为用户推荐商家的推荐方式，所述点击预估任务对应于根据用户画像与用户交互历史判断用户是否会点击指定商家的推荐方式。
可选地，在将至少一个子任务的训练语料输入大语言模型之前，所述方法还包括：
根据各推荐方式与所述业务数据构建推理语料，所述推理语料至少包括指令、回答与理由；
将至少一个子任务的训练语料输入大语言模型，具体包括：
将所述推理语料与至少一个子任务的训练语料输入大语言模型。
可选地，将至少一个子任务的训练语料输入大语言模型，以调整所述大语言模型的参数，具体包括：
将所述大语言模型的参数确定为原始参数，并冻结所述原始参数；
将至少一个子任务的训练语料输入大语言模型，以调整预先设置的低秩分解矩阵的参数；
根据调整后的低秩分解矩阵的参数与所述原始参数，确定所述大语言模型的目标参数。
可选地，所述方法还包括：
对所述信息推荐模型进行复制，得到对照模型；
针对每轮训练，获取样本指令；
将所述样本指令分别输入所述对照模型与所述信息推荐模型，分别得到所述对照模型输出的对照回答与所述信息推荐模型输出的待优化回答；
将所述样本指令与所述待优化回答输入预先训练的奖励模型，得到所述奖励模型输出的评分；
根据所述对照回答与所述待优化回答之间的差异以及所述评分，对所述信息推荐模型进行训练；
当完成预设轮次的训练后，结束对所述信息推荐模型的训练。
可选地，预先训练奖励模型，具体包括：
根据所述训练语料与历史数据获取易错指令；
分别将所述易错指令输入调整前的大语言模型与所述信息推荐模型，得到所述大语言模型输出的低级回答与所述信息推荐模型输出的高级回答；
将所述易错指令与所述低级回答确定为问答对，并将所述易错指令与所述高级回答确定为问答对；
确定每个问答对的标注评分；
将所述问答对输入待训练的奖励模型，得到所述奖励模型输出的待优化评分；
以所述待优化评分与所述标注评分之间的差异最小为优化目标，对所述奖励模型进行训练。
本说明书提供的一种信息推荐模型训练装置，所述装置包括：
获取模块，用于从历史数据中获取目标业务的业务数据；
确定模块，用于确定用于在所述目标业务下实现信息推荐的推荐方式；
构建模块，用于针对每个推荐方式，确定该推荐方式对应的子任务的语料模板，其中，每个语料模板至少包括指令模板与回答模板；
填充模块，用于在所述业务数据中选择与该推荐方式匹配的业务数据对所述语料模板进行填充，得到训练语料；
调整模块，用于将至少一个子任务的训练语料输入大语言模型，以调整所述大语言模型的参数，得到信息推荐模型。
本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述信息推荐模型训练方法。
本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述信息推荐模型训练方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果：
在本说明书提供的信息推荐模型训练方法中，从历史数据中获取目标业务的业务数据；确定用于在所述目标业务下实现信息推荐的推荐方式；针对每个推荐方式，确定该推荐方式对应的子任务的语料模板，其中，每个语料模板至少包括指令模板与回答模板；在所述业务数据中选择与该推荐方式匹配的业务数据对所述语料模板进行填充，得到训练语料；将至少一个子任务的训练语料输入大语言模型，以调整所述大语言模型的参数，得到信息推荐模型。
在采用本说明书提供的信息推荐模型训练方法训练大语言模型时，可获取目标业务的业务数据，并确定目标业务下的推荐方式；在每个推荐方式下推定出包括指令模板与回答模板的语料模板，并采用业务数据对语料模板进行填充，得到训练语料；最终将训练语料输入大语言模型，调整大语言模型的参数，得到信息推荐模型。采用本方法可采用统一的数据训练出能够完成不同子任务的信息推荐模型，基于同一个模型同时提升多个系统任务效果，在大语言模型的知识层面实现任务联动，相比于传统方法，在降低了训练成本的同时，提高了最终的训练效果。
附图说明
生成式大语言模型(如ChatGPT等)的出现，颠覆了众多已有任务的传统解决思路。其展现出的强语义理解能力，推理能力，以及灵活多样的生成能力证实了自然语言处理(Natural Language Processing，NLP)领域乃至其他领域下的子任务不再具有独立研究的必要，统一的大语言模型即已具备富集各下游任务知识的能力。那么，对于信息推荐任务而言，是否也可以建设统一的信息推荐领域下的专家大语言模型，集成信息推荐系统中全链路任务所需的知识，赋能信息推荐系统链路中的各个任务，是一个值得研究的问题。
基于此，本申请提出在开放领域大语言模型的基础上，构造多类型信息推荐领域指令微调数据，结合思维链推导，强化学习对齐等技术，打造统一的信息推荐场景专家大语言模型Ad-GPT，蒸馏赋能现有的信息推荐系统。
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书中一种信息推荐模型训练方法的流程示意图；
图2为本说明书提供的一种信息推荐模型训练装置的示意图；
图3为本说明书提供的对应于图1的电子设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书中一种信息推荐模型训练方法的流程示意图，具体包括以下步骤：
S100：从历史数据中获取目标业务的业务数据。
本说明书所提供的信息推荐模型训练方法中的所有步骤均可由任何具有计算功能的电子设备实现，例如终端、服务器等设备。为了便于描述，本说明书仅以服务器是执行主体为例，对本说明书提供的一种信息推荐模型训练方法进行说明。
本方法主要用于对开源的大语言模型进行训练，得到具备信息推荐能力的信息推荐大语言模型，因此，可在此步骤中，首先获取到目标业务的业务数据，用于使大语言模型学习到需要的知识。由于在不同的业务场景下，需要向用户推荐的信息完全不同，因此，需要确定在何种业务下实现信息推荐，作为目标业务，并从历史数据中获取目标业务中的业务数据。
由于信息推荐技术可应用于多种不同的领域与场景中，目标业务可以存在多种，本说明书对此不做具体限制。为使本说明书中的描述更加清晰，在本说明书中以目标业务为电商业务为例，对本说明书提供的信息推荐模型训练方式进行说明。
在目标业务为电商业务时，业务数据可以是用户在执行电商业务时产生的所有数据，可包括但不限于商品名称、商品关键词、商品属性、用户画像、商家画像、用户交互历史等。通俗地说，就是用户在网上购物时产生的各种数据。需要注意的是，本方法中获取业务数据的动作是在征得用户同意后才会实施的。
S102：确定用于在所述目标业务下实现信息推荐的推荐方式。
在向用户进行信息推荐的过程中，可采用多种不同的推荐方式来实现信息推荐，因此可在此步骤中，确定出在目标业务下所有可以用于实现信息推荐的推荐方式。例如，平台方可根据用户在搜索栏中输入的搜索词，向用户进行信息推荐；再例如，平台方也可以根据用户的历史交互记录，向用户进行信息推荐。在实际应用中，多种不同的推荐方式对应的用户操作通常各不相同，往往需要同时保持可用，以应对各种不同的情况。
S104：针对每个推荐方式，确定该推荐方式对应的子任务的语料模板，其中，每个语料模板至少包括指令模板与回答模板。
本方法所要实现的目标为训练出适配于信息推荐任务的大语言模型，即最终由大语言模型来完成信息推荐。因此，在目标业务下实现信息推荐时，每个不同的推荐方式对应于模型需要完成的一个子任务。对于每个子任务，都需要让大语言模型学习到匹配的知识以完成相应的子任务。基于此，需要为大语言模型确定出用于知识学习的语料。
本方法中采用的大语言模型为已经完成预训练的开源大语言模型，即大语言模型本身已经具备了完善的自然语言处理能力，例如Bloom-7b等大语言模型。在本方法中实现大语言模型的知识学习时，采用构建训练语料并输入给大语言模型的方式来完成，通俗地说，就是将训练语料喂给大语言模型。
针对不同的推荐方式对应的子任务，需要构建不同的训练语料来进行训练。在本方法中，对于不同的子任务，采用不同的语料模板来构建不同的训练语料。
每个语料模板都由指令模板和回答模板构成。在实际应用中，指令为提问或指示性的语句，用于输入到大语言模型中，回答为与指令对应的答复语句；模板为标准格式。换句话说，对于一种子任务，指令模板就是在处理该子任务时，大语言模型会遇到的输入语句的标准格式；回答模板就是在处理该子任务时，我们希望大语言模型给出的回复语句的标准格式。由于对于同一种子任务，大语言模型在处理不同内容时需要接收的指令与需要给出的回答的格式基本上是不变的，因此，可针对每个子任务给出语料模板，作为构建训练语料的标准。
语料模板只给出了指令和回答的格式，而不会包含实质性的内容，不同的训练模板中包含的指令模板和回答模板也所有不同，且不同目标业务下实现信息推荐的推荐方式也不相同，即大语言模型需要实现的子任务也不相同。本说明书在此仍以电商业务为例进行说明。
在电商业务中，大语言模型需要实现的子任务可包括但不限于关键词挖掘任务、属性理解任务、相关性判断任务、有候选推荐任务、无侯选推荐任务、点击预估任务。下面将对每个子任务需要构建的语料模板一一进行说明。
关键词挖掘任务对应于为根据关键词确定商品的推荐方式。在服务于电商业务中的搜索场景下，信息推荐系统的主要任务目标是建模商品与用户输入的搜索词，也就是关键词之间的匹配关系。为了让大语言模型学习到商品与关键词的关联，本方法引入了商品关键词挖掘语料。对于关键词挖掘任务的语料模板构建如下：“指令：列出与商品{商品}相关的搜索。回答：{关键词1}、{关键词2}、...{关键词n}”。
属性理解任务对应于为商品信息匹配商品的推荐方式。除了建模商品与关键词之间的匹配关系外，对商品复杂信息的理解也是大语言模型应具备的能力。因此，可基于已有数据库中的命名实体识别(Named Entity Recognition，NER)数据积累，构造商品属性理解任务对应的语料模板如下：“指令：根据商品名列出它的属性。商品名：{商品}。回答：-品牌：{商品品牌}\n–类型：{商品类别}\n–包装形式：{商品包装}–配料成分：{商品配料}\n-适用年龄段：{商品适用年龄}\n-卖点：{商品卖点}”。
相关性判断任务对应于为搜索词匹配商品的推荐方式。判断用户输入的搜索词与指定商品之间是否相关，是搜索场景困惑度最大的任务。为了增强大语言模型的精细语义理解能力，本方法基于有标注的标签数据构造了相关性判断任务的语料模板如下：“指令：搜索{关键词}，展现商品{商品}是否合理？只需要输出合理/不合理。回答：{合理/不合理}。”
有候选推荐任务对应于根据用户画像与用户交互历史在候选商家中为用户推荐商家的推荐方式。在这一子任务中，可从用户交互历史中截取前序片段，以下一次点击商家作为标准答案，随机构造若干个商家候选，嵌入到如下模版中：“指令：请根据用户画像及其交互历史，从候选商家中选择用户最可能点击的商家。已知{用户画像}，该用户的交互历史为：{用户交互历史}。候选商家为：{候选商家}。回答：{下一次点击商家}。”
无候选推荐任务对应于根据用户画像与用户交互历史在所有商家中为用户推荐商家的推荐方式。为了让大语言模型能学习到从用户交互历史中学习用户特征的能力，还可额外构建无候选的序列推荐语料模板，即：“指令：请根据用户画像及其交互历史，猜测用户下一次点击的商家。已知{用户画像}，该用户的交互历史为：{用户交互历史}。回答：{下一次点击商家}。”
点击预估任务对应于根据用户画像与用户交互历史判断用户是否会点击指定商家的推荐方式。点击预估任务从另一种角度让大语言模型学习用户兴趣与候选商品的匹配能力。在此任务中，可以历史点击数据作为正例，曝光未点击数据作为负例，构造以下语料模板：“指令：请根据用户画像及其交互历史，判断该用户是否会点击目标商家。只需回答是或否。已知{用户画像}，该用户的交互历史为：{用户交互历史}，目标商家为{候选商家}。回答：{是/否}。”
在上述各子任务中，关键词挖掘任务、属性理解任务、相关性判断任务为基于知识型数据的子任务，有候选推荐任务、无候选推荐任务、点击预估任务为基于兴趣型数据的子任务。相对应的，商品名称、商品关键词、商品属性可以看作为知识型数据，用户画像、商家画像、用户交互历史可以看作为兴趣型数据。
S106：在所述业务数据中选择与该推荐方式匹配的业务数据对所述语料模板进行填充，得到训练语料。
在步骤S104中构造出各子任务的语料模板后，可在此步骤中，采用步骤S100中获取到的业务数据对语料模板进行填充，得到各子任务的训练语料。
仍沿用步骤S102中电商业务下各子任务的例子，对于关键词挖掘任务对应的语料模板：“指令：列出与商品{商品}相关的搜索。回答：{关键词1}、{关键词2}、...{关键词n}”，可采用业务数据中匹配的商品名称、商品关键词来进行填充；对于属性理解任务对应的语料模板：“指令：根据商品名列出它的属性。商品名：{商品名称}。回答：-品牌：{商品品牌}\n–类型：{商品类别}\n–包装形式：{商品包装}–配料成分：{商品配料}\n-适用年龄段：{商品适用年龄}\n-卖点：{商品卖点}”，可采用业务数据中匹配的商品名称、商品属性来进行填充，其中，商品属性可包括但不限于商品品牌、商品类别、商品包装、商品配料、商品适用年龄、商品卖点等；对于相关性判断任务对应的语料模板：“指令：搜索{关键词}，展现商品{商品}是否合理？只需要输出合理/不合理。回答：{合理/不合理}”，可采用业务数据中匹配的商品名称、商品关键词来进行填充；对于有候选推荐任务对应的语料模板：“指令：请根据用户画像及其交互历史，从候选商家中选择用户最可能点击的商家。已知{用户画像}，该用户的交互历史为：{用户交互历史}。候选商家为：{候选商家}。回答：{下一次点击商家}”，可采用业务数据中匹配的用户画像、商家画像、用户交互历史来进行填充；对于无候选推荐任务对应的语料模板：“指令：请根据用户画像及其交互历史，猜测用户下一次点击的商家。已知{用户画像}，该用户的交互历史为：{用户交互历史}。回答：{下一次点击商家}”，可采用业务数据中匹配的用户画像、商家画像、用户交互历史来进行填充；对于点击预估任务对应的语料模板：“指令：请根据用户画像及其交互历史，判断该用户是否会点击目标商家。只需回答是或否。已知{用户画像}，该用户的交互历史为：{用户交互历史}，目标商家为{候选商家}。回答：{是/否}”，可采用业务数据中匹配的用户画像、商家画像、用户交互历史来进行填充。
在上述各语料模板中，被大括号“{}”涵盖的内容为需要根据业务数据来进行填充的内容。在确定训练语料时，可在业务数据中寻找相互匹配的业务数据，填充到语料模板中。确定出的每个训练语料中都包含了指令与回答。需要注意的是，在完成对语料模板的填充后，即可去掉语料模板中的大括号“{}”。即，训练语料中可不包含大括号“{}”。以关键词挖掘任务为例，假设确定了商品名称为“贵族床垫规格90x190cm颜色随机”，那么关键词可以是“床垫”、“单人床垫”、“床垫被褥”等，将上述内容填充至关键词挖掘任务的语料模板中，即可得到一个训练语料：“指令：列出与商品“贵族床垫规格90x190cm颜色随机”相关的搜索。回答：床垫、单人床垫、床垫被褥”。
额外的，大语言模型在参数量超过百亿后，会逐渐涌现出思维推导的能力(Chain-of-Thought,CoT)。表现为，在指令中引导大语言模型逐步思考，大语言模型可以生成思考过程，并得到更准确的答案(相比于直接一步生成答案)。为了让本方法中采用的大语言模型也具有一定的推理能力，提升任务表现效果，可在指令学习微调的基础上，额外增加思维推导能力的加强训练。
具体地，可根据各推荐方式与所述业务数据构建推理语料，所述推理语料至少包括指令、回答与理由。在上述包含指令与回答的训练语料的基础上，还可额外增加理由，以更进一步地强化大语言模型的思维推导能力。其中，理由为根据指令给出回答的理由，即在指令下为什么给出对应的回答。
可将包含指令、回答、理由的语料作为推理语料，用于后续对大语言模型的训练之中。以相关性判断任务为例进行说明，在此任务中，可让大语言模型生成关键词与商品是否相关的理由，再得出相关/不相关的结论。此时，推理语料的模板可以为：“指令：搜索{关键词}，展现商品{商品}是否合理？回答：{合理/不合理}，因为{判断理由}。”为了获取相应的推理语料，可在此步骤中使用具有175亿参数的ChatGPT模型生成大量相关性判断理由数据，将判断理由和判断结论填充至推理语料的模板中组成推理语料。
举例来说，假设需要判断查询关键词“鸡蛋”时，展示商品“金沙河鸡蛋挂面1000g/袋”是否合理，那么此时，可构建出推理语料：“指令：搜索{鸡蛋}，展现商品{金沙河鸡蛋挂面1000g/袋}是否合理？回答：{不合理}，因为{搜索“鸡蛋”应该展现的是鸡蛋本身，而“金沙河鸡蛋挂面1000g/袋”是鸡蛋挂面，与搜索关键词不符}。”
相比于原本的训练语料，增加了判断理由的推理语料使大语言模型具有了思维推导能力，强化了大语言模型的思考与判断能力，在使大语言模型能够给出判断结果的同时，还能够额外给出判断理由，进一步增加了大语言模型判断时的准确率。
S108：将至少一个子任务的训练语料输入大语言模型，以调整所述大语言模型的参数，得到信息推荐模型。
在步骤S106中得到各子任务的训练语料后，可在此步骤中，采用得到的训练语料训练大语言模型，调整大语言模型的参数，得到最终的信息推荐模型。在输入训练语料时，可根据大语言模型的具体应用需求将至少一个子任务的训练语料输入到大语言模型中。通常，为了避免大语言模型对单一子任务的调整过拟合，在训练时会将多种子任务的训练语料共同输入到大语言模型中供其学习。同时，不同子任务的训练语料对应于大语言模型能够掌握的不同能力，同时输入多个子任务的训练语料时，大语言模型能够掌握更加全面的信息推荐能力，具有更加优秀的信息推荐功能。
在将训练语料输入到大语言模型后，由于大语言模型本身具有优秀的自然语言处理能力，大语言模型可以理解训练语料中的指令与回答，并调整自身参数，学习到相应的知识。具体地，大语言模型可根据训练语料中的指令给出自身的预测回答，并与训练语料中的回答进行对比，根据预测回答与训练语料中的回答之间的差异，对自身的参数进行调整。
同时，在额外构建了推理语料的情况下，可将推理语料与训练语料一同输入给大语言模型，使大语言模型的思维推导能力也得到同步的提高。具体地，可将所述推理语料与至少一个子任务的训练语料输入大语言模型。
大语言模型中包含的参数量普遍较大，例如在Bloom-7b模型中存在70亿的参数量。由于参数量过高导致大语言模型的全参数微调对机器显存和内存资源要求极高，与此同时，在有偏样本上的全参数微调容易导致模型灾难性遗忘预训练时学习的知识。因此，在调整大语言模型的参数时可采用基于LoRa的方法，冻结大模型的原有参数，在此基础上增加少量额外可训练参数，进行轻量级的模型微调。具体地，可将所述大语言模型的参数确定为原始参数，并冻结所述原始参数；将至少一个子任务的训练语料输入大语言模型，以调整预先设置的低秩分解矩阵的参数；根据调整后的低秩分解矩阵的参数与所述原始参数，确定所述大语言模型的目标参数。
由于模型参数更新过程可以写作W*<-W+ΔW，因此，可以保持原始参数W固定，将变量ΔW分解为低秩矩阵的乘积，增加到原有参数上。即ΔW＝A·BT，其中k＜＜min(m,n)。其中，m、n、k均可根据需求进行设置。在本方法的实践过程中，可设置k＝8，仅在Attention层增加A，B矩阵参数，最终全部可训参数量仅占总参数量的0.05％，节省大量显存资源消耗，同时几乎达到了全参数微调的效果。
在采用本说明书提供的信息推荐模型训练方法训练大语言模型时，可获取目标业务的业务数据，并确定目标业务下的推荐方式；在每个推荐方式下推定出包括指令模板与回答模板的语料模板，并采用业务数据对语料模板进行填充，得到训练语料；最终将训练语料输入大语言模型，调整大语言模型的参数，得到信息推荐模型。采用本方法可采用统一的数据训练出能够完成不同子任务的信息推荐模型，基于同一个模型同时提升多个系统任务效果，在大语言模型的知识层面实现任务联动，相比于传统方法，在降低了训练成本的同时，提高了最终的训练效果。
额外的，上述有监督的指令学习微调(Supervised Fine-Tuning，SFT)让大模型进行了信息推荐场景的知识适配，虽然采用了多种丰富的训练语料，但大语言模型仍然可能会出现一定程度的过拟合现象。尤其是针对指令描述相近，但任务不同的输入时，大语言模型的表现甚至可能会不如微调前的效果。为了对大模型的输出分布进行快速纠偏，本方法提出基于反馈的强化学习训练对模型进行二次微调。
具体地，可对所述信息推荐模型进行复制，得到对照模型；针对每轮训练，获取样本指令；将所述样本指令分别输入所述对照模型与所述信息推荐模型，分别得到所述对照模型输出的对照回答与所述信息推荐模型输出的待优化回答；将所述样本指令与所述待优化回答输入预先训练的奖励模型，得到所述奖励模型输出的评分；根据所述对照回答与所述待优化回答之间的差异以及所述评分，对所述信息推荐模型进行训练；当完成预设轮次的训练后，结束对所述信息推荐模型的训练。
其中，奖励模型可预先进行训练。具体地，可根据所述训练语料与历史数据获取易错指令；分别将所述易错指令输入调整前的大语言模型与所述信息推荐模型，得到所述大语言模型输出的低级回答与所述信息推荐模型输出的高级回答；将所述易错指令与所述低级回答确定为问答对，并将所述易错指令与所述高级回答确定为问答对；确定每个问答对的标注评分；将所述问答对输入待训练的奖励模型，得到所述奖励模型输出的待优化评分；以所述待优化评分与所述标注评分之间的差异最小为优化目标，对所述奖励模型进行训练。
在训练奖励模型时，易错指令可以包含信息推荐模型在实际应用过程中回答错误的指令，也可以包含在训练信息推荐模型的过程中没有作为训练语料中的指令使用过的指令，同时，还可以包含从训练语料中随机采样出部分指令作为易错指令。每个问答对的标注评分可以采用多种方式确定，在本方法中采用人工标注的形式来得到每个问答对的标注评分。通过人工确定标注评分对奖励模型进行训练，能够使奖励模型输出的评分与人类的价值观对齐，符合常理。同时，由于在训练奖励模型时并不需要大量的训练样本，通常情况下约一万条左右的易错指令即可完成对奖励模型的训练。在此情况下，采用人工标注的方式并不会增加巨量的时间成本，又能够得到最优的标注评分。
在训练奖励模型的过程中，可将易错指令分别使用调整前的大语言模型和调整后的大语言模型，也就是信息推荐模型进行回答生成，再分别确定两份回答的标注评分。使用两个大语言模型生成的问答对与标注评分构建出训练样本<input,answer,score>训练奖励模型，其中，input表示易错指令，answer表示大语言模型的回答，score表示对问答对的标注评分。奖励模型同样可以是大语言模型，模型中最后一层的隐藏状态通过一层激活层得到评分。在训练奖励模型时，可采用均方误差(Mean-Square Error，MSE)损失函数作为奖励模型的优化目标，具体公式如下：
last_hidden_state＝LLM(input+answer)
pred_score＝Sigmoid(Linear(last_hidden_state))
lossRM＝MSE(pred_score,score)
其中，last_hidden_state表示隐藏状态，LLM表示奖励模型，pred_score表示奖励模型输出的评分，lossRM表示奖励模型的损失。
在训练得到了奖励模型后，可采用近端策略优化(Proximal PolicyOptimization，PPO)算法对经过指令微调训练后的大语言模型，也就是信息推荐模型进行强化学习训练。在开始强化学习前，可复制出一个信息推荐模型，作为对照模型使用，在强化学习的过程中，对照模型将不会发生任何改变。在训练时可设置预设的训练轮次，在每一轮训练中，首先采用样本指令分别输入到信息推荐模型与对照模型中，得到信息推荐模型输出的到优化回答以及对照模型输出的对照回答，并由奖励模型对待优化回答进行评分。由于奖励模型仅能粗略代表人类的偏好特性，它并不完全精确，因此可能会导致信息推荐模型在强化训练过程中学偏。因此，在计算强化学习的奖励值时，可以奖励模型打分加上待优化回答与对照模型输出的对照回答间的相对熵，也就是KL散度惩罚作为最终的奖励值，这使得信息推荐模型不会太过偏离强化学习前的模型参数，增强强化学习的稳定性。奖励值的计算公式可如下：
rtotal＝RM(input,answer)-ηKL(πRL(y|x),πSFT(y|x))
在计算得到每条样本指令的奖励值后，可使用泛化优势估计(GeneralizedAdvantage Estimation,GAE)算法计算平均相对优势函数值Advantage，计算公式如下，其中V(st)为信息推荐模型在t状态下所有动作的平均奖励值：
基于优势函数，我们使用PPO-clip的优化目标进行信息推荐模型的全参数更新，以使得最终的优势函数值最大，loss函数表示如下：
额外的，在采用本说明书提供的信息推荐模型训练方法得到基于大语言模型的信息推荐模型后，可在后续应用于多种不同的场景。本说明书在此提供若干实施例以供参考。
一方面，为了经过本方法训练得到的信息推荐模型赋能现有信息推荐系统，考虑到大语言模型直接应用于线上服务并不现实，本方法提出蒸馏信息推荐模型的能力到小模型上。例如，在相关性判断任务上，可设计将信息推荐模型思维推导的能力赋予给小模型。具体地，可首先收集大量的<关键词-商品>样本数据对，并构建相关性判断任务中采用的指令，输入到信息推荐模型，使其生成相关性判断标注及判断理由。对于传统的相关性模型而言，传统方法仅能在人工标注的少量样本上训练，模型效果天花板很低。除此之外，由于人工标注数据仅有0/1标签，模型很难从这样的数据中学习到通用的知识规律从而学会判断。因此，在本方法中用大语言模型代替人工标注进行理由生成的数据增强来弥补这部分缺陷。
为了让小模型不仅学会判断，还能生成判断的理由，可对相关性模型增加理由输出解码器，同时进行相关性判别任务和理由生成任务的联合训练。在预测时，只使用判别的相关性标签。经过实验发现，相较于传统的只做判别任务的相关性模型，本方案能大幅度提升相关性模型在实体匹配方面的能力。对于文字相像而本质实体不符的难样本(例如搜索词“椰子”与商品“欢乐家椰子水”)判别准确度有明显提升。
除此之外，也可对信息推荐模型进行进一步的强化训练，使其在某一专业领域中具有更加突出的能力。例如，可在医药场景扩召回上进行信息推荐模型的应用。由于医药场景相较于传统的信息推荐场景有其自己的特点，因此可以信息推荐模型为底座，在此基础上进一步使用医药样本微调，发挥大语言模型的优势。在医药知识获取方面，可设计三类不同的知识，分别是普适知识(专业知识图谱)、反馈知识(专业药师反馈标注)和用户知识(医药搜索日志)，这三类知识之间存在较强的知识环流与互补效应。针对上述三类知识，可构造多种不同的语料模版将这三类知识汇入信息推荐模型，充分发挥信息推荐模型在医药匹配场景的知识涌现效果。经过实验发现，使用上述方法适配后的信息推荐模型可以对医药商品生成更准确的关键词，通过与关键词精确匹配，实现医药商品扩召回效果。
以上是本说明书提供的信息推荐模型训练方法，基于同样的思路，本说明书还提供了相应的信息推荐模型训练装置，如图2所示。
图2为本说明书提供的一种信息推荐模型训练装置示意图，具体包括：
获取模块200，用于从历史数据中获取目标业务的业务数据；
确定模块202，用于确定用于在所述目标业务下实现信息推荐的推荐方式；
构建模块204，用于针对每个推荐方式，确定该推荐方式对应的子任务的语料模板，其中，每个语料模板至少包括指令模板与回答模板；
填充模块206，用于在所述业务数据中选择与该推荐方式匹配的业务数据对所述语料模板进行填充，得到训练语料；
调整模块208，用于将至少一个子任务的训练语料输入大语言模型，以调整所述大语言模型的参数，得到信息推荐模型。
可选地，所述目标业务为电商业务，所述业务数据至少包括商品名称、商品关键词、商品属性、用户画像、商家画像、用户交互历史。
可选地，所述子任务包括关键词挖掘任务、属性理解任务、相关性判断任务、有候选推荐任务、无候选推荐任务、点击预估任务中的至少一种；
所述关键词挖掘任务对应于为根据关键词确定商品的推荐方式，所述属性理解任务对应于为商品信息匹配商品的推荐方式，所述相关性判断任务对应于为搜索词匹配商品的推荐方式，所述有候选推荐任务对应于根据用户画像与用户交互历史在候选商家中为用户推荐商家的推荐方式，所述无候选推荐任务对应于根据用户画像与用户交互历史在所有商家中为用户推荐商家的推荐方式，所述点击预估任务对应于根据用户画像与用户交互历史判断用户是否会点击指定商家的推荐方式。
可选地，所述装置还包括推理模块210，具体用于根据各推荐方式与所述业务数据构建推理语料，所述推理语料至少包括指令、回答与理由；
所述调整模块208，具体用于将所述推理语料与至少一个子任务的训练语料输入大语言模型。
可选地，所述调整模块208，具体用于将所述大语言模型的参数确定为原始参数，并冻结所述原始参数；将至少一个子任务的训练语料输入大语言模型，以调整预先设置的低秩分解矩阵的参数；根据调整后的低秩分解矩阵的参数与所述原始参数，确定所述大语言模型的目标参数。
可选地，所述装置还包括强化学习模块212，具体用于对所述信息推荐模型进行复制，得到对照模型；针对每轮训练，获取样本指令；将所述样本指令分别输入所述对照模型与所述信息推荐模型，分别得到所述对照模型输出的对照回答与所述信息推荐模型输出的待优化回答；将所述样本指令与所述待优化回答输入预先训练的奖励模型，得到所述奖励模型输出的评分；根据所述对照回答与所述待优化回答之间的差异以及所述评分，对所述信息推荐模型进行训练；当完成预设轮次的训练后，结束对所述信息推荐模型的训练。
可选地，所述装置还包括预先训练模块214，具体用于根据所述训练语料与历史数据获取易错指令；分别将所述易错指令输入调整前的大语言模型与所述信息推荐模型，得到所述大语言模型输出的低级回答与所述信息推荐模型输出的高级回答；将所述易错指令与所述低级回答确定为问答对，并将所述易错指令与所述高级回答确定为问答对；确定每个问答对的标注评分；将所述问答对输入待训练的奖励模型，得到所述奖励模型输出的待优化评分；以所述待优化评分与所述标注评分之间的差异最小为优化目标，对所述奖励模型进行训练。
本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的信息推荐模型训练方法。
本说明书还提供了图3所示的电子设备的示意结构图。如图3所述，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的信息推荐模型训练方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种信息推荐模型训练方法，其特征在于，包括：
从历史数据中获取目标业务的业务数据；
确定用于在所述目标业务下实现信息推荐的推荐方式；
针对每个推荐方式，确定该推荐方式对应的子任务的语料模板，其中，每个语料模板至少包括指令模板与回答模板；
在所述业务数据中选择与该推荐方式匹配的业务数据对所述语料模板进行填充，得到训练语料；
将至少一个子任务的训练语料输入大语言模型，以调整所述大语言模型的参数，得到信息推荐模型。
2.如权利要求1所述的方法，其特征在于，所述目标业务为电商业务，所述业务数据至少包括商品名称、商品关键词、商品属性、用户画像、商家画像、用户交互历史。
3.如权利要求2所述的方法，其特征在于，所述子任务包括关键词挖掘任务、属性理解任务、相关性判断任务、有候选推荐任务、无候选推荐任务、点击预估任务中的至少一种；
所述关键词挖掘任务对应于为根据关键词确定商品的推荐方式，所述属性理解任务对应于为商品信息匹配商品的推荐方式，所述相关性判断任务对应于为搜索词匹配商品的推荐方式，所述有候选推荐任务对应于根据用户画像与用户交互历史在候选商家中为用户推荐商家的推荐方式，所述无候选推荐任务对应于根据用户画像与用户交互历史在所有商家中为用户推荐商家的推荐方式，所述点击预估任务对应于根据用户画像与用户交互历史判断用户是否会点击指定商家的推荐方式。
4.如权利要求1所述的方法，其特征在于，在将至少一个子任务的训练语料输入大语言模型之前，所述方法还包括：
根据各推荐方式与所述业务数据构建推理语料，所述推理语料至少包括指令、回答与理由；
将至少一个子任务的训练语料输入大语言模型，具体包括：
将所述推理语料与至少一个子任务的训练语料输入大语言模型。
5.如权利要求1所述的方法，其特征在于，将至少一个子任务的训练语料输入大语言模型，以调整所述大语言模型的参数，具体包括：
将所述大语言模型的参数确定为原始参数，并冻结所述原始参数；
将至少一个子任务的训练语料输入大语言模型，以调整预先设置的低秩分解矩阵的参数；
根据调整后的低秩分解矩阵的参数与所述原始参数，确定所述大语言模型的目标参数。
6.如权利要求1所述的方法，其特征在于，所述方法还包括：
对所述信息推荐模型进行复制，得到对照模型；
针对每轮训练，获取样本指令；
将所述样本指令分别输入所述对照模型与所述信息推荐模型，分别得到所述对照模型输出的对照回答与所述信息推荐模型输出的待优化回答；
将所述样本指令与所述待优化回答输入预先训练的奖励模型，得到所述奖励模型输出的评分；
根据所述对照回答与所述待优化回答之间的差异以及所述评分，对所述信息推荐模型进行训练；
当完成预设轮次的训练后，结束对所述信息推荐模型的训练。
7.如权利要求6所述的方法，其特征在于，预先训练奖励模型，具体包括：
根据所述训练语料与历史数据获取易错指令；
分别将所述易错指令输入调整前的大语言模型与所述信息推荐模型，得到所述大语言模型输出的低级回答与所述信息推荐模型输出的高级回答；
将所述易错指令与所述低级回答确定为问答对，并将所述易错指令与所述高级回答确定为问答对；
确定每个问答对的标注评分；
将所述问答对输入待训练的奖励模型，得到所述奖励模型输出的待优化评分；
以所述待优化评分与所述标注评分之间的差异最小为优化目标，对所述奖励模型进行训练。
8.一种信息推荐模型训练装置，其特征在于，包括：
获取模块，用于从历史数据中获取目标业务的业务数据；
确定模块，用于确定用于在所述目标业务下实现信息推荐的推荐方式；
构建模块，用于针对每个推荐方式，确定该推荐方式对应的子任务的语料模板，其中，每个语料模板至少包括指令模板与回答模板；
填充模块，用于在所述业务数据中选择与该推荐方式匹配的业务数据对所述语料模板进行填充，得到训练语料；
调整模块，用于将至少一个子任务的训练语料输入大语言模型，以调整所述大语言模型的参数，得到信息推荐模型。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～7任一项所述的方法。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1～7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311235396.3A CN117194986A (zh) | 2023-09-22 | 2023-09-22 | 一种信息推荐模型训练方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311235396.3A CN117194986A (zh) | 2023-09-22 | 2023-09-22 | 一种信息推荐模型训练方法、装置、存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117194986A true CN117194986A (zh) | 2023-12-08 |
Family
ID=89001510
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311235396.3A Pending CN117194986A (zh) | 2023-09-22 | 2023-09-22 | 一种信息推荐模型训练方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117194986A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117390293A (zh) * | 2023-12-12 | 2024-01-12 | 之江实验室 | 一种针对纠纷案件的信息推荐方法、装置、介质及设备 |
| CN117743696A (zh) * | 2024-02-18 | 2024-03-22 | 四川日报网络传媒发展有限公司 | 基于反馈强化学习的信息发布方法、装置及存储介质 |
| CN117973545A (zh) * | 2024-03-29 | 2024-05-03 | 数据空间研究院 | 一种基于大语言模型的推荐方法、装置、设备及存储介质 |
| CN118277442A (zh) * | 2024-06-03 | 2024-07-02 | 浙江锦智人工智能科技有限公司 | 一种基于大语言模型的检索方法、设备及介质 |
-
2023
- 2023-09-22 CN CN202311235396.3A patent/CN117194986A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117390293A (zh) * | 2023-12-12 | 2024-01-12 | 之江实验室 | 一种针对纠纷案件的信息推荐方法、装置、介质及设备 |
| CN117390293B (zh) * | 2023-12-12 | 2024-04-02 | 之江实验室 | 一种针对纠纷案件的信息推荐方法、装置、介质及设备 |
| CN117743696A (zh) * | 2024-02-18 | 2024-03-22 | 四川日报网络传媒发展有限公司 | 基于反馈强化学习的信息发布方法、装置及存储介质 |
| CN117743696B (zh) * | 2024-02-18 | 2024-04-30 | 四川日报网络传媒发展有限公司 | 基于反馈强化学习的信息发布方法、装置及存储介质 |
| CN117973545A (zh) * | 2024-03-29 | 2024-05-03 | 数据空间研究院 | 一种基于大语言模型的推荐方法、装置、设备及存储介质 |
| CN117973545B (zh) * | 2024-03-29 | 2024-08-06 | 数据空间研究院 | 一种基于大语言模型的推荐方法、装置、设备及存储介质 |
| CN118277442A (zh) * | 2024-06-03 | 2024-07-02 | 浙江锦智人工智能科技有限公司 | 一种基于大语言模型的检索方法、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dettmers et al. | Qlora: Efficient finetuning of quantized llms | |
| CN117194986A (zh) | 一种信息推荐模型训练方法、装置、存储介质及电子设备 | |
| US9740680B1 (en) | Computing numeric representations of words in a high-dimensional space | |
| US11545042B2 (en) | Personalized learning system | |
| CN104636430A (zh) | 案例知识库表示及案例相似度获取方法及系统 | |
| Sharma et al. | The truth is in there: Improving reasoning in language models with layer-selective rank reduction | |
| CN111259647A (zh) | 基于人工智能的问答文本匹配方法、装置、介质及电子设备 | |
| Fresco | Explaining computation without semantics: Keeping it simple | |
| Gao et al. | Robust conversational AI with grounded text generation | |
| CN117094395B (zh) | 对知识图谱进行补全的方法、装置和计算机存储介质 | |
| Zeng et al. | Automated interactive domain-specific conversational agents that understand human dialogs | |
| Tiwari et al. | A dynamic goal adapted task oriented dialogue agent | |
| Wang et al. | A survey of the evolution of language model-based dialogue systems | |
| CN115221331A (zh) | 描述文本生成方法、装置、计算机设备及存储介质 | |
| Wodecki et al. | Artificial intelligence methods and techniques | |
| Kuukkanen | Lakatosian rational reconstruction updated | |
| Fregly et al. | Generative AI on AWS: Building context-aware multimodal reasoning applications | |
| Dewhurst et al. | Normative folk psychology and decision theory | |
| Barbany et al. | Leveraging Large Language Models for Multimodal Search | |
| Schippers | Coherence and (likeness to) truth | |
| Kuzmin | Item2vec-based approach to a recommender system | |
| Gonzalez-Bonorino et al. | Adaptive Kevin: A Multipurpose AI Assistant for Higher Education | |
| Zhang | Personalized recommendation: neural architectures and beyond | |
| WANG | Sequential recommendation: From representation learning to reasoning | |
| Xia et al. | Leveraging knowledge graph embedding for effective conversational recommendation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |