CN116932713A - 奖励模型训练和奖励值生成方法、装置、设备和介质 - Google Patents

奖励模型训练和奖励值生成方法、装置、设备和介质 Download PDF

Info

Publication number
CN116932713A
CN116932713A CN202310797144.3A CN202310797144A CN116932713A CN 116932713 A CN116932713 A CN 116932713A CN 202310797144 A CN202310797144 A CN 202310797144A CN 116932713 A CN116932713 A CN 116932713A
Authority
CN
China
Prior art keywords
response text
text
target
processed
length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310797144.3A
Other languages
English (en)
Other versions
CN116932713B (zh
Inventor
丁思宇
韩雅倩
王硕寰
孙宇
�田�浩
吴华
王海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202310797144.3A priority Critical patent/CN116932713B/zh
Publication of CN116932713A publication Critical patent/CN116932713A/zh
Application granted granted Critical
Publication of CN116932713B publication Critical patent/CN116932713B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/338—Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种奖励模型训练和奖励值生成方法、装置、设备和存储介质，涉及人工智能技术领域，具体为自然语言处理、深度学习等技术领域。奖励模型训练方法包括：获取请求文本和所述请求文本对应的原始响应文本；基于所述原始响应文本的长度，对所述原始响应文本进行采样处理，以获得目标响应文本；其中，所述长度与所述采样处理成反向关系；基于所述请求文本和所述目标响应文本，训练奖励模型。本公开可以高效地纠正奖励模型的长度偏置问题。

Description

奖励模型训练和奖励值生成方法、装置、设备和介质
技术领域
本公开涉及人工智能技术领域，具体为自然语言处理、深度学习等技术领域，尤其涉及一种奖励模型训练和奖励值生成方法、装置、设备和介质。
背景技术
随着自然语言处理技术的发展，出现了任务式对话生成模型。训练任务式对话生成模型的步骤之一是训练奖励模型(Reward Model，RM)。RM是基于同一个请求对应的多个排序后的响应(response)进行训练的，响应是根据标注者打分进行排序的。一般来讲，响应越长，其对应的质量就越高，标注者的打分也会越高，从而产生RM的长度偏置问题。这样就会造成最终训练的任务式对话生成模型倾向于输出长度更长的结果，发生无法结尾的情况。
相关技术中，为了纠正RM的长度偏置问题，通常是对多个标注者的打分情况进行拟合，根据拟合结果对响应进行排序。但是，这种方式会增加标注成本和标注时间，不利于模型的快速迭代和发展。
发明内容
本公开提供了一种奖励模型训练和奖励值生成方法、装置、设备和介质。
根据本公开的一方面，提供了一种奖励模型训练方法，包括：获取请求文本和所述请求文本对应的原始响应文本；基于所述原始响应文本的长度，对所述原始响应文本进行采样处理，以获得目标响应文本；其中，所述长度与所述采样处理成反向关系；基于所述请求文本和所述目标响应文本，训练奖励模型。
根据本公开的另一方面，提供了一种奖励值生成方法，包括：获取问答对，所述问答对包括：请求文本和响应文本；采用预先训练的奖励模型，对所述问答对进行处理，以获得所述问答对的奖励值；其中，所述奖励模型采用上述任一方面的任一项所述的方法训练的。
根据本公开的另一方面，提供了一种奖励模型训练装置，包括：获取模块，用于获取请求文本和所述请求文本对应的原始响应文本；采样模块，用于基于所述原始响应文本的长度，对所述原始响应文本进行采样处理，以获得目标响应文本；其中，所述长度与所述采样处理成反向关系；训练模块，用于基于所述请求文本和所述目标响应文本，训练奖励模型。
根据本公开的另一方面，提供了一种奖励值生成装置，包括：获取模块，用于获取问答对，所述问答对包括：请求文本和响应文本；生成模块，用于采用预先训练的奖励模型，对所述问答对进行处理，以获得所述问答对的奖励值；其中，所述奖励模型采用上述任一方面的任一项所述的方法训练的。
根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任一方面的任一项所述的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述任一方面的任一项所述的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述任一方面的任一项所述的方法。
根据本公开的技术方案，可以高效地纠正奖励模型的长度偏置问题。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开第一实施例的示意图；
图2是根据本公开实施例提供的应用场景的示意图；
图3是根据本公开实施例提供的奖励模型训练过程的整体架构示意图；
图4是根据本公开第二实施例的示意图；
图5是根据本公开实施例提供的原始响应文本的长度分布情况和目标响应文本的长度分布情况的示意图；
图6是根据本公开第三实施例的示意图；
图7是根据本公开第四实施例的示意图；
图8是根据本公开第五实施例的示意图；
图9是根据本公开第六实施例的示意图；
图10是用来实现本公开实施例的奖励模型训练方法或奖励值生成方法的电子设备的示意图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
为了更好地理解本公开实施例，对任务式对话生成模型的训练过程进行说明如下：
目前，任务式对话生成模型(大模型)主要基于以下步骤训练：
(1)通过海量无监督预训练语料进行自回归训练，得到一个能够基于上文预测下文的通用预训练模型；
(2)基于通用预训练模型，通过指令任务数据进行微调，让模型学会按照用户指令，处理各类任务的能力，得到有监督精调(supervised fine-tuning，SFT)模型；
(3)基于同一个请求(prompt)文本对应的多个响应(response)文本，令标注者按照对响应文本的喜好程度进行排序，基于排序后的标注数据(请求文本和响应文本)训练奖励模型(Reward Model，RM)；
(4)基于SFT模型热启，进行近端策略优化模型(reinforcement learning viaProximal Policy Optimization，PPO)训练。其中，采用RM作为奖励指引，让SFT模型学会用户的喜好偏好，使得PPO模型更容易生成符合用户意图的结果。PPO模型是最终生成的任务式对话生成模型。
根据上述描述，可以看出RM的重要性，它直接决定了PPO模型的优化方向，而RM是否能够正确指引PPO训练，标注者标注的监督排序数据是至关重要的一环。理想情况下，标注好的排序数据是能够正确反应人类对模型产出结果的喜好程度，但实际情况下，往往会出现以下情况：“模型产出结果越长，其排序越靠前”，从而产生RM的长度偏置问题。
相关技术中，为了纠正RM的长度偏置问题，通常是对多个标注者的打分情况进行拟合，根据拟合结果对响应进行排序。但是，这种方式会增加标注成本和标注时间，不利于模型的快速迭代和发展。
为了高效地纠正奖励模型的长度偏置问题，本公开提供如下实施例。
图1是根据本公开第一实施例的示意图。本实施例提供一种奖励模型训练方法，该方法包括：
101、获取请求文本和所述请求文本对应的原始响应文本。
102、基于所述原始响应文本的长度，对所述原始响应文本进行采样处理，以获得目标响应文本；其中，所述长度与所述采样处理成反向关系。
103、基于所述请求文本和所述目标响应文本，训练奖励模型。
其中，同一个请求文本可以对应多个原始响应文本，例如，针对同一个请求文本可以获得A、B、C三个原始响应文本。
不同的原始响应文本可以具有不同的长度。一般来讲，标注者认为文本长度越长则质量越高。例如，上述的A是1000字，B是50字，则标注者认为A的质量高，相应地，A的质量得分高于B的质量得分，A排序在B的前面。
训练RM时，会考虑不同响应文本的顺序，由于标注者的长度偏好，直接采用原始响应文本训练RM，会产生长度偏置问题。
为了纠正RM的长度偏置问题，本实施例中，对原始响应文本进行采样处理，得到目标响应文本，进而基于请求文本和目标响应文本训练RM。
采样处理可以包括：下采样处理，和/或，上采样处理。
采样处理与原始响应文本的长度成反向关系，是指针对质量得分较高(排序在前)的原始响应文本，对其中长度较长的原始响应文本进行下采样处理，即降低质量得分较高的原始响应文本中长度较长的原始响应文本的数量；和/或，针对质量得分较低(即排序在后)的原始响应文本，对其中长度较短的原始响应文本进行上采样处理，即增加质量得分较低的原始响应文本中长度较短的原始响应文本的数量。
上述的长度较长或较短可以通过设置长度阈值的方式，例如，若某个原始响应文本的长度大于第一阈值，则认为该原始响应文本长度较长，反之，若某个原始响应文本的长度小于第二阈值，则认为该原始响应文本长度较短，第一阈值与第二阈值相同或不同。
本实施例中，通过对原始响应文本进行采样处理，得到目标响应文本，由于长度与采样处理成反向关系，可以均衡目标响应文本的长度分布，进而基于请求文本和目标响应文本训练奖励模型，可以纠正奖励模型的长度偏置问题，并且不需要拟合多种标注结果，降低成本，提高效率，从而可以高效地纠正奖励模型的长度偏置问题。
为了更好地理解本公开实施例，对本公开实施例可以适用的应用场景进行说明。
图2是本公开实施例提供的应用场景的示意图。如图2所示，用户可以通过用户终端201将样本发送至服务器202，由服务器202基于样本训练RM。用户终端可以为个人电脑(Personal Computer)、笔记本电脑、移动设备(如手机)等。服务器可以为本地服务器或者云端服务器等，服务器可以为单个服务器或者服务器集群。可以理解的是，如果用户终端具有相应能力，也可以在用户终端本地进行奖励模型的训练。
针对RM，样本包括请求文本及其对应的多个响应文本，为了解决RM的长度偏置问题，对响应文本进行采样处理，为了区分，初始获得的响应文本称为原始响应文本，采样处理后的响应文本称为目标响应文本。
训练RM的文本包括请求文本和目标响应文本。如图2所示，获取请求文本和原始响应文本后，可以对原始响应文本进行采样处理，得到目标响应文本，再基于请求文本和目标响应文本训练RM。
请求文本和原始响应文本可以是在已有的样本集中获得的。或者，原始响应文本也可以是基于请求文本生成的。
样本集中的原始响应文本可以是已标注的，如已经标注了各个原始响应文本的质量得分；或者，若从样本集中获得的原始响应文本是未标注的，则标注者可以对各个原始响应文本进行标注，确定各个原始响应文本的质量得分。
获得各个原始响应文本的质量得分后，可以基于该质量得分将原始响应文本划分为多个排序档次。例如，针对某个原始响应文本，若该原始响应文本的质量得分小于等于预设的第一得分，则其排序档次为第一档次；若该原始响应文本的质量得分大于该第一得分且小于等于预设的第二得分，则其排序档次为第二档次；其中，第二得分大于第一得分，第二档次高于第一档次，依此类推。其中，排序档次可以按照从低到高的顺序依次编号，例如，分为5个排序档次，对应的编号是0-4，可以将排序档次0称为第一档次，排序档次4称为第五档次，其中的第五档次为等级最高档次，对应的质量得分最高。可以理解的是，也可以采用其他编号方式，只要满足等级最高的排序档次的质量得分最高。
因此，基于原始响应文本的质量得分，可以将原始响应文本划分为多个排序档次，每个排序档次包括一个或多个原始响应文本。排序档次与质量得分成正向关系，即针对原始响应文本，其质量得分越高，该原始响应文本所在的排序档次越高。
或者，从样本集中获得的原始响应文本也可以是已经被划分为多个排序档次的原始响应文本。
对原始响应文本进行采样处理，可以具体是基于排序档次，对相应排序档次的原始响应文本进行采样处理。
即，可以针对多个排序档次中的目标排序档次，基于所述原始响应文本的长度，在所述目标排序档次对应的原始响应文本中确定待处理响应文本；对所述待处理响应文本进行采样处理，以获得目标响应文本。
目标排序档次，是指多个排序档次中待处理的排序档次，可以根据实际需要，将多个排序档次中的一个或多个作为目标排序档次。
由于每个排序档次包括一个或多个原始响应文本，因此，目标排序档次对应的原始响应文本为一个或多个。
以基于请求文本生成原始响应文本为例，如图3所示，可以针对同一个请求文本，采用多种策略(policy)，如采用多个SFT模型对其进行处理后得到该请求文本对应的多个原始响应文本。
生成原始响应文本后，标注者可以对其进行标注和排序，将原始响应文本划分为多个排序档次。
针对目标排序档次，可以在目标排序档次对应的原始响应文本中确定出待处理响应文本，对所述待处理响应文本进行采样处理，得到目标响应文本。
采样处理包括：上采样处理和/或下采样处理。
上采样处理可以增加相应的原始响应文本的数量，下采样处理可以减少相应的原始响应文本的数量。
对原始响应文本进行采样处理后得到的文本可以称为目标响应文本。
获得目标响应文本后，可以基于请求文本和每个目标响应文本组成问答对，基于两两问答对训练RM。例如，请求文本用prompt表示，目标响应文本包括A’、B’、C’，则可以组成(prompt,A’,B’)，(prompt,A’,C’)，(prompt,B’,C’)这三组两两问答对，将这三组两两问答对作为批样本输入到RM中，RM输出是问答对的奖励值，基于奖励值和目标响应文本的排序关系可以构建损失函数，再基于损失函数调整RM的模型参数。其中，目标响应文本的排序关系与对应的原始响应文本的排序关系一致。例如，目标响应文本A’是对原始响应文本A进行上采样(重复)获得的，假设原始响应文本还包括B，假设排序关系是A>B，则A’>B。
本实施例中，针对目标排序档次，确定目标排序档次中的待处理响应文本，并对待处理响应文本进行采样处理，得到目标响应文本，可以针对不同的排序档次内的原始响应文本进行合适的上采样和/或下采样处理，更好地进行长度均衡处理，提高目标响应文本的效果，进而提升模型效果。
结合上述的应用场景，本公开还提供了如下的实施例。
图4是根据本公开第二实施例的示意图。本实施例提供一种奖励模型训练方法，本实施例以下采样为例。
本实施例中，可以对不同排序档次的原始响应文本进行下采样，以使不同排序档次的目标响应文本的长度分布尽可能相同。
如图4所示，本实施例提供的方法包括：
401、获取请求文本和所述请求文本对应的原始响应文本。
其中，原始响应文本可以是已有的排序过的原始响应文本；或者，标注者对未排序的原始响应文本标注质量得分，基于质量得分对原始响应文本进行排序。本实施例以5个排序档次为例，从低到高用0-4表示。
各个排序档次的原始响应文本的情况可以如表1所示：
表1
以排序档次4为例，基于表1可知：排序档次4的原始响应文本的总个数是11076个，排序档次4的原始响应文本的平均长度是246。其余参数含义类似。由于质量得分与长度成正向关系，排序档次与质量得分也是正向关系，如表1所示，排序档次越高(如最高排序档次的编号是4)，则对应的原始响应文本的平均长度约长。
402、针对多个排序档次中的目标排序档次，在所述目标排序档次对应的原始响应文本中确定第一待处理响应文本。
403、对所述第一待处理响应文本进行下采样处理，以获得目标响应文本。
其中，目标排序档次可以是多个排序档次中的一个或多个，本实施例中，将每个排序档次均作为目标排序档次。
针对每个排序档次，可以设置长度阈值，不同排序档次对应的长度阈值可以相同或不同。
为了与上采样区分，本实施例的长度阈值可以称为第一长度阈值。
第一待处理响应文本，是指长度大于对应排序档次的第一长度阈值的原始响应文本。例如，目标排序档次是排序档次4，假设排序档次4的第一长度阈值是250，则将排序档次4中的长度大于250的原始响应文本作为第一待处理响应文本。
其中，下采样处理具体可以是丢弃处理，进一步地，可以是随机丢弃处理，即随机选择一定比例的第一待处理响应文本进行丢弃，不再作为训练样本，而没有丢弃的部分为目标响应文本，作为训练样本。
上述比例也可以称为丢弃概率，是预先设置的，不同的排序档次可以设置相同或不同的丢弃概率。
各个排序档次的第一长度阈值以及丢弃概率可以如表2所示。
表2
以排序档次4为例，基于表2可知：排序档次4的第一长度阈值是250，丢弃概率是0.8，其余参数含义类似。
基于此，采样后的最终结果(目标响应文本)的情况如表3所示：
表3
由于采用的是下采样(随机丢弃)处理，样本数量将减少，例如，排序档次4的原始响应文本的总个数是11076个，经过下采样处理后，排序档次4的目标响应文本的总个数是7292个。
经过下采样处理，可以均衡各个排序档次的响应文本的长度分布。如图5所示，横坐标为各个排序档次，纵坐标为各个排序档次的响应文本的平均长度，从图5可以看出，相对于过滤前的原始响应文本，过滤后的目标响应文本的长度分布更为均衡。
404、基于请求文本和所述目标响应文本，训练RM。
获得目标响应文本后，可以基于请求文本和每个目标响应文本组成问答对，基于两两问答对训练RM。例如，请求文本用prompt表示，目标响应文本包括A’、B’、C’，则可以组成(prompt,A’,B’)，(prompt,A’,C’)，(prompt,B’,C’)这三组两两问答对，将这三组两两问答对作为批样本输入到RM中，RM输出是问答对的奖励值，基于奖励值和目标响应文本的排序关系可以构建损失函数，再基于损失函数调整RM的模型参数，直至达到预设的结束条件，如达到预设迭代次数或RM模型收敛，得到最终的RM。
损失函数可以具体是pairwise loss。
用公式表征可以是：
其中，loss(θ)是损失函数，是组合数量，即在K个元素中选择2个元素的组合数量，K是目标响应文本的数量；x是请求文本，yw,yl是目标响应文本，且排序关系是yw＞yl；rθ是RM，参数是θ；σ是激活函数，如sigmoid函数；D是所有的两两问答对。
可以理解的是，具体损失函数的形式及其公式只是示例，可以根据实际需要选择其他形式的损失函数以及其他公式。
本实施例中，通过下采样能够快速平衡不同排序档次的目标响应文本的长度分布，缓解RM模型的长度偏置问题，并且由于丢弃了部分样本，可以加快训练速度，提升RM的训练效率。
本实施例中，通过随机丢弃处理，可以简便高效的地完成下采样处理。
图6是根据本公开第三实施例的示意图。本实施例提供一种奖励模型训练方法，本实施例以下采样为例。
本实施例中，可以对不同排序档次的原始响应文本进行上采样，以使不同排序档次的目标响应文本的长度分布尽可能相同。
如图6所示，本实施例提供的方法包括：
601、获取请求文本和所述请求文本对应的原始响应文本。
其中，原始响应文本可以是已有的排序过的原始响应文本；或者，标注者对未排序的原始响应文本标注质量得分，基于质量得分对原始响应文本进行排序。本实施例以5个排序档次为例，从低到高用0-4表示。
各个排序档次的原始响应文本的情况可以如表1所示。
602、针对多个排序档次中的目标排序档次，在所述目标排序档次对应的原始响应文本中确定第二待处理响应文本。
603、对所述第二待处理响应文本进行上采样处理，以获得目标响应文本。
其中，目标排序档次可以是多个排序档次中的一个或多个，例如，可以将每个排序档次均作为目标排序档次。
针对每个排序档次，可以设置长度阈值，不同排序档次对应的长度阈值可以相同或不同。本实施例的长度阈值可以称为第二长度阈值。
第二待处理响应文本，可以包括：长度小于对应的目标排序档次的长度阈值的原始响应文本。例如，目标排序档次是排序档次4，假设排序档次4的第二长度阈值是100，则将排序档次4中的长度小于100的原始响应文本作为第二待处理响应文本。
为了避免样本数量过多，影响训练效率，本实施例中，以目标排序档次包括最高排序档次和最低排序档次为例。
针对最高排序档次，可以将长度小于第二长度阈值的原始响应文本，作为第二待处理响应文本。
针对最低排序档次，可以将长度大于第二长度阈值的原始响应文本，作为第二待处理响应文本。
其中，上采样处理具体可以是重复处理，进一步地，可以是随机重复处理，即随机选择一定比例的第二待处理响应文本进行重复。
上述比例也可以称为重复概率，是预先设置的，不同的排序档次可以设置相同或不同的重复概率。
以目标排序档次包括最高排序档次和最低排序档次为例，各个排序档次对应的长度阈值以及重复概率可以如表4所示。
表4
其中，针对排序档次4，可以对其中的长度小于100的原始响应文本进行重复；以及，针对排序档次0，可以对其中的长度大于300的原始响应文本进行重复。通过重复处理，得到目标响应文本。另外，未被重复的部分也作为目标响应文本，从而目标响应文本的数量相对于原始响应文本的数量是增加的。
604、基于请求文本和所述目标响应文本，训练RM。
关于训练过程可以参考404的内容，在此不再赘述。
本实施例中，通过上采样能够快速平衡不同排序档次的目标响应文本的长度分布，缓解RM模型的长度偏置问题，并且由于是上采样并未丢弃样本，可以避免丢弃样本造成的资源浪费问题。
本实施例中，通过随机重复处理，可以简便高效地完成上采样处理。
图7是根据本公开第四实施例的示意图，本实施例提供一种奖励值生成方法，该方法包括：
701、获取问答对，所述问答对包括：请求文本和响应文本。
702、采用预先训练的奖励模型，对所述问答对进行处理，以获得所述问答对的奖励值。
其中，所述奖励模型采用上述任一实施例所述的训练方法得到。
本实施例中，由于奖励模型可以纠正长度偏置问题，因此基于该奖励模型获得的奖励值可以产生更合适的引导信息，缓解对话生成模型输出更长结果的情况，提升对话生成模型的效果。
图8是根据本公开第五实施例的示意图。本实施例提供一种奖励模型训练装置，如图8所示，该装置800包括：获取模块801、采样模块802和训练模块803。
获取模块801用于获取请求文本和所述请求文本对应的原始响应文本；采样模块802用于基于所述原始响应文本的长度，对所述原始响应文本进行采样处理，以获得目标响应文本；其中，所述长度与所述采样处理成反向关系；训练模块803用于基于所述请求文本和所述目标响应文本，训练奖励模型。
本实施例中，通过对原始响应文本进行采样处理，得到目标响应文本，由于长度与采样处理成反向关系，可以均衡目标响应文本的长度分布，进而基于请求文本和目标响应文本训练奖励模型，可以纠正奖励模型的长度偏置问题，并且不需要拟合多种标注结果，降低成本，提高效率，从而可以高效地纠正奖励模型的长度偏置问题。
一些实施例中，所述原始响应文本被分为多个排序档次；所述采样模块802进一步用于：针对所述多个排序档次中的目标排序档次，基于所述原始响应文本的长度，在所述目标排序档次对应的原始响应文本中确定待处理响应文本；对所述待处理响应文本进行采样，以获得目标响应文本。
本实施例中，针对目标排序档次，确定目标排序档次中的待处理响应文本，并对待处理响应文本进行采样处理，得到目标响应文本，可以针对不同的排序档次内的原始响应文本进行合适的上采样和/或下采样处理，更好地进行长度均衡处理，提高目标响应文本的效果，进而提升模型效果。
一些实施例中，所述待处理响应文本包括：第一待处理响应文本，所述第一待处理响应文本是长度大于所述目标排序档次对应的第一长度阈值的原始响应文本；所述采样模块802进一步用于：对所述第一待处理响应文本进行下采样处理，以获得所述目标响应文本。
本实施例中，通过下采样能够快速平衡不同排序档次的目标响应文本的长度分布，缓解RM模型的长度偏置问题，并且由于丢弃了部分样本，可以加快训练速度，提升RM的训练效率。
一些实施例中，所述采样模块802进一步用于：基于预设丢弃概率，对所述第一待处理响应文本进行随机丢弃处理，以获得所述目标响应文本。
本实施例中，通过随机丢弃处理，可以简便高效的地完成下采样处理。
一些实施例中，所述待处理响应文本包括：第二待处理响应文本，所述第二待处理响应文本包括如下项中的一项或多项：长度小于所述目标排序档次对应的第二长度阈值的原始响应文本；目标排序档次是最低排序档次，且长度大于所述最低排序档次对应的第二长度阈值的原始响应文本；所述采样模块802进一步用于：对所述第二待处理响应文本进行上采样处理，以获得所述目标响应文本。
本实施例中，通过上采样能够快速平衡不同排序档次的目标响应文本的长度分布，缓解RM模型的长度偏置问题，并且由于是上采样并未丢弃样本，可以避免丢弃样本造成的资源浪费问题。
一些实施例中，所述采样模块802进一步用于：基于预设重复概率，对所述第二待处理响应文本进行随机重复处理，以获得所述目标响应文本。
本实施例中，通过随机重复处理，可以简便高效地完成上采样处理。
图9是根据本公开第六实施例的示意图。本实施例提供一种奖励值生成装置，如图9所示，该装置900包括：获取模块901和生成模块902。
获取模块901用于获取问答对，所述问答对包括：请求文本和响应文本；生成模块902用于采用预先训练的奖励模型，对所述问答对进行处理，以获得所述问答对的奖励值；其中，所述奖励模型采用上述任一实施例所述的训练方法得到。
本实施例中，由于奖励模型可以纠正长度偏置问题，因此基于该奖励模型获得的奖励值可以产生更合适的引导信息，缓解对话生成模型输出更长结果的情况，提升对话生成模型的效果。
可以理解的是，本公开实施例中，不同实施例中的相同或相似内容可以相互参考。
可以理解的是，本公开实施例中的“第一”、“第二”等只是用于区分，不表示重要程度高低、时序先后等。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备1000旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备1000还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图10所示，电子设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储电子设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
电子设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许电子设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如奖励模型训练方法或奖励值生成方法。例如，在一些实施例中，奖励模型训练方法或奖励值生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到电子设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的奖励模型训练方法或奖励值生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行奖励模型训练方法或奖励值生成方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (17)

1.一种奖励模型训练方法，包括：
获取请求文本和所述请求文本对应的原始响应文本；
基于所述原始响应文本的长度，对所述原始响应文本进行采样处理，以获得目标响应文本；其中，所述长度与所述采样处理成反向关系；
基于所述请求文本和所述目标响应文本，训练奖励模型。
2.根据权利要求1所述的方法，其中，
所述原始响应文本被分为多个排序档次；
所述基于所述原始响应文本的长度，对所述原始响应文本进行采样处理，以获得目标响应文本，包括：
针对所述多个排序档次中的目标排序档次，基于所述原始响应文本的长度，在所述目标排序档次对应的原始响应文本中确定待处理响应文本；
对所述待处理响应文本进行采样处理，以获得目标响应文本。
3.根据权利要求2所述的方法，其中，
所述待处理响应文本包括：第一待处理响应文本，所述第一待处理响应文本是长度大于所述目标排序档次对应的第一长度阈值的原始响应文本；
所述对所述待处理响应文本进行采样处理，以获得目标响应文本，包括：
对所述第一待处理响应文本进行下采样处理，以获得所述目标响应文本。
4.根据权利要求3所述的方法，其中，所述对所述第一待处理响应文本进行下采样处理，以获得所述目标响应文本，包括：
基于预设丢弃概率，对所述第一待处理响应文本进行随机丢弃处理，以获得所述目标响应文本。
5.根据权利要求2所述的方法，其中，
所述待处理响应文本包括：第二待处理响应文本，所述第二待处理响应文本包括如下项中的一项或多项：长度小于所述目标排序档次对应的第二长度阈值的原始响应文本；目标排序档次是最低排序档次，且长度大于所述最低排序档次对应的第二长度阈值的原始响应文本；
所述对所述待处理响应文本进行采样处理，以获得目标响应文本，包括：
对所述第二待处理响应文本进行上采样处理，以获得所述目标响应文本。
6.根据权利要求5所述的方法，其中，所述对所述第二待处理响应文本进行上采样处理，以获得所述目标响应文本，包括：
基于预设重复概率，对所述第二待处理响应文本进行随机重复处理，以获得所述目标响应文本。
7.一种奖励值生成方法，包括：
获取问答对，所述问答对包括：请求文本和响应文本；
采用预先训练的奖励模型，对所述问答对进行处理，以获得所述问答对的奖励值；
其中，所述奖励模型采用如权利要求1-6任一项所述的方法训练的。
8.一种奖励模型训练装置，包括：
获取模块，用于获取请求文本和所述请求文本对应的原始响应文本；
采样模块，用于基于所述原始响应文本的长度，对所述原始响应文本进行采样处理，以获得目标响应文本；其中，所述长度与所述采样处理成反向关系；
训练模块，用于基于所述请求文本和所述目标响应文本，训练奖励模型。
9.根据权利要求8所述的装置，其中，
所述原始响应文本被分为多个排序档次；
所述采样模块进一步用于：
针对所述多个排序档次中的目标排序档次，基于所述原始响应文本的长度，在所述目标排序档次对应的原始响应文本中确定待处理响应文本；
对所述待处理响应文本进行采样处理，以获得目标响应文本。
10.根据权利要求9所述的装置，其中，
所述待处理响应文本包括：第一待处理响应文本，所述第一待处理响应文本是长度大于所述目标排序档次对应的第一长度阈值的原始响应文本；
所述采样模块进一步用于：
对所述第一待处理响应文本进行下采样处理，以获得所述目标响应文本。
11.根据权利要求10所述的装置，其中，所述采样模块进一步用于：
基于预设丢弃概率，对所述第一待处理响应文本进行随机丢弃处理，以获得所述目标响应文本。
12.根据权利要求9所述的装置，其中，
所述待处理响应文本包括：第二待处理响应文本，所述第二待处理响应文本包括如下项中的一项或多项：长度小于所述目标排序档次对应的第二长度阈值的原始响应文本；目标排序档次是最低排序档次，且长度大于所述最低排序档次对应的第二长度阈值的原始响应文本；
所述采样模块进一步用于：
对所述第二待处理响应文本进行上采样处理，以获得所述目标响应文本。
13.根据权利要求12所述的装置，其中，所述采样模块进一步用于：
基于预设重复概率，对所述第二待处理响应文本进行随机重复处理，以获得所述目标响应文本。
14.一种奖励值生成装置，包括：
获取模块，用于获取问答对，所述问答对包括：请求文本和响应文本；
生成模块，用于采用预先训练的奖励模型，对所述问答对进行处理，以获得所述问答对的奖励值；
其中，所述奖励模型采用如权利要求1-6任一项所述的方法训练的。
15.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。
17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法。
CN202310797144.3A 2023-06-30 2023-06-30 奖励模型训练和奖励值生成方法、装置、设备和介质 Active CN116932713B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310797144.3A CN116932713B (zh) 2023-06-30 2023-06-30 奖励模型训练和奖励值生成方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310797144.3A CN116932713B (zh) 2023-06-30 2023-06-30 奖励模型训练和奖励值生成方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN116932713A true CN116932713A (zh) 2023-10-24
CN116932713B CN116932713B (zh) 2024-05-24

Family

ID=88376570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310797144.3A Active CN116932713B (zh) 2023-06-30 2023-06-30 奖励模型训练和奖励值生成方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN116932713B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106055673A (zh) * 2016-06-06 2016-10-26 中国人民解放军国防科学技术大学 一种基于文本特征嵌入的中文短文本情感分类方法
CN112508116A (zh) * 2020-12-15 2021-03-16 吉林大学 分类器生成方法、装置、存储介质及电子设备
US20210201156A1 (en) * 2018-05-18 2021-07-01 Google Llc Sample-efficient reinforcement learning
US20210374338A1 (en) * 2020-05-26 2021-12-02 Mastercard International Incorporated Methods and systems for generating domain-specific text summarizations
CN116303949A (zh) * 2023-02-24 2023-06-23 科讯嘉联信息技术有限公司 一种对话处理方法、系统、存储介质及终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106055673A (zh) * 2016-06-06 2016-10-26 中国人民解放军国防科学技术大学 一种基于文本特征嵌入的中文短文本情感分类方法
US20210201156A1 (en) * 2018-05-18 2021-07-01 Google Llc Sample-efficient reinforcement learning
US20210374338A1 (en) * 2020-05-26 2021-12-02 Mastercard International Incorporated Methods and systems for generating domain-specific text summarizations
CN112508116A (zh) * 2020-12-15 2021-03-16 吉林大学 分类器生成方法、装置、存储介质及电子设备
CN116303949A (zh) * 2023-02-24 2023-06-23 科讯嘉联信息技术有限公司 一种对话处理方法、系统、存储介质及终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SINGALN: "ChatGPT原理详解+实操(2)----RM(reward model)", pages 1 - 10, Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/610147705> *
茫茫人海一粒沙: "机器学习之不平衡数据集的处理方法", pages 1 - 4, Retrieved from the Internet <URL:https://blog.csdn.net/keeppractice/article/details/109758543> *

Also Published As

Publication number Publication date
CN116932713B (zh) 2024-05-24

Similar Documents

Publication Publication Date Title
US20230040095A1 (en) Method for pre-training model, device, and storage medium
JP7127106B2 (ja) 質問応答処理、言語モデルの訓練方法、装置、機器および記憶媒体
US10540585B2 (en) Training sequence generation neural networks using quality scores
CN112926306B (zh) 文本纠错方法、装置、设备以及存储介质
JP7430820B2 (ja) ソートモデルのトレーニング方法及び装置、電子機器、コンピュータ可読記憶媒体、コンピュータプログラム
CN112966081B (zh) 处理问答信息的方法、装置、设备和存储介质
CN115631261B (zh) 图像生成模型的训练方法、图像生成方法和装置
CN111061877A (zh) 文本主题提取方法和装置
CN115062718A (zh) 语言模型训练方法、装置、电子设备及存储介质
CN113407677A (zh) 评估咨询对话质量的方法、装置、设备和存储介质
CN115248890B (zh) 用户兴趣画像的生成方法、装置、电子设备以及存储介质
CN117235371A (zh) 视频推荐方法、模型训练方法及装置
CN113157877A (zh) 多语义识别方法、装置、设备和介质
CN116932713B (zh) 奖励模型训练和奖励值生成方法、装置、设备和介质
CN107656627B (zh) 信息输入方法和装置
CN114238611B (zh) 用于输出信息的方法、装置、设备以及存储介质
CN116049370A (zh) 信息查询方法和信息生成模型的训练方法、装置
CN114817476A (zh) 语言模型的训练方法、装置、电子设备和存储介质
CN113408632A (zh) 提高图像分类准确性的方法、装置、电子设备及存储介质
CN112784600A (zh) 信息排序方法、装置、电子设备和存储介质
CN116069914B (zh) 训练数据的生成方法、模型训练方法以及装置
CN114330592B (zh) 模型生成方法、装置、电子设备及计算机存储介质
CN115131709B (zh) 视频类别预测方法、视频类别预测模型的训练方法及装置
CN113344405B (zh) 基于知识图谱生成信息的方法、装置、设备、介质和产品
US11853305B2 (en) Method, device, and computer program product for file annotation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant