CN117709338A - 互动文本的识别方法、装置、电子设备及可读存储介质 - Google Patents
互动文本的识别方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN117709338A CN117709338A CN202311726901.4A CN202311726901A CN117709338A CN 117709338 A CN117709338 A CN 117709338A CN 202311726901 A CN202311726901 A CN 202311726901A CN 117709338 A CN117709338 A CN 117709338A
- Authority
- CN
- China
- Prior art keywords
- data set
- training data
- large model
- text
- interactive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 110
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 212
- 230000003993 interaction Effects 0.000 claims description 23
- 238000002372 labelling Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Landscapes
- Machine Translation (AREA)
Abstract
本申请实施例提供了一种互动文本的识别方法、装置、电子设备及可读存储介质,该方法包括:获取第一训练数据集、第二训练数据集和预训练的大模型;基于所述第一训练数据集和所述第二训练数据集依次对所述预训练的大模型进行指令微调,得到第一大模型;将第二剧本文本输入到所述第一大模型中,输出识别结果,所述识别结果用于指示所述第二剧本文本中全部互动人物在所述第二剧本文本中的互动占比。本申请通过根据获取到的第一训练数据集和第二训练数据集生成提示指令,从而通过提示指令对预训练的大模型进行指令微调,从而得到训练好的第一大模型,该第一大模型可以识别出第二剧本文本中进行互动的目标人物,从而提高了大模型识别互动文本的效率。
Description
技术领域
本申请涉及深度学习技术领域,特别是涉及一种互动文本的识别方法、装置、电子设备及可读存储介质。
背景技术
在进行剧本评估分析时,一般需要知道两个人物之间互动戏占比多少,便于分析剧本的人物关系,及每一集剧本内容设计是否合理。目前,一般通过大模型进行剧本评估分析,这种分析方式可以较准确地分析人物间的互动戏份,但是对于长剧本,这种方式需要调用的应用程序编程接口(Application Programming Interface,API)成本较高,从而导致大模型识别互动文本效率较低的问题。
发明内容
本申请实施例的目的在于提供一种互动文本的识别方法、装置、电子设备及可读存储介质,以解决大模型识别互动文本效率较低的问题。具体技术方案如下:
在本申请实施的第一方面,首先提供了一种互动文本的识别方法,所述方法包括:
获取第一训练数据集、第二训练数据集和预训练的大模型,所述第一训练数据集包括文本样本和互动人物,所述文本样本为第一剧本文本中目标场次的剧本文本,所述互动人物为所述第一剧本文本包含的人物中在所述目标场次进行互动的至少两个人物,所述第二训练数据集包括所述文本样本;
基于所述第一训练数据集和所述第二训练数据集依次对所述预训练的大模型进行指令微调,得到第一大模型;
将第二剧本文本输入到所述第一大模型中,输出识别结果,所述识别结果用于指示所述第二剧本文本中全部互动人物在所述第二剧本文本中的互动占比。
可选的,所述基于所述第一训练数据集和所述第二训练数据集依次对所述预训练的大模型进行指令微调,得到第一大模型,包括:
根据所述第一训练数据集生成第一提示指令,以及根据所述第二训练数据生成第二提示指令,所述第一提示指令和所述第二提示指令用于对所述预训练的大模型进行指令调整;
基于所述第一训练数据集和所述第一提示指令对所述预训练的大模型进行指令微调,得到第二大模型;
基于所述第二训练数据集和所述第二提示指令对所述第二大模型进行指令微调,得到所述第一大模型。
可选的,所述基于所述第一训练数据集和第一提示指令对所述预训练的大模型进行指令微调,得到第二大模型,包括:
将所述第一训练数据集和所述第一提示指令输入到所述预训练的大模型中进行指令微调,输出第一预测值和识别依据,所述第一预测值为预测所述互动人物在所述目标场次的剧本文本中的互动占比,所述识别依据为判断所述互动人物在所述目标场次的剧本文本中是否互动的理由;
根据所述第一预测值确定第一损失值;
根据所述第一损失值对所述预训练的大模型进行更新,得到所述第二大模型。
可选的,所述根据所述第一预测值确定第一损失值,包括:
根据所述第一训练数据集确定第一目标值,所述第一目标值为计算得到的所述互动人物在所述目标场次的剧本文本中的互动占比;
利用损失函数对所述第一预测值和所述第一目标值进行损失计算,得到所述第一损失值。
可选的,所述基于所述第二训练数据集和所述第二提示指令对所述第二大模型进行指令微调,得到所述第一大模型,包括:
将所述第二训练数据集和所述第二提示指令输入到所述第二大模型中,输出第二预测值和所述第一剧本文本包含的全部人物中发生互动的人物,所述第二预测值为预测所述第一剧本文本包含的全部人物在所述目标场次的剧本文本中的互动占比;
根据所述第二预测值确定第二损失值;
根据所述第二损失值对所述第二大模型进行指令微调,得到所述第一大模型。
可选的,所述根据所述第二预测值确定第二损失值,包括:
根据所述第二训练数据集确定第二目标值,所述第二目标值为计算得到的所述全部人物在所述目标场次的剧本文本中的互动占比;
利用损失函数对所述第二预测值和所述第二目标值进行损失计算,得到所述第二损失值。
可选的,所述获取第一训练数据集、第二训练数据集和预训练的大模型,包括:
基于第三大模型和所述第一剧本文本生成所述第一训练数据集;
根据所述第一训练数据集和所述第三大模型生成第三训练数据集;
对所述第三训练数据集进行标注,得到标注结果;
将所述第三训练数据集输入到获取到的所述预训练的大模型中,输出预测结果;
在所述标注结果与所述预测结果的相似度满足预设阈值的情况下,将所述第三训练数据集确定为所述第二训练数据集。
在本申请实施的第二方面,还提供了一种互动文本的识别装置,所述装置包括:
获取模块,用于获取第一训练数据集、第二训练数据集和预训练的大模型,所述第一训练数据集包括文本样本和互动人物,所述文本样本为第一剧本文本中目标场次的剧本文本,所述互动人物为所述第一剧本文本包含的人物中在所述目标场次进行互动的至少两个人物,所述第二训练数据集包括所述文本样本;
调整模块,用于基于所述第一训练数据集和所述第二训练数据集依次对所述预训练的大模型进行指令微调,得到第一大模型;
输出模块,用于将第二剧本文本输入到所述第一大模型中,输出识别结果,所述识别结果用于指示所述第二剧本文本中全部互动人物在所述第二剧本文本中的互动占比。
在本发明实施例的第三方面,还提供了一种电子设备,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面中任一项所述的互动文本的识别方法的步骤。
在本发明实施例的第四方面,还提供了一种计算机可读存储介质,所述可读存储介质上存储有程序或指令,所述程序或指令被处理器执行时实现如第一方面中任一项所述的互动文本的识别方法的步骤。
本申请实施例提供了一种互动文本的识别方法、装置、电子设备及可读存储介质,该方法包括:获取第一训练数据集、第二训练数据集和预训练的大模型,所述第一训练数据集包括文本样本和互动人物,所述文本样本为第一剧本文本中目标场次的剧本文本,所述互动人物为所述第一剧本文本包含的人物中在所述目标场次进行互动的至少两个人物,所述第二训练数据集包括所述文本样本;基于所述第一训练数据集和所述第二训练数据集依次对所述预训练的大模型进行指令微调,得到第一大模型;将第二剧本文本输入到所述第一大模型中,输出识别结果,所述识别结果用于指示所述第二剧本文本中全部互动人物在所述第二剧本文本中的互动占比。本申请通过根据获取到的第一训练数据集和第二训练数据集生成提示指令,从而通过提示指令对预训练的大模型进行指令微调,从而得到训练好的第一大模型,该第一大模型可以识别出第二剧本文本中进行互动的目标人物,从而提高了大模型识别互动文本的效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例中互动文本的识别方法的流程示意图;
图2为本发明实施例中互动文本的识别装置的结构示意图;
图3为本发明实施例中电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获取的所有其他实施例,都属于本申请保护的范围。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理,但是其中的许多步骤可以被并行地、并发地或者同时实施。此外,各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止,但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
此外,术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等,但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一速度差值为第二速度差值,且类似地,可将第二速度差值称为第一速度差值。第一速度差值和第二速度差值两者都是速度差值,但其不是同一速度差值。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
本申请实施例提供了一种互动文本的识别方法,如图1所示,该方法包括:
步骤101、获取第一训练数据集、第二训练数据集和预训练的大模型,所述第一训练数据集包括文本样本和互动人物,所述文本样本为第一剧本文本中目标场次的剧本文本,所述互动人物为所述第一剧本文本包含的人物中在所述目标场次进行互动的至少两个人物,所述第二训练数据集包括所述文本样本。
在本实施例中,本方法的执行主体为具有模型训练能力的服务器端或者终端,预训练的大模型为开源大模型,其中开源大模型为是一种自然语言处理的预测模型,旨在根据已有文本生成新文本。其使用一种叫做Transformer的深度神经网络模型,以允许生成更准确,可能更具有艺术性的语言内容。需要进行说明的是,本实施例中需要选择中文理解能力强的大模型。
第一训练数据集包括了文本样本和互动人物,文本样本为第一剧本文本中目标场次的剧本文本,其中,第一剧本文本可以为某个电视剧或者电影的剧本,目标场次的剧本文本为第一剧本文本的某一集的剧本文本或者某一章的剧本文本,互动人物为提前制定的目标场次的剧本文本的两个人物,从而使得大模型能够判断出两个指定人物是否发生了互动戏。第二训练数据集同样包括了文本样本即第一剧本文本中目标场次的剧本文本,与第一训练数据集的不同之处在于,第二训练数据集仅包括了目标场次的剧本文本。
步骤102、基于所述第一训练数据集和所述第二训练数据集依次对所述预训练的大模型进行指令微调,得到第一大模型。
在本实施例中,首先通过第一训练数据集对训练的大模型进行初次训练,即指令微调,其中,指令微调是一种机器学习方法,其中训练数据源被用于改进和调整一个已训练的模型,以便它可以提供更准确的预测。它从原始模型中继承了参数,但允许修改部分参数以满足/匹配新的需求。
在训练完成后再通过第二训练数据集对预训练的大模型再次进行指令微调,从而完成训练,得到训练完成的第一大模型,此时,第一大模型即具备识别输入剧本中所有互动人物的能力。
需要进行说明的,首先通过第一训练数据集对训练的大模型进行初次训练,可以让预训练的大模型更好地学习到剧本中互动戏的判断标准和推理过程。而通过第二训练数据集再次进行训练,从而可以提高了大模型的识别精度,从而完成对大模型的训练。结合两次训练过程,使得模型性能大大提升。
步骤103、将第二剧本文本输入到所述第一大模型中,输出识别结果,所述识别结果用于指示所述第二剧本文本中全部互动人物在所述第二剧本文本中的互动占比。
在本实施例中,第一剧本文本和第二剧本文本可以为同一个剧本文本,也可以为不同的剧本文本,在完成训练获得第一大模型后,通过将需要进行互动戏识别的第二剧本文本输入到所述第一大模型后,即能够输出识别后的识别结果,其中,识别结果表明所有互动人物在第二剧本文本中的互动占比,该互动占比可以为0-1之间的小数,也可以为百分数,在本实施例中不做具体限定。示例性的,将《三国演义》以及“刘备”和“诸葛亮”输入到第一大模型中,从而识别出“刘备”和“诸葛亮”的互动占比为0.13。
本申请实施例提供了一种互动文本的识别方法,该方法包括:获取第一训练数据集、第二训练数据集和预训练的大模型,所述第一训练数据集包括文本样本和互动人物,所述文本样本为第一剧本文本中目标场次的剧本文本,所述互动人物为所述第一剧本文本包含的人物中在所述目标场次进行互动的至少两个人物,所述第二训练数据集包括所述文本样本;基于所述第一训练数据集和所述第二训练数据集依次对所述预训练的大模型进行指令微调,得到第一大模型;将第二剧本文本输入到所述第一大模型中,输出识别结果,所述识别结果用于指示所述第二剧本文本中全部互动人物在所述第二剧本文本中的互动占比。本申请通过根据获取到的第一训练数据集和第二训练数据集生成提示指令,从而通过提示指令对预训练的大模型进行指令微调,从而得到训练好的第一大模型,该第一大模型可以识别出第二剧本文本中进行互动的目标人物,从而提高了大模型识别互动文本的效率。
在一些可行的实施方式中,可选的,步骤102、基于所述第一训练数据集和所述第二训练数据集依次对所述预训练的大模型进行指令微调,得到第一大模型,包括:
根据所述第一训练数据集生成第一提示指令,以及根据所述第二训练数据生成第二提示指令,所述第一提示指令和所述第二提示指令用于对所述预训练的大模型进行指令调整;
基于所述第一训练数据集和所述第一提示指令对所述预训练的大模型进行指令微调,得到第二大模型;
基于所述第二训练数据集和所述第二提示指令对所述第二大模型进行指令微调,得到所述第一大模型。
在本实施例中,通过第一训练数据集和第二训练数据集对预训练的大模型进行指令微调包括两个阶段,首先第一训练数据集生成第一提示指令以及根据第二训练数据集生成第二提示指令,其中,大模型的提示指令(prompt)是一种使用大型语言模型(如GPT)解释模型中特征之间关系的方法,其通过使用模型中的上下文信息来给出可解释的关系,从而帮助理解模型产生的结果。
具体地,为了简化训练目标,判断两个指定人物是否发生了互动戏,其互动占比多少并确定推理过程,首先通过第一训练数据集和第一提示指令对预训练的大模型进行指令微调得到第二大模型,这一阶段可以让预训练的大模型更好地学习互动戏的判断标准和推理过程。
其次,通过第二训练数据集和第二提示指令再次对第二大模型进行指令1,得到第一大模型,通过在上一阶段微调后的模型的基础上再一次微调,从而提高了模型的推理速度,完成了模型的训练。
可选的,所述基于所述第一训练数据集和第一提示指令对所述预训练的大模型进行指令微调,得到第二大模型,包括:
将所述第一训练数据集和所述第一提示指令输入到所述预训练的大模型中进行指令微调,输出第一预测值和识别依据,所述第一预测值为预测所述互动人物在所述目标场次的剧本文本中的互动占比,所述识别依据为判断所述互动人物在所述目标场次的剧本文本中是否互动的理由;
根据所述第一预测值确定第一损失值;
根据所述第一损失值对所述预训练的大模型进行更新,得到所述第二大模型。
在本实施例中,在第一阶段对预训练的大模型进行训练时,预训练的大模型的输入为第一提示指令+目标场次的剧本+制定的目标人物,输出为目标人物的互动占比和识别依据,其中,该互动占比可以为0-1之间的小数,也可以为百分数,当没有互动戏的情况时,输出的互动占比为0。
输出为第一预测值和识别依据,其中,识别依据表明了大模型对互动戏的识别依据,当识别依据出现问题时,还可以根据识别依据对大模型的结构进行调整,从而使得指令微调的第二模型符合识别要求。第一预测值为对目标场次的剧本进行互动戏识别的识别结果,通过第一预测值确定第一损失值后,通过第一损失值对预训练的大模型进行更新和参数调整,得到第二大模型,通过少量样本对预训练的大模型进行训练可以使大模型初步学习并理解怎么去识别剧本中的互动戏,从而保证了后续的识别精度。
可选的,所述根据所述第一预测值确定第一损失值,包括:
根据所述第一训练数据集确定第一目标值,所述第一目标值为计算得到的所述互动人物在所述目标场次的剧本文本中的互动占比;
利用损失函数对所述第一预测值和所述第一目标值进行损失计算,得到所述第一损失值。
在本实施例中,首先在训练前根据第一训练数据集确定第一目标值,其中,第一目标值为真实值,该真实值即为识别的标准值。获取第一目标值的方式可以通过其他训练完成的大模型获取,或者通过人工识别标注的形式获得,在本实施例中不做具体限定。
通过利用损失函数对所述第一预测值和所述第一目标值进行损失计算,最终确定第一损失值,通过该第一损失值对预训练的大模型进行调整,从而得到第二大模型。需要进行说明的是,大模型的损失函数是描述模型性能的度量,反映了模型在拟合数据上表现的好坏,示例性的,损失函数可以是平方损失函数,其可以预测与实际观察值之间的差异反应到损失中,从而完成对大模型的更新。
可选的,所述基于所述第二训练数据集和所述第二提示指令对所述第二大模型进行指令微调,得到所述第一大模型,包括:
将所述第二训练数据集和所述第二提示指令输入到所述第二大模型中,输出第二预测值和所述第一剧本文本包含的全部人物中发生互动的人物,所述第二预测值为预测所述第一剧本文本包含的全部人物在所述目标场次的剧本文本中的互动占比;
根据所述第二预测值确定第二损失值;
根据所述第二损失值对所述第二大模型进行指令微调,得到所述第一大模型。
在本实施例中,在第二阶段对第二大模型进行训练时,第二大模型的输入为第二提示指令+目标场次的剧本,输出为所有发生互动人物和互动占比,其中,该互动占比可以为0-1之间的小数,也可以为百分数,当没有互动戏的情况时,输出的互动占比为0。
与第一阶段训练的不同之处在于,本实施例中,为了减少token数,提高模型推理速度,不需要输出识别过程。其中,token数是特定语言中出现的词语数量,有时也被称为单词数,可以用来衡量特定语言的复杂度和规模,并用于语言学分析,自然语言处理和信息检索。
可选的,所述根据所述第二预测值确定第二损失值,包括:
根据所述第二训练数据集确定第二目标值,所述第二目标值为计算得到的所述全部人物在所述目标场次的剧本文本中的互动占比;
利用损失函数对所述第二预测值和所述第二目标值进行损失计算,得到所述第二损失值。
在本实施例中,与第一训练阶段相同,首先在训练前根据第二训练数据集确定第二目标值,其中,第二目标值为真实值,该真实值即为识别的标准值。获取第二目标值的方式可以通过其他训练完成的大模型获取,或者通过人工识别标注的形式获得,在本实施例中不做具体限定。
通过利用损失函数对所述第二预测值和所述第二目标值进行损失计算,最终确定第二损失值,通过该第二损失值对第二大模型进行调整,从而得到第一大模型。需要进行说明的是,大模型的损失函数是描述模型性能的度量,反映了模型在拟合数据上表现的好坏,示例性的,损失函数可以是平方损失函数,其可以预测与实际观察值之间的差异反应到损失中,从而完成对大模型的更新。
可选的,步骤101、所述获取第一训练数据集、第二训练数据集和预训练的大模型,包括:
基于第三大模型和所述第一剧本文本生成所述第一训练数据集;
根据所述第一训练数据集和所述第三大模型生成第三训练数据集;
对所述第三训练数据集进行标注,得到标注结果;
将所述第三训练数据集输入到获取到的所述预训练的大模型中,输出预测结果;
在所述标注结果与所述预测结果的相似度满足预设阈值的情况下,将所述第三训练数据集确定为所述第二训练数据集。
在本实施例中,第三大模型为其他训练好的大模型,例如GPT模型。通过第三大模型和第一剧本文本自动生成第一训练数据集,并根据第一训练数据集输入到第三大模型中生成第三训练数据集,并对第三训练数据集进行标注,得到标注结果,其中,标注结果为真实数据。
另外还将第三训练数据集输入到获取到的预训练的大模型中,从而输出预测结果,该预测结果为预训练的大模型的输出,从而通过比较预测结果和标注结果之间的差异性,从而确定出第三训练数据集的精度是否符合要求。具体地,在标注结果与预测结果与所述标注结果的相似度满足预设阈值的情况下,所述第三训练数据集确定为所述第二训练数据集,具体地,预设阈值可以为10%,即GPT输出的类型与人工标注结果误差在10%以内,则将GPT输出的推理过程加入到训练数据。如果不一致,GPT输出有误,可能是比较难的例子。这种难例经过人工标注推理过程加入到训练数据中。
本申请通过根据获取到的第一训练数据集和第二训练数据集生成提示指令,从而通过提示指令对预训练的大模型进行指令微调,从而得到训练好的第一大模型,该第一大模型可以识别出第二剧本文本中进行互动的目标人物,从而提高了大模型识别互动文本的效率。
本申请实施例还提供了一种互动文本的识别装置,如图2所示,该互动文本的识别装置200包括:
获取模块210,用于获取第一训练数据集、第二训练数据集和预训练的大模型,所述第一训练数据集包括文本样本和互动人物,所述文本样本为第一剧本文本中目标场次的剧本文本,所述互动人物为所述第一剧本文本包含的人物中在所述目标场次进行互动的至少两个人物,所述第二训练数据集包括所述文本样本;
调整模块220,用于基于所述第一训练数据集和所述第二训练数据集依次对所述预训练的大模型进行指令微调,得到第一大模型;
输出模块230,用于将第二剧本文本输入到所述第一大模型中,输出识别结果,所述识别结果用于指示所述第二剧本文本中全部互动人物在所述第二剧本文本中的互动占比。
可选的,调整模块220包括:
第一生成子模块,用于根据所述第一训练数据集生成第一提示指令,以及根据所述第二训练数据生成第二提示指令,所述第一提示指令和所述第二提示指令用于对所述预训练的大模型进行指令调整;
第一调整子模块,用于基于所述第一训练数据集和所述第一提示指令对所述预训练的大模型进行指令微调,得到第二大模型;
第二调整子模块,用于基于所述第二训练数据集和所述第二提示指令对所述第二大模型进行指令微调,得到所述第一大模型。
可选的,第一调整子模块包括:
第一输入单元,用于将所述第一训练数据集和所述第一提示指令输入到所述预训练的大模型中进行指令微调,输出第一预测值和识别依据,所述第一预测值为预测所述互动人物在所述目标场次的剧本文本中的互动占比,所述识别依据为判断所述互动人物在所述目标场次的剧本文本中是否互动的理由;
第一确定单元,用于根据所述第一预测值确定第一损失值;
第一更新单元,用于根据所述第一损失值对所述预训练的大模型进行更新,得到所述第二大模型。
可选的,第一确定单元包括:
第一确定子单元,用于根据所述第一训练数据集确定第一目标值,所述第一目标值为计算得到的所述互动人物在所述目标场次的剧本文本中的互动占比;
第一计算子单元,用于利用损失函数对所述第一预测值和所述第一目标值进行损失计算,得到所述第一损失值。
可选的,第二调整子模块包括:
第二输入单元,用于将所述第二训练数据集和所述第二提示指令输入到所述第二大模型中,输出第二预测值和所述第一剧本文本包含的全部人物中发生互动的人物,所述第二预测值为预测所述第一剧本文本包含的全部人物在所述目标场次的剧本文本中的互动占比;
第二确定单元,用于根据所述第二预测值确定第二损失值;
第二更新单元,用于根据所述第二损失值对所述第二大模型进行指令微调,得到所述第一大模型。
可选的,第二确定单元包括:
第一确定子单元,用于根据所述第二训练数据集确定第二目标值,所述第二目标值为计算得到的所述全部人物在所述目标场次的剧本文本中的互动占比;
第二计算子单元,用于利用损失函数对所述第二预测值和所述第二目标值进行损失计算,得到所述第二损失值。
可选的,获取模块210包括:
第二生成子模块,用于基于第三大模型和所述第一剧本文本生成所述第一训练数据集;
第三生成子模块,用于根据所述第一训练数据集和所述第三大模型生成第三训练数据集;
标注模块,用于对所述第三训练数据集进行标注,得到标注结果;
输入子模块,用于将所述第三训练数据集输入到获取到的所述预训练的大模型中,输出预测结果;
确定子模块,用于在所述标注结果与所述预测结果的相似度满足预设阈值的情况下,将所述第三训练数据集确定为所述第二训练数据集。
本申请通过根据获取到的第一训练数据集和第二训练数据集生成提示指令,从而通过提示指令对预训练的大模型进行指令微调,从而得到训练好的第一大模型,该第一大模型可以识别出第二剧本文本中进行互动的目标人物,从而提高了大模型识别互动文本的效率。
图3为本发明实施例提供的一种电子设备的结构示意图,如图3所示,该电子设备300包括存储器310、处理器320,电子设备300中处理器320的数量可以是一个或多个,图3中以一个处理器320为例;服务器中的存储器310、处理器320可以通过总线或其他方式连接,图3中以通过总线连接为例。
存储器310作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的互动文本的识别方法对应的程序指令/模块,处理器320通过运行存储在存储器310中的软件程序、指令以及模块,从而执行服务器/终端/服务器的各种功能应用以及数据处理,即实现上述的互动文本的识别方法。
其中,处理器320用于运行存储在存储器310中的计算机程序,实现如下步骤:
获取第一训练数据集、第二训练数据集和预训练的大模型,所述第一训练数据集包括文本样本和互动人物,所述文本样本为第一剧本文本中目标场次的剧本文本,所述互动人物为所述第一剧本文本包含的人物中在所述目标场次进行互动的至少两个人物,所述第二训练数据集包括所述文本样本;
基于所述第一训练数据集和所述第二训练数据集依次对所述预训练的大模型进行指令微调,得到第一大模型;
将第二剧本文本输入到所述第一大模型中,输出识别结果,所述识别结果用于指示所述第二剧本文本中全部互动人物在所述第二剧本文本中的互动占比。
可选的,所述基于所述第一训练数据集和所述第二训练数据集依次对所述预训练的大模型进行指令微调,得到第一大模型,包括:
根据所述第一训练数据集生成第一提示指令,以及根据所述第二训练数据生成第二提示指令,所述第一提示指令和所述第二提示指令用于对所述预训练的大模型进行指令调整;
基于所述第一训练数据集和所述第一提示指令对所述预训练的大模型进行指令微调,得到第二大模型;
基于所述第二训练数据集和所述第二提示指令对所述第二大模型进行指令微调,得到所述第一大模型。
可选的,所述基于所述第一训练数据集和第一提示指令对所述预训练的大模型进行指令微调,得到第二大模型,包括:
将所述第一训练数据集和所述第一提示指令输入到所述预训练的大模型中进行指令微调,输出第一预测值和识别依据,所述第一预测值为预测所述互动人物在所述目标场次的剧本文本中的互动占比,所述识别依据为判断所述互动人物在所述目标场次的剧本文本中是否互动的理由;
根据所述第一预测值确定第一损失值;
根据所述第一损失值对所述预训练的大模型进行更新,得到所述第二大模型。
可选的,所述根据所述第一预测值确定第一损失值,包括:
根据所述第一训练数据集确定第一目标值,所述第一目标值为计算得到的所述互动人物在所述目标场次的剧本文本中的互动占比;
利用损失函数对所述第一预测值和所述第一目标值进行损失计算,得到所述第一损失值。
可选的,所述基于所述第二训练数据集和所述第二提示指令对所述第二大模型进行指令微调,得到所述第一大模型,包括:
将所述第二训练数据集和所述第二提示指令输入到所述第二大模型中,输出第二预测值和所述第一剧本文本包含的全部人物中发生互动的人物,所述第二预测值为预测所述第一剧本文本包含的全部人物在所述目标场次的剧本文本中的互动占比;
根据所述第二预测值确定第二损失值;
根据所述第二损失值对所述第二大模型进行指令微调,得到所述第一大模型。
可选的,所述根据所述第二预测值确定第二损失值,包括:
根据所述第二训练数据集确定第二目标值,所述第二目标值为计算得到的所述全部人物在所述目标场次的剧本文本中的互动占比;
利用损失函数对所述第二预测值和所述第二目标值进行损失计算,得到所述第二损失值。
可选的,所述获取第一训练数据集、第二训练数据集和预训练的大模型,包括:
基于第三大模型和所述第一剧本文本生成所述第一训练数据集;
根据所述第一训练数据集和所述第三大模型生成第三训练数据集;
对所述第三训练数据集进行标注,得到标注结果;
将所述第三训练数据集输入到获取到的所述预训练的大模型中,输出预测结果;
在所述标注结果与所述预测结果的相似度满足预设阈值的情况下,将所述第三训练数据集确定为所述第二训练数据集。
在其中一个实施例中,本发明实施例所提供的一种电子设备,其计算机程序不限于如上的方法操作,还可以执行本发明任意实施例所提供的互动文本的识别方法中的相关操作。
存储器310可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器310可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器310可进一步包括相对于处理器320远程设置的存储器,这些远程存储器可以通过网络连接至服务器/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请通过根据获取到的第一训练数据集和第二训练数据集生成提示指令,从而通过提示指令对预训练的大模型进行指令微调,从而得到训练好的第一大模型,该第一大模型可以识别出第二剧本文本中进行互动的目标人物,从而提高了大模型识别互动文本的效率。
本发明实施例的计算机可读存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
存储介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种互动文本的识别方法,其特征在于,所述方法包括:
获取第一训练数据集、第二训练数据集和预训练的大模型,所述第一训练数据集包括文本样本和互动人物,所述文本样本为第一剧本文本中目标场次的剧本文本,所述互动人物为所述第一剧本文本包含的人物中在所述目标场次进行互动的至少两个人物,所述第二训练数据集包括所述文本样本;
基于所述第一训练数据集和所述第二训练数据集依次对所述预训练的大模型进行指令微调,得到第一大模型;
将第二剧本文本输入到所述第一大模型中,输出识别结果,所述识别结果用于指示所述第二剧本文本中全部互动人物在所述第二剧本文本中的互动占比。
2.根据权利要求1所述的方法,其特征在于,所述基于所述第一训练数据集和所述第二训练数据集依次对所述预训练的大模型进行指令微调,得到第一大模型,包括:
根据所述第一训练数据集生成第一提示指令,以及根据所述第二训练数据生成第二提示指令,所述第一提示指令和所述第二提示指令用于对所述预训练的大模型进行指令调整;
基于所述第一训练数据集和所述第一提示指令对所述预训练的大模型进行指令微调,得到第二大模型;
基于所述第二训练数据集和所述第二提示指令对所述第二大模型进行指令微调,得到所述第一大模型。
3.根据权利要求2所述的方法,其特征在于,所述基于所述第一训练数据集和第一提示指令对所述预训练的大模型进行指令微调,得到第二大模型,包括:
将所述第一训练数据集和所述第一提示指令输入到所述预训练的大模型中进行指令微调,输出第一预测值和识别依据,所述第一预测值为预测所述互动人物在所述目标场次的剧本文本中的互动占比,所述识别依据为判断所述互动人物在所述目标场次的剧本文本中是否互动的理由;
根据所述第一预测值确定第一损失值;
根据所述第一损失值对所述预训练的大模型进行更新,得到所述第二大模型。
4.根据权利要求3所述的方法,其特征在于,所述根据所述第一预测值确定第一损失值,包括:
根据所述第一训练数据集确定第一目标值,所述第一目标值为计算得到的所述互动人物在所述目标场次的剧本文本中的互动占比;
利用损失函数对所述第一预测值和所述第一目标值进行损失计算,得到所述第一损失值。
5.根据权利要求3所述的方法,其特征在于,所述基于所述第二训练数据集和所述第二提示指令对所述第二大模型进行指令微调,得到所述第一大模型,包括:
将所述第二训练数据集和所述第二提示指令输入到所述第二大模型中,输出第二预测值和所述第一剧本文本包含的全部人物中发生互动的人物,所述第二预测值为预测所述第一剧本文本包含的全部人物在所述目标场次的剧本文本中的互动占比;
根据所述第二预测值确定第二损失值;
根据所述第二损失值对所述第二大模型进行指令微调,得到所述第一大模型。
6.根据权利要求5所述的方法,其特征在于,所述根据所述第二预测值确定第二损失值,包括:
根据所述第二训练数据集确定第二目标值,所述第二目标值为计算得到的所述全部人物在所述目标场次的剧本文本中的互动占比;
利用损失函数对所述第二预测值和所述第二目标值进行损失计算,得到所述第二损失值。
7.根据权利要求1所述的方法,其特征在于,所述获取第一训练数据集、第二训练数据集和预训练的大模型,包括:
基于第三大模型和所述第一剧本文本生成所述第一训练数据集;
根据所述第一训练数据集和所述第三大模型生成第三训练数据集;
对所述第三训练数据集进行标注,得到标注结果;
将所述第三训练数据集输入到获取到的所述预训练的大模型中,输出预测结果;
在所述标注结果与所述预测结果的相似度满足预设阈值的情况下,将所述第三训练数据集确定为所述第二训练数据集。
8.一种互动文本的识别装置,其特征在于,所述装置包括:
获取模块,用于获取第一训练数据集、第二训练数据集和预训练的大模型,所述第一训练数据集包括文本样本和互动人物,所述文本样本为第一剧本文本中目标场次的剧本文本,所述互动人物为所述第一剧本文本包含的人物中在所述目标场次进行互动的至少两个人物,所述第二训练数据集包括所述文本样本;
调整模块,用于基于所述第一训练数据集和所述第二训练数据集依次对所述预训练的大模型进行指令微调,得到第一大模型;
输出模块,用于将第二剧本文本输入到所述第一大模型中,输出识别结果,所述识别结果用于指示所述第二剧本文本中全部互动人物在所述第二剧本文本中的互动占比。
9.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至7中任一项所述的互动文本的识别方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述可读存储介质上存储有程序或指令,所述程序或指令被处理器执行时实现如权利要求1至7中任一项所述的互动文本的识别方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311726901.4A CN117709338A (zh) | 2023-12-15 | 2023-12-15 | 互动文本的识别方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311726901.4A CN117709338A (zh) | 2023-12-15 | 2023-12-15 | 互动文本的识别方法、装置、电子设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117709338A true CN117709338A (zh) | 2024-03-15 |
Family
ID=90147498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311726901.4A Pending CN117709338A (zh) | 2023-12-15 | 2023-12-15 | 互动文本的识别方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117709338A (zh) |
-
2023
- 2023-12-15 CN CN202311726901.4A patent/CN117709338A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109086329B (zh) | 基于话题关键词引导的进行多轮对话方法及装置 | |
CN111222317B (zh) | 序列标注方法、系统和计算机设备 | |
CN111738016B (zh) | 多意图识别方法及相关设备 | |
KR101719278B1 (ko) | 비주얼 콘텐츠기반 영상 인식을 위한 딥러닝 프레임워크 및 영상 인식 방법 | |
CN112966712A (zh) | 语言模型训练方法、装置、电子设备和计算机可读介质 | |
CN108710704B (zh) | 对话状态的确定方法、装置、电子设备及存储介质 | |
US11327874B1 (en) | System, method, and computer program for orchestrating automatic software testing | |
CN110704597B (zh) | 对话系统可靠性校验方法、模型生成方法及装置 | |
CN112632961A (zh) | 基于上下文推理的自然语言理解处理方法、装置以及设备 | |
CN116737908A (zh) | 知识问答方法、装置、设备和存储介质 | |
CN115238045B (zh) | 一种生成式事件论元抽取方法、系统及存储介质 | |
CN112579760B (zh) | 人机对话方法、装置、计算机设备及可读存储介质 | |
CN117521675A (zh) | 基于大语言模型的信息处理方法、装置、设备及存储介质 | |
CN114637843A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN115630146A (zh) | 基于人机交互的需求文档自动生成方法、装置和存储介质 | |
CN116306603A (zh) | 标题生成模型的训练方法和标题生成方法、装置和介质 | |
CN115132209A (zh) | 语音识别方法、装置、设备和介质 | |
US20220270637A1 (en) | Utterance section detection device, utterance section detection method, and program | |
CN112784024B (zh) | 一种人机对话的方法、装置、设备以及存储介质 | |
CN117709339A (zh) | 一种基于直播间用户行为网络的语言模型增强方法及系统 | |
CN113239698A (zh) | 基于rpa及ai的信息提取方法、装置、设备及介质 | |
CN115905490B (zh) | 人机交互对话方法、装置以及设备 | |
CN111354344A (zh) | 语音识别模型的训练方法、装置、电子设备及存储介质 | |
CN117709338A (zh) | 互动文本的识别方法、装置、电子设备及可读存储介质 | |
CN114897183A (zh) | 问题数据处理方法、深度学习模型的训练方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |