CN117217204A - 解说语改写评估方法、相关装置和介质 - Google Patents

解说语改写评估方法、相关装置和介质 Download PDF

Info

Publication number
CN117217204A
CN117217204A CN202310627610.3A CN202310627610A CN117217204A CN 117217204 A CN117217204 A CN 117217204A CN 202310627610 A CN202310627610 A CN 202310627610A CN 117217204 A CN117217204 A CN 117217204A
Authority
CN
China
Prior art keywords
comment
quality evaluation
index
target
guide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310627610.3A
Other languages
English (en)
Inventor
代勇
杜楠
陈梓阳
周聪
程鹏宇
陈万顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202310627610.3A priority Critical patent/CN117217204A/zh
Publication of CN117217204A publication Critical patent/CN117217204A/zh
Pending legal-status Critical Current

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Machine Translation (AREA)

Abstract

本公开涉及一种解说语改写评估方法、相关装置和介质。该解说语改写评估方法包括:获取第一解说语和第二解说语;从第一解说语和第二解说语中分别获取第一目标解说句和第二目标解说句;为第一目标解说句和第二目标解说句增加第一引导语,以生成第一引导文本,并为第二解说语增加第二引导语,以生成第二引导文本;将第一引导文本和第二引导文本分别输入大规模预训练语言模型,得到第一局部质量评价指标、和第一总体质量评价指标;基于第一局部质量评价指标和第一总体质量评价指标,确定第一评估结果。本公开实施例用于人工智能和大数据领域。它利用了大规模预训练语言模型自动进行评估,无需人工干预,提高了评估效率和自动化程度。

Description

解说语改写评估方法、相关装置和介质
技术领域
本公开涉及人工智能领域,特别是涉及一种解说语改写评估方法、相关装置和介质。
背景技术
目前,游戏、文体活动的视音频资料等含有解说语。好的解说语有利于增强互动性,提高信息传递量。为了获得更好的解说语,目前出现了利用机器学习模型改写的技术。机器学习模型改写的质量有好有坏,需要进行评估。
目前对解说语改写的评估主要采用人工评估方式和模型自动评估方式。人工评估比较准确、客观,但需要大量人工和时间成本。模型自动评估比较高效和自动化,但评估结果不够准确。
发明内容
本公开提供了一种解说语改写评估方法、相关装置和介质,它能够提高解说语改写评估的效率和自动化程度,同时提高评估准确性。
根据本公开的一方面,提供了一种解说语改写评估方法,包括:
获取第一解说语和第二解说语,所述第二解说语由所述第一解说语改写而成;
从所述第一解说语中获取第一目标解说句,从所述第二解说语中获取与所述第一目标解说句对应的第二目标解说句;
为所述第一目标解说句和所述第二目标解说句增加第一引导语,以生成第一引导文本,并为所述第二解说语增加第二引导语,以生成第二引导文本;
将所述第一引导文本输入大规模预训练语言模型,得到第一局部质量评价指标,并将所述第二引导文本输入所述大规模预训练语言模型,得到第一总体质量评价指标,其中,所述第一局部质量评价指标指示所述第一目标解说句改写成所述第二目标解说句的改写质量,所述第一总体质量评价指标指示所述第二解说语的各解说句之间的连续性;
基于各个所述第一目标解说句的所述第一局部质量评价指标和所述第一总体质量评价指标,确定所述解说语改写的第一评估结果。
根据本公开的一方面,提供了一种解说语改写评估装置,包括:
第一获取单元,用于获取第一解说语和第二解说语,所述第二解说语由所述第一解说语改写而成;
第二获取单元,用于从所述第一解说语中获取第一目标解说句,从所述第二解说语中获取与所述第一目标解说句对应的第二目标解说句;
第一生成单元,用于为所述第一目标解说句和所述第二目标解说句增加第一引导语,以生成第一引导文本,并为所述第二解说语增加第二引导语,以生成第二引导文本;
第一输入单元,用于将所述第一引导文本输入大规模预训练语言模型,得到第一局部质量评价指标,并将所述第二引导文本输入所述大规模预训练语言模型,得到第一总体质量评价指标,其中,所述第一局部质量评价指标指示所述第一目标解说句改写成所述第二目标解说句的改写质量,所述第一总体质量评价指标指示所述第二解说语的各解说句之间的连续性;
第一确定单元,用于基于各个所述第一目标解说句的所述第一局部质量评价指标和所述第一总体质量评价指标,确定所述解说语改写的第一评估结果。
可选的,所述第一局部质量评价指标为多个所述第一局部质量评价指标,所述第一总体质量评价指标为多个所述第一总体质量评价指标;
所述第一生成单元具体用于:
为所述第一目标解说句和所述第二目标解说句增加每个所述第一局部质量评价指标对应的所述第一引导语,以生成每个所述第一局部质量评价指标对应的所述第一引导文本,并为所述第二解说语增加每个所述第一总体质量评价指标对应的所述第二引导语,以生成每个所述第一总体质量评价指标对应的第二引导文本;
所述第一输入单元具体用于:
将每个所述第一局部质量评价指标对应的所述第一引导文本输入所述大规模预训练语言模型,得到每个所述第一局部质量评价指标,并将每个所述第一总体质量评价指标对应的所述第二引导文本输入所述大规模预训练语言模型,得到每个所述第一总体质量评价指标。
可选的,所述第一评估结果为评估分数;
所述第一确定单元具体用于:
基于每个所述第一目标解说句对应的所述第一局部质量评价指标,确定每个所述第一目标解说句对应的第一分数;
基于每个所述第一目标解说句对应的第一分数,确定多个所述第一目标解说句的第一总体分数;
基于所述第一总体质量评价指标,确定所述第二分数;
基于所述第一总体分数和所述第二分数,确定所述评估分数。
可选的,所述第一确定单元具体用于:
针对每个所述第一目标解说句,基于与所述第一目标解说句对应的多个所述第一局部质量评价指标,确定多个第一子分数;
基于多个所述第一子分数,确定所述第一目标解说句对应的第一分数;
基于多个所述第一总体质量评价指标,确定多个第二子分数;基于多个所述第二子分数,确定所述第二分数。
可选的,所述第一评估结果包括评估通过和评估不通过;
所述第一确定单元具体用于:
基于每个所述第一目标解说句对应的所述第一局部质量评价指标,确定每个所述第一目标解说句对应的第一分数;
基于每个所述第一目标解说句对应的第一分数,确定多个所述第一目标解说句的第一总体分数;
基于所述第一总体质量评价指标,确定所述第二分数;
如果所述第一总体分数达到第一阈值,且所述第二分数达到第二阈值,确定评估通过,否则,确定评估不通过。
可选的,多个所述第一局部质量评价指标包括事实一致性指标、多样性指标、个性指标、和信息量指标;
所述第一生成单元具体用于:
将所述第一目标解说句和所述第二目标解说句作为解说句对,为所述解说句对增加所述事实一致性指标、所述多样性指标、所述个性指标、和所述信息量指标各自对应的所述第一引导语,以生成所述事实一致性指标、所述多样性指标、所述个性指标、和所述信息量指标各自对应的所述第一引导文本;
所述第一输入单元具体用于:
将所述事实一致性指标、所述多样性指标、所述个性指标、和所述信息量指标各自对应的所述第一引导文本输入所述大规模预训练语言模型,得到所述事实一致性指标、所述多样性指标、所述个性指标、和所述信息量指标。
可选的,多个所述第一总体质量评价指标包括风格连续性指标和语义连续性指标;
所述第一生成单元具体用于:
为所述第二解说语增加所述风格连续性指标和所述语义连续性指标各自对应的所述第二引导语,以生成所述风格连续性指标和所述语义连续性指标各自对应的所述第二引导文本;
所述第一输入单元具体用于:
将所述风格连续性指标和所述语义连续性指标各自对应的所述第二引导文本输入所述大规模预训练语言模型,得到所述风格连续性指标和所述语义连续性指标。
可选的,所述第二获取单元具体用于:
确定所述第一解说语中每个第一解说句与所述第二解说语中相应的第二解说句之间的差异度分数,所述差异度分数为所述第二解说句中包含但所述第一解说句不包含的字的数目与所述第一解说句字数的比值;
基于所述差异度分数,在所述第一解说句中选择所述第一目标解说句;
从所述第二解说语中获取与所述第一目标解说句对应的第二解说句,作为所述第二目标解说句。
可选的,所述第一输入单元具体用于:
如果将所述第一引导文本输入所述大规模预训练语言模型,未得到所述第一局部质量评价指标,获取所述第一局部质量评价指标的第一参考样例,所述第一参考样例包括第一解说句样本、和所述第一解说句样本对应的局部质量评价;
将所述第一引导文本和所述第一参考样例共同输入所述大规模预训练语言模型,得到所述第一局部质量评价指标;
如果将所述第二引导文本输入所述大规模预训练语言模型,未得到所述第一总体质量评价指标,获取所述第一总体质量评价指标的第二参考样例,所述第二参考样例包括第二解说句样本、和所述第二解说句样本对应的总体质量评价;
将所述第二引导文本和所述第二参考样例共同输入所述大规模预训练语言模型,得到所述第一总体质量评价指标。
可选的,所述第一参考样例是从第一参考样例库中选出的第一数目个所述第一参考样例,所述第二参考样例是从第二参考样例库中选出的第二数目个所述第二参考样例;
所述第一输入单元具体用于:
通过以下方式确定所述第一数目:将所述第一引导文本输入语义复杂度评估模型,得到第一语义复杂度分数;基于所述第一语义复杂度分数,确定所述第一数目;
通过以下方式确定所述第二数目:将所述第二引导文本输入所述语义复杂度评估模型,得到第二语义复杂度分数;基于所述第二语义复杂度分数,确定所述第二数目。
可选的,所述第二解说语由强化学习模型基于所述第一解说语改写而成;
在基于所述第一局部质量评价指标和所述第一总体质量评价指标,确定所述解说语改写的第一评估结果之后,所述解说语改写评估装置还包括:
强化训练单元,用于将所述第一解说语、所述第二解说语、和所述第一评估结果反馈回所述强化学习模型用于强化训练。
可选的,所述第二解说语包括在多个时间点训练出的多个改写模型对所述第一解说语改写成的多个所述第二解说语;
所述第二获取单元具体用于:
从每个所述改写模型对应的所述第二解说语中,获取与所述改写模型对应的所述第二目标解说句;
所述第一生成单元具体用于:
为所述第一目标解说句、和与所述改写模型对应的所述第二目标解说句增加所述第一引导语,以生成与所述改写模型对应的第一引导文本,并为所述改写模型对应的所述第二解说语增加所述第二引导语,以生成与所述改写模型对应的第二引导文本;
所述第一输入单元具体用于:
将与所述改写模型对应的所述第一引导文本输入所述大规模预训练语言模型,得到与所述改写模型对应的第一局部质量评价指标,并将与所述改写模型对应的所述第二引导文本输入所述大规模预训练语言模型,得到与所述改写模型对应的第一总体质量评价指标;
所述第一确定单元具体用于:
基于与多个所述改写模型对应的所述第一局部质量评价指标、和与多个所述改写模型对应的所述第一总体质量评价指标,确定与多个所述改写模型对应的所述第一评估结果,并基于所述第一评估结果,在多个所述改写模型中选择目标改写模型。
可选的,所述第二解说语包括同一改写模型对所述第一解说语多次改写成的多个所述第二解说语;
所述第二获取单元具体用于:
从多个所述第二解说语中获取多个与所述第一目标解说句对应的第二目标解说句;
所述第一生成单元具体用于:
为所述第一目标解说句和每个所述第二目标解说句增加所述第一引导语,以生成与每个所述第二目标解说句对应的第一引导文本,并为每个所述第二解说语增加所述第二引导语,以生成与每个所述第二解说语对应的第二引导文本;
所述第一输入单元具体用于:
将每个所述第二目标解说句对应的所述第一引导文本输入所述大规模预训练语言模型,得到与每个所述第二解说语对应的所述第一局部质量评价指标,并将每个所述第二解说语对应的所述第二引导文本输入所述大规模预训练语言模型,得到与每个所述第二解说语对应的第一总体质量评价指标;
所述第一确定单元具体用于:
基于与多个所述第二解说语对应的所述第一局部质量评价指标、和与每个所述第二解说语对应的第一总体质量评价指标,确定与多个所述第二解说语对应的所述第一评估结果,并基于所述第一评估结果,在多个所述第二解说语中选择第二目标解说语。
可选的,所述解说语改写评估装置还包括:
第一样本确定单元,用于将所述第一目标解说句和所述第二目标解说句作为第一样本,所述第一局部质量评价指标作为所述第一样本的第一标签,并将所述第二解说语作为第二样本,所述第一总体质量评价指标作为所述第二样本的第二标签;
第一模型训练单元,用于以多个所述第一样本和多个所述第二样本训练指标评估模型;
第三获取单元,用于获取第三解说语和第四解说语,所述第四解说语由所述第三解说语改写而成;
第四获取单元,用于从所述第三解说语中获取第三目标解说句,从所述第四解说语中获取与所述第三目标解说句对应的第四目标解说句;
第二输入单元,用于将所述第三目标解说句和所述第四目标解说句输入所述指标评估模型,得到第二局部质量评价指标,并将所述第四解说语输入所述指标评估模型,得到第二总体质量评价指标;
第二确定单元,用于基于所述第二局部质量评价指标和所述第二总体质量评价指标,确定第二评估结果。
可选的,所述解说语改写评估装置还包括:
第二样本确定单元,用于针对每个所述第一局部质量评价指标,将所述第一目标解说句和所述第二目标解说句作为第三样本,将所述第一局部质量评价指标作为所述第三样本的第三标签,以多个所述第三样本训练所述第一局部质量评价指标对应的局部指标评估模型;
第二模型训练单元,用于针对每个所述第一总体质量评价指标,将所述第二解说语作为第四样本,将所述第一总体质量评价指标作为所述第四样本的第四标签,以多个所述第四样本训练所述第一总体质量评价指标对应的总体指标评估模型;
第三获取单元,用于获取第三解说语和第四解说语,所述第四解说语由所述第三解说语改写而成;
第四获取单元,用于从所述第三解说语中获取第三目标解说句,从所述第四解说语中获取与所述第三目标解说句对应的第四目标解说句;
第三输入单元,用于将所述第三目标解说句和所述第四目标解说句输入多个所述第一局部质量评价指标对应的局部指标评估模型,得到多个第三局部质量评价指标,并将所述第四解说语输入多个所述第一总体质量评价指标对应的所述总体指标评估模型,得到多个第三总体质量评价指标;
第三确定单元,用于基于多个所述第三局部质量评价指标和多个所述第三总体质量评价指标,确定第三评估结果。
可选的,所述第一生成单元具体用于:
为所述第一目标解说句和所述第二目标解说句多次增加不同的第一引导语,以生成多个所述第一引导文本,并为所述第二解说语多次增加不同的第二引导语,以生成多个所述第二引导文本;
所述第一输入单元具体用于:
将多个所述第一引导文本输入所述大规模预训练语言模型,得到多个第一局部质量评价指标分量,基于多个所述第一局部质量评价指标分量确定所述第一局部质量评价指标,并将多个所述第二引导文本输入所述大规模预训练语言模型,得到多个第一总体质量评价指标分量,基于多个所述第一总体质量评价指标分量确定所述第一总体质量评价指标。
可选的,所述第一输入单元具体用于:
获取多个所述第一引导语的第一权重;
基于所述第一权重,确定多个所述第一局部质量评价指标分量的第一加权和,作为所述第一局部质量评价指标;
所述第一输入单元具体用于:
获取多个所述第二引导语的第二权重;
基于所述第二权重,确定多个所述第一总体质量评价指标分量的第二加权和,作为所述第一总体质量评价指标。
可选的,所述第一引导语选自第一候选引导语集合,所述第二引导语选自第二候选引导语集合;
所述第一生成单元具体用于:
为所述第一目标解说句和所述第二目标解说句分别增加所述第一候选引导语集合中的每个第一候选引导语,以生成多个第一候选引导文本,将多个所述第一候选引导文本输入连贯性评估模型,将所述连贯性评估模型得到的连贯性分数最高的所述第一候选引导文本作为所述第一引导文本;
为所述第二解说语分别增加所述第二候选引导语集合中的每个第二候选引导语,以生成多个第二候选引导文本,将多个所述第二候选引导文本输入所述连贯性评估模型,将所述连贯性评估模型得到的连贯性分数最高的所述第二候选引导文本作为所述第二引导文本。
根据本公开的一方面,提供了一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如上所述的解说语改写评估方法。
根据本公开的一方面,提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的解说语改写评估方法。
根据本公开的一方面,提供了一种计算机程序产品,该计算机程序产品包括计算机程序,所述计算机程序被计算机设备的处理器读取并执行,使得该计算机设备执行如上所述的解说语改写评估方法。
本公开实施例中,将第一解说语改写后的第二解说语加入第二引导语后输入大规模预训练语言模型,得到第一总体质量评价指标,它指示第二解说语的各解说句之间的连续性。将从第一解说语抽出的第一目标解说句、和从第二解说语中抽出的第二目标解说句加入第一引导语后输入大规模预训练语言模型,得到第一局部质量评价指标,它指示所述第一目标解说句改写成所述第二目标解说句的改写质量。然后,基于各个所述第一目标解说句第一局部质量评价指标、和第一总体质量评价指标来评价解说语改写质量。由于利用了大规模预训练语言模型自动进行评估,无需人工干预,提高了评估效率和自动化程度。由于本公开实施例采用局部质量评价指标和总体质量评价指标,综合评估解说语改写质量,评估结果既反映了总体的改写质量,又反映了局部的改写质量,更加全面客观。同时,大规模预训练语言模型具有强大的语言理解和生成能力,这些都提高了解说语改写评估的准确性。
本公开的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本公开而了解。本公开的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本公开技术方案的进一步理解,并且构成说明书的一部分,与本公开的实施例一起用于解释本公开的技术方案,并不构成对本公开技术方案的限制。
图1是本公开的实施例应用于解说语改写评估方法的一种体系架构示意图;
图2A-C是本公开实施例的解说语改写评估方法应用在游戏解说词改写质量评估场景下的示意图;
图3是本公开一个实施例的解说语改写评估方法的流程示意图;
图4示出了图3中步骤320的具体流程图;
图5A-B示出了图4流程图对应的具体示例图;
图6示出了图3中步骤330与步骤340的一个具体流程图;
图7示出了图6流程图对应的具体示例图;
图8A示出了针对第一目标解说句到第二目标解说句的改写作出局部质量评估的一个具体实例图;
图8B示出了针对改写后的第二解说语作出总体质量评估的具体示例图;
图9示出了图3中步骤340的一个具体流程图;
图10A-F示出了图9流程图对应的具体示例图;
图11示出了确定第一数目与第二数目的具体示例图;
图12示出了图3中步骤350的一个具体流程图;
图13示出了根据第一总体分数与第二分数确定评估分数的具体示例图;
图14示出了图3中步骤350的另一个具体流程图;
图15示出了图14流程图对应的具体示例图;
图16示出了本公开另一个实施例的解说语改写评估方法的流程示意图;
图17A-E示出了本公开根据第一局部质量评价指标选择改写模型的具体示例图;
图18A-E示出了本公开根据第一局部质量评价指标选择第二目标解说句的具体示例图;
图19示出了本公开另一个实施例的解说语改写评估方法的流程示意图;
图20示出了本公开另一个实施例的解说语改写评估方法的流程示意图;
图21示出了本公开确定第一局部质量评价指标与第一总体质量评价指标的一个具体示例图;
图22示出了本公开确定第一局部质量评价指标与第一总体质量评价指标的一个具体流程图;
图23示出了本公开确定第一引导文本与第二引导文本的一个具体流程图;
图24是根据本公开一个实施例的解说语改写评估装置的模块图;
图25是根据本公开的实施例实施图3所示的解说语改写评估方法的终端结构图;
图26是根据本公开的实施例实施图3所示的解说语改写评估方法的服务器结构图。
具体实施方式
为了使本公开的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本公开进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本公开,并不用于限定本公开。
对本公开实施例进行进一步详细说明之前,对本公开实施例中涉及的名词和术语进行说明,本公开实施例中涉及的名词和术语适用于如下的解释:
人工智能:是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得目标结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
自然语言处理(Nature Language processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
解说改写任务:解说语改写任务是指通过自然语言处理技术将原始解说的文本输入,生成新的解说语的任务。其中,解说语可以是针对游戏的解说语,也可以是针对体育赛事的解说语,还可以是针对文艺表演等其他视听资料类型的解说语。需要指出,解说改写的特点可以包括以下三个方面:
其一,智能化生成。使用自然语言处理技术,可以智能地生成更丰富、更生动的解说语,这部分解说语也具备较强的互动性和趣味性;
其二,个性化定制。可以根据类型、玩家喜好等因素,生成针对性更强的解说语,提高的个性化体验;
其三,快速迭代。相对于人工改写,该任务可以更快速地生成大量解说语,提高工作效率和迭代速度。
文本改写评估:文本改写评估是指对改写后的文本进行质量评估的任务,将改写后符合质量要求的文本予以保留。需要指出,利用自然语言处理技术生成或者改写的解说语在内容上较为丰富,而且是快速生成的,因此需要通过文本改写评估环节,来确定哪些文本符合质量要求。其中,针对解说语进行评估的重点,可以包括但不限于:文本流畅度、文本准确性、文本语气、文本可读性等。需要强调,文本改写评估的目的是将改写后符合质量要求的文本予以保留,从而能够实现有效地传达信息,达到预期的效果。
大规模预训练语言模型:大规模预训练语言模型是指在大规模文本语料库上进行预训练的语言模型。这些模型通常采用自监督学习方法,在大量未标记的文本数据上进行训练,以学习文本中的语言结构和语义信息。这些模型具有强大的表征能力,可以应用于各种自然语言处理任务,如文本分类、序列标注、机器翻译等。同时,大规模预训练语言模型还可以通过微调等技术来适应特定任务的需求,从而实现更好的性能。
目前,游戏、文体活动的视音频资料等含有解说语。好的解说语有利于增强互动性,提高信息传递量。
传统方式下,解说语通常是由解说员的口述转换而来。这种方式对于解说员的要求较高,不仅要求解说员对活动类型具有较深的了解,还需要他们口才较好、解说内容较为丰富。因此,一般而言,人工解说的成本比较昂贵。
近年来,出现了自动生成解说语的技术。其中解说语自动生成的过程可以是:预先设置人工撰写的话术文本集,然后通过规则和数据驱动去触发话术文本集中预设的各类话术文本,各类话术文本进行整合之后即可形成对当前事件的解说语。然而,这种解说语的形式固定、内容僵化,以至于如此生成的解说语较为枯燥。
对此,为了获得更好的解说语,又出现了利用机器学习模型对解说语进行改写的技术。需要指出,利用自然语言处理技术改写而成的解说语在质量上有好有坏,需要对其解说语的质量进行评估,以便于将符合质量要求的解说文本予以保留。
目前对解说语改写的评估主要采用人工评估方式和模型自动评估方式。人工评估比较准确、客观,但需要大量人工和时间成本。模型自动评估比较高效和自动化,但评估结果不够准确。
为解决上述提及的问题,本公开提供了一种解说语改写评估方法、相关装置和介质,它能够提高解说语改写评估的效率和自动化程度,同时提高评估准确性。
本公开实施例应用的系统体系构架及场景说明
参见图1所示出的解说语改写系统,
图1是根据本公开的实施例的解说语改写评估方法所应用的其中一类系统构架图。它包括终端140、互联网130、网关120、解说语服务器110等。
终端140是承载解说语所指向的游戏、直播、录像等视听资料的设备。它包括桌面电脑、膝上型电脑、PDA(个人数字助理)、手机、车载终端、专用终端等多种形式。另外,它可以是单台设备,也可以是多台设备组合的集合。例如,多台桌面电脑通过局域网相互连接,共用一台显示器等进行协同工作,共同构成一个终端140。终端140可以以有线或无线的方式与互联网130进行通信,交换数据。
解说语服务器110是指能对终端140提供解说语生成服务、解说语改写服务和解说语改写评估服务的计算机系统。相对于普通终端140来说,解说语服务器110在稳定性、安全性、性能等方面都要求更高。解说语服务器110可以是网络平台中的一台高性能计算机、多台高性能计算机的集群、一台高性能计算机中划出的一部分(例如虚拟机)、多台高性能计算机中划出的一部分(例如虚拟机)的组合等。一些实施例中,解说语服务器110包括解说语生成模块、解说语改写模块和解说语改写评估组件。需要指出,解说语生成模块用于根据终端140中承载的游戏、直播、录像等视听资料来生成一段解说语;解说语改写模块用于对解说语生成模块所生成的解说语进行改写;而解说语改写评估组件,则用于对解说语改写模块改写后的解说语进行质量评估,以便于将符合质量要求的解说文本予以保留。应理解,解说语生成模块、解说语改写模块和解说语改写评估组件可以集成在同一解说语服务器110中,也可以分别部署在不同的服务器中,不限于上述举出的具体实施例。
网关120又称网间连接器、协议转换器。网关在传输层上实现网络互连,是一种充当转换作用的计算机系统或设备。在使用不同的通信协议、数据格式或语言,甚至体系结构完全不同的两种系统之间,网关是一个翻译器。同时,网关也可以提供过滤和安全功能。终端140向解说语服务器110发送的消息要通过网关120发送到相应的解说语服务器110。解说语服务器110向终端140发送的消息也要通过网关120发送到相应的终端140。
本公开实施例可以应用在多种场景下,可以是针对游戏解说语的改写评估,也可以是针对体育赛事解说语的改写评估,还可以是针对文艺表演解说语的改写评估。应理解,本公开解说语改写评估的对象,不限于上述举出实施例的视听资料的解说语。
下面参照图2A-C,针对游戏解说语的改写评估的应用场景作出说明。
如图2A所示,终端在游戏解说平台主页中生成了针对目标游戏的第一解说语“A与B正在战斗,B将剑刺向A”。需要指出,第一解说语虽然描述出了游戏中人物A与人物B的实况,但是其用语比较枯燥,趣味性较低。因此,需要对第一解说语进行改写,生成第二解说语。
如图2B所示,终端在游戏解说平台主页中生成了针对目标游戏的第二解说语“A与B相战正酣,B向A刺出凌厉的一剑”。需要指出,第二解说语既描述出了游戏中人物A与人物B的实况,又使用了更为丰富的词汇,其中“相战正酣”对“正在战斗”作出了词汇替换,“凌厉的”则是在第一解说语的基础上增添的词汇。需要说明的是,若依靠人工来评估这两句解说语,可以准确、客观的确定:“相战正酣”与“凌厉”这两处改写为第二解说语带来了良好的趣味性。然而,依靠人工对大量解说语进行评估,需要的时间较高、效率较低。因此,需要依靠本公开实施例中的解说语改写评估方法,来基于第一解说语与第二解说语作出解说语改写评估,得到相应的改写评估结果。
如图2C所示,终端在游戏解说平台主页中生成了改写评估结果。其中,这一改写评估结果是基于第一解说语“A与B正在战斗,B将剑刺向A”与第二解说语“A与B相战正酣,B向A刺出凌厉的一剑”作出解说语改写评估而得到的。需要指出,图2C中改写评估结果具体为“此次针对解说语的改写在保留原句语义的情况下,丰富了表述措辞,是一次优秀的改写!”从以上改写评估结果中,可以明确第一解说语到第二解说语的改写,是一次评价为“优秀”的改写,因此符合质量要求。另一些实施例中,“良好”是次于“优秀”的改写评价、“合格”是次于“良好”的改写评价;若第一解说语到第二解说语的改写,得到“不合格”、“较差”、“极差”的评价,则可以认为此次改写不符合质量要求。
需要指出,以上实施例是从“优秀”、“良好”、“合格”、“不合格”、“较差”、“极差”六个评价类别对此次解说语改写作出评估,以判断此次改写是否符合质量要求。另一些实施例中,还可以通过给此次解说语改写进行打分,或者通过其他方式来判断此次改写是否符合质量要求,不限于以上举例。
本公开实施例的总体说明
根据本公开的一些实施例,提供了一种解说语改写评估方法。
需要强调,本公开实施例的解说语改写评估方法可以应用于针对游戏解说语进行改写评估,例如图2A-C示出的应用场景。本公开实施例的解说语改写评估方法也可以应用于针对体育赛事解说语进行改写评估、针对文艺表演解说语或者针对其他类型解说语进行改写评估。
本公开实施例的解说语改写评估方法能够提高解说语改写评估的效率和自动化程度,同时提高评估准确性。该解说语改写评估方法的各个步骤可以由解说语服务器予以执行。
如图3所示,本公开一个实施例的解说语改写评估方法300可以包括:
步骤310,获取第一解说语和第二解说语,第二解说语由第一解说语改写而成;
步骤320,从第一解说语中获取第一目标解说句,从第二解说语中获取与第一目标解说句对应的第二目标解说句;
步骤330,为第一目标解说句和第二目标解说句增加第一引导语,以生成第一引导文本,并为第二解说语增加第二引导语,以生成第二引导文本;
步骤340,将第一引导文本输入大规模预训练语言模型,得到第一局部质量评价指标,并将第二引导文本输入大规模预训练语言模型,得到第一总体质量评价指标;
步骤350,基于各个所述第一目标解说句的第一局部质量评价指标和第一总体质量评价指标,确定解说语改写的第一评估结果。
下面对步骤310至步骤350进行详细描述。
在步骤310中,获取第一解说语和第二解说语,第二解说语由第一解说语改写而成。需要说明的是,第一解说语可以是尚未经过改写的解说文本、第二解说语可以是由第一解说语改写而成的解说文本。需要指出,改写前的第一解说语既可以是人工生成的,也可以是机器生成的。而本公开实施例旨在基于改写前后的解说文本,来评估此次解说语改写的质量。因此,执行解说语改写操作的主体既可以是人工也可以是机器。
需要指出,由于利用机器改写而成的解说语在内容上较为丰富,而且是快速生成的。因此该类型的解说语改写,需要适用评估效率较快的解说语改写评估方法来进行质量评估。否则,在获取机器生成的大量解说语时,难以对其改写质量作出要求。故而,本公开实施例步骤310至步骤350示出的解说语改写评估方法,因其能够提高解说语改写评估的效率和自动化程度,同时提高评估准确性,适用于针对机器改写生成的解说语进行评估。
在步骤320中,从第一解说语中获取第一目标解说句,从第二解说语中获取与第一目标解说句对应的第二目标解说句。需要说明的是,第一解说语可以包括多个第一解说句,而第一目标解说句则是多个第一解说句中被选中用于进行局部质量评估的目标解说句。需要明确,由于第二解说语由第一解说语改写而成,因此第二解说语的第二解说句是由第一解说句改写而来,第一解说句的数目与第二解说句的数目是一一对应的。其中,第二目标解说句则是与第一目标解说句对应的、用于进行局部质量评估的目标解说句。需要指出,本公开实施例从第一解说语中获取第一目标解说句,从第二解说语中获取与第一目标解说句对应的第二目标解说句,其目的在于,为后续步骤中进行局部质量评估提供评估所需的基础材料,也就是第一目标解说句与第二目标解说句。
需要说明的是,本公开解说语改写评估方法用于对第一解说语到第二解说语的改写作出评估。其中,针对第一解说语到第二解说语的改写作出评估,具体可以包括局部质量评估与总体质量评估。所谓局部质量评估,指的是针对改写前的第一解说句、与改写后的第二解说句之间的差异进行评估,因其对应评估每一对改写前后的解说句在文本上的差异,被称为局部质量评估。而所谓总体质量评估,指的是针对改写后的第二解说语在前后文之间的行文连续性进行评估,因其对应改写后的第二解说语在整体行文上的连续性,被称为总体质量评估。
在步骤330中,为第一目标解说句和第二目标解说句增加第一引导语,以生成第一引导文本,并为第二解说语增加第二引导语,以生成第二引导文本。需要说明的是,引导语(Prompt),顾名思义是起到引导作用的文本信息。应理解,在将大规模预训练语言模型应用于评估解说语改写质量的过程中,为了得到与解说语评估需求对应的评估结果,需要预先拟定一个引导文本用于向大规模预训练语言模型传达解说语评估需求。若向大规模预训练语言模型传达预设需求的过程中,随意拟定引导文本,那么如此得到的引导文本难以符合大规模预训练语言模型的表述范式。因此,本公开一些实施例中需要在解说句的基础上增加符合大规模预训练语言模型表述范式的引导语,从而生成引导文本,如此一来,方可在将大规模预训练语言模型应用于评估解说语改写质量的过程中,表现出较好的评估效果。需要明确,第一引导语是用于对解说句进行局部质量评估的引导语,其中第一引导语符合大规模预训练语言模型在局部质量评估这一功能上的表述范式;第二引导语是用于对解说语进行总体质量评估的引导语,其中第二引导语符合大规模预训练语言模型在总体质量评估这一功能上的表述范式。
本公开一些较为具体的实施例中,需要将大规模预训练语言模型应用于评估解说语改写质量的过程。以下举出一些第一解说语与第二解说语的示例:
改写前的第一解说语为“A与B正在战斗。B将剑刺向A,A走位躲开了。B挥剑向A攻击,A挡住了B的攻击”;其中,第一目标解说句为“B将剑刺向A,A走位躲开了”。
改写后的第二解说语为“A与B相战正酣。B向A刺出凌厉的一剑,A通过灵巧的走位闪避开来。B顺势反手握剑挥向A所处的方位,这一次A选择正面招架B发起的攻击”;其中,第二目标解说句为“B向A刺出凌厉的一剑,A通过灵巧的走位闪避开来”。
若随意拟定的引导文本为:“改写前[A与B正在战斗。B将剑刺向A,A走位躲开了。B挥剑向A攻击,A挡住了B的攻击],改写后[A与B相战正酣。B向A刺出凌厉的一剑,A通过灵巧的走位闪避开来。B顺势反手握剑挥向A所处的方位,这一次A选择正面招架B发起的攻击],改写质量怎么样?”
可以明确,这种随意拟定的引导文本,并未确切表达解说语评估需求,不符合大规模预训练语言模型的表述范式。因此,大规模预训练语言模型所反馈的评估结果也会相应的缺乏参考价值、评估失准。
第一引导语可以表示为:“以下是游戏解说语改写任务中,改写前和改写后的语句,[改写前语句],[改写后语句],请判断改写后的语句是否与改写前的语句事实相悖,或者出现了改写前语句没有出现过的事实。”
需要指出,为第一目标解说句和第二目标解说句增加第一引导语,以生成第一引导文本。其中,第一引导文本可以表示为:“以下是游戏解说语改写任务中,改写前和改写后的语句,[A与B正在战斗。B将剑刺向A,A走位躲开了。B挥剑向A攻击,A挡住了B的攻击],[B向A刺出凌厉的一剑,A通过灵巧的走位闪避开来],请判断改写后的语句是否与改写前的语句事实相悖,或者出现了改写前语句没有出现过的事实。”
可以明确,为第一目标解说句和第二目标解说句增加第一引导语,以生成第一引导文本,确切表达了局部质量评估在事实一致性层面的解说语评估需求,符合大规模预训练语言模型的表述范式。因此,有助于使得大规模预训练语言模型反馈出更为准确的评估结果。
同理,第二引导语可以表示为:“下面一段文本为游戏解说语,如果其中的语句具有较多的风格则为风格不一致,如果大部分的语句都是同样的风格,则为风格一致,请问下面的解说语风格是否一致,[游戏所有解说语/部分解说语]”
需要指出,为第二解说语增加第二引导语,以生成第二引导文本。其中,第二引导文本可以表示为:“下面一段文本为游戏解说语,如果其中的语句具有较多的风格则为风格不一致,如果大部分的语句都是同样的风格,则为风格一致,请问下面的解说语风格是否一致,[A与B相战正酣。B向A刺出凌厉的一剑,A通过灵巧的走位闪避开来。B顺势反手握剑挥向A所处的方位,这一次A选择正面招架B发起的攻击]。”
可以明确,为第二解说语增加第二引导语,以生成第二引导文本,确切表达了总体质量评估在风格连续性层面的解说语评估需求,符合大规模预训练语言模型的表述范式。因此,有助于使得大规模预训练语言模型反馈出更为准确的评估结果。
应理解,局部质量评估与总体质量评估涉及的评估层面多种多样,不限于上述举出的具体实施例。
在步骤340中,将第一引导文本输入大规模预训练语言模型,得到第一局部质量评价指标,它指示第一目标解说句改写成第二目标解说句的改写质量;并将第二引导文本输入大规模预训练语言模型,得到第一总体质量评价指标,它指示第二解说语的各解说句之间的连续性。需要说明的是,将第一引导文本输入大规模预训练语言模型,并将第二引导文本输入大规模预训练语言模型,旨在利用大规模预训练语言模型强大的语言表征能力,执行解说语改写质量评估。
一些较为具体的实施例中,本公开实施例中用到的大规模预训练语言模型,可以包括,但不限于BERT,GPT-2,GPT3,ChatGPT,GPT4等模型。
需要强调,局部质量评估指的是针对改写前的第一解说句、与改写后的第二解说句之间的差异进行评估,因其对应评估每一对改写前后的解说句在文本上的差异,被称为局部质量评估。而第一局部质量评价指标指的是局部质量评估的评估结果。
一些较为具体的实施例中,第一局部质量评价指标的类型多种多样,可以包括,但不限于以下四类:
事实一致性。需要指出,第二解说语由第一解说语改写得到,改写的目的可以是丰富解说语的措辞、增添趣味性。然而,在丰富解说语的措辞、增添趣味性的同时,第一解说语所传达的事实信息应当被第二解说语保留,以确保两个解说语在语义上不会截然相反,这就是事实一致性作为第一局部质量评价指标的意义所在。需要明确,事实一致性对应的评估结果,其表属形式可以是判断改写后的语句是否与改写前的语句事实相悖、判断改写后的语句是否出现了改写前语句没有出现过的事实或者其他表述形式的评估结果。
多样性。需要指出,语句改写前后的多样性差异,是解说语改写任务比较重要的指标,具体可以是指改写前后的解说语不能在字面上和语法结构上过于相似。若改写前后的解说语在字面上和语法结构上过于相似,则意味着第一解说语到第二解说语的改写并未能进一步丰富解说语的措辞;若改写后的第二解说语相较于改写前的第一解说语在字面上和语法结构上存在较大差异,则意味着第一解说语到第二解说语的改写进一步丰富了对应解说语句的措辞。
个性(也称作趣味性)。需要指出,对于解说语而言,如果相关语句在表述上枯燥无味,听众的体验会比较差,甚至会成为噪音。因此,改写后的解说语需要具有个性,或者说,改写后的解说语需要具有趣味性。一些实施例中,解说语的个性或者趣味性,可以体现在第二解说语和第一解说语的差异措辞上。若这部分差异措辞包括修饰语句与形容词汇,则意味着第一解说语到第二解说语的改写增添了语句的趣味性,若修饰语句与形容词汇在第二解说语中组合形成了搭配使用,则意味着第一解说语到第二解说语的改写增添了语句的个性。
信息量。需要指出,对于解说语而言,如果改写后的语句不具有丰富的语义信息,改写后的文本被解说出来更容易让听众感到疲惫和枯燥。需要强调,第二解说语由第一解说语改写得到,改写的目的可以是丰富解说语的措辞、增添趣味性。其中丰富解说语措辞、增添解说语趣味性的方法,除了可以修改接收语的字面表达和语法结构,还可以在改写前第一解说语的基础上增添一些信息量,或者,保留改写前第一解说语的部分信息量。
以上是对可选的第一局部质量评价指标类型作出的举例说明,第一局部质量评价指标的可选类型不限于上述举出的具体实施例。
需要强调,总体质量评估指的是针对改写后的第二解说语在前后文之间的行文连续性进行评估,因其对应改写后的第二解说语在整体行文上的连续性,被称为总体质量评估。而第一总体质量评价指标是指总体质量评估的评估结果。
一些较为具体的实施例中,第一总体质量评价指标的类型多种多样,可以包括,但不限于以下两类:
风格连续性。风格连续性指的是解说语在上下文中保持一致的语言风格、语气、节奏等,使得整个解说过程流畅自然。如果解说语在上下文的用词、表述方式等方面有明显变化,会影响听众的感受,以至于影响解说质量。例如,一段解说语中前两句话是逻辑清晰、反映实况的解说风格,而后面两句突然转变成煽情、脱离实况的解说风格,容易令听众产生割裂感。应理解,在一段解说语中解说风格始终保持一致或者平滑转变,具备较好的风格连续性;若一段解说语中存在解说风格突变的情况,则具备较差的风格连续性。
语义连续性。语义连续性指的是解说语能够清晰、连贯地从语义上叙述视听资料中发生的事件、角色之间的关系、故事情节等,使得听众能够理解游戏的故事情节,更好地体验游戏。如果解说语在叙述游戏故事时,出现断章取义、不连贯的情况,会提升听众的理解难度,以至于影响解说质量。
以上是对可选的第一总体质量评价指标类型作出的举例说明,第一总体质量评价指标的可选类型不限于上述举出的具体实施例。
在步骤350中,基于第一局部质量评价指标和第一总体质量评价指标,确定解说语改写的第一评估结果。需要说明的是,在获取第一局部质量评价指标和第一总体质量评价指标之后,即可进一步根据这两类指标确定解说语改写的第一评估结果。需要指出,第一局部质量评价指标用于对应评估每一对改写前后的解说句在文本上的差异,而第一总体质量评价指标用于对应评估第二解说语在整体行文上的连续性。因此,确定解说语改写的第一评估结果的方式多种多样。
一些实施例中,第一局部质量评价指标可以表征为反映局部质量评估的局部分数,第一总体质量评价指标可以表征为反映总体质量评估的总体分数。其中由于第一解说语与第二解说语之间,可以存在多组改写前后一一对应的解说句,因此局部分数的数量可以是多个,通过将多个局部分数进行平均计算,即可得到此次改写的平均局部分数。再将平均局部分数与总体分数加和求平均值,即可得到分数类型的第一评估结果。需要指出,当第一局部质量评价指标与第一总体质量评价指标均为分数时,将二者进行整合得到第一评估结果的方式多种多样,不限于上述举例。
另一些实施例中,第一局部质量评价指标可以从改写前后语义是否一致、措辞是否更为丰富等层面来对第一解说语到第二解说语的改写作出文本评价形式的局部质量评估;第一总体质量指标可以从第二解说语前后文的撰写风格是否连续、故事情节是否连贯等层面来对第一解说语到第二解说语的改写作出文本评价形式的总体质量评估。因此,第一评估结果也可以是将诸多层面的评价整合而成的评估结果。例如:“此次针对解说语的改写在保留原句语义的情况下,丰富了表述措辞,并且改写后全文撰写风格均一、故事情节十分连贯”。需要指出,当第一局部质量评价指标与第一总体质量评价指标均为文本评价时,将二者进行整合得到第一评估结果的方式多种多样,不限于上述举例。
需要强调,确定解说语改写的第一评估结果的方式多种多样,不限于上述提及的具体实施例。
本公开实施例中,将第一解说语、和第一解说语改写后的第二解说语加入第二引导语后输入大规模预训练语言模型,得到第一总体质量评价指标。将从第一解说语抽出的第一目标解说句、和从第二解说语中抽出的第二目标解说句加入第一引导语后输入大规模预训练语言模型,得到第一局部质量评价指标;并将第二引导文本输入大规模预训练语言模型,得到第一总体质量评价指标基于第一局部质量评价指标和第一总体质量评价指标来评价解说语改写质量。由于利用了大规模预训练语言模型自动进行评估,无需人工干预,提高了评估效率和自动化程度。由于本公开实施例采用局部质量评价指标和总体质量评价指标,综合评估解说语改写质量,评估结果既反映了总体行文连续性的整体改写质量,又反映了解说句改写差异的局部改写质量,较为全面客观。同时,大规模预训练语言模型具有强大的语言理解和生成能力,这些都提高了解说语改写评估的准确性。
步骤320的详细描述
参照图4,在一些实施例中,步骤320可以包括,但不限于下述步骤410至步骤430。
步骤410,确定第一解说语中每个第一解说句与第二解说语中相应的第二解说句之间的差异度分数,差异度分数为第二解说句中包含但第一解说句不包含的字的数目与第一解说句字数的比值;
步骤420,基于差异度分数,在第一解说句中选择第一目标解说句;
步骤430,从第二解说语中获取与第一目标解说句对应的第二解说句,作为第二目标解说句。
下面对步骤410至步骤430进行展开描述。
需要明确,步骤320需要从第一解说语中获取第一目标解说句,并且从第二解说语中获取与第一目标解说句对应的第二目标解说句。其中,具体可以随机从第一解说语的多个第一解说句中选取第一目标解说句,随机从第二解说语的多个第二解说句中选取第二目标解说句;或者,按第一解说语的行文顺序确定第一目标解说句,按第二解说语的行文顺序确定第二目标解说句。在一些对评估效率要求较高的应用场景下,难以一一去比对第一解说语与第二解说语中对应的每一组语句。因此一些实施例中,需要选取第一解说语与第二解说语中比较具有代表性的语句来进行局部质量评估。然而,随机选取和按行文顺序选取,得到的目标解说句一般不具备代表性。对此,本公开提供了步骤410至步骤430示出的实施例来解决这一问题。
在步骤410中,确定第一解说语中每个第一解说句与第二解说语中相应的第二解说句之间的差异度分数。需要说明的是,差异度分数可以为第二解说句中包含但第一解说句不包含的字的数目与第一解说句字数的比值。应理解,第二解说句中包含但第一解说句不包含的字越多,意味着第二解说句与第一解说句之间的文字差异越大,第二解说句在第一解说句的基础上所作出的改写也就越多,对应的第二解说句也就更具有代表性。因此,可以基于第二解说句中包含但第一解说句不包含的字的数目确定差异度分数。另外,考虑到不同第一解说句在字数上本就存在差异,为了减少不同第一解说句的字数对差异度分数带来的影响,一些较为具体的实施例中,基于第二解说句中包含但第一解说句不包含的字的数目与第一解说句字数的比值,来确定差异度分数。
在步骤420至步骤430中,基于差异度分数,在第一解说句中选择第一目标解说句,再从第二解说语中获取与第一目标解说句对应的第二解说句,作为第二目标解说句。需要指出,第二解说句中包含但第一解说句不包含的字的数目与第一解说句字数的比值越大,差异度分数越大,这也就意味着第二解说句与第一解说句之间的文字差异越大,第二解说句在第一解说句的基础上所作出的改写也就越多,对应的第二解说句也就更具有代表性。因此,基于差异度分数,在第一解说句中选择第一目标解说句,可以是针对每个第一解说句确定其对应的差异度分数,将差异度分数最大的第一解说句确定为第一目标解说句,再进一步,从第二解说语中将第一目标解说句改写而成的第二解说句确定为第二目标解说句。
应理解,差异度分数反映第一解说句到第二解说句的改写差异大小。因此差异度分数的确定方式多种多样,不限于上述举例。
参照图5A-B,示出了一种较为具体的实施例,该实施例用于说明一种可行的差异度分数确认方式。
图5A中,第一解说语包括多个第一解说句、第二解说语包括多个第二解说句。其中,第二解说句[A与B相战正酣]由第一解说句[A与B正在战斗]改写而成;第二解说句[B向A刺出凌厉的一剑]由第一解说句[B将剑刺向A]改写而成;第二解说句[A通过灵巧的走位闪避开来]由第一解说句[A走位躲开了]改写而成;第二解说句[B顺势反手握剑挥向A所处的方位]由第一解说句[B挥剑向A攻击]改写而成;第二解说句[这一次A选择正面招架B发起的攻击]由第一解说句[A挡住了B的攻击]改写而成。
图5B中,需要根据第二解说句中包含但第一解说句不包含的字的数目与第一解说句字数的比值,计算各组一一对应的第一解说句与第二解说句的差异度分数。其中,第二解说句[A与B相战正酣]中包含但第一解说句[A与B正在战斗]不包含的字数为3,第一解说句字数为7,那么差异度分数为3/7约等于0.43;第二解说句[B向A刺出凌厉的一剑]中包含但第一解说句[B将剑刺向A]不包含的字数为5,第一解说句字数为6,那么差异度分数为5/6约等于0.83;同理,计算出第二解说句[A通过灵巧的走位闪避开来]与第一解说句[A走位躲开了]之间的差异度分数为1.33;第二解说句[B顺势反手握剑挥向A所处的方位]与第一解说句[B挥剑向A攻击]之间的差异度分数为1.43;第二解说句[这一次A选择正面招架B发起的攻击]与第一解说句[A挡住了B的攻击]之间的差异度分数为1.38。因此,差异度分数最高为1.43,也就是第二解说句[B顺势反手握剑挥向A所处的方位]与第一解说句[B挥剑向A攻击]之间的差异度分数。故而,将第一解说句[B挥剑向A攻击]选为第一目标解说句,再从第二解说语中获取与第一目标解说句对应的第二解说句[B顺势反手握剑挥向A所处的方位],并将其选作第二目标解说句。
需要强调,确定第一解说语中每个第一解说句与第二解说语中相应的第二解说句之间的差异度分数,再基于差异度分数选出第一目标解说句与第二目标解说句,不限于上述举出的具体实施例。
通过步骤410至步骤430示出的本公开实施例,以第二解说句中包含但第一解说句不包含的字的数目与第一解说句字数的比值,确定差异度分数,在依照差异度分数的高低来选出具有代表性的第一目标解说句与第二目标解说句。其优点在于,针对一些对评估效率要求较高的应用场景,无需一一去比对第一解说语与第二解说语中对应的每一组语句,依靠基于差异度分数选择出来的第一目标解说句与第二目标解说句,即可高效进行此次改写的局部质量评估。
步骤330至步骤340的详细描述
参照图6,在一些实施例中,第一局部质量评价指标为多个第一局部质量评价指标,第一总体质量评价指标为多个第一总体质量评价指标。步骤330可以包括,但不限于下述步骤610:
步骤610,为第一目标解说句和第二目标解说句增加每个第一局部质量评价指标对应的第一引导语,以生成每个第一局部质量评价指标对应的第一引导文本,并为第二解说语增加每个第一总体质量评价指标对应的第二引导语,以生成每个第一总体质量评价指标对应的第二引导文本;
在一些实施例中,步骤340可以包括,但不限于下述步骤620:
步骤620,将每个第一局部质量评价指标对应的第一引导文本输入大规模预训练语言模型,得到每个第一局部质量评价指标,并将每个第一总体质量评价指标对应的第二引导文本输入大规模预训练语言模型,得到每个第一总体质量评价指标。
下面对步骤610至步骤620进行展开描述。
需要强调,第一局部质量评价指标为多个第一局部质量评价指标,第一总体质量评价指标为多个第一总体质量评价指标。其中,每一个第一局部质量评价指标代表一个评价维度的局部质量评估指标,每一个第一总体质量评价代表一个评价维度的总体质量评估指标。应理解,解说语改写的质量若仅从单一的评价维度进行质量评估,较为片面,难以得到客观、合理的第一评估结果,以至于第一评估结果的参考价值较小。为此,本公开提供了步骤610至步骤620示出的实施例,旨在实现针对第一解说语到第二解说语的改写进行多个评价维度的质量评估。
在步骤610中,为第一目标解说句和第二目标解说句增加每个第一局部质量评价指标对应的第一引导语,以生成每个第一局部质量评价指标对应的第一引导文本,并为第二解说语增加每个第一总体质量评价指标对应的第二引导语,以生成每个第一总体质量评价指标对应的第二引导文本。
需要强调,引导语是起到引导作用的文本信息。
根据本公开提供的一些实施例,不同第一局部质量评价指标的评价维度有所差异。因此,在将大规模预训练语言模型应用于局部质量评估的过程中,为了得到与各个评价维度对应的局部评估结果,需要预先基于各组对应的第一目标解说句、第二目标解说句和第一引导语,拟定不同的第一引导文本。用于向大规模预训练语言模型提出不同评价维度的局部评估需求。
根据本公开提供的另一些实施例,不同第一总体质量评价指标的评价维度有所差异。因此在将大规模预训练语言模型应用于总体质量评估的过程中,为了得到与各个评价维度对应的总体评估结果,需要预先基于各组对应的第二解说语和第二引导语,拟定不同的第二引导文本。用于向大规模预训练语言模型提出不同评价维度的总体评估需求。
步骤620,将每个第一局部质量评价指标对应的第一引导文本输入大规模预训练语言模型,得到每个第一局部质量评价指标,并将每个第一总体质量评价指标对应的第二引导文本输入大规模预训练语言模型,得到每个第一总体质量评价指标。需要说明的是,将每个第一局部质量评价指标对应的第一引导文本输入大规模预训练语言模型,并将每个第一总体质量评价指标对应的第二引导文本输入大规模预训练语言模型,旨在利用大规模预训练语言模型强大的语言表征能力,执行多个评价维度的解说语改写质量评估。其中,每个第一局部质量评价指标反映改写前的第一目标解说句、与改写后的第二目标解说句之间的一种评价维度的差异;每个第一总体质量评价指标反映改写后的第二解说语在前后文之间的一类行文连续性。
本公开提供了步骤610至步骤620示出的实施例,基于多个评价维度的第一局部质量评价指标生成多个第一引导文本、基于多个评价维度的第二局部质量评价指标生成多个第二引导文本,然后将每个第一引导文本输入大规模预训练语言模型得到对应的第一局部质量评价指标,并将每个第二引导文本输入大规模预训练语言模型得到对应的第一总体质量评价指标,能够实现从多个评价维度针对第一解说语到第二解说语的改写进行质量评估,以使得第一评估结果更为全面、客观,从而提升第一评估结果的参考价值。
图7示出了本公开一个较为具体的实施例,为了对第一解说语到第二解说语的改写进行质量评估。需要指出,第一目标解说句是从第一解说语中选出的,第二目标解说句由第一目标解说句改写而成。
需要明确,为了对第一解说语到第二解说语的改写进行四个评价维度的局部质量评估,分别需要用到引导语a、引导语b、引导语c、引导语d。其中,为第一目标解说语、第二目标解说句增添引导语a,即可生成引导文本a,将引导文本a输入大规模预训练语言模型,即可得到第一局部质量指标a,第一局部质量指标a反映改写前的第一目标解说句、与改写后的第二目标解说句之间在评价维度a上的差异;为第一目标解说语、第二目标解说句增添引导语b,即可生成引导文本b,将引导文本b输入大规模预训练语言模型,即可得到第一局部质量指标b,第一局部质量指标b反映改写前的第一目标解说句、与改写后的第二目标解说句之间在评价维度b上的差异;同理,为第一目标解说语、第二目标解说句增添引导语c,即可生成引导文本c,将引导文本c输入大规模预训练语言模型,即可得到第一局部质量指标c,第一局部质量指标c反映改写前的第一目标解说句、与改写后的第二目标解说句之间在评价维度c上的差异;为第一目标解说语、第二目标解说句增添引导语d,即可生成引导文本d,将引导文本d输入大规模预训练语言模型,即可得到第一局部质量指标d,第一局部质量指标d反映改写前的第一目标解说句、与改写后的第二目标解说句之间在评价维度d上的差异。
一些更为具体的实施例中,第一局部质量指标a可以是第一目标解说句与第二目标解说句之间的事实一致性;第一局部质量指标b可以是第一目标解说句与第二目标解说句之间的多样性差异;第一局部质量指标c可以是第一目标解说句与第二目标解说句之间的个性差异;第一局部质量指标d可以是第一目标解说句与第二目标解说句之间的信息量差异。
参照图8A,本公开一些示例性的实施例中,多个第一局部质量评价指标包括事实一致性指标、多样性指标、个性指标、和信息量指标。
步骤610具体可以包括:将第一目标解说句和第二目标解说句作为解说句对,为解说句对增加事实一致性指标、多样性指标、个性指标、和信息量指标各自对应的第一引导语,以生成事实一致性指标、多样性指标、个性指标、和信息量指标各自对应的第一引导文本。需要说明,解说句对指的是由改写前的解说语和改写后的解说语组成的一对句子。为解说句对增加事实一致性指标、多样性指标、个性指标、和信息量指标各自对应的第一引导语,其目的在于,生成事实一致性指标、多样性指标、个性指标、和信息量指标各自对应的第一引导文本,以便于向大规模预训练语言模型提出不同评价维度的局部评估需求。
需要明确,将第一目标解说句和第二目标解说句作为解说句对,可以有多种形式,例如“以下是游戏解说语改写任务中,改写前和改写后的语句,[改写前语句],[改写后语句]”,然后将第一目标解说句填入[改写前语句]、将第二目标解说句填入[改写后语句];又例如“改写前为[改写前语句],改写后为[改写后语句],然后将第一目标解说句填入[改写前语句]、将第二目标解说句填入[改写后语句]”。应理解,将第一目标解说句和第二目标解说句作为解说句对,不限于上述举出的具体实施例。
根据本公开提供的一些实施例,解说句对中的第一目标解说句可以为“B挥剑向A攻击”,第二目标解说句可以为“B顺势反手握剑挥向A所处的方位”。为解说句对增加事实一致性指标、多样性指标、个性指标、和信息量指标各自对应的第一引导语,以生成事实一致性指标、多样性指标、个性指标、和信息量指标各自对应的第一引导文本,具体可以是:
事实一致性指标对应的第一引导语为“以下是游戏解说语改写任务中,改写前和改写后的语句,[改写前语句],[改写后语句],请判断改写后的语句是否与改写前的语句事实相悖,或者出现了改写前语句没有出现过的事实”。因此,为解说句对增加事实一致性指标对应的第一引导语,即可生成事实一致性指标对应的第一引导文本“以下是游戏解说语改写任务中,改写前和改写后的语句,[B挥剑向A攻击],[B顺势反手握剑挥向A所处的方位],请判断改写后的语句是否与改写前的语句事实相悖,或者出现了改写前语句没有出现过的事实”。
多样性指标对应的第一引导语为“以下是游戏解说语改写任务中,改写前和改写后的语句,请判断他们之间的多样性是好、坏或者一般,改写前为[改写前语句],改写后为[改写后语句]”。因此,为解说句对增加多样性指标对应的第一引导语,即可生成多样性指标对应的第一引导文本“以下是游戏解说语改写任务中,改写前和改写后的语句,请判断他们之间的多样性是好、坏或者一般,改写前为[B挥剑向A攻击],改写后为[B顺势反手握剑挥向A所处的方位]”。
个性指标对应的第一引导语为“以下是游戏解说语改写任务中,改写前和改写后的语句,请判断他们之间的趣味性是有趣、乏味或者一般,改写前为[改写前语句],改写后为[改写后语句]”。因此,为解说句对增加个性指标对应的第一引导语,即可生成个性指标对应的第一引导文本“以下是游戏解说语改写任务中,改写前和改写后的语句,请判断他们之间的趣味性是有趣、乏味或者一般,改写前为[B挥剑向A攻击],改写后为[B顺势反手握剑挥向A所处的方位]”。
信息量指标对应的第一引导语为“以下是游戏解说语改写任务中,改写前和改写后的语句,请判断他们之间的信息量为具有部分信息量、具有更多信息量或不具有太多信息量,改写前为[改写前语句],改写后为[改写后语句]”。因此,为解说句对增加信息量指标对应的第一引导语,即可生成信息量指标对应的第一引导文本“以下是游戏解说语改写任务中,改写前和改写后的语句,请判断他们之间的信息量为具有部分信息量、信息量增多还是信息量不变,改写前为[B挥剑向A攻击],改写后为[B顺势反手握剑挥向A所处的方位]”。
步骤620具体可以包括:将事实一致性指标、多样性指标、个性指标、和信息量指标各自对应的第一引导文本输入大规模预训练语言模型,得到事实一致性指标、多样性指标、个性指标、和信息量指标。需要说明,将事实一致性指标、多样性指标、个性指标、和信息量指标各自对应的第一引导文本输入大规模预训练语言模型,旨在利用大规模预训练语言模型强大的语言表征能力,对第一解说语到第二解说语的改写进行多个评价维度的局部质量评估,从而分别得到事实一致性指标、多样性指标、个性指标、和信息量指标。
根据本公开提供的一些实施例,将事实一致性指标对应的第一引导文本输入大规模预训练语言模型之后,得到的事实一致性指标具体可以是“事实一致”;将多样性指标对应的第一引导文本输入大规模预训练语言模型之后,得到的多样性指标具体可以是“多样性:好”;将个性指标对应的第一引导文本输入大规模预训练语言模型之后,得到的个性指标具体可以是“个性:有趣”;将信息量指标对应的第一引导文本输入大规模预训练语言模型之后,得到的信息量指标具体可以是“信息量增多”。
需要明确,为了对第一解说语到第二解说语的改写进行两个评价维度的总体质量评估,分别需要用到引导语e、引导语f。其中,为第二解说语增添引导语e,即可生成引导文本e,将引导文本e输入大规模预训练语言模型,即可得到第一总体质量指标e,第一总体质量指标e反映改写后的第二解说语之间在前后文之间的其中一类行文连续性;同理,为第二解说语增添引导语f,即可生成引导文本f,将引导文本f输入大规模预训练语言模型,即可得到第一总体质量指标f,第一总体质量指标f反映改写后的第二解说语在前后文之间的另一类行文连续性。
一些更为具体的实施例中,第一总体质量指标e可以是第二解说语在前后文之间的风格连续性;第一总体质量指标f可以是第二解说语在前后文之间的语义连续性。
参照图8B,本公开一些示例性的实施例中,多个第一总体质量评价指标包括风格连续性指标和语义连续性指标;
步骤610具体可以包括:为第二解说语增加风格连续性指标和语义连续性指标各自对应的第二引导语,以生成风格连续性指标和语义连续性指标各自对应的第二引导文本。需要说明,为第二解说语增加风格连续性指标和语义连续性指标各自对应的第二引导语,其目的在于,生成风格连续性指标和语义连续性指标各自对应的第二引导文本,以便于向大规模预训练语言模型提出不同评价维度的总体评估需求。
根据本公开提供的一些实施例,第二解说语可以为“A与B相战正酣。B向A刺出凌厉的一剑,A通过灵巧的走位闪避开来。B顺势反手握剑挥向A所处的方位”。为第二解说语增加风格连续性指标和语义连续性指标各自对应的第二引导语,以生成风格连续性指标和语义连续性指标各自对应的第二引导文本,具体可以是:
风格连续性指标对应的第二引导语为“下面一段文本为游戏解说语,如果其中的语句具有较多的风格则为风格不一致,如果大部分的语句都是同样的风格,则为风格一致,请问下面的解说语风格是否一致,[游戏所有解说语/部分解说语]”。因此,为第二解说语增加风格连续性指标对应的第二引导语,接口生成风格连续性指标对应的第二引导文本“下面一段文本为游戏解说语,如果其中的语句具有较多的风格则为风格不一致,如果大部分的语句都是同样的风格,则为风格一致,请问下面的解说语风格是否一致,[A与B相战正酣。B向A刺出凌厉的一剑,A通过灵巧的走位闪避开来。B顺势反手握剑挥向A所处的方位]”。
语义连续性指标对应的第二引导语为“下面一段文本为游戏解说语,如果其中的语句所描述的故事在语义上是连续的,其故事具有连续性,如果其描述的故事是不连续的或者比较突兀的出现了一些情节,则其故事不具有连续性,请问下面的解说语所描素的故事性是否具有连续性,[游戏所有解说语/部分解说语]”。因此,为第二解说语增加风格连续性指标对应的第二引导语,接口生成风格连续性指标对应的第二引导文本“下面一段文本为游戏解说语,如果其中的语句所描述的故事在语义上是连续的,其故事具有连续性,如果其描述的故事是不连续的或者比较突兀的出现了一些情节,则其故事不具有连续性,请问下面的解说语所描素的故事性是否具有连续性,[A与B相战正酣。B向A刺出凌厉的一剑,A通过灵巧的走位闪避开来。B顺势反手握剑挥向A所处的方位]”。
步骤620具体可以包括:将风格连续性指标和语义连续性指标各自对应的第二引导文本输入大规模预训练语言模型,得到风格连续性指标和语义连续性指标。需要说明,将每个第一总体质量评价指标对应的第二引导文本输入大规模预训练语言模型,旨在利用大规模预训练语言模型强大的语言表征能力,对第一解说语到第二解说语的改写进行多个评价维度的总体质量评估,从而分别得到风格连续性指标和语义连续性指标。
根据本公开提供的一些实施例,将风格连续性指标对应的第二引导文本输入大规模预训练语言模型之后,得到的风格连续性指标具体可以是“风格一致”;将语义连续性指标对应的第二引导文本输入大规模预训练语言模型之后,得到的语义连续性指标具体可以是“故事具有连续性”。
需要明确,从指标角度来讲,本公开一些较为具体的实施例并未采用传统的通顺度指标,而是增加了对解说语更为重要的事实一致性指标、多样性指标、个性指标、信息量指标、风格连续性指标和语义连续性指标。本公开实施例用到的事实一致性指标、多样性指标、个性指标和信息量指标可以针对第一解说句到第二解说句改写进行局部质量评估,而风格连续性指标和语义连续性指标可以针对一解说句到第二解说句改写进行总体质量评估。其中,局部质量评估侧重于评估改写后解说语和改写前解说语之间的语句差异,而总体质量评估则侧重于评估改写后解说语在前后文上的行文连续性。以上实施例的优点在于,结合多个评价维度的第一局部质量指标与多个评价维度的第一总体质量指标,得到第一评估结果,有助于令第一评估结果更加合理、全面以及客观,进一步提升了第一评估结果的参考价值。
需要强调,对第一解说语到第二解说语的改写进行多个评价维度的质量评估,可以通过多种方式实现,不限于上述举出的具体实施例。
参照图9,根据本公开提供的一些实施例,步骤340还可以包括,但不限于下述步骤910至步骤940:
步骤910,如果将第一引导文本输入大规模预训练语言模型,未得到第一局部质量评价指标,获取第一局部质量评价指标的第一参考样例,第一参考样例包括第一解说句样本、和第一解说句样本对应的局部质量评价;
步骤920,将第一引导文本和第一参考样例共同输入大规模预训练语言模型,得到第一局部质量评价指标;
步骤930,如果将第二引导文本输入大规模预训练语言模型,未得到第一总体质量评价指标,获取第一总体质量评价指标的第二参考样例,第二参考样例包括第二解说句样本、和第二解说句样本对应的总体质量评价;
步骤940,将第二引导文本和第二参考样例共同输入大规模预训练语言模型,得到第一总体质量评价指标。
下面对步骤910至步骤940进行展开描述。
需要说明,大规模预训练语言模型虽然拥有强大的语言表征能力,但是大规模预训练语言模型存在其局限性,未针对评估任务进行优化学习的情况下,不一定能够胜任对每一评价维度的改写质量评估。将未经优化学习的大规模预训练语言模型应用于对第一解说语到第二解说语的改写进行质量评估时,可能会存在无法得到有效评估结果的情况。对此,本公开提供了步骤910至步骤940示出的实施例,在大规模预训练语言模型无法得到有效评估结果时,可以将一些参考样例输入大规模预训练语言模型进行学习。其目的在于,提升大规模预训练语言模型对解说语改写质量的评估能力,以使得大规模预训练语言模型能够基于改写前后的解说语作出较为准确的解说语改写质量评估。当大规模预训练语言模型完成对参考样例的学习之后,方可将第一引导文本与第二引导文本分别输入大规模预训练语言模型,针对第一解说语到第二解说语的改写作出评估,得到第一评估结果。
在步骤910中,如果将第一引导文本输入大规模预训练语言模型,未得到第一局部质量评价指标,获取第一局部质量评价指标的第一参考样例,第一参考样例包括第一解说句样本、和第一解说句样本对应的局部质量评价。需要说明的是,将第一引导文本输入大规模预训练语言模型之后,未得到第一局部质量评价指标,则说明大规模预训练语言模型对解说语改写质量的局部质量评估能力,不足支持对第一解说语到第二解说语的改写作出局部改写质量的准确评估。此时,需要获取第一局部质量评价指标的第一参考样例。需要指出,第一参考样例包括第一解说句样本、和第一解说句样本对应的局部质量评价。其中,第一解说句样本在文本结构上可以与第一引导文本对应,包括引导语、改写前的语句、改写后的语句;局部质量评价,则是针对第一解说句样本中改写前语句和改写后语句之间在文本上的差异所作出的评价。需要明确,获取第一引导文本,其目的在于,通过在大规模预训练语言模型中输入第一参考样例进行学习,提升大规模预训练语言模型对解说语改写进行局部质量评估的能力。
一些较为具体的实施例中,将第一引导文本输入大规模预训练语言模型之后,未得到第一局部质量评价指标时,大规模预训练语言模型可能具备如下表现:大规模预训练语言模型可以输出类似于“对不起,无法作出有效评估!”的反馈提示信息,以明确无法得到第一局部质量评价指标;大规模预训练语言模型也可以在预设时长内不针对第一引导文本作出响应,以表示难以得到第一局部质量评价指标。应理解,大规模预训练语言模型未得到第一局部质量评价指标时可能具备的表现多种多样,不限于上述举出的具体实施例。
在步骤920中,将第一引导文本和第一参考样例共同输入大规模预训练语言模型,得到第一局部质量评价指标。需要强调的是,通过在大规模预训练语言模型中输入第一参考样例进行学习,能够提升大规模预训练语言模型对解说语改写质量的局部质量评估能力。因此,在解说语改写质量的局部质量评估能力提升之后,再将大规模预训练语言模型应用于对第一解说语到第二解说语的改写进行局部质量评估,即可得到较为准确的第一局部质量评价指标。
在步骤930中,如果将第二引导文本输入大规模预训练语言模型,未得到第一总体质量评价指标,获取第一总体质量评价指标的第二参考样例,第二参考样例包括第二解说句样本、和第二解说句样本对应的总体质量评价。需要说明的是,将第二引导文本输入大规模预训练语言模型之后,未得到第一总体质量评价指标,则说明大规模预训练语言模型对解说语改写质量的总体质量评估能力,不足支持对第一解说语到第二解说语的改写作出总体改写质量的准确评估。此时,需要获取第一总体质量评价指标的第二参考样例。需要指出,第二参考样例包括第二解说句样本、和第二解说句样本对应的总体质量评价。其中,第二解说句样本在文本结构上可以与第二引导文本对应,包括引导语和改写后的语句;总体质量评价,则是针对第二解说句样本中改写后语句在整体行文连续性上所作出的评价。需要明确,获取第二引导文本,其目的在于,通过在大规模预训练语言模型中输入第二参考样例进行学习,提升大规模预训练语言模型对解说语改写进行总体质量评估的能力。
一些较为具体的实施例中,将第二引导文本输入大规模预训练语言模型之后,未得到第一总体质量评价指标时,大规模预训练语言模型可能具备如下表现:大规模预训练语言模型可以输出类似于“对不起,无法作出有效评估!”的反馈提示信息,以明确无法得到第一总体质量评价指标;大规模预训练语言模型也可以在预设时长内不针对第二引导文本作出响应,以表示难以得到第一总体质量评价指标。应理解,大规模预训练语言模型未得到第一总体质量评价指标时可能具备的表现多种多样,不限于上述举出的具体实施例。
在步骤940中,将第二引导文本和第二参考样例共同输入大规模预训练语言模型,得到第一总体质量评价指标。需要强调的是,通过在大规模预训练语言模型中输入第二参考样例进行学习,能够提升大规模预训练语言模型对解说语改写质量的总体质量评估能力。因此,在解说语改写质量的总体质量评估能力提升之后,再将大规模预训练语言模型应用于对第一解说语到第二解说语的改写进行总体质量评估,即可得到较为准确的第一总体质量评价指标。
经由步骤910至步骤940示出的本公开实施例,先对大规模预训练语言模型进行优化学习,提升大规模预训练语言模型对解说语改写质量的评估能力,以使得大规模预训练语言模型能够基于改写前后的解说语作出较为准确的解说语改写质量评估。进一步,将第一引导文本与第二引导文本分别输入大规模预训练语言模型,针对第一解说语到第二解说语的改写作出评估,即可得到更为准确的第一评估结果。
参照图10A-D,本公开一些较为具体的实施例中,示出了将第一引导文本和第一参考样例共同输入大规模预训练语言模型,得到第一局部质量评价指标的可选方式。
图10A示出的实施例中,先列明了用于训练事实一致性评估的第一参考引导语“以下是游戏解说语改写前和改写后的语句,请根据提供的例子,判断最后两句话的事实一致性是否存在问题”。在列明第一参考引导语后,给出了三组第一参考样例。若每组第一参考样例以“第一解说句样本;局部质量评价”的形式进行列明,三组第一参考样例分别可以是:
其一,改写前:[甲攻击了乙],改写后:[乙攻击了甲];事实不一致;
其二,改写前:[甲攻击了乙],改写后:[乙攻击了甲,并且还想继续追击];事实不一致;
其三,改写前:[甲攻击了乙],改写后:[甲攻击了乙,招式极其犀利!];事实一致;
大规模预训练语言模型对以上第一参考样例进行学习后,事实一致性评估的能力得到优化。再将第一引导文本输入事实一致性评估的能力优化后的大规模预训练语言模型,即可得到第一局部质量评价指标。其中,第一引导文本为“以下是游戏解说语改写任务中,改写前和改写后的语句,[B挥剑向A攻击],[B顺势反手握剑挥向A所处的方位],请判断改写后的语句是否与改写前的语句事实相悖,或者出现了改写前语句没有出现过的事实”,第一局部质量评价指标为“事实一致”。
需要指出,图10A中将第一参考样例输入大规模预训练语言模型进行学习。其目的在于,提升大规模预训练语言模型对解说语改写质量在事实一致性这一评价维度的局部质量评估能力。因此,在大规模预训练语言模型基于其强大的语言表征能力对第一参考样例进行学习之后,再将第一引导文本输入大规模预训练语言模型,即可使得大规模预训练语言模型针对第一解说语到第二解说语的改写,在事实一致性上作出较为准确的解说语改写质量评估。
图10B示出的实施例中,先列明了用于训练多样性评估的第一参考引导语“以下是游戏解说语改写前和改写后的语句,请根据提供的例子,判断他们之间的多样性是好、坏或者一般”。在列明第一参考引导语后,给出了三组第一参考样例。若每组第一参考样例以“第一解说句样本;局部质量评价”的形式进行列明,三组第一参考样例分别可以是:
其一,改写前:[甲攻击了乙],改写后:[甲攻击了乙];多样性:差;
其二,改写前:[甲攻击了乙],改写后:[乙被甲无情地攻击了];多样性:好;
其三,改写前:[甲攻击了乙],改写后:[乙被甲攻击了];多样性:一般;
大规模预训练语言模型对以上第一参考样例进行学习后,多样性评估的能力得到优化。再将第一引导文本输入多样性评估的能力优化后的大规模预训练语言模型,即可得到第一局部质量评价指标。其中,第一引导文本为“以下是游戏解说语改写任务中,改写前和改写后的语句,请判断他们之间的多样性是好、坏或者一般,改写前为[B挥剑向A攻击],改写后为[B顺势反手握剑挥向A所处的方位]”,第一局部质量评价指标为“多样性:好”。
需要指出,图10B中将第一参考样例输入大规模预训练语言模型进行学习。其目的在于,提升大规模预训练语言模型对解说语改写质量在多样性这一评价维度的局部质量评估能力。因此,在大规模预训练语言模型基于其强大的语言表征能力对第一参考样例进行学习之后,再将第一引导文本输入大规模预训练语言模型,即可使得大规模预训练语言模型针对第一解说语到第二解说语的改写,在多样性上作出较为准确的解说语改写质量评估。
图10C示出的实施例中,先列明了用于训练个性评估的第一参考引导语“以下是游戏解说语改写前和改写后的语句,请根据提供的例子,判断他们之间的个性应当判定为有趣、乏味或者一般”。在列明第一参考引导语后,给出了三组第一参考样例。若每组第一参考样例以“第一解说句样本;局部质量评价”的形式进行列明,三组第一参考样例分别可以是:
其一,改写前:[甲攻击了乙],改写后:[甲向乙攻击];个性:乏味;
其二,改写前:[甲攻击了乙],改写后:[甲使出浑身解数向乙发动了攻击,一招一式太精妙了!];个性:有趣;
其三,改写前:[甲攻击了乙],改写后:[甲选择对乙发动攻击,这是个聪明的选择];个性:一般;
大规模预训练语言模型对以上第一参考样例进行学习后,个性评估的能力得到优化。再将第一引导文本输入个性评估的能力优化后的大规模预训练语言模型,即可得到第一局部质量评价指标。其中,第一引导文本为“以下是游戏解说语改写任务中,改写前和改写后的语句,请判断他们之间的趣味性是有趣、乏味或者一般,改写前为[B挥剑向A攻击],改写后为[B顺势反手握剑挥向A所处的方位]”,第一局部质量评价指标为“个性:有趣”。
需要指出,图10C中将第一参考样例输入大规模预训练语言模型进行学习。其目的在于,提升大规模预训练语言模型对解说语改写质量在个性这一评价维度的局部质量评估能力。因此,在大规模预训练语言模型基于其强大的语言表征能力对第一参考样例进行学习之后,再将第一引导文本输入大规模预训练语言模型,即可使得大规模预训练语言模型针对第一解说语到第二解说语的改写,在个性上作出较为准确的解说语改写质量评估。
图10D示出的实施例中,先列明了用于训练信息量评估的第一参考引导语“以下是游戏解说语改写前和改写后的语句,判断改写后的信息量是具有部分信息量、信息量增多或者信息量不变”。在列明第一参考引导语后,给出了三组第一参考样例。若每组第一参考样例以“第一解说句样本;局部质量评价”的形式进行列明,三组第一参考样例分别可以是:
其一,改写前:[甲攻击了乙],改写后:[甲向乙攻击];信息量不变;
其二,改写前:[甲攻击了乙],改写后:[甲使出浑身解数向乙发动了攻击,与此同时,丙与丁也在缠斗];信息量增多;
其三,改写前:[甲攻击了乙],改写后:[甲发起了攻击];具有部分信息量;
大规模预训练语言模型对以上第一参考样例进行学习后,信息量评估的能力得到优化。再将第一引导文本输入信息量评估的能力优化后的大规模预训练语言模型,即可得到第一局部质量评价指标。其中,第一引导文本为“以下是游戏解说语改写任务中,改写前和改写后的语句,请判断他们之间的信息量为具有部分信息量、信息量增多还是信息量不变,改写前为[B挥剑向A攻击],改写后为[B顺势反手握剑挥向A所处的方位]”,第一局部质量评价指标为“信息量增多”。
需要指出,图10D中将第一参考样例输入大规模预训练语言模型进行学习。其目的在于,提升大规模预训练语言模型对解说语改写质量在信息量这一评价维度的局部质量评估能力。因此,在大规模预训练语言模型基于其强大的语言表征能力对第一参考样例进行学习之后,再将第一引导文本输入大规模预训练语言模型,即可使得大规模预训练语言模型针对第一解说语到第二解说语的改写,在信息量上作出较为准确的解说语改写质量评估。
以上图10A-D示出了将第一引导文本和第一参考样例共同输入大规模预训练语言模型,得到第一局部质量评价指标的可选方式。应理解,得到第一局部质量评价指标的可选方式多种多样,不限于上述举例。
参照图10E-F,本公开一些较为具体的实施例中,示出了将第二引导文本和第二参考样例共同输入大规模预训练语言模型,得到第一总体质量评价指标的可选方式。
图10E示出的实施例中,先列明了用于训练风格连续性评估的第二参考引导语“请为游戏解说的解说语判断风格,如果其中的语句具有较多的风格则为风格不一致,如果大部分的语句都是同样的风格,则为风格一致,下面为一些案例”。在列明第二参考引导语后,给出了两组第二参考样例。若每组第二参考样例以“第二解说句样本;总体质量评价”的形式进行列明,两组第二参考样例分别可以是:
其一,甲使出浑身解数向乙发动了攻击,乙也不是等闲之辈,使出格挡化解了甲的攻击,与此同时,丙与丁也在缠斗,双方的交锋都十分凌厉,充满了博弈;风格一致;
其二,甲选择攻向乙!什么!乙竟然使用格挡防住了这一击!好快的反应!丙与丁在缠斗,作为多年对手的双方有很多对阵故事,此情此景,仿佛那年的战斗重入眼帘;风格不一致;
大规模预训练语言模型对以上第二参考样例进行学习后,风格连续性评估的能力得到优化。再将第二引导文本输入风格连续性评估的能力优化后的大规模预训练语言模型,即可得到第一总体质量评价指标。其中,第二引导文本为“下面一段文本为游戏解说语,如果其中的语句所描述的故事是连续的其故事具有连续性,如果其描述的故事是不连续的或者比较突兀的出现了一些情节,则其故事不具有连续性,请问下面的解说语所描素的故事性是否具有连续性,[A与B相战正酣。B向A刺出凌厉的一剑,A通过灵巧的走位闪避开来。B顺势反手握剑挥向A所处的方位]”,第一总体质量评价指标为“风格一致”。
需要指出,图10E中将第二参考样例输入大规模预训练语言模型进行学习。其目的在于,提升大规模预训练语言模型对解说语改写质量在风格连续性这一评价维度的总体质量评估能力。因此,在大规模预训练语言模型基于其强大的语言表征能力对第二参考样例进行学习之后,再将第二引导文本输入大规模预训练语言模型,即可使得大规模预训练语言模型针对第一解说语到第二解说语的改写,在风格连续性上作出较为准确的解说语改写质量评估。
图10F示出的实施例中,先列明了用于训练语义连续性评估的第二参考引导语“请为游戏解说的解说语判断其故事是否具有连续性,如果其中的语句所描述的故事是连续的其故事具有连续性,如果其描述的故事是不连续的或者比较突兀的出现了一些情节,则其故事不具有连续性,下面为一些案例”。在列明第二参考引导语后,给出了两组第二参考样例。若每组第二参考样例以“第二解说句样本;总体质量评价”的形式进行列明,两组第二参考样例分别可以是:
其一,甲使出浑身解数向乙发动了攻击,乙也不是等闲之辈,使出格挡化解了甲的攻击,与此同时,丙与丁也在缠斗,双方的交锋都十分凌厉,充满了博弈;故事具有连续性;
其二,甲使出浑身解数向乙发动了攻击,丙与丁在缠斗,双方你来我往,乙也不是等闲之辈,使出格挡化解了甲的攻击;故事出现突兀情节,不具有连续性;
大规模预训练语言模型对以上第二参考样例进行学习后,语义连续性评估的能力得到优化。再将第二引导文本输入语义连续性评估的能力优化后的大规模预训练语言模型,即可得到第一总体质量评价指标。其中,第二引导文本为“下面一段文本为游戏解说语,如果其中的语句所描述的故事是连续的其故事具有连续性,如果其描述的故事是不连续的或者比较突兀的出现了一些情节,则其故事不具有连续性,请问下面的解说语所描素的故事性是否具有连续性,[A与B相战正酣。B向A刺出凌厉的一剑,A通过灵巧的走位闪避开来。B顺势反手握剑挥向A所处的方位]”,第一总体质量评价指标为“故事具有连续性”。
需要指出,图10F中将第二参考样例输入大规模预训练语言模型进行学习。其目的在于,提升大规模预训练语言模型对解说语改写质量在语义连续性这一评价维度的总体质量评估能力。因此,在大规模预训练语言模型基于其强大的语言表征能力对第二参考样例进行学习之后,再将第二引导文本输入大规模预训练语言模型,即可使得大规模预训练语言模型针对第一解说语到第二解说语的改写,在语义连续性上作出较为准确的解说语改写质量评估。
以上图10E-F示出了将第二引导文本和第二参考样例共同输入大规模预训练语言模型,得到第一总体质量评价指标的可选方式。应理解,得到第一总体质量评价指标的可选方式多种多样,不限于上述举例。
本公开一些示例性的实施例中,第一参考样例是从第一参考样例库中选出的第一数目个第一参考样例,第二参考样例是从第二参考样例库中选出的第二数目个第二参考样例。需要强调,由于大规模预训练语言模型不一定能够胜任对每一评价维度的改写质量评估,因而需要将一些参考样例输入大规模预训练语言模型进行学习,提升大规模预训练语言模型对解说语改写质量的评估能力。其中,语义越复杂的引导文本,其评估难度也就越大。对此,本公开提供了一些确定第一数目与第二数目的实施例。
一些较为具体的实施例中,语义复杂度评估模型指的是用于评估一段文本的语义复杂度的文本处理模型。需要指出,语义复杂度评估模型可以是一般的文本处理模型,也可以是经过训练的自然语言处理模型。若语义复杂度评估模型是一般的文本处理模型,则可以根据引导文本中的字数、句式结构以及生僻用语占比等方面对一段文本的语义复杂度进行评估。应理解,生僻用语指的是日常场合中使用频率较少的文字用语,因此可以通过统计方法确定生僻用语所囊括的具体范围。若语义复杂度评估模型是自然语言处理模型,则可以获取一些训练样本与训练标签对该自然语言处理模型进行预先训练,使其具备语义复杂度的评估能力,再将预先训练后的自然语言处理模型用于进行语义复杂度评估即可。应理解,语义复杂度评估模型的类型多种多样,不限于上述举例。
一些实施例中,第一数目可以通过以下方式确定:将第一引导文本输入语义复杂度评估模型,得到第一语义复杂度分数,再基于第一语义复杂度分数,确定第一数目。需要说明的是,将第一引导文本输入语义复杂度评估模型之后,便可以得到与该第一引导文本相对应的第一语义复杂度分数,其中第一语义复杂度分数用于反映第一引导文本的语义复杂度。再以第一语义复杂度分数确定具体需要多少个第一参考样例用于大规模预训练语言模型的优化学习,即可得到第一数目。
一些实施例中,第二数目可以通过以下方式确定:将第二引导文本输入语义复杂度评估模型,得到第二语义复杂度分数;基于第二语义复杂度分数,确定第二数目。需要说明的是,将第二引导文本输入语义复杂度评估模型之后,便可以得到与该第二引导文本相对应的第二语义复杂度分数,其中第二语义复杂度分数用于反映第二引导文本的语义复杂度。再以第二语义复杂度分数确定具体需要多少个第二参考样例用于大规模预训练语言模型的优化学习,即可得到第二数目。
参照图11示出的一些较为具体的实施例,明确了第一数目与第二数目的一个可选的确定方式。
第一引导文本中的引导文本a输入语义复杂度评估模型之后,即可得到对应的第一语义复杂度分数a,再通过第一数目确定模块确定具体需要多少个第一参考样例用于大规模预训练语言模型的优化学习,得到第一数目a。同理,第一引导文本中引导文本b、引导文本c与引导文本d,也可以通过同样的方式分别得到第一数目b、第一数目c与第一数目d。
第二引导文本中的引导文本e输入语义复杂度评估模型之后,即可得到对应的第二语义复杂度分数e,再通过第二数目确定模块确定具体需要多少个第二参考样例用于大规模预训练语言模型的优化学习,得到第二数目e。同理,第二引导文本中引导文本f也可以通过同样的方式分别得到第二数目f。
需要说明,第一数目确定模块与第二数目确定模块均属于数目确定模块。数目确定模块用于根据语义复杂度分数来确定具体需要多少个参考样例用于大规模预训练语言模型的优化学习。
一些实施例中语义复杂度分数越高,意味着引导文本的语义就越复杂。因此,当数目确定模块确定数目时,可以调取预设的复杂度分数映射关系表。复杂度分数映射关系表中记录有语义复杂度分数与数目的映射关系。例如,当语义复杂度分数在0到25这个区间内,则对应的数目为1;当语义复杂度分数在25到50这个区间内,则对应的数目为3;当语义复杂度分数在50到75这个区间内,则对应的数目为5;当语义复杂度分数在75到100这个区间内,则对应的数目为7。在调取预设的复杂度分数映射关系表之后,即可根据语义复杂度分数在复杂度分数映射关系表中查找到对应的数目应当是多少。如此一来,便可以实现对数目的确定。应理解,根据语义复杂度分数确定其具体数目的实施方式多种多样,不限于上述举出的具体实施例。
步骤350的详细描述
参照图12,本公开一些实施例中,第一评估结果为评估分数。步骤350,可以包括但不限于下述步骤1210至步骤1240。
步骤1210,基于每个第一目标解说句对应的第一局部质量评价指标,确定每个第一目标解说句对应的第一分数;
步骤1220,基于每个第一目标解说句对应的第一分数,确定多个第一目标解说句的第一总体分数;
步骤1230,基于第一总体质量评价指标,确定第二分数;
步骤1240,基于第一总体分数和第二分数,确定评估分数。
下面对步骤1210至步骤1240进行展开描述。
在步骤1210中,基于每个第一目标解说句对应的第一局部质量评价指标,确定每个第一目标解说句对应的第一分数。需要说明的是,第一解说语与第二解说语之间,可以存在多组改写前后一一对应的解说句,因此第一分数的数量可以是多个。需要指出,第一分数是针对第一解说句到第二解说句的改写作出局部质量评估所得到的局部分数。
一些实施例中,步骤1210可以包括:针对每个第一目标解说句,基于与第一目标解说句对应的多个第一局部质量评价指标,确定多个第一子分数;基于多个第一子分数,确定第一目标解说句对应的第一分数。需要说明的是,针对每一个被选出来的第一目标解说句,都可以进行多个评价维度的评估,得到多个第一局部质量评价指标。因此,确定每一个第一目标解说句的第一分数时,可以先得出该第一目标解说句在多个评价维度的第一子分数,再基于多个第一子分数,确定第一目标解说句对应的第一分数。如此得到的第一分数包含有多个评价维度的第一子分数,能够更全面地针对第一目标解说句到第二目标解说句的改写作出局部质量评估。
在步骤1220中,基于每个第一目标解说句对应的第一分数,确定多个第一目标解说句的第一总体分数。需要说明的是,为了针对第一解说语到第二解说语的改写过程作出较为准确的局部质量评估,需要先确定每个第一解说句改写成第二解说句对应的第一分数,再基于每个第一解说句改写成第二解说句对应的第一分数,确定第一解说语改写成第二解说语的第一总体分数。需要指出,第一总体分数的确定方式多种多样。
一些实施例中,可以将多个第一分数进行平均计算,得到针对第一解说语到第二解说语改写的第一总体分数。将多个第一分数进行平均计算得到第一总体分数的优点在于,可以计算出改写在各个局部的平均质量,能够利用每一组第一解说句到第二解说句的改写特征,并且便于计算,效率较高。
另一些实施例中,可以在第一解说语与第二解说语中依照代表性的高低,来对改写涉及的各个解说句进行排序。其中改写前后的文本变化越大,代表性越高,排序就越靠前。然后依照从前到后的顺序为对应的第一分数配置权重,排序越靠前,对第一分数配置的权重就越大。对每个第一分数配置完权重之后,方可根据每个第一分数、与每个第一分数的权重,进行加权和运算,得到针对第一解说语到第二解说语改写的第一总体分数。通过多个第一分数进行加权和计算得到第一总体分数的优点在于,可以更为准确地反映每一组第一解说句到第二解说句的具备改写质量,提升了第一局部质量评价指标的参考价值。
需要强调,第一总体分数的确定方式多种多样,不限于上述举出的具体实施例。
在步骤1230中,基于第一总体质量评价指标,确定第二分数。需要说明的是,第二分数是针对改写后的第二解说语作出总体质量评估所得到的总体分数。
一些实施例中,步骤1230可以包括:基于多个第一总体质量评价指标,确定多个第二子分数;基于多个第二子分数,确定第二分数。需要说明的是,针对改写后的第二解说语,可以进行多个评价维度的评估,得到多个第二局部质量评价指标。因此,确定改写后第二解说语的第二分数时,可以先得出该第二解说语在多个评价维度的第二子分数,再基于多个第二子分数,确定第二解说语对应的第二分数。如此得到的第二分数包含有多个评价维度的第二子分数,能够更全面地针对改写后的第二解说语作出总体质量评估。
在步骤1240中,基于第一总体分数和第二分数,确定评估分数。需要说明的是,第一总体分数反映各个解说句改写差异的局部改写质量,第二分数反映改写后第二解说语行文连续性的整体改写质量。因此,基于第一总体分数和第二分数,所确定的评估分数能够较为综合地评估解说语改写质量。如此一来,评估分数既反映了总体行文连续性的整体改写质量,又反映了各个解说句改写差异的局部改写质量,更加全面客观。
一些较为具体的实施例中,针对每一个第一目标解说句到第二目标解说句的改写,可以先得到事实一致性、多样性、个性与信息量这四个方面的第一子分数,然后再将这四方面的第一子分数进行整合,得到第一分数。
一些较为具体的实施例中,针对改写后第二解说语,可以先得到风格连续性与语义连续性这两个方面的第二子分数,然后再将这四方面的第二子分数进行整合,得到第二分数。
参照图13示出的一些较为具体的实施例,提供了计算评估分数的一个可选方式。
需要说明的是,第一局部质量评价指标a对应的第一分数为64;第一局部质量评价指标b对应的第一分数为75;第一局部质量评价指标c对应的第一分数为78;第一局部质量评价指标d对应的第一分数为80。其中,第一分数64对应的权重为0.3;第一分数75对应的权重为0.2;第一分数64对应的权重为0.3;都分数80对应的权重为0.2。在明确各个第一局部质量评价指标对应的第一分数、与各个第一分数对于的权重之后,进行加权和运算,得到第一总体分数:0.3*64+0.2*75+0.3*78+0.2*80=73.6。
需要说明的是,第一总体质量评价指标e对应的第二分数为85;第一总体质量评价指标f对应的第二子分数为88。在明确各个第一总体质量评价指标对应的第二子分数之后,进一步通过计算平均值确定第二分数:(85+88)/2=86.5。
基于上述得到的第一总体分数和第二分数,再进一步进行计算平均值,即可确定评估分数:(73.6+86.5)/2=80.05。
应理解,根据第一总体分数与第二分数确定评估分数的方式多种多样,可以包括,但不限于上述举出的具体实施例。
参照图14,本公开提供的一些实施例中,第一评估结果包括评估通过和评估不通过。步骤350可以包括,但不限于下述步骤1410至步骤1440。
步骤1410,基于每个第一目标解说句对应的第一局部质量评价指标,确定每个第一目标解说句对应的第一分数;
步骤1420,基于每个第一目标解说句对应的第一分数,确定多个第一目标解说句的第一总体分数;
步骤1430,基于第一总体质量评价指标,确定第二分数;
步骤1440,如果第一总体分数达到第一阈值,且第二分数达到第二阈值,确定评估通过,否则,确定评估不通过。
下面对步骤1410至步骤1440进行展开描述。
在步骤1410至步骤1430中,先基于每个第一目标解说句对应的第一局部质量评价指标,确定每个第一目标解说句对应的第一分数。再基于每个第一目标解说句对应的第一分数,确定多个第一目标解说句的第一总体分数。进一步,基于第一总体质量评价指标,确定第二分数。需要强调,第一解说语与第二解说语之间,可以存在多组改写前后一一对应的解说句,因此第一分数的数量可以是多个。需要指出,第一分数是针对第一解说句到第二解说句的改写作出局部质量评估所得到的局部分数。另外,为了针对第一解说语到第二解说语的改写过程作出较为准确的局部质量评估,需要先确定每个第一解说句改写成第二解说句对应的第一分数,再基于每个第一解说句改写成第二解说句对应的第一分数,确定第一解说语改写成第二解说语的第一总体分数。需要强调,第二分数是针对改写后的第二解说语作出总体质量评估所得到的总体分数。
在步骤1440中,如果第一总体分数达到第一阈值,且第二分数达到第二阈值,确定评估通过,否则,确定评估不通过。需要说明的是,由于第一总体分数反映各个解说句改写差异的局部改写质量,第二分数反映改写后第二解说语行文连续性的整体改写质量。因此,如果第一总体分数达到第一阈值,意味着针对第一解说语到第二解说语的改写的局部质量评估中,各个解说句改写差异的局部改写质量合格;如果第二分数达到第二阈值,意味着针对第一解说语到第二解说语的改写的总体质量评估中,第二解说语行文连续性的整体改写质量合格。故而,如果第一总体分数达到第一阈值,且第二分数达到第二阈值,意味着第一解说语到第二解说语的改写在局部质量评估中合格,并且,第一解说语到第二解说语的改写在总体质量评估中合格,可以确定评估通过。否则,确定评估不通过。
经由步骤1410至步骤1440示出的本公开实施例,通过判断第一总体分数是否达到第一阈值以及判断第二分数是否达到第二阈值,可以确定针对第一解说语到第二解说语的改写质量是否通过评估。其优点在于,第一阈值与第二阈值提供了明确又清晰的比对标准,有助于高效完成针对第一解说语到第二解说语的改写质量的评估。
参照图13、图15,在明确各个第一局部质量评价指标对应的第一分数、与各个第一分数对于的权重之后,进行加权和运算,得到第一总体分数73.6。进一步,将第一总体分数73.6与第一阈值70进行比对,确定第一总体分数达到第一阈值。需要说明的是,在明确各个第一总体质量评价指标对应的第二子分数之后,进一步通过计算平均值确定第二分数86.5。再进一步,将第二分数86.5与第二阈值80进行比对,确定第二分数达到第二阈值。明确了第一总体分数达到第一阈值,并且第二分数达到第二阈值之后,即可确定评估通过。应理解,确定第一评估结果是评估通过或者是评估不通过,可以由多种多样的方式实现,不限于上述举出的具体实施例。
参照图16,本公开一些较为具体的实施例中,第二解说语由强化学习模型基于第一解说语改写而成。在步骤350之后,解说语改写评估方法还可以包括:
步骤360,将第一解说语、第二解说语、和第一评估结果反馈回强化学习模型用于强化训练。需要说明的是,强化学习(Rei nforcement Learni ng,RL),又称再励学习、评价学习或增强学习,是机器学习的范式和方法论之一,用于描述和解决智能体(Agent)在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。需要指出,本公开实施例的强化学习模型可以作为解说语改写模块的核心组件,用于执行解说语改写任务。应理解,将第一解说语、第二解说语、和第一评估结果反馈回强化学习模型进行强化训练,能够及时将全面、可靠又准确的改写质量评估结果用于下一轮的强化学习训练中。随着强化学习模型不断地迭代升级,其模型性能也将进一步加强,进而使得解说语改写的效果越来越好。
一些较为具体的实施例中,为了将第一解说语、第二解说语、和第一评估结果反馈回强化学习模型用于强化训练,可以先构建强化训练样本集,强化学习样本集可以包括多组强化训练样本,每组强化训练样本包括改写前的第一解说语、改写后的第二解说语与对应的第一评估结果。进一步,基于强化学习样本集对强化学习模型进行强化学习训练;其中,第一评估结果为强化学习训练的奖励回馈信号(Reward)。再进一步,当奖励回馈信号达到最大,即可得到强化学习训练后的强化学习模型。
本公开一些示例性的实施例中,第一解说语输入改写模型后进行改写处理,随即生成第二解说语。其中,改写模型的版本可以多种多样、类型也可以多种多样。因此利用不同版本、不同类型的改写模型对同一个第一解说语进行改写后,可能会得到不同的第二解说语。因此一些实施例中,第二解说语包括在多个时间点训练出的多个改写模型对第一解说语改写成的多个第二解说语。故而,本公开实施例可以通过以下步骤,确定哪个改写模型的改写效果比较好,然后将改写效果较好的改写模型选为目标改写模型用于后续解说语的改写。
步骤320可以包括:从每个改写模型对应的第二解说语中,获取与改写模型对应的第二目标解说句;
步骤330可以包括:为第一目标解说句、和与改写模型对应的第二目标解说句增加第一引导语,以生成与改写模型对应的第一引导文本,并为改写模型对应的第二解说语增加第二引导语,以生成与改写模型对应的第二引导文本;
步骤340可以包括:将与改写模型对应的第一引导文本输入大规模预训练语言模型,得到与改写模型对应的第一局部质量评价指标,并将与改写模型对应的第二引导文本输入大规模预训练语言模型,得到与改写模型对应的第一总体质量评价指标;
步骤350可以包括:基于与多个改写模型对应的第一局部质量评价指标、和与多个改写模型对应的第一总体质量评价指标,确定与多个改写模型对应的第一评估结果,并基于第一评估结果,在多个改写模型中选择目标改写模型。
参照图17A示出的本公开实施例,在不同时间点分别利用改写模型1.0、改写模型2.0与改写模型3.0对第一目标解说句“A与B正在战斗”进行了改写。其中,改写模型1.0对第一目标解说句“A与B正在战斗”进行改写后,得到第二目标解说句“A与B相战正酣”;改写模型2.0对第一目标解说句“A与B正在战斗”进行改写后,得到第二目标解说句“A与B陷入遭遇战”;改写模型3.0对第一目标解说句“A与B正在战斗”进行改写后,得到第二目标解说句“A与B狭路相逢”。
参照图17B示出的本公开实施例,为第一目标解说句“A与B正在战斗”与第二目标解说句“A与B相战正酣”增加第一引导语,以生成与改写模型对应的第一引导文本,并为改写模型对应的第二解说语增加第二引导语,以生成与改写模型对应的第二引导文本。再进一步,将与改写模型对应的第一引导文本输入大规模预训练语言模型,得到与改写模型对应的第一局部质量评价指标,并将与改写模型对应的第二引导文本输入大规模预训练语言模型,得到与改写模型对应的第一总体质量评价指标。其中针对第一目标解说句“A与B正在战斗”与第二目标解说句“A与B相战正酣”,可以包括四个评价维度的第一总体质量评价指标,分别是:事实一致、多样性:一般、个性:一般、信息量不变。
参照图17C示出的本公开实施例,为第一目标解说句“A与B正在战斗”与第二目标解说句“A与B陷入遭遇战”增加第一引导语,以生成与改写模型对应的第一引导文本,并为改写模型对应的第二解说语增加第二引导语,以生成与改写模型对应的第二引导文本。再进一步,将与改写模型对应的第一引导文本输入大规模预训练语言模型,得到与改写模型对应的第一局部质量评价指标,并将与改写模型对应的第二引导文本输入大规模预训练语言模型,得到与改写模型对应的第一总体质量评价指标。其中针对第一目标解说句“A与B正在战斗”与第二目标解说句“A与B陷入遭遇战”,可以包括四个评价维度的第一总体质量评价指标,分别是:事实一致、多样性:好、个性:一般、信息量增多。
参照图17C示出的本公开实施例,为第一目标解说句“A与B正在战斗”与第二目标解说句“A与B狭路相逢”增加第一引导语,以生成与改写模型对应的第一引导文本,并为改写模型对应的第二解说语增加第二引导语,以生成与改写模型对应的第二引导文本。再进一步,将与改写模型对应的第一引导文本输入大规模预训练语言模型,得到与改写模型对应的第一局部质量评价指标,并将与改写模型对应的第二引导文本输入大规模预训练语言模型,得到与改写模型对应的第一总体质量评价指标。其中针对第一目标解说句“A与B正在战斗”与第二目标解说句“A与B狭路相逢”,可以包括四个评价维度的第一总体质量评价指标,分别是:事实一致、多样性:一般、个性:有趣、信息量减少。
参照图17D示出的本公开实施例,为第一目标解说句“A与B正在战斗”与第二目标解说句“A与B狭路相逢”增加第一引导语,以生成与改写模型对应的第一引导文本,并为改写模型对应的第二解说语增加第二引导语,以生成与改写模型对应的第二引导文本。再进一步,将与改写模型对应的第一引导文本输入大规模预训练语言模型,得到与改写模型对应的第一局部质量评价指标,并将与改写模型对应的第二引导文本输入大规模预训练语言模型,得到与改写模型对应的第一总体质量评价指标。其中针对第一目标解说句“A与B正在战斗”与第二目标解说句“A与B狭路相逢”,可以包括四个评价维度的第一总体质量评价指标,分别是:事实一致、多样性:一般、个性:有趣、信息量减少。
参照图17E示出的本公开实施例,在获取第一目标解说句“A与B正在战斗”,与上述三个第二目标解说句的之间的第一局部质量评价指标之后,可以基于与多个改写模型对应的第一局部质量评价指标、和与多个改写模型对应的第一总体质量评价指标,确定与多个改写模型对应的第一评估结果,并基于第一评估结果,在多个改写模型中选择目标改写模型。例如一些应用场景下,对改写模型的要求是:能够在解说语改写的过程中,保持改写前后传达的事实信息一致、具备拓展解说语多样性的能力、个性方面不做要求以及具备扩充信息量的能力。根据上述要求,第一目标解说句“A与B正在战斗”与第二目标解说句“A与B狭路相逢”的第一局部质量评价指标会被选中,因此对应的改写模型2.0即可被选择为目标改写模型。
需要说明的是,上述实施例的优点在于,可以确定哪个改写模型的改写效果比较好,然后将改写效果较好的改写模型选为目标改写模型用于后续解说语的改写,如此一来,有助于逐步提升解说语的改写效果。应理解,基于第一评估结果,在多个改写模型中选择目标改写模型的可选实现方式多种多样,不限于上述举出的具体实施例。
本公开一些示例性的实施例中,将第一解说语输入改写模型中,可以得到第二解说语。其中,第二解说语包括同一改写模型对第一解说语多次改写成的多个第二解说语。故而,本公开实施例可以通过以下步骤,从多个第二解说语中确定改写效果比较好的第二解说语,然后将改写效果较好的第二解说语选为第二目标解说语,用于向听众进行展示。
步骤320,可以包括:从多个第二解说语中获取多个与第一目标解说句对应的第二目标解说句;
步骤330,可以包括:为第一目标解说句和每个第二目标解说句增加第一引导语,以生成与每个第二目标解说句对应的第一引导文本,并为每个第二解说语增加第二引导语,以生成与每个第二解说语对应的第二引导文本;
步骤340,可以包括:将每个第二目标解说句对应的第一引导文本输入大规模预训练语言模型,得到与每个第二解说语对应的第一局部质量评价指标,并将每个第二解说语对应的第二引导文本输入大规模预训练语言模型,得到与每个第二解说语对应的第一总体质量评价指标;
步骤350,可以包括:基于与多个第二解说语对应的第一局部质量评价指标、和与每个第二解说语对应的第一总体质量评价指标,确定与多个第二解说语对应的第一评估结果,并基于第一评估结果,在多个第二解说语中选择第二目标解说语。
参照图18A示出的本公开实施例,由改写模型对第一解说语进行三次改写后,分别生成了三个第二解说语。从三个第二解说语中获取三个与第一目标解说句“A躲开了攻击”对应的第二目标解说句,分别是“A灵巧地躲开了攻击”、“A通过走位躲开了攻击”与“A灵巧地通过走位躲开了攻击”。
参照图18B示出的本公开实施例,为第一目标解说句“A躲开了攻击”和第二目标解说句“A灵巧地躲开了攻击”增加第一引导语,以生成与第二目标解说句对应的第一引导文本,并为第二解说语增加第二引导语,以生成与第二解说语对应的第二引导文本。再将第二目标解说句对应的第一引导文本输入大规模预训练语言模型,得到与第二解说语对应的第一局部质量评价指标,并将第二解说语对应的第二引导文本输入大规模预训练语言模型,得到与第二解说语对应的第一总体质量评价指标。其中针对第一目标解说句“A躲开了攻击”与第二目标解说句“A灵巧地躲开了攻击”,可以包括四个评价维度的第一总体质量评价指标,分别是:事实一致、多样性:一般、个性:有趣、信息量不变。
参照图18C示出的本公开实施例,为第一目标解说句“A躲开了攻击”和第二目标解说句“A通过走位躲开了攻击”增加第一引导语,以生成与第二目标解说句对应的第一引导文本,并为第二解说语增加第二引导语,以生成与第二解说语对应的第二引导文本。再将第二目标解说句对应的第一引导文本输入大规模预训练语言模型,得到与第二解说语对应的第一局部质量评价指标,并将第二解说语对应的第二引导文本输入大规模预训练语言模型,得到与第二解说语对应的第一总体质量评价指标。其中针对第一目标解说句“A躲开了攻击”与第二目标解说句“A通过走位躲开了攻击”,可以包括四个评价维度的第一总体质量评价指标,分别是:事实一致、多样性:好、个性:一般、信息量不变。
参照图18D示出的本公开实施例,为第一目标解说句“A躲开了攻击”和第二目标解说句“A灵巧地通过走位躲开了攻击”增加第一引导语,以生成与第二目标解说句对应的第一引导文本,并为第二解说语增加第二引导语,以生成与第二解说语对应的第二引导文本。再将第二目标解说句对应的第一引导文本输入大规模预训练语言模型,得到与第二解说语对应的第一局部质量评价指标,并将第二解说语对应的第二引导文本输入大规模预训练语言模型,得到与第二解说语对应的第一总体质量评价指标。其中针对第一目标解说句“A躲开了攻击”与第二目标解说句“A灵巧地通过走位躲开了攻击”,可以包括四个评价维度的第一总体质量评价指标,分别是:事实一致、多样性:好、个性:有趣、信息量不变。
参照图18E示出的本公开实施例,在获取第一目标解说句“A躲开了攻击”,与上述三个第二目标解说句的之间的第一局部质量评价指标之后,可以基于上述三个第二解说语对应的第一局部质量评价指标、和与每个第二解说语对应的第一总体质量评价指标,确定与三个第二解说语对应的第一评估结果,并基于第一评估结果,在三个第二解说语中选择第二目标解说语。例如一些应用场景下,对改写模型的要求是:能够在解说语改写的过程中,保持改写前后传达的事实信息一致、具备拓展解说语多样性的能力、个性方面能够作出有趣的表述以及对信息量扩充的能力不作要求。根据上述要求,第一目标解说句“A躲开了攻击”与第二目标解说句“A灵巧地通过走位躲开了攻击”的第一局部质量评价指标会被选中,因此对应的第二目标解说句“A灵巧地通过走位躲开了攻击”即可被选为第二目标解说语之中的语句。
需要说明的是,上述实施例的优点在于,可以确定出改写效果比较好的第二解说语,然后将改写效果较好的第二解说语选为第二目标解说语用于向听众进行展示,如此一来,有助于将高质量的解说语传达给听众。应理解,从多个第二解说语中确定改写效果比较好的第二解说语,可以由多种多样的可选实现方式,不限于上述举出的具体实施例。
本公开实施例的解说语改写评估方法的其它方面
参照图19,本发明一些示例性的实施例中,在步骤340之后,解说语改写评估方法还可以包括,但不限于下述步骤1910至步骤1960。
步骤1910,将第一目标解说句和第二目标解说句作为第一样本,第一局部质量评价指标作为第一样本的第一标签,并将第二解说语作为第二样本,第一总体质量评价指标作为第二样本的第二标签;
步骤1920,以多个第一样本和多个第二样本训练指标评估模型;
步骤1930,获取第三解说语和第四解说语,第四解说语由第三解说语改写而成;
步骤1940,从第三解说语中获取第三目标解说句,从第四解说语中获取与第三目标解说句对应的第四目标解说句;
步骤1950,将第三目标解说句和第四目标解说句输入指标评估模型,得到第二局部质量评价指标,并将第四解说语输入指标评估模型,得到第二总体质量评价指标;
步骤1960,基于第二局部质量评价指标和第二总体质量评价指标,确定第二评估结果。
下面对步骤1910至步骤1960进行展开描述。
需要说明的是,大规模预训练语言模型具备强大的语言表征能力,其用途广泛。然而,针对解说语的改写进行质量评估,无需用到大规模预训练语言模型的全部能力。因此,本公开提供步骤1910至步骤1960示出的一些实施例,可以利用改写前后的语句、局部质量评估的结果以及总体质量评估的结果来训练得到指标评估模型。其中,指标评估模型用于专门执行解说语改写的质量评估任务。如此一来,便可以节约解说语改写质量评估所用到的算力资源。
在步骤1910至步骤1920中,将第一目标解说句和第二目标解说句作为第一样本,第一局部质量评价指标作为第一样本的第一标签,并将第二解说语作为第二样本,第一总体质量评价指标作为第二样本的第二标签。进一步,以多个第一样本和多个第二样本训练指标评估模型。需要说明的是,以多个第一样本和多个第二样本训练指标评估模型,其目的在于,提升指标评估模型针对解说语改写进行质量评估的能力。另外,以多个第一样本和多个第二样本训练指标评估模型,具体可以是通过监督学习或者半监督学习等方式对指标评估模型进行训练。
在步骤1930至步骤1960中,获取第三解说语和第四解说语,第四解说语由第三解说语改写而成。进一步,从第三解说语中获取第三目标解说句,从第四解说语中获取与第三目标解说句对应的第四目标解说句。再进一步,将第三目标解说句和第四目标解说句输入指标评估模型,得到第二局部质量评价指标,并将第四解说语输入指标评估模型,得到第二总体质量评价指标。最终基于第二局部质量评价指标和第二总体质量评价指标,确定第二评估结果。需要说明的是,在以多个第一样本和多个第二样本训练指标评估模型之后,指标评估模型针对解说语改写进行质量评估的能力得到提升。因此,将训练之后的指标评估模型用于执行解说词改写的质量评估任务即可节约解说语改写质量评估所用到的算力资源。
参照图20,本公开一些实施例中,在步骤340之后,解说语改写评估方法还可以包括,但不限于下述步骤2010至步骤2060。
步骤2010,针对每个第一局部质量评价指标,将第一目标解说句和第二目标解说句作为第三样本,将第一局部质量评价指标作为第三样本的第三标签,以多个第三样本训练第一局部质量评价指标对应的局部指标评估模型;
步骤2020,针对每个第一总体质量评价指标,将第二解说语作为第四样本,将第一总体质量评价指标作为第四样本的第四标签,以多个第四样本训练第一总体质量评价指标对应的总体指标评估模型;
步骤2030,获取第三解说语和第四解说语,第四解说语由第三解说语改写而成;
步骤2040,从第三解说语中获取第三目标解说句,从第四解说语中获取与第三目标解说句对应的第四目标解说句;
步骤2050,将第三目标解说句和第四目标解说句输入多个第一局部质量评价指标对应的局部指标评估模型,得到多个第三局部质量评价指标,并将第四解说语输入多个第一总体质量评价指标对应的总体指标评估模型,得到多个第三总体质量评价指标;
步骤2060,基于多个第三局部质量评价指标和多个第三总体质量评价指标,确定第三评估结果。
下面对步骤2010至步骤2060进行展开描述。
需要说明的是,一些应用场景下,需要针对解说语的改写在某个特定的评价维度中进行质量评估。虽然大规模预训练语言模型具备强大的语言表征能力,其用途广泛。然而,针对解说语的改写在某个特定的评价维度中进行质量评估,无需用到大规模预训练语言模型的全部能力。因此,本公开提供步骤2010至步骤2060示出的一些实施例,可以利用改写前后的语句、局部质量评估的结果来训练得到局部指标评估模型。其中,局部指标评估模型用于从某一特定的评价维度专门对解说语的改写进行局部质量评估。同理,可以利用改写后的语句、总体质量评估的结果来训练得到总体指标评估模型。其中总体指标评估模型用于从某一特定的评价维度专门对解说语的改写进行总体质量评估。如此一来,便可以针对性地评估解说语改写在某一特定的评价维度中的改写质量。
应理解,某一特定的评价维度,具体可以包括,但不限于上文提到的事实一致性、多样性、个性、信息量、风格连续性或者语义连续性这六种评价维度。
在步骤2010中,针对每个第一局部质量评价指标,将第一目标解说句和第二目标解说句作为第三样本,将第一局部质量评价指标作为第三样本的第三标签,以多个第三样本训练第一局部质量评价指标对应的局部指标评估模型。需要说明的是,以多个第三样本训练第一局部质量评价指标对应的局部指标评估模型,其目的在于,提升局部指标评估模型针对解说语改写从某一特定的评价维度进行局部质量评估的能力。另外,以多个第三样本训练第一局部质量评价指标对应的局部指标评估模型,具体可以是通过监督学习或者半监督学习等方式对指标评估模型进行训练。
在步骤2020中,针对每个第一总体质量评价指标,将第二解说语作为第四样本,将第一总体质量评价指标作为第四样本的第四标签,以多个第四样本训练第一总体质量评价指标对应的总体指标评估模型。需要说明的是,以多个第四样本训练第一总体质量评价指标对应的总体指标评估模型,其目的在于,提升总体指标评估模型针对解说语改写从某一特定的评价维度进行总体质量评估的能力。另外,以多个第四样本训练第一总体质量评价指标对应的总体指标评估模型,具体可以是通过监督学习或者半监督学习等方式对指标评估模型进行训练。
在步骤2030至步骤2060中,获取第三解说语和第四解说语,第四解说语由第三解说语改写而成。进一步,从第三解说语中获取第三目标解说句,从第四解说语中获取与第三目标解说句对应的第四目标解说句。再进一步,将第三目标解说句和第四目标解说句输入多个第一局部质量评价指标对应的局部指标评估模型,得到多个第三局部质量评价指标,并将第四解说语输入多个第一总体质量评价指标对应的总体指标评估模型,得到多个第三总体质量评价指标。最终,基于多个第三局部质量评价指标和多个第三总体质量评价指标,确定第三评估结果。需要说明的是,在以多个第三样本训练第一局部质量评价指标对应的局部指标评估模型之后,局部指标评估模型针对解说语改写从某一特定的评价维度进行局部质量评估的能力得到提升;在以多个第四样本训练第一总体质量评价指标对应的总体指标评估模型之后,总体指标评估模型针对解说语改写从某一特定的评价维度进行总体质量评估的能力得到提升。因此,将训练之后的局部指标评估模型用于执行解说词改写在某一特定评价维度的局部质量评估任务,并将训练之后的总体指标评估模型用于执行解说词改写在某一特定评价维度的总体质量评估任务。如此一来,便可以针对性地评估解说语改写在某一特定的评价维度中的改写质量。另外,体量较小的机器学习模型经过训练后,即可实现从特定的评价维度来进行解说语改写的质量评估,因此上述实施例的优点还在于节约解说语改写质量评估所用到的算力资源。
本公开一些实施例中,改写前的第一解说语和改写后的第二解说语,可以根据不同的第一引导语来生成不同的第一引导文本,并可以根据不同的第二引导语来生成不同的第二引导文本。其中,每一种第一引导文本对应于一个局部质量评价指标分量,每一种第二引导文本对应于一个总体质量评价指标分量。将各个局部质量评价指标分量进行整合,即可得到第一局部质量评价指标,并将各个总体质量评价指标分量进行整合,即可得到第一总体质量评价指标。
一些较为具体的实施例中,步骤330可以包括:为第一目标解说句和第二目标解说句多次增加不同的第一引导语,以生成多个第一引导文本,并为第二解说语多次增加不同的第二引导语,以生成多个第二引导文本。
一些较为具体的实施例中,步骤340可以包括:将多个第一引导文本输入大规模预训练语言模型,得到多个第一局部质量评价指标分量,基于多个第一局部质量评价指标分量确定第一局部质量评价指标,并将多个第二引导文本输入大规模预训练语言模型,得到多个第一总体质量评价指标分量,基于多个第一总体质量评价指标分量确定第一总体质量评价指标。
应理解,以上实施例的优点在于,将不同的引导文本输入大规模预训练语言模型,可以得到多个评价指标分量。而根据这些评价指标分量生成的局部评价指标较为全面和客观,提升第一评估结果的参考价值。
图21示出了一些较为具体的实施例,针对改写前的第一解说语和改写后的第二解说语,首先从第一解说语中获取第一目标解说句,从第二解说语中获取与第一目标解说句对应的第二目标解说句。
进一步,为第一目标解说句与第二目标解说句配置上不同的第一引导语,生成不同的第一引导文本,并将第一引导文本输入大规模预训练语言模型,得到解说语改写的第一局部质量评价指标分量。其中,具体可以包括:
为第一目标解说句和第二目标解说句增加第一引导语a1,生成引导文本a1,再将引导文本a1输入大规模预训练语言模型,得到第一局部质量评价指标分量a1;
为第一目标解说句和第二目标解说句增加第一引导语a2,生成引导文本a2,再将引导文本a2输入大规模预训练语言模型,得到第一局部质量评价指标分量a2;
为第一目标解说句和第二目标解说句增加第一引导语a3,生成引导文本a3,再将引导文本a3输入大规模预训练语言模型,得到第一局部质量评价指标分量a3;
为第一目标解说句和第二目标解说句增加第一引导语a4,生成引导文本a4,再将引导文本a4输入大规模预训练语言模型,得到第一局部质量评价指标分量a4;
与此同时,为第二解说语增加第二引导语,生成不同的第二引导文本,并将第二引导文本输入大规模预训练语言模型,得到解说语改写的第一总体质量评价指标分量。其中,具体可以包括:
为第一目标解说句和第二目标解说句增加第一引导语e1,生成引导文本e1,再将引导文本e1输入大规模预训练语言模型,得到第一总体质量评价指标分量e1;
为第一目标解说句和第二目标解说句增加第一引导语e2,生成引导文本e2,再将引导文本e2输入大规模预训练语言模型,得到第一总体质量评价指标分量e2。
再进一步,将第一局部质量评价指标分量a1、第一局部质量评价指标分量a2、一局部质量评价指标分量a3和第一局部质量评价指标分量a4进行整合,即可得到第一局部质量评价指标。同理,将第一总体质量评价指标分量e1、第一总体质量评价指标分量e2进行整合,即可得到第一总体质量评价指标。
需要指出,将各个质量评价指标分量进行整合可以有多种方式,可以包括,但不限于:当各个质量评价指标分量为文字评价时,可以通过将各个文字评价拼接在一起或者其他方式来得到文字评价形式的质量评价指标;当各个质量评价指标分量为分数时,可以通过求各个分数的均值或者其他方式来得到分数形式的质量评价指标。
参照图22,本公开一些较为具体的实施例中,基于多个第一局部质量评价指标分量确定第一局部质量评价指标,可以包括,但不限于下述步骤2210至步骤2220。
步骤2210,获取多个第一引导语的第一权重;
步骤2220,基于第一权重,确定多个第一局部质量评价指标分量的第一加权和,作为第一局部质量评价指标。
需要说明的是,将各个第一局部质量评价指标分量进行整合,可以先获取多个第一引导语的第一权重,再基于第一权重,确定多个第一局部质量评价指标分量的第一加权和。其中,多个第一局部质量评价指标分量的第一加权和,即可作为第一局部质量评价指标。应理解,第一引导语的第一权重可以从预先设置好的权重数据库中获取,也可以根据具体的评估需求灵活设置,还可以是通过其他方式获取。应理解,通过计算多个第一局部质量评价指标分量的第一加权和,来确定第一局部质量评价指标,其优点在于,可以依照各个第一局部质量评价指标分量在当前应用场景的重要程度,来确定第一局部质量评价指标,能够适用于不同应用场景的评估需求。
本公开一些较为具体的实施例中,基于多个第一总体质量评价指标分量确定第一总体质量评价指标,可以包括,但不限于下述步骤2230至步骤2240。
步骤2230,获取多个第二引导语的第二权重;
步骤2240,基于第二权重,确定多个第一总体质量评价指标分量的第二加权和,作为第一总体质量评价指标。
需要说明的是,将各个第一总体质量评价指标分量进行整合,可以先获取多个第二引导语的第二权重,再基于第二权重,确定多个第一总体质量评价指标分量的第二加权和。其中,多个第一总体质量评价指标分量的第二加权和,即可作为第一总体质量评价指标。应理解,第二引导语的第二权重可以从预先设置好的权重数据库中获取,也可以根据具体的评估需求灵活设置,还可以是通过其他方式获取。应理解,通过计算多个第一总体质量评价指标分量的第二加权和,来确定第一总体质量评价指标,其优点在于,可以依照各个第一总体质量评价指标分量在当前应用场景的重要程度,来确定第一总体质量评价指标,能够适用于不同应用场景的评估需求。
本公开一些较为具体的实施例中,第一引导语选自第一候选引导语集合,第二引导语选自第二候选引导语集合。需要明确,从第一候选引导语集合中选出不同的第一引导语,将会生成不同的第一候选引导文本;同理,从第二候选引导语集合中选出不同的第二引导语,将会生成不同的第二候选引导文本。本公开提供了一些实施例,可以从多个第一候选引导文本中挑选出较为连贯的第一候选引导文本,并将其确定为第一引导文本,并且可以从多个第二候选引导文本中挑选出较为连贯的第二候选引导文本,并将其确定为第二引导文本。需要指出,连贯性评估模型用于给输入其中的候选引导文本的连贯性进行打分,连贯性评估模型得到的连贯性分数越高,对应的候选引导文本就越连贯。应理解,连贯性评估模型是自然语言处理模型的一种,经过预先训练后具备对语句连贯性进行评估的能力。
步骤330可以包括,但不限于下述子步骤:
为第一目标解说句和第二目标解说句分别增加第一候选引导语集合中的每个第一候选引导语,以生成多个第一候选引导文本,将多个第一候选引导文本输入连贯性评估模型,将连贯性评估模型得到的连贯性分数最高的第一候选引导文本作为第一引导文本;
为第二解说语分别增加第二候选引导语集合中的每个第二候选引导语,以生成多个第二候选引导文本,将多个第二候选引导文本输入连贯性评估模型,将连贯性评估模型得到的连贯性分数最高的第二候选引导文本作为第二引导文本。
本公开提供了上述实施例,可以从多个第一候选引导文本中挑选出较为连贯的第一候选引导文本,并将其确定为第一引导文本,并且可以从多个第二候选引导文本中挑选出较为连贯的第二候选引导文本,并将其确定为第二引导文本。应理解,将较为连贯的引导文本输入大规模预训练语言模型,可以相应地得到较为准确的评估结果。因此,该实施例的优点在于,能够进一步提升解说词改写的质量评估的准确度,从而提高第一评估结果的参考价值。
参照图23,为第一目标解说句和第二目标解说句分别增加第一候选引导语集合中的每个第一候选引导语,以生成多个第一候选引导文本,将多个第一候选引导文本输入连贯性评估模型,可以得到对应的连贯性分数。其中,具体可以包括:
为第一目标解说句和第二目标解说句增加第一候选引导语a,以生成第一候选引导文本a,将第一候选引导文本a输入连贯性评估模型,可以得到对应的连贯性分数a;
为第一目标解说句和第二目标解说句增加第一候选引导语b,以生成第一候选引导文本b,将第一候选引导文本b输入连贯性评估模型,可以得到对应的连贯性分数b;
为第一目标解说句和第二目标解说句增加第一候选引导语c,以生成第一候选引导文本c,将第一候选引导文本c输入连贯性评估模型,可以得到对应的连贯性分数c;
为第一目标解说句和第二目标解说句增加第一候选引导语d,以生成第一候选引导文本d,将第一候选引导文本d输入连贯性评估模型,可以得到对应的连贯性分数d;
进一步,从连贯性评估模型得到连贯性分数a、连贯性分数b、连贯性分数c与连贯性分数d中,确定连贯性分数最高的第一候选引导文本作为第一引导文本。
为第二解说语分别增加第二候选引导语集合中的每个第二候选引导语,以生成多个第二候选引导文本,将多个第二候选引导文本输入连贯性评估模型,将连贯性评估模型得到的连贯性分数最高的第二候选引导文本作为第二引导文本。其中,具体可以包括:
为第二解说语增加第一候选引导语e,以生成第二候选引导文本e,将第二候选引导文本e输入连贯性评估模型,可以得到对应的连贯性分数e;
为第二解说语增加第一候选引导语f,以生成第二候选引导文本f,将第二候选引导文本f输入连贯性评估模型,可以得到对应的连贯性分数f;
进一步,从连贯性评估模型得到连贯性分数e、连贯性分数f中,确定连贯性分数最高的第二候选引导文本作为第二引导文本。
本公开实施例的装置和设备描述
可以理解的是,虽然上述各个流程图中的各个步骤按照箭头的表征依次显示,但是这些步骤并不是必然按照箭头表征的顺序依次执行。除非本实施例中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时间执行完成,而是可以在不同的时间执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
图24为本公开实施例提供的解说语改写评估装置2400的结构示意图。该解说语改写评估装置2400包括:
第一获取单元2410,用于获取第一解说语和第二解说语,第二解说语由第一解说语改写而成;
第二获取单元2420,用于从第一解说语中获取第一目标解说句,从第二解说语中获取与第一目标解说句对应的第二目标解说句;
第一生成单元2430,用于为第一目标解说句和第二目标解说句增加第一引导语,以生成第一引导文本,并为第二解说语增加第二引导语,以生成第二引导文本;
第一输入单元2440,用于将第一引导文本输入大规模预训练语言模型,得到第一局部质量评价指标,并将第二引导文本输入大规模预训练语言模型,得到第一总体质量评价指标,其中,所述第一局部质量评价指标指示所述第一目标解说句改写成所述第二目标解说句的改写质量,所述第一总体质量评价指标指示所述第二解说语的各解说句之间的连续性;
第一确定单元2450,用于基于各个所述第一目标解说句的第一局部质量评价指标和第一总体质量评价指标,确定解说语改写的第一评估结果。
可选的,所述第一局部质量评价指标为多个所述第一局部质量评价指标,所述第一总体质量评价指标为多个所述第一总体质量评价指标;
所述第一生成单元2430具体用于:
为所述第一目标解说句和所述第二目标解说句增加每个所述第一局部质量评价指标对应的所述第一引导语,以生成每个所述第一局部质量评价指标对应的所述第一引导文本,并为所述第二解说语增加每个所述第一总体质量评价指标对应的所述第二引导语,以生成每个所述第一总体质量评价指标对应的第二引导文本;
所述第一输入单元2440具体用于:
将每个所述第一局部质量评价指标对应的所述第一引导文本输入所述大规模预训练语言模型,得到每个所述第一局部质量评价指标,并将每个所述第一总体质量评价指标对应的所述第二引导文本输入所述大规模预训练语言模型,得到每个所述第一总体质量评价指标。
可选的,所述第一评估结果为评估分数;
所述第一确定单元2450具体用于:
基于每个所述第一目标解说句对应的所述第一局部质量评价指标,确定每个所述第一目标解说句对应的第一分数;
基于每个所述第一目标解说句对应的第一分数,确定多个所述第一目标解说句的第一总体分数;
基于所述第一总体质量评价指标,确定所述第二分数;
基于所述第一总体分数和所述第二分数,确定所述评估分数。
可选的,所述第一确定单元2450具体用于:
针对每个所述第一目标解说句,基于与所述第一目标解说句对应的多个所述第一局部质量评价指标,确定多个第一子分数;
基于多个所述第一子分数,确定所述第一目标解说句对应的第一分数;
基于多个所述第一总体质量评价指标,确定多个第二子分数;基于多个所述第二子分数,确定所述第二分数。
可选的,所述第一评估结果包括评估通过和评估不通过;
所述第一确定单元2450具体用于:
基于每个所述第一目标解说句对应的所述第一局部质量评价指标,确定每个所述第一目标解说句对应的第一分数;
基于每个所述第一目标解说句对应的第一分数,确定多个所述第一目标解说句的第一总体分数;
基于所述第一总体质量评价指标,确定所述第二分数;
如果所述第一总体分数达到第一阈值,且所述第二分数达到第二阈值,确定评估通过,否则,确定评估不通过。
可选的,多个所述第一局部质量评价指标包括事实一致性指标、多样性指标、个性指标、和信息量指标;
所述第一生成单元2430具体用于:
将所述第一目标解说句和所述第二目标解说句作为解说句对,为所述解说句对增加所述事实一致性指标、所述多样性指标、所述个性指标、和所述信息量指标各自对应的所述第一引导语,以生成所述事实一致性指标、所述多样性指标、所述个性指标、和所述信息量指标各自对应的所述第一引导文本;
所述第一输入单元2440具体用于:
将所述事实一致性指标、所述多样性指标、所述个性指标、和所述信息量指标各自对应的所述第一引导文本输入所述大规模预训练语言模型,得到所述事实一致性指标、所述多样性指标、所述个性指标、和所述信息量指标。
可选的,多个所述第一总体质量评价指标包括风格连续性指标和语义连续性指标;
所述第一生成单元2430具体用于:
为所述第二解说语增加所述风格连续性指标和所述语义连续性指标各自对应的所述第二引导语,以生成所述风格连续性指标和所述语义连续性指标各自对应的所述第二引导文本;
所述第一输入单元2440具体用于:
将所述风格连续性指标和所述语义连续性指标各自对应的所述第二引导文本输入所述大规模预训练语言模型,得到所述风格连续性指标和所述语义连续性指标。
可选的,所述第二获取单元2420具体用于:
确定所述第一解说语中每个第一解说句与所述第二解说语中相应的第二解说句之间的差异度分数,所述差异度分数为所述第二解说句中包含但所述第一解说句不包含的字的数目与所述第一解说句字数的比值;
基于所述差异度分数,在所述第一解说句中选择所述第一目标解说句;
从所述第二解说语中获取与所述第一目标解说句对应的第二解说句,作为所述第二目标解说句。
可选的,所述第一输入单元2440具体用于:
如果将所述第一引导文本输入所述大规模预训练语言模型,未得到所述第一局部质量评价指标,获取所述第一局部质量评价指标的第一参考样例,所述第一参考样例包括第一解说句样本、和所述第一解说句样本对应的局部质量评价;
将所述第一引导文本和所述第一参考样例共同输入所述大规模预训练语言模型,得到所述第一局部质量评价指标;
如果将所述第二引导文本输入所述大规模预训练语言模型,未得到所述第一总体质量评价指标,获取所述第一总体质量评价指标的第二参考样例,所述第二参考样例包括第二解说句样本、和所述第二解说句样本对应的总体质量评价;
将所述第二引导文本和所述第二参考样例共同输入所述大规模预训练语言模型,得到所述第一总体质量评价指标。
可选的,所述第一参考样例是从第一参考样例库中选出的第一数目个所述第一参考样例,所述第二参考样例是从第二参考样例库中选出的第二数目个所述第二参考样例;
所述第一输入单元2440具体用于:
通过以下方式确定所述第一数目:将所述第一引导文本输入语义复杂度评估模型,得到第一语义复杂度分数;基于所述第一语义复杂度分数,确定所述第一数目;
通过以下方式确定所述第二数目:将所述第二引导文本输入所述语义复杂度评估模型,得到第二语义复杂度分数;基于所述第二语义复杂度分数,确定所述第二数目。
可选的,所述第二解说语由强化学习模型基于所述第一解说语改写而成;
所述解说语改写评估装置2400还包括:
强化训练单元(未示),用于将所述第一解说语、所述第二解说语、和所述第一评估结果反馈回所述强化学习模型用于强化训练。
可选的,所述第二解说语包括在多个时间点训练出的多个改写模型对所述第一解说语改写成的多个所述第二解说语;
所述第二获取单元2420具体用于:
从每个所述改写模型对应的所述第二解说语中,获取与所述改写模型对应的所述第二目标解说句;
所述第一生成单元2430具体用于:
为所述第一目标解说句、和与所述改写模型对应的所述第二目标解说句增加所述第一引导语,以生成与所述改写模型对应的第一引导文本,并为所述改写模型对应的所述第二解说语增加所述第二引导语,以生成与所述改写模型对应的第二引导文本;
所述第一输入单元2440具体用于:
将与所述改写模型对应的所述第一引导文本输入所述大规模预训练语言模型,得到与所述改写模型对应的第一局部质量评价指标,并将与所述改写模型对应的所述第二引导文本输入所述大规模预训练语言模型,得到与所述改写模型对应的第一总体质量评价指标;
所述第一确定单元2450具体用于:
基于与多个所述改写模型对应的所述第一局部质量评价指标、和与多个所述改写模型对应的所述第一总体质量评价指标,确定与多个所述改写模型对应的所述第一评估结果,并基于所述第一评估结果,在多个所述改写模型中选择目标改写模型。
可选的,所述第二解说语包括同一改写模型对所述第一解说语多次改写成的多个所述第二解说语;
所述第二获取单元2420具体用于:
从多个所述第二解说语中获取多个与所述第一目标解说句对应的第二目标解说句;
所述第一生成单元2430具体用于:
为所述第一目标解说句和每个所述第二目标解说句增加所述第一引导语,以生成与每个所述第二目标解说句对应的第一引导文本,并为每个所述第二解说语增加所述第二引导语,以生成与每个所述第二解说语对应的第二引导文本;
所述第一输入单元2440具体用于:
将每个所述第二目标解说句对应的所述第一引导文本输入所述大规模预训练语言模型,得到与每个所述第二解说语对应的所述第一局部质量评价指标,并将每个所述第二解说语对应的所述第二引导文本输入所述大规模预训练语言模型,得到与每个所述第二解说语对应的第一总体质量评价指标;
所述第一确定单元2450具体用于:
基于与多个所述第二解说语对应的所述第一局部质量评价指标、和与每个所述第二解说语对应的第一总体质量评价指标,确定与多个所述第二解说语对应的所述第一评估结果,并基于所述第一评估结果,在多个所述第二解说语中选择第二目标解说语。
可选的,所述解说语改写评估装置2400还包括:
第一样本确定单元(未示),用于将所述第一目标解说句和所述第二目标解说句作为第一样本,所述第一局部质量评价指标作为所述第一样本的第一标签,并将所述第二解说语作为第二样本,所述第一总体质量评价指标作为所述第二样本的第二标签;
第一模型训练单元(未示),用于以多个所述第一样本和多个所述第二样本训练指标评估模型;
第三获取单元(未示),用于获取第三解说语和第四解说语,所述第四解说语由所述第三解说语改写而成;
第四获取单元(未示),用于从所述第三解说语中获取第三目标解说句,从所述第四解说语中获取与所述第三目标解说句对应的第四目标解说句;
第二输入单元(未示),用于将所述第三目标解说句和所述第四目标解说句输入所述指标评估模型,得到第二局部质量评价指标,并将所述第四解说语输入所述指标评估模型,得到第二总体质量评价指标;
第二确定单元(未示),用于基于所述第二局部质量评价指标和所述第二总体质量评价指标,确定第二评估结果。
可选的,所述解说语改写评估装置2400还包括:
第二样本确定单元(未示),用于针对每个所述第一局部质量评价指标,将所述第一目标解说句和所述第二目标解说句作为第三样本,将所述第一局部质量评价指标作为所述第三样本的第三标签,以多个所述第三样本训练所述第一局部质量评价指标对应的局部指标评估模型;
第二模型训练单元(未示),用于针对每个所述第一总体质量评价指标,将所述第二解说语作为第四样本,将所述第一总体质量评价指标作为所述第四样本的第四标签,以多个所述第四样本训练所述第一总体质量评价指标对应的总体指标评估模型;
第三获取单元(未示),用于获取第三解说语和第四解说语,所述第四解说语由所述第三解说语改写而成;
第四获取单元(未示),用于从所述第三解说语中获取第三目标解说句,从所述第四解说语中获取与所述第三目标解说句对应的第四目标解说句;
第三输入单元(未示),用于将所述第三目标解说句和所述第四目标解说句输入多个所述第一局部质量评价指标对应的局部指标评估模型,得到多个第三局部质量评价指标,并将所述第四解说语输入多个所述第一总体质量评价指标对应的所述总体指标评估模型,得到多个第三总体质量评价指标;
第三确定单元(未示),用于基于多个所述第三局部质量评价指标和多个所述第三总体质量评价指标,确定第三评估结果。
可选的,所述第一生成单元2430具体用于:
为所述第一目标解说句和所述第二目标解说句多次增加不同的第一引导语,以生成多个所述第一引导文本,并为所述第二解说语多次增加不同的第二引导语,以生成多个所述第二引导文本;
所述第一输入单元2440具体用于:
将多个所述第一引导文本输入所述大规模预训练语言模型,得到多个第一局部质量评价指标分量,基于多个所述第一局部质量评价指标分量确定所述第一局部质量评价指标,并将多个所述第二引导文本输入所述大规模预训练语言模型,得到多个第一总体质量评价指标分量,基于多个所述第一总体质量评价指标分量确定所述第一总体质量评价指标。
可选的,所述第一输入单元2440具体用于:
获取多个所述第一引导语的第一权重;
基于所述第一权重,确定多个所述第一局部质量评价指标分量的第一加权和,作为所述第一局部质量评价指标;
所述第一输入单元2440具体用于:
获取多个所述第二引导语的第二权重;
基于所述第二权重,确定多个所述第一总体质量评价指标分量的第二加权和,作为所述第一总体质量评价指标。
可选的,所述第一引导语选自第一候选引导语集合,所述第二引导语选自第二候选引导语集合;
所述第一生成单元2430具体用于:
为所述第一目标解说句和所述第二目标解说句分别增加所述第一候选引导语集合中的每个第一候选引导语,以生成多个第一候选引导文本,将多个所述第一候选引导文本输入连贯性评估模型,将所述连贯性评估模型得到的连贯性分数最高的所述第一候选引导文本作为所述第一引导文本;
为所述第二解说语分别增加所述第二候选引导语集合中的每个第二候选引导语,以生成多个第二候选引导文本,将多个所述第二候选引导文本输入所述连贯性评估模型,将所述连贯性评估模型得到的连贯性分数最高的所述第二候选引导文本作为所述第二引导文本。
参照图25,图25为实现本公开实施例的解说语改写评估方法的终端的部分的结构框图,该终端包括:射频(Radio Frequency,简称RF)电路2510、存储器2515、输入单元2530、显示单元2540、传感器2550、音频电路2560、无线保真(wireless fidelity,简称WiFi)模块2570、处理器2580、以及电源2590等部件。本领域技术人员可以理解,图25示出的终端结构并不构成对手机或电脑的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
RF电路2510可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器2580处理;另外,将设计上行的数据发送给基站。
存储器2515可用于存储软件程序以及模块,处理器2580通过运行存储在存储器2515的软件程序以及模块,从而执行对象终端的各种功能应用以及数据处理。
输入单元2530可用于接收输入的数字或字符信息,以及产生与对象终端的设置以及功能控制有关的键信号输入。具体地,输入单元2530可包括触控面板2531以及其他输入装置2532。
显示单元2540可用于显示输入的信息或提供的信息以及对象终端的各种菜单。显示单元2540可包括显示面板2541。
音频电路2560、扬声器2561,传声器2562可提供音频接口。
在本实施例中,该终端所包括的处理器2580可以执行前面实施例的解说语改写评估方法。
本公开实施例的终端包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器等。本公开实施例可应用于各种场景,包括但不限于人工智能、大规模预训练语言模型、大数据等。
图26为实施本公开实施例的解说语改写评估方法的服务器的部分的结构框图。服务器可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(Central Processing Units,简称CPU)2622(例如,一个或一个以上处理器)和存储器2632,一个或一个以上存储应用程序2642或数据2644的存储介质2130(例如一个或一个以上海量存储装置)。其中,存储器2632和存储介质2630可以是短暂存储或持久存储。存储在存储介质2630的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器2622可以设置为与存储介质2630通信,在服务器上执行存储介质2630中的一系列指令操作。
服务器还可以包括一个或一个以上电源2626,一个或一个以上有线或无线网络接口2650,一个或一个以上输入输出接口2658,和/或,一个或一个以上操作系统2641,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
服务器中的中央处理器2622可以用于执行本公开实施例的解说语改写评估方法。
本公开实施例还提供一种计算机可读存储介质,计算机可读存储介质用于存储程序代码,程序代码用于执行前述各个实施例的解说语改写评估方法。
本公开实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序。计算机设备的处理器读取该计算机程序并执行,使得该计算机设备执行实现上述的解说语改写评估方法。
本公开的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“包含”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或装置不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或装置固有的其它步骤或单元。
应当理解,在本公开中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
应了解,在本公开实施例的描述中,多个(或多项)的含义是两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。
在本公开所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机装置(可以是个人计算机,服务器,或者网络装置等)执行本公开各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
还应了解,本公开实施例提供的各种实施方式可以任意进行组合,以实现不同的技术效果。
以上是对本公开的实施方式的具体说明,但本公开并不局限于上述实施方式,熟悉本领域的技术人员在不违背本公开精神的条件下还可作出种种等同的变形或替换,这些等同的变形或替换均包括在本公开权利要求所限定的范围内。

Claims (20)

1.一种解说语改写评估方法,其特征在于,包括:
获取第一解说语和第二解说语,所述第二解说语由所述第一解说语改写而成;
从所述第一解说语中获取第一目标解说句,从所述第二解说语中获取与所述第一目标解说句对应的第二目标解说句;
为所述第一目标解说句和所述第二目标解说句增加第一引导语,以生成第一引导文本,并为所述第二解说语增加第二引导语,以生成第二引导文本;
将所述第一引导文本输入大规模预训练语言模型,得到第一局部质量评价指标,并将所述第二引导文本输入所述大规模预训练语言模型,得到第一总体质量评价指标,其中,所述第一局部质量评价指标指示所述第一目标解说句改写成所述第二目标解说句的改写质量,所述第一总体质量评价指标指示所述第二解说语的各解说句之间的连续性;
基于各个所述第一目标解说句的所述第一局部质量评价指标、和所述第一总体质量评价指标,确定所述解说语改写的第一评估结果。
2.根据权利要求1所述的解说语改写评估方法,其特征在于,所述第一局部质量评价指标为多个所述第一局部质量评价指标,所述第一总体质量评价指标为多个所述第一总体质量评价指标;
所述为所述第一目标解说句和所述第二目标解说句增加第一引导语,以生成第一引导文本,并为所述第二解说语增加第二引导语,以生成第二引导文本,包括:为所述第一目标解说句和所述第二目标解说句增加每个所述第一局部质量评价指标对应的所述第一引导语,以生成每个所述第一局部质量评价指标对应的所述第一引导文本,并为所述第二解说语增加每个所述第一总体质量评价指标对应的所述第二引导语,以生成每个所述第一总体质量评价指标对应的第二引导文本;
所述将所述第一引导文本输入大规模预训练语言模型,得到第一局部质量评价指标,并将所述第二引导文本输入所述大规模预训练语言模型,得到第一总体质量评价指标,包括:将每个所述第一局部质量评价指标对应的所述第一引导文本输入所述大规模预训练语言模型,得到每个所述第一局部质量评价指标,并将每个所述第一总体质量评价指标对应的所述第二引导文本输入所述大规模预训练语言模型,得到每个所述第一总体质量评价指标。
3.根据权利要求2所述的解说语改写评估方法,其特征在于,所述第一评估结果为评估分数;
所述基于各个所述第一目标解说句的所述第一局部质量评价指标、和所述第一总体质量评价指标,确定所述解说语改写的第一评估结果,包括:
基于每个所述第一目标解说句对应的所述第一局部质量评价指标,确定每个所述第一目标解说句对应的第一分数;
基于每个所述第一目标解说句对应的第一分数,确定多个所述第一目标解说句的第一总体分数;
基于所述第一总体质量评价指标,确定所述第二分数;
基于所述第一总体分数和所述第二分数,确定所述评估分数。
4.根据权利要求3所述的解说语改写评估方法,其特征在于,
所述基于每个所述第一目标解说句对应的所述第一局部质量评价指标,确定每个所述第一目标解说句对应的第一分数,包括:针对每个所述第一目标解说句,基于与所述第一目标解说句对应的多个所述第一局部质量评价指标,确定多个第一子分数;基于多个所述第一子分数,确定所述第一目标解说句对应的第一分数;
所述基于所述第一总体质量评价指标,确定所述第二分数,包括:基于多个所述第一总体质量评价指标,确定多个第二子分数;基于多个所述第二子分数,确定所述第二分数。
5.根据权利要求2所述的解说语改写评估方法,其特征在于,所述第一评估结果包括评估通过和评估不通过;
所述基于各个所述第一目标解说句的所述第一局部质量评价指标、和所述第一总体质量评价指标,确定所述解说语改写的第一评估结果,包括:
基于每个所述第一目标解说句对应的所述第一局部质量评价指标,确定每个所述第一目标解说句对应的第一分数;
基于每个所述第一目标解说句对应的第一分数,确定多个所述第一目标解说句的第一总体分数;
基于所述第一总体质量评价指标,确定所述第二分数;
如果所述第一总体分数达到第一阈值,且所述第二分数达到第二阈值,确定评估通过,否则,确定评估不通过。
6.根据权利要求2所述的解说语改写评估方法,其特征在于,多个所述第一局部质量评价指标包括事实一致性指标、多样性指标、个性指标、和信息量指标;
所述为所述第一目标解说句和所述第二目标解说句增加每个所述第一局部质量评价指标对应的所述第一引导语,以生成每个所述第一局部质量评价指标对应的所述第一引导文本,包括:将所述第一目标解说句和所述第二目标解说句作为解说句对,为所述解说句对增加所述事实一致性指标、所述多样性指标、所述个性指标、和所述信息量指标各自对应的所述第一引导语,以生成所述事实一致性指标、所述多样性指标、所述个性指标、和所述信息量指标各自对应的所述第一引导文本;
所述将每个所述第一局部质量评价指标对应的所述第一引导文本输入所述大规模预训练语言模型,得到每个所述第一局部质量评价指标,包括:将所述事实一致性指标、所述多样性指标、所述个性指标、和所述信息量指标各自对应的所述第一引导文本输入所述大规模预训练语言模型,得到所述事实一致性指标、所述多样性指标、所述个性指标、和所述信息量指标。
7.根据权利要求2所述的解说语改写评估方法,其特征在于,多个所述第一总体质量评价指标包括风格连续性指标和语义连续性指标;
所述为所述第二解说语增加每个所述第一总体质量评价指标对应的所述第二引导语,以生成每个所述第一总体质量评价指标对应的第二引导文本,包括:为所述第二解说语增加所述风格连续性指标和所述语义连续性指标各自对应的所述第二引导语,以生成所述风格连续性指标和所述语义连续性指标各自对应的所述第二引导文本;
所述将每个所述第一总体质量评价指标对应的所述第二引导文本输入所述大规模预训练语言模型,得到每个所述第一总体质量评价指标,包括:将所述风格连续性指标和所述语义连续性指标各自对应的所述第二引导文本输入所述大规模预训练语言模型,得到所述风格连续性指标和所述语义连续性指标。
8.根据权利要求1所述的解说语改写评估方法,其特征在于,所述从所述第一解说语中获取第一目标解说句,从所述第二解说语中获取与所述第一目标解说句对应的第二目标解说句,包括:
确定所述第一解说语中每个第一解说句与所述第二解说语中相应的第二解说句之间的差异度分数,所述差异度分数为所述第二解说句中包含但所述第一解说句不包含的字的数目与所述第一解说句字数的比值;
基于所述差异度分数,在所述第一解说句中选择所述第一目标解说句;
从所述第二解说语中获取与所述第一目标解说句对应的第二解说句,作为所述第二目标解说句。
9.根据权利要求1所述的解说语改写评估方法,其特征在于,所述将所述第一引导文本输入大规模预训练语言模型,得到第一局部质量评价指标,并将所述第二引导文本输入所述大规模预训练语言模型,得到第一总体质量评价指标,包括:
如果将所述第一引导文本输入所述大规模预训练语言模型,未得到所述第一局部质量评价指标,获取所述第一局部质量评价指标的第一参考样例,所述第一参考样例包括第一解说句样本、和所述第一解说句样本对应的局部质量评价;
将所述第一引导文本和所述第一参考样例共同输入所述大规模预训练语言模型,得到所述第一局部质量评价指标;
如果将所述第二引导文本输入所述大规模预训练语言模型,未得到所述第一总体质量评价指标,获取所述第一总体质量评价指标的第二参考样例,所述第二参考样例包括第二解说句样本、和所述第二解说句样本对应的总体质量评价;
将所述第二引导文本和所述第二参考样例共同输入所述大规模预训练语言模型,得到所述第一总体质量评价指标。
10.根据权利要求9所述的解说语改写评估方法,其特征在于,所述第一参考样例是从第一参考样例库中选出的第一数目个所述第一参考样例,所述第二参考样例是从第二参考样例库中选出的第二数目个所述第二参考样例;
所述第一数目通过以下方式确定:将所述第一引导文本输入语义复杂度评估模型,得到第一语义复杂度分数;基于所述第一语义复杂度分数,确定所述第一数目;
所述第二数目通过以下方式确定:将所述第二引导文本输入所述语义复杂度评估模型,得到第二语义复杂度分数;基于所述第二语义复杂度分数,确定所述第二数目。
11.根据权利要求1所述的解说语改写评估方法,其特征在于,所述第二解说语由强化学习模型基于所述第一解说语改写而成;
在基于所述第一局部质量评价指标和所述第一总体质量评价指标,确定所述解说语改写的第一评估结果之后,所述解说语改写评估方法还包括:将所述第一解说语、所述第二解说语、和所述第一评估结果反馈回所述强化学习模型用于强化训练。
12.根据权利要求1所述的解说语改写评估方法,其特征在于,所述第二解说语包括在多个时间点训练出的多个改写模型对所述第一解说语改写成的多个所述第二解说语;
所述从所述第二解说语中获取与所述第一目标解说句对应的第二目标解说句,包括:从每个所述改写模型对应的所述第二解说语中,获取与所述改写模型对应的所述第二目标解说句;
所述为所述第一目标解说句和所述第二目标解说句增加第一引导语,以生成第一引导文本,并为所述第二解说语增加第二引导语,以生成第二引导文本,包括:为所述第一目标解说句、和与所述改写模型对应的所述第二目标解说句增加所述第一引导语,以生成与所述改写模型对应的第一引导文本,并为所述改写模型对应的所述第二解说语增加所述第二引导语,以生成与所述改写模型对应的第二引导文本;
所述将所述第一引导文本输入大规模预训练语言模型,得到第一局部质量评价指标,并将所述第二引导文本输入所述大规模预训练语言模型,得到第一总体质量评价指标,包括:将与所述改写模型对应的所述第一引导文本输入所述大规模预训练语言模型,得到与所述改写模型对应的第一局部质量评价指标,并将与所述改写模型对应的所述第二引导文本输入所述大规模预训练语言模型,得到与所述改写模型对应的第一总体质量评价指标;
所述基于各个所述第一目标解说句的所述第一局部质量评价指标和所述第一总体质量评价指标,确定所述解说语改写的第一评估结果,包括:基于与多个所述改写模型对应的所述第一局部质量评价指标、和与多个所述改写模型对应的所述第一总体质量评价指标,确定与多个所述改写模型对应的所述第一评估结果,并基于所述第一评估结果,在多个所述改写模型中选择目标改写模型。
13.根据权利要求1所述的解说语改写评估方法,其特征在于,所述第二解说语包括同一改写模型对所述第一解说语多次改写成的多个所述第二解说语;
所述从所述第二解说语中获取与所述第一目标解说句对应的第二目标解说句,包括:从多个所述第二解说语中获取多个与所述第一目标解说句对应的第二目标解说句;
所述为所述第一目标解说句和所述第二目标解说句增加第一引导语,以生成第一引导文本,并为所述第二解说语增加第二引导语,以生成第二引导文本,包括:为所述第一目标解说句和每个所述第二目标解说句增加所述第一引导语,以生成与每个所述第二目标解说句对应的第一引导文本,并为每个所述第二解说语增加所述第二引导语,以生成与每个所述第二解说语对应的第二引导文本;
所述将所述第一引导文本输入大规模预训练语言模型,得到第一局部质量评价指标,并将所述第二引导文本输入所述大规模预训练语言模型,得到第一总体质量评价指标,包括:将每个所述第二目标解说句对应的所述第一引导文本输入所述大规模预训练语言模型,得到与每个所述第二解说语对应的所述第一局部质量评价指标,并将每个所述第二解说语对应的所述第二引导文本输入所述大规模预训练语言模型,得到与每个所述第二解说语对应的第一总体质量评价指标;
所述基于各个所述第一目标解说句的所述第一局部质量评价指标和所述第一总体质量评价指标,确定所述解说语改写的第一评估结果,包括:基于与多个所述第二解说语对应的所述第一局部质量评价指标、和与每个所述第二解说语对应的第一总体质量评价指标,确定与多个所述第二解说语对应的所述第一评估结果,并基于所述第一评估结果,在多个所述第二解说语中选择第二目标解说语。
14.根据权利要求1所述的解说语改写评估方法,其特征在于,在将所述第一引导文本输入大规模预训练语言模型,得到第一局部质量评价指标,并将所述第二引导文本输入所述大规模预训练语言模型,得到第一总体质量评价指标之后,所述解说语改写评估方法还包括:
将所述第一目标解说句和所述第二目标解说句作为第一样本,所述第一局部质量评价指标作为所述第一样本的第一标签,并将所述第二解说语作为第二样本,所述第一总体质量评价指标作为所述第二样本的第二标签;
以多个所述第一样本和多个所述第二样本训练指标评估模型;
获取第三解说语和第四解说语,所述第四解说语由所述第三解说语改写而成;
从所述第三解说语中获取第三目标解说句,从所述第四解说语中获取与所述第三目标解说句对应的第四目标解说句;
将所述第三目标解说句和所述第四目标解说句输入所述指标评估模型,得到第二局部质量评价指标,并将所述第四解说语输入所述指标评估模型,得到第二总体质量评价指标;
基于所述第二局部质量评价指标和所述第二总体质量评价指标,确定第二评估结果。
15.根据权利要求1所述的解说语改写评估方法,其特征在于,在将所述第一引导文本输入大规模预训练语言模型,得到第一局部质量评价指标,并将所述第二引导文本输入所述大规模预训练语言模型,得到第一总体质量评价指标之后,所述解说语改写评估方法还包括:
针对每个所述第一局部质量评价指标,将所述第一目标解说句和所述第二目标解说句作为第三样本,将所述第一局部质量评价指标作为所述第三样本的第三标签,以多个所述第三样本训练所述第一局部质量评价指标对应的局部指标评估模型;
针对每个所述第一总体质量评价指标,将所述第二解说语作为第四样本,将所述第一总体质量评价指标作为所述第四样本的第四标签,以多个所述第四样本训练所述第一总体质量评价指标对应的总体指标评估模型;
获取第三解说语和第四解说语,所述第四解说语由所述第三解说语改写而成;
从所述第三解说语中获取第三目标解说句,从所述第四解说语中获取与所述第三目标解说句对应的第四目标解说句;
将所述第三目标解说句和所述第四目标解说句输入多个所述第一局部质量评价指标对应的局部指标评估模型,得到多个第三局部质量评价指标,并将所述第四解说语输入多个所述第一总体质量评价指标对应的所述总体指标评估模型,得到多个第三总体质量评价指标;
基于多个所述第三局部质量评价指标和多个所述第三总体质量评价指标,确定第三评估结果。
16.根据权利要求1所述的解说语改写评估方法,其特征在于,
所述为所述第一目标解说句和所述第二目标解说句增加第一引导语,以生成第一引导文本,并为所述第二解说语增加第二引导语,以生成第二引导文本,包括:为所述第一目标解说句和所述第二目标解说句多次增加不同的第一引导语,以生成多个所述第一引导文本,并为所述第二解说语多次增加不同的第二引导语,以生成多个所述第二引导文本;
所述将所述第一引导文本输入大规模预训练语言模型,得到第一局部质量评价指标,并将所述第二引导文本输入所述大规模预训练语言模型,得到第一总体质量评价指标,包括:将多个所述第一引导文本输入所述大规模预训练语言模型,得到多个第一局部质量评价指标分量,基于多个所述第一局部质量评价指标分量确定所述第一局部质量评价指标,并将多个所述第二引导文本输入所述大规模预训练语言模型,得到多个第一总体质量评价指标分量,基于多个所述第一总体质量评价指标分量确定所述第一总体质量评价指标。
17.一种解说语改写评估装置,其特征在于,包括:
第一获取单元,用于获取第一解说语和第二解说语,所述第二解说语由所述第一解说语改写而成;
第二获取单元,用于从所述第一解说语中获取第一目标解说句,从所述第二解说语中获取与所述第一目标解说句对应的第二目标解说句;
第一生成单元,用于为所述第一目标解说句和所述第二目标解说句增加第一引导语,以生成第一引导文本,并为所述第二解说语增加第二引导语,以生成第二引导文本;
第一输入单元,用于将所述第一引导文本输入大规模预训练语言模型,得到第一局部质量评价指标,并将所述第二引导文本输入所述大规模预训练语言模型,得到第一总体质量评价指标,其中,所述第一局部质量评价指标指示所述第一目标解说句改写成所述第二目标解说句的改写质量,所述第一总体质量评价指标指示所述第二解说语的各解说句之间的连续性;;
第一确定单元,用于基于各个所述第一目标解说句的所述第一局部质量评价指标和所述第一总体质量评价指标,确定所述解说语改写的第一评估结果。
18.一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现根据权利要求1至16任意一项所述的解说语改写评估方法。
19.一种计算机可读存储介质,所述存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现根据权利要求1至16任意一项所述的解说语改写评估方法。
20.一种计算机程序产品,该计算机程序产品包括计算机程序,所述计算机程序被计算机设备的处理器读取并执行,使得该计算机设备执行根据权利要求1至16任意一项所述的解说语改写评估方法。
CN202310627610.3A 2023-05-30 2023-05-30 解说语改写评估方法、相关装置和介质 Pending CN117217204A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310627610.3A CN117217204A (zh) 2023-05-30 2023-05-30 解说语改写评估方法、相关装置和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310627610.3A CN117217204A (zh) 2023-05-30 2023-05-30 解说语改写评估方法、相关装置和介质

Publications (1)

Publication Number Publication Date
CN117217204A true CN117217204A (zh) 2023-12-12

Family

ID=89046827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310627610.3A Pending CN117217204A (zh) 2023-05-30 2023-05-30 解说语改写评估方法、相关装置和介质

Country Status (1)

Country Link
CN (1) CN117217204A (zh)

Similar Documents

Publication Publication Date Title
Sanabria et al. How2: a large-scale dataset for multimodal language understanding
CN110033659B (zh) 一种远程教学互动方法、服务器、终端以及系统
US9547471B2 (en) Generating computer responses to social conversational inputs
CN111833853B (zh) 语音处理方法及装置、电子设备、计算机可读存储介质
CN109271493A (zh) 一种语言文本处理方法、装置和存储介质
CN111081280B (zh) 与文本无关的语音情感识别方法及装置、用于识别情感的算法模型的生成方法
CN111382231B (zh) 意图识别系统及方法
CN111782787B (zh) 问题生成模型训练方法、问题生成方法
CN111626049A (zh) 多媒体信息的标题修正方法、装置、电子设备及存储介质
US20220309949A1 (en) Device and method for providing interactive audience simulation
CN112131430A (zh) 视频聚类方法、装置、存储介质和电子设备
CN113392640B (zh) 一种标题确定方法、装置、设备及存储介质
CN111563158A (zh) 文本排序方法、排序装置、服务器和计算机可读存储介质
CN113505198A (zh) 关键词驱动的生成式对话回复方法、装置及电子设备
CN113342948A (zh) 一种智能问答方法及装置
CN116561265A (zh) 个性化对话生成方法和模型训练方法以及设备
CN117216234A (zh) 基于人工智能的话术改写方法、装置、设备及存储介质
CN116663679A (zh) 一种语言模型训练方法、装置、设备和存储介质
CN112307166B (zh) 一种智能问答方法、装置、存储介质以及计算机设备
CN114333787A (zh) 口语考试的评分方法、装置、设备、存储介质及程序产品
CN110891201B (zh) 文本生成方法、装置、服务器和存储介质
CN110377706B (zh) 基于深度学习的搜索语句挖掘方法及设备
CN117217204A (zh) 解说语改写评估方法、相关装置和介质
CN112749553B (zh) 视频文件的文本信息处理方法、装置和服务器
CN111739518B (zh) 音频的识别方法和装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication