CN117521677A - 一种基于大语言模型的ai翻译模型选择方法 - Google Patents

Abstract

本发明具体涉及一种基于大语言模型的AI翻译模型选择方法，该基于大语言模型的AI翻译模型选择方法，包括步骤：准备大语言模型；对用户上传的待翻译文档进行解析和文本抽取，得到解析文档；抽取所述解析文档中能代表整体语义特征且长度符合要求的文本作为所述解析文档的特征集合；将所述特征集合发送给机器翻译阵列得到译文，对所述译文打分并比较实质差异，获取不同模型的翻译结果并初步评分和排序，得到用户最终的复制行为和编辑行为；对用户最终的复制行为和编辑行为进行直接利用或二次评分，优化评分模型。本发明的AI翻译模型选择方法在专业翻译场景下积累反馈数据，并根据反馈数据训练辅助评分模型，优化评分模型。

Description

一种基于大语言模型的AI翻译模型选择方法

技术领域

本发明属于机器翻译技术领域，具体涉及一种基于大语言模型的AI翻译模型选择方法。

背景技术

在专业语言服务场景中，不同的翻译模型翻译的结果差异较大，导致译后编辑工作量出入较大。如何在众多翻译模型中选择到合适的模型来翻译待翻译文本，是一个具有较高价值，但耗时耗力的过程。常见方案是部署语言模型并用其对候选译文进行直接打分，再根据分数排序、筛选译文。

目前，使用的翻译质量评估(包括文本质量评估)通常是基于Transformer编码器的(参数量1亿以内)，并没有利用到近期新兴的生成式大语言模型(解码器)。此处编码器学习的任务往往来自于这样的三元组数据集：1)原文-译文-打分，或2)原文-译文-修订译文的修订率。根据全国机器翻译大会(CCMT)历年评测报告，自动质量评估与真实翻译修订率的相关度在0.5到0.6之间，并不能被认为存在现实意义。而排序和筛选仅仅是根据上述模型所给分数向用户给出文本级别的提示(顺序、等级或评分)，而不是各个译文之间细粒度的、符合人类习惯的差异对比。

这种方法缺点有：1)基于翻译质量自动评分模型的推荐方式，由于不同文本领域、风格等跨度较大，模型自动评分的结果往往和实际质量差异较大，因此初步的评分可信度和参考价值有限；2)缺乏对于译文不同处合理的展示，往往是使用简单的字符串对比算法，而这在许多拼音语言有对比混乱无意义的缺点；3)现有方法单向展示分数，并未利用用户的活动优化打分模型，使得自动评分系统长期停滞或者改进脱离用户。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于大语言模型的AI翻译模型选择方法，在专业翻译场景下积累反馈数据，并根据反馈数据训练辅助评分模型。本发明要解决的技术问题通过以下技术方案实现：

一种基于大语言模型的AI翻译模型选择方法，包括如下步骤：

S1：准备大语言模型；

S2：上传和解析：对用户上传的待翻译文档进行解析和文本抽取，得到解析文档；

S3：语义采样：抽取所述解析文档中能代表整体语义特征且长度符合要求的文本作为所述解析文档的特征集合；

S4：对比翻译：将所述特征集合发送给机器翻译阵列得到译文，对所述译文打分并比较实质差异，获取不同模型的翻译结果并初步评分和排序，得到用户最终的复制行为和编辑行为；

S5：迭代优化：对用户最终的复制行为和编辑行为进行直接利用或二次评分，优化评分模型。

进一步地，上述S1还包括：训练一个10亿以上参数的大语言模型；

所述大语言模型的能力包括：按照风格和用词的要求总结长篇文本到指定篇幅；对同一原文的多个译文进行打分，0至100分，越高越好；对同一个原文的两个译文A与B择优，A更好、B更好、持平；结合差异对比区间信息，以自然语言讲解两个文本之间的差异；类比生成数据。

进一步地，上述S2中解析文档包括字符串内容、样式信息和位置信息。

进一步地，上述S3还包括：

S31：抽取所述解析文档中能代表整体语义特征的原文片段；

S32：采样出所述解析文档的主要语义，得到具有代表性意义且长度符合要求的文本作为所述解析文档的特征集合。

进一步地，上述S32还包括：

预设两个阈值h和t，h>t，被用于控制对比方法和大语言模型方法的选取；

进行对比采样方法出一定量的候选集C(t＜|C|≤h)，通过对文档分段、分句获得文本基本单位，所述文本基本单位构成的集合称为S；

使用相似度或者距离对S内的元素s进行去重与聚类；

相似度和距离的计算依靠字面内容或经典编码模型的向量；

从S中取出小于等于h个不同的单位，构成C；

如果C的尺寸小于等于t，则不需要进行大语言模型的进一步提炼；否则，使用大语言模型总结C到t个句子或者段落，并在过程中要求大语言模型保持原文的风格、保持原文的主体语义和保持原文的特有专名。

进一步地，上述S4还包括：

S41：打分：所述特征集合在多个不同引擎输出译文[t1,t2,t3……]，每个译文被给予一个质量分数p(0≤p≤100)；

S42：实质差异对比：求解多个文档间的差异，并以高亮样式标注不同之处；

S43：交互：通过所述译文和不同之处，获取不同模型的翻译结果并初步评分和排序，得到用户最终的复制行为和编辑行为。

进一步地，上述S42还包括：

S421：差异寻找的核心算法是基于动态规划求解编辑距离的算法；

S422：对差异处进行实质性检查的算法是基于大模型和经典规则的算法。

进一步地，上述S5还包括：

S51：直接利用：记录得到复制的译本来源引擎与未被复制的引擎，统计起来作为该引擎对于该用户、用户群组、所选领域的受欢迎程度；区别有编辑译文和未编辑译文，结合用户习惯，判定译文来源引擎的质量；关注用户替换近义词的行为；

S52：二次评分：对于用户修订后的数据，再次打分，并构造升级训练集：使用真实用户反馈构建择优训练数据，对于修订后打分更低的样例，在基础训练集中检索相似数据，降低在下次训练时的采样权重；找到用户编辑前-编辑后数据组，使用类比生成用户编辑后的版本，再次打分，并选取其中打分高的，作为新的优质训练数据加入训练集；结合用户修订习惯调整权重。

进一步地，上述S511还包括：

所述结合用户习惯是考虑用户本身编辑译文的倾向，如用户从不编辑译文，但对于引擎的译文进行了编辑，被认为是引擎译文质量差的线索；用户对所有的引擎都进行大量的编辑，则对于任何引擎译文的编辑都并不能作为其质量好坏的依据。

与现有技术相比，本发明的有益效果：

基于大语言模型的AI翻译模型选择方法，增加了译者主动选择和反馈的流程，通过译者的反馈对翻译结果进行二次排序，并置于专业翻译流程中，在试用过程中积累反馈数据并优化评分模型，形成一个数据—译者—模型的反馈闭环，本方案中，打分模型可以不断向用户实际需求靠拢，符合用户习惯。

附图说明

图1是本发明基于大语言模型的AI翻译模型选择方法的流程图。

图2是本发明基于大语言模型的AI翻译模型选择方法的示意图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

本实施例提供了一种基于大语言模型的AI翻译模型选择方法，参照附图1和附图2，该基于大语言模型的AI翻译模型选择方法包括如下步骤：

S1：准备大语言模型；

S2：上传和解析：对用户上传的待翻译文档进行解析和文本抽取，得到解析文档；

S3：语义采样：抽取解析文档中能代表整体语义特征且长度符合要求的文本作为解析文档的特征集合；

S4：对比翻译：将特征集合发送给机器翻译阵列得到译文，对译文打分并比较实质差异，获取不同模型的翻译结果并初步评分和排序，得到用户最终的复制行为和编辑行为；

S5：迭代优化：对用户最终的复制行为和编辑行为进行直接利用或二次评分，优化评分模型。

本实施例的S1还包括训练一个10亿以上参数的大语言模型。该大语言模型的能力包括：按照风格和用词的要求总结长篇文本到指定篇幅；对同一原文的多个译文进行打分，0至100分，越高越好；对同一个原文的两个译文A与B择优，A更好、B更好、持平；结合差异对比区间信息，可以由其他算法求出，以自然语言讲解两个文本之间的差异；类比生成数据，用于扩充训练数据。

本实施例的S2中解析文档包括字符串内容、样式信息和位置信息。该解析文档记为d。

本实施例的S3还包括：

S31：抽取解析文档中能代表整体语义特征的原文片段；

S32：采样出解析文档d的主要语义，得到具有代表性意义且长度符合要求的文本作为解析文档的特征集合T。

预设两个阈值h和t，h>t，被用于控制对比方法和大语言模型方法的选取。进行对比采样方法出一定量的候选集C(t＜|C|≤h)，通过对文档分段、分句获得文本基本单位(句子或者段落)，文本基本单位构成的集合称为S。使用相似度或者距离对S内的元素s进行去重与聚类。相似度和距离的计算依靠字面内容(如Jaccard距离)或经典编码模型(如BERT)的向量。从S中取出小于等于h个不同的单位，构成C。如果C的尺寸小于等于t，则不需要进行大语言模型的进一步提炼；否则，使用大语言模型总结C到t个句子或者段落，并在过程中要求大语言模型保持原文的风格、保持原文的主体语义和保持原文的特有专名。

本实施例的S4还包括：

将步骤S3得到的特征集合T发送给机器翻译阵列，得到译文t1、t2、t3……。之后，对这些译文打分并比较实质差异。这一步骤将会帮助译者快速检查不同引擎的用词差异且会在之后进一步帮助本方案系统的迭代升级。

S41：打分：在本方案应用的平台上，译者会看到特征集合T在多个不同引擎输出译文[t1,t2,t3……]，每个译文被给予一个质量分数p(0≤p≤100)，这一环节由前述训练好的大模型进行，用户(译者)可以选择是否归一化。

S42：实质差异对比：求解多个文档间的差异，并以高亮样式标注不同之处。这一步骤并非简单寻找字符串不同处，而是要以符合人类习惯的方式展示两个文本之间有实质意义的不同。差异寻找的核心算法是基于动态规划求解编辑距离的算法A，对差异处进行实质性检查的算法则基于大模型和经典规则的算法F。

针对算法A，分为朴素版本和多文对比推广版本。

朴素版本：

对于原始文本输入U和V，通过分词系统生成对应的X与Y，分词系统记录每个词在原文中的位置，即通过X[i]可以知道其在U中的起止范围。

存储X和Y的长度m＝|X|，n＝|Y|；

维护一个数组dp长度为n+1；维护变量lu，left；

其中，dp的长度为n+1而非总长(m+1)*(n+1)的一维数组或者嵌套数组是因为动态规划的空间复杂度可以如此优化；dp实际上在遍历过程中会等价于二维数组的角色。

维护一个差异信息数组K、G；

维护一个跳接结果数组jumps；

遍历X和Y，按照求解编辑距离的方法更新dp，但是注意滚动更新lu、left。

需要额外注意的是jumps，它记录了X和Y不同处的起点和终点，例如：

X＝[He,thinks,the,question,is,too,difficult]；

Y＝[He,thought,the,question,difficult]；

Jumps＝[(1,2,1,2),(4,6,4,4)]；

Jumps内每一项为(X不同处起点，X不同处终点，Y不同处起点，Y不同处终点)如任何一端的不同处为空，则起点等于终点；其中不存在重复或者邻接；这里省略具体的算法伪代码。

如此，最终在dp中得到了两者的编辑距离，在jumps中记录了差异区间。

而为了实现前述“符合人类习惯”，还需要考虑移位操作，也即遍历X中每个词，尝试将其移动到另一位置，再求解差异和距离，取其中编辑距离最小者。这一步骤可以通过启发式规则限制遍历范围获得优化(如限制j相对于i的偏离度，设置早停等)。

例子：符合人类习惯的差异对比

China will set a recycling system up for ageing wind turbines andsolar panels,drawing up new industrial standards and rules to decommission,dismantle and recycle wind and solar facilities,the National Development andReform Commission said on Thursday.

China will set up a recycling system for ageing wind turbines andsolar panels,drawing up new industrial standards and rules to decommission,dismantle and recycle wind and solar facilities,the National Development andReform Commission said on Thursday.

版本1【set之后插入up，删去system后的up】；版本2【up移动到set之后】。事实上，对于专业编辑人员而言，后者是更自然的表达和修订计数。

多文对比推广版本：

当进行双文本对比时，采取朴素的差异对比算法A；而当进行5个及以下文本对比时，获取所有的排列组成两两对比组合，并输入算法A。得到的两两比较结果再进一步统计频次，找出译文u中每个潜在的不同处w和其他文本存在不同的频次，最终将足够高频的结果保存下来。

当对比文本数超过5时，使用经典的关键词算法(TextRank等)提取各文本各自的关键词，再统计并存储。

算法F：

对于找到的差异区间J、原文U，需要考虑D中的字面差异是否是有实际意义的。

使用经典停用词表去除无意义功能词和标点，这些符号不被认为是实质差异；使用经典语法检查器检查J中两端的差异是否仅仅在于语法数、时、体。如果是，使用大模型M求解U是否存在语法错误，如果不是，则该区间保留，否则移除。

通过A求解差异、F过滤实质差异，得到了每个译文各自与众不同的片段，这些会在页面端得到特殊样式的渲染。

S43：交互：通过译文和不同之处，获取不同模型的翻译结果并初步评分和排序，得到用户最终的复制行为和编辑行为。

本实施例的S5还包括：

S51：直接利用：记录得到复制的译本来源引擎与未被复制的引擎，统计起来作为该引擎对于该用户、用户群组、所选领域的受欢迎程度；区别有编辑译文和未编辑译文，结合用户习惯，判定译文来源引擎的质量。

结合用户习惯是考虑用户本身编辑译文的倾向，如用户1从不编辑译文，但对于引擎g的译文进行了编辑，被认为是引擎g译文质量差的线索；用户2对所有的引擎都进行大量的编辑，则对于任何引擎译文的编辑都并不能作为其质量好坏的依据。

关注用户替换近义词的行为。如果用户将译文词t[i]替换成了近义词syn，将认为这一近义词比起原词更适合译文t的领域和风格，这将对训练引擎有重要意义。

S52：二次评分：对于用户修订后的数据，再次用m打分，并构造升级训练集：使用真实用户反馈构建择优训练数据(修订后优于修订前)，对于修订后打分更低的样例，在基础训练集中检索相似数据，降低在下次训练时的采样权重；找到用户编辑前-编辑后数据组(t1，t2)使用m类比生成用户编辑后的版本(t2)，得到多个t2’，用m再次打分，并选取其中打分比t1打分高的，作为新的优质训练数据加入训练集。这一过程中也需要结合用户修订习惯调整权重。

本发明基于大语言模型的AI翻译模型选择方法的总体过程：

对用户上传的待翻译文档进行解析和文本抽取，通过抽取具有代表性语义特征的文本，获取不同模型的翻译结果并初步评分和排序。高亮初步翻译结果的差异，辅助译者快速浏览差异并做出选择。记录译者选择的译文，并基于此进行模型二次排序。如此积累数据和优化评分模型。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (9)

1.一种基于大语言模型的AI翻译模型选择方法，其特征在于，包括如下步骤：

S1：准备大语言模型；

S2：上传和解析：对用户上传的待翻译文档进行解析和文本抽取，得到解析文档；

S3：语义采样：抽取所述解析文档中能代表整体语义特征且长度符合要求的文本作为所述解析文档的特征集合；

S4：对比翻译：将所述特征集合发送给机器翻译阵列得到译文，对所述译文打分并比较实质差异，获取不同模型的翻译结果并初步评分和排序，得到用户最终的复制行为和编辑行为；

S5：迭代优化：对用户最终的复制行为和编辑行为进行直接利用或二次评分，优化评分模型。

2.根据权利要求1所述的基于大语言模型的AI翻译模型选择方法，其特征在于，所述S1还包括：训练一个10亿以上参数的大语言模型；

所述大语言模型的能力包括：按照风格和用词的要求总结长篇文本到指定篇幅；对同一原文的多个译文进行打分，0至100分，越高越好；对同一个原文的两个译文A与B择优，A更好、B更好、持平；结合差异对比区间信息，以自然语言讲解两个文本之间的差异；类比生成数据。

3.根据权利要求1所述的基于大语言模型的AI翻译模型选择方法，其特征在于，所述S2中解析文档包括字符串内容、样式信息和位置信息。

4.根据权利要求1所述的基于大语言模型的AI翻译模型选择方法，其特征在于，所述S3还包括：

S31：抽取所述解析文档中能代表整体语义特征的原文片段；

S32：采样出所述解析文档的主要语义，得到具有代表性意义且长度符合要求的文本作为所述解析文档的特征集合。

5.根据权利要求4所述的基于大语言模型的AI翻译模型选择方法，其特征在于，所述S32还包括：

预设两个阈值h和t，h>t，被用于控制对比方法和大语言模型方法的选取；

进行对比采样方法出一定量的候选集C(t＜|C|≤h)，通过对文档分段、分句获得文本基本单位，所述文本基本单位构成的集合称为S；

使用相似度或者距离对S内的元素s进行去重与聚类；

相似度和距离的计算依靠字面内容或经典编码模型的向量；

从S中取出小于等于h个不同的单位，构成C；

如果C的尺寸小于等于t，则不需要进行大语言模型的进一步提炼；否则，使用大语言模型总结C到t个句子或者段落，并在过程中要求大语言模型保持原文的风格、保持原文的主体语义和保持原文的特有专名。

6.根据权利要求1所述的基于大语言模型的AI翻译模型选择方法，其特征在于，所述S4还包括：

S41：打分：所述特征集合在多个不同引擎输出译文[t1,t2,t3……]，每个译文被给予一个质量分数p(0≤p≤100)；

S42：实质差异对比：求解多个文档间的差异，并以高亮样式标注不同之处；

S43：交互：通过所述译文和不同之处，获取不同模型的翻译结果并初步评分和排序，得到用户最终的复制行为和编辑行为。

7.根据权利要求1所述的基于大语言模型的AI翻译模型选择方法，其特征在于，所述S42还包括：

S421：差异寻找的核心算法是基于动态规划求解编辑距离的算法；

S422：对差异处进行实质性检查的算法是基于大模型和经典规则的算法。

8.根据权利要求1所述的基于大语言模型的AI翻译模型选择方法，其特征在于，所述S5还包括：

S51：直接利用：记录得到复制的译本来源引擎与未被复制的引擎，统计起来作为该引擎对于该用户、用户群组、所选领域的受欢迎程度；区别有编辑译文和未编辑译文，结合用户习惯，判定译文来源引擎的质量；关注用户替换近义词的行为；

S52：二次评分：对于用户修订后的数据，再次打分，并构造升级训练集：使用真实用户反馈构建择优训练数据，对于修订后打分更低的样例，在基础训练集中检索相似数据，降低在下次训练时的采样权重；找到用户编辑前-编辑后数据组，使用类比生成用户编辑后的版本，再次打分，并选取其中打分高的，作为新的优质训练数据加入训练集；结合用户修订习惯调整权重。

9.根据权利要求1所述的基于大语言模型的AI翻译模型选择方法，其特征在于：所述S511还包括：

所述结合用户习惯是考虑用户本身编辑译文的倾向，如用户从不编辑译文，但对于引擎的译文进行了编辑，被认为是引擎译文质量差的线索；用户对所有的引擎都进行大量的编辑，则对于任何引擎译文的编辑都并不能作为其质量好坏的依据。