CN117910482B - 一种基于深度差异特征的机器译文自动评价方法 - Google Patents

一种基于深度差异特征的机器译文自动评价方法 Download PDF

Info

Publication number
CN117910482B
CN117910482B CN202410312287.5A CN202410312287A CN117910482B CN 117910482 B CN117910482 B CN 117910482B CN 202410312287 A CN202410312287 A CN 202410312287A CN 117910482 B CN117910482 B CN 117910482B
Authority
CN
China
Prior art keywords
machine translation
vector
translation
sub
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410312287.5A
Other languages
English (en)
Other versions
CN117910482A (zh
Inventor
李茂西
唐铭
支思威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Normal University
Original Assignee
Jiangxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Normal University filed Critical Jiangxi Normal University
Priority to CN202410312287.5A priority Critical patent/CN117910482B/zh
Publication of CN117910482A publication Critical patent/CN117910482A/zh
Application granted granted Critical
Publication of CN117910482B publication Critical patent/CN117910482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/51—Translation evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开一种基于深度差异特征的机器译文自动评价方法，其方法步骤为：步骤S1，获取训练集，对训练集进行规范化处理，获得规范化处理后的训练集；步骤S2，提取表征机器译文与人工参考译文差异特征的向量；步骤S3，提取表征机器译文与源语言句子语义差异特征的向量；步骤S4，提取机器译文与人工参考译文和机器译文与源语言句子的深度差异特征；步骤S5，预测机器译文质量分值；步骤S6，训练基于深度差异特征的机器译文自动评价模型。利用获取机器译文和人工参考译文的语义表征向量和机器译文和源语言句子的语义表征向量两差异特征的向量提取深度差异特征，将深层差异特征输入前馈神经网络进行机器译文自动评价。

Description

一种基于深度差异特征的机器译文自动评价方法
技术领域
本发明涉及自然语言处理技术领域，具体为一种基于深度差异特征的机器译文自动评价方法。
背景技术
机器翻译研究利用计算机自动实现不同人类语言之间的相互转换。近二十年来，随着深度学习的引入，端到端的神经机器翻译取得了飞跃的发展，许多基于不同网络架构的模型被相继提出。对不同翻译模型，如何评价它们输出译文的质量，可以采用人工评价和自动评价。人工评价尽管比较准确，但评价周期长、人力费用高且主观性强。自机器译文自动评价方法BLEU等自动评价方法提出以来，自动评价由于方便快捷、打分相对准确等优点被大量应用于机器译文的评价以代替人工评价。
给定源语言句子，某机器翻译模型将该源语言句子翻译成对应机器译文，同时人类专业译员也将同一源语言句子翻译成对应的人工参考译文。机器译文自动评价任务根据三元组（源语言句子，机器译文，人工参考译文）来预测该机器译文的质量。遵循机器译文自动评价方法BLEU的主要思路“机器译文越接近(或偏离)人工参考译文，机器译文的质量越好(或越差)”，机器译文自动评价通过对比机器译文和人工参考译文的相似程度(或偏离程度)来对译文质量进行自动评定。根据对比时使用知识的不同，分为早期基于语言学分析的方法和当前基于神经网络的方法。
基于神经网络的译文自动评价方法通过预训练上下文语言模型BERT或跨语言预训练模型XLM-RoBERTa等抽取机器译文、人工参考译文或源语言句子中子词的特征，在子词特征上通过单调区域注意力或平均池化等操作抽取句子级别特征，将句子级别特征拼接输入前馈神经网络预测机器译文的质量。这种句向量的简单拼接不仅没有对机器译文与人工参考译文之间差异进行显式直接建模；而且机器译文可能是包含翻译错误的句子，其特征空间与语法正确的人工参考译文特征空间也存在一定的差异。
发明内容
本发明的目的是解决上述技术问题，本发明提供了一种基于深度差异特征的机器译文自动评价方法，以提高译文自动评价与人工评价的相关性。
本发明采用的技术方案如下：一种基于深度差异特征的机器译文自动评价方法，其步骤如下：
步骤S1，获取训练集，对训练集进行规范化处理，获得规范化处理后的训练集；训练集由多个不同样本组成，每个样本包括由待评价机器译文翻译信息组成的三元组和待评价机器译文的人工评价分值；三元组为源语言句子、机器译文和人工参考译文；
步骤S2，提取表征机器译文与人工参考译文差异特征的向量；将规范化处理后的训练集内每个样本中机器译文和人工参考译文分别输入预训练语言模型，输出子词级别语义表征向量，将子词级别语义表征向量横向拼接输入多头注意力层获取交互表征向量，将交互表征向量输入最大池化和平均池化，输出句子级别语义表征向量，将句子级别语义表征向量输入差异特征提取层，输出表征机器译文与人工参考译文差异特征的向量；
步骤S3，提取表征机器译文与源语言句子语义差异特征的向量；将规范化处理后的训练集内每个样本中机器译文和源语言句子分别输入跨语言预训练模型，输出子词级别语义表征向量，将子词级别语义表征向量横向拼接输入多头注意力层获取交互表征向量，将交互表征向量输入最大池化和平均池化，输出句子级别语义表征向量，将句子级别语义表征向量输入差异特征提取层，输出表征机器译文与源语言句子语义差异特征的向量；
步骤S4，提取机器译文与人工参考译文和机器译文与源语言句子的深度差异特征；将步骤S2中表征机器译文与人工参考译文差异特征的向量与步骤S3中表征机器译文与源语言句子语义差异特征的向量，输入交互差异特征提取层，输出交互差异向量，将交互差异向量输入多头注意力层获取机器译文与人工参考译文和机器译文与源语言句子的深度差异特征；
步骤S5，预测机器译文质量分值；将步骤S4中机器译文与人工参考译文和机器译文与源语言句子的深度差异特征，纵向拼接后输入三层前馈神经网络，输出机器译文质量分值；
步骤S6，训练基于深度差异特征的机器译文自动评价模型；根据步骤S5中输出的机器译文质量分值和步骤S1中规范化处理后的训练集内机器译文的人工评价分值，通过最小化在规范化处理后的训练集上的均方差损失来训练基于深度差异特征的机器译文自动评价模型的参数，得到训练后的基于深度差异特征的机器译文自动评价模型。
进一步的，步骤S1中训练集由多个不同样本组成，每个样本具体为：
给定训练集中一个样本d={(s, h, r), y}，其中d表示一个训练样本，s表示源语言句子，h表示机器译文，r表示人工参考译文， y表示对机器译文h的人工评价分值，人工评价分值介入0-1之间的实数值。
进一步的，步骤S2中提取表征机器译文与人工参考译文差异特征的向量，具体为：
将机器译文h和人工参考译文r分别输入预训练语言模型RoBERTa，由预训练语言模型RoBERTa使用子词切分方法BPE算法对机器译文h和人工参考译文r进行子词切分，分别得到包含m个子词和n个子词的子词序列：
；
其中，m和n分别表示机器译文和人工参考译文使用子词切分方法BPE算法切分后包含的子词个数；bh1，bh2，bhm表示机器译文使用子词切分方法BPE算法切分后的第1个子词，第2个子词，第m个子词；r1，r2，rn表示人工参考译文切分后的第1个子词，第2个子词，第n个子词；
预训练语言模型RoBERTa根据子词和子词在句子中的位置输出每个子词的语义表征向量；
（1）；
（2）；
其中，RBvh和RBvr分别表示机器译文和人工参考译文使用预训练语言模型RoBERTa的语义表征向量，RoBERTa(•)表示预训练语言模型RoBERTa，RBvh1、RBvh2、RBvhm分别表示机器译文第1个子词、第2个子词和第m个子词输入预训练语言模型RoBERTa获得的输出向量，RBvr1、RBvr2、RBvrn表示人工参考译文第1个子词、第2个子词和第n个子词输入预训练语言模型RoBERTa获得的输出向量；
横向拼接机器译文和人工参考译文使用预训练语言模型RoBERTa得到的语义表征向量，获取机器译文和人工参考译文联合特征：
（3）；
其中，RBvhr表示机器译文和人工参考译文联合特征；
将机器译文和人工参考译文联合特征输入多头注意力层，获取机器译文和人工参考译文交互表征向量：
（4）；
其中，RBuhr表示机器译文和人工参考译文交互表征向量，Multi-head()为多头注意力层函数，RBuh1、RBuh2、RBuhm表示机器译文基于预训练语言模型RoBERTa的第1个子词、第2个子词和第m个子词交互表征向量，RBur1、RBur2、RBurn表示人工参考译文基于预训练语言模型RoBERTa的第1个子词、第2个子词和第n个子词交互表征向量；
由于机器译文和人工参考译文包含的子词个数可能不同，分别将机器译文基于预训练语言模型RoBERTa的子词交互表征向量和人工参考译文基于预训练语言模型RoBERTa的子词交互表征向量进行最大池化和平均池化提取句子级别语义表征向量：
（5）；
（6）；
（7）；
（8）；
其中，RBvhmax，RBvhavg分别表示机器译文使用预训练语言模型RoBERTa表征情况下最大池化后的表征向量和平均池化后的表征向量，RBvrmax，RBvravg分别表示人工参考译文使用预训练语言模型RoBERTa表征情况下最大池化后的表征向量和平均池化后的表征向量，RBvhmax，RBvhavg，RBvrmax，RBvravg都表示句子级别表征向量，MaxPooling()和AvgPooling()分别表示最大池化操作和平均池化操作；
将机器译文使用预训练语言模型RoBERTa表征情况下最大池化后的表征向量和平均池化后的表征向量、人工参考译文使用预训练语言模型RoBERTa表征情况下最大池化后的表征向量和平均池化后的表征向量输入差异特征提取层提取表征机器译文与人工参考译文差异特征的向量：
（9）；
其中，RBdhr表示表征机器译文和人工参考译文差异特征的向量，符号“⊕”表示两向量纵向拼接操作，符号“☉”表示两向量逐元素相乘操作，符号“-”表示两向量逐元素相减操作，符号“| |”表示向量逐元素取绝对值操作。
进一步的，步骤S3中提取表征机器译文与源语言句子语义差异特征的向量，具体为：
将机器译文h和源语言句子s分别输入跨语言预训练模型XLM-RoBERTa，由跨语言预训练模型XLM-RoBERTa使用子词切分方法SentencePiece算法对机器译文h和源语言句子s进行子词切分，分别得到包含p个子词和q个子词的子词序列，需要说明的是由于SentencePiece算法与子词切分方法BPE算法子词切分粒度不同，因此p不一定等于m，跨语言预训练模型XLM-RoBERTa使用SentencePiece算法切分子词是由于它需要支持多种语言文本的切分：
；
其中，p和q分别表示机器译文和源语言句子使用SentencePiece算法子词切分后包含的子词个数；sh1，sh2，shp表示机器译文使用SentencePiece算法切分后的第1个子词，第2个子词，第p个子词；s1，s2，sq表示源语言句子切分后的第1个子词，第2个子词，第q个子词；
跨语言预训练模型XLM-RoBERTa根据子词和子词在句子中的位置输出每个子词的语义表征向量；
（10）；
（11）；
其中，XRvh和XRvs分别表示机器译文和源语言句子基于跨语言预训练模型XLM-RoBERTa的语义表征向量，XLM-RoBERTa(•)表示跨语言预训练模型XLM-RoBERTa，XRvh1、XRvh2、XRvhp表示机器译文第1个子词、第2个子词和第p个子词基于跨语言预训练模型XLM-RoBERTa的语义表征向量，XRvs1、XRvs2、XRvsq表示源语言句子第1个子词、第2个子词和第q个子词基于跨语言预训练模型XLM-RoBERTa的语义表征向量；
横向拼接机器译文和源语言句子基于跨语言预训练模型XLM-RoBERTa的语义表征向量，获取机器译文和源语言句子的联合特征：
（12）；
其中，XRvhs表示机器译文和源语言句子的联合特征；
将机器译文和源语言句子的联合特征输入多头注意力层，获取机器译文和源语言句子交互表征向量：
（13）；
其中，XRuhs表示机器译文和源语言句子交互表征向量，Multi-head()为多头注意力层函数，XRuh1、XRuh2、XRuhp表示机器译文基于跨语言预训练模型XLM-RoBERTa的第1个子词、第2个子词和第p个子词交互表征向量，XRus1、XRus2、XRusq表示源语言句子基于跨语言预训练模型XLM-RoBERTa的第1个子词、第2个子词和第q个子词交互表征向量；
由于机器译文和源语言句子包含的子词个数可能不同，分别将机器译文基于跨语言预训练模型XLM-RoBERTa的子词交互表征向量和源语言句子基于跨语言预训练模型XLM-RoBERTa的子词交互表征向量进行最大池化和平均池化提取句子级别语义表征向量：
（14）；
（15）；
（16）；
（17）；
其中，XRvhmax，XRvhavg分别表示机器译文使用跨语言预训练模型XLM-RoBERTa表征情况下最大池化后的表征向量和平均池化后的表征向量，XRvsmax，XRvsavg分别表示源语言句子使用跨语言预训练模型XLM-RoBERTa表征情况下最大池化后的表征向量和平均池化后的表征向量，XRvhmax，XRvhavg，XRvsmax，XRvsavg都表示句子级别表征向量；
将机器译文使用跨语言预训练模型XLM-RoBERTa表征情况下最大池化后的表征向量和平均池化后的表征向量、源语言句子使用跨语言预训练模型XLM-RoBERTa表征情况下最大池化后的表征向量和平均池化后的表征向量输入差异特征提取层提取表征机器译文与源语言句子语义差异特征的向量：
（18）；
其中，XRdhs表示表征机器译文和源语言句子差异特征的向量。
进一步的，步骤S4中提取机器译文与人工参考译文和机器译文与源语言句子的深度差异特征，具体为：
将步骤S2中表征机器译文和人工参考译文差异特征的向量RBdhr与步骤S3中表征机器译文和源语言句子语义差异特征的向量XRdhs，输入交互差异特征提取层，输出交互差异向量；
（19）；
其中，mdf为交互差异向量；
将交互差异向量输入多头注意力层获取机器译文与人工参考译文和机器译文与源语言句子的深度差异特征；
（20）；
其中，df为深度差异特征，df1，df2，df3，df4分别为深度差异特征的第1列列向量，第2列列向量，第3列列向量和第4列列向量。
进一步的，步骤S5中，预测机器译文质量分值，具体为：
将步骤S4中深度差异特征的第1列列向量，第2列列向量，第3列列向量和第4列列向量，纵向拼接后输入三层前馈神经网络，输出机器译文质量分值；
（21）；
其中，Score为机器译文质量分值，Feed-Forward为三层前馈神经网络。
进一步的，步骤S6中均方差损失见公式（22）所示；
（22）；
其中，MSE表示均方差损失，N表示训练集中样本的数量，i表示训练集中第i条样本，y(i)表示训练集中第i条样本机器译文的人工评价分值，Score(i)表示第i条样本预测的机器译文质量分值。
进一步的，本发明采用的另外一种技术方案：一种基于深度差异特征的机器译文自动评价方法，还包括：
步骤S7，对待评价机器译文翻译信息组成的三元组中源语言句子、机器译文和人工参考译文进行规范化处理；
步骤S8，将步骤S7中规范化处理后的源语言句子、机器译文和人工参考译文输入至步骤S6中训练后的基于深度差异特征的机器译文自动评价模型，预测机器译文质量分值。
本发明的有益效果是：本发明将机器译文自动评价方法分解为，利用预训练语言模型RoBERTa获取机器译文和人工参考译文的语义表征向量，利用多头注意力、最大池化和平均池化、差异特征提取操作提取表征机器译文与人工参考译文差异特征的向量；利用跨语言预训练模型XLM-RoBERTa获取机器译文和源语言句子的语义表征向量，利用多头注意力、最大池化和平均池化、差异特征提取操作提取表征机器译文与源语言句子语义差异特征的向量；由机器译文与人工参考译文差异特征的向量和机器译文与源语言句子语义差异特征的向量提取深度差异特征，最后根据深层差异特征进行译文自动评价，提高译文自动评价与人工评价的相关性。
附图说明
图1是本发明的基于深度差异特征的机器译文自动评价模型训练方法流程示意图；
图2是本发明的机器译文自动评价方法流程示意图；
图3是本发明的基于深度差异特征的机器译文自动评价模型结构示意图。
具体实施方式
以下结合附图及实施方式对本发明进行详细描述。
如图1所示，本实施例是这样来工作的，一种基于深度差异特征的机器译文自动评价方法，其步骤如下：
步骤S1，获取训练集，对训练集进行规范化处理，获得规范化处理后的训练集；训练集由多个不同样本组成，每个样本包括由待评价机器译文翻译信息组成的三元组和待评价机器译文的人工评价分值；三元组为源语言句子、机器译文和人工参考译文；
步骤S2，提取表征机器译文与人工参考译文差异特征的向量；将规范化处理后的训练集内每个样本中机器译文和人工参考译文分别输入预训练语言模型，输出子词级别语义表征向量，将子词级别语义表征向量横向拼接输入多头注意力层获取交互表征向量，将交互表征向量输入最大池化和平均池化，输出句子级别语义表征向量，将句子级别语义表征向量输入差异特征提取层，输出表征机器译文与人工参考译文差异特征的向量；
步骤S3，提取表征机器译文与源语言句子语义差异特征的向量；将规范化处理后的训练集内每个样本中机器译文和源语言句子分别输入跨语言预训练模型，输出子词级别语义表征向量，将子词级别语义表征向量横向拼接输入多头注意力层获取交互表征向量，将交互表征向量输入最大池化和平均池化，输出句子级别语义表征向量，将句子级别语义表征向量输入差异特征提取层，输出表征机器译文与源语言句子语义差异特征的向量；
步骤S4，提取机器译文与人工参考译文和机器译文与源语言句子的深度差异特征；将步骤S2中表征机器译文与人工参考译文差异特征的向量与步骤S3中表征机器译文与源语言句子语义差异特征的向量，输入交互差异特征提取层，输出交互差异向量，将交互差异向量输入多头注意力层获取机器译文与人工参考译文和机器译文与源语言句子的深度差异特征；
步骤S5，预测机器译文质量分值；将步骤S4中机器译文与人工参考译文和机器译文与源语言句子的深度差异特征，纵向拼接后输入三层前馈神经网络，输出机器译文质量分值；
步骤S6，训练基于深度差异特征的机器译文自动评价模型；根据步骤S5中输出的机器译文质量分值和步骤S1中规范化处理后的训练集内机器译文的人工评价分值，通过最小化在规范化处理后的训练集上的均方差损失来训练基于深度差异特征的机器译文自动评价模型的参数，得到训练后的基于深度差异特征的机器译文自动评价模型。
如图2所示，一种基于深度差异特征的机器译文自动评价方法，一种机器译文自动评价方法，包括：
步骤S7，对待评价机器译文翻译信息组成的三元组（源语言句子，机器译文，人工参考译文）中源语言句子、机器译文和人工参考译文进行规范化处理；
步骤S8，将步骤S7中规范化处理后的源语言句子、机器译文和人工参考译文输入至步骤S6中训练后的基于深度差异特征的机器译文自动评价模型，预测机器译文质量分值。
图3是本发明的基于深度差异特征的机器译文自动评价模型结构示意图。
步骤S1中训练集内一个样本，具体为：
给定训练集中一个样本d={(s, h, r), y}，其中d表示一个训练样本，s表示源语言句子，h表示机器译文，r表示人工参考译文， y表示对机器译文h的人工评价分值（介入0-1之间的实数值）。
附表1：训练集中一个训练样本示例
进一步的，步骤S2中提取表征机器译文与人工参考译文差异特征的向量，具体为：
将机器译文h和人工参考译文r分别输入预训练语言模型RoBERTa，由预训练语言模型RoBERTa使用默认的子词切分方法BPE算法对机器译文h和人工参考译文r进行子词切分，分别得到包含m个子词和n个子词的子词序列：
；
其中，m和n分别指机器译文和人工参考译文使用子词切分方法BPE算法切分后包含的子词个数；bh1，bh2，bhm表示机器译文使用子词切分方法BPE算法切分后的第1个子词，第2个子词，第m个子词；r1，r2，rn表示人工参考译文切分后的第1个子词，第2个子词，第n个子词；
预训练语言模型RoBERTa根据子词和子词在句子中的位置输出每个子词的语义表征向量；
（1）；
（2）；
其中， RBvh和RBvr分别表示机器译文和人工参考译文使用预训练语言模型RoBERTa的语义表征向量，RoBERTa(•)表示预训练语言模型RoBERTa，RBvh1、RBvh2、RBvhm表示机器译文第1个子词、第2个子词和第m个子词输入预训练语言模型RoBERTa获得的输出向量，RBvr1、RBvr2、RBvrn表示人工参考译文第1个子词、第2个子词和第n个子词输入预训练语言模型RoBERTa获得的输出向量；
可选的，预训练语言模型RoBERTa使用其中的基础模型“roberta-base”，拥有24个变换器(Transformer)编码器隐藏层和16个自注意力头，对每个子词输出1024维向量。
横向拼接机器译文和人工参考译文使用预训练语言模型RoBERTa得到的语义表征向量，获取机器译文和人工参考译文联合特征：
（3）；
其中，RBvhr表示机器译文和人工参考译文联合特征；
将机器译文和人工参考译文联合特征输入多头注意力层，获取机器译文和人工参考译文交互表征向量：
（4）；
其中，RBuhr表示机器译文和人工参考译文交互表征向量，Multi-head()为多头注意力层函数，RBuh1、RBuh2、RBuhm表示机器译文基于预训练语言模型RoBERTa的第1个子词、第2个子词和第m个子词交互表征向量，RBur1、RBur2、RBurn表示人工参考译文基于预训练语言模型RoBERTa的第1个子词、第2个子词和第n个子词交互表征向量；
由于机器译文和人工参考译文包含的子词个数可能不同，分别将机器译文基于预训练语言模型RoBERTa的子词交互表征向量和人工参考译文基于预训练语言模型RoBERTa的子词交互表征向量进行最大池化和平均池化提取句子级别语义表征向量：
（5）；
（6）；
（7）；
（8）；
其中，RBvhmax，RBvhavg分别表示机器译文使用预训练语言模型RoBERTa表征情况下最大池化后的表征向量和平均池化后的表征向量，RBvrmax，RBvravg分别表示人工参考译文使用预训练语言模型RoBERTa表征情况下最大池化后的表征向量和平均池化后的表征向量，RBvhmax，RBvhavg，RBvrmax，RBvravg都是句子级别表征向量，MaxPooling()和AvgPooling()表示最大池化操作和平均池化操作；
将机器译文使用预训练语言模型RoBERTa表征情况下最大池化后的表征向量和平均池化后的表征向量、人工参考译文使用预训练语言模型RoBERTa表征情况下最大池化后的表征向量和平均池化后的表征向量输入差异特征提取层提取表征机器译文与人工参考译文差异特征的向量：
（9）；
其中，RBdhr表示表征机器译文和人工参考译文差异特征的向量，符号“⊕”表示两向量纵向拼接操作，符号“☉”表示两向量逐元素相乘操作，符号“-”表示两向量逐元素相减操作，符号“| |”表示向量逐元素取绝对值操作。
进一步的，步骤S3中提取表征机器译文与源语言句子语义差异特征的向量，具体为：
将机器译文h和源语言句子s分别输入跨语言预训练模型XLM-RoBERTa，由跨语言预训练模型XLM-RoBERTa使用默认的SentencePiece算法对机器译文h和源语言句子s进行子词切分，分别得到包含p个子词和q个子词的子词序列，需要说明的是由于SentencePiece算法与子词切分方法BPE算法子词切分粒度不同，因此p不一定等于m，跨语言预训练模型XLM-RoBERTa使用SentencePiece算法切分子词是由于它需要支持多种语言文本的切分：
；
其中，p和q分别指机器译文和源语言句子SentencePiece算法子词切分后包含的子词个数；sh1，sh2，shp表示机器译文使用SentencePiece算法切分后的第1个子词，第2个子词，第p个子词；s1，s2，sq表示源语言句子切分后的第1个子词，第2个子词，第q个子词；
跨语言预训练模型XLM-RoBERTa根据子词和子词在句子中的位置输出每个子词的语义表征向量；
（10）；
（11）；
其中，XRvh和XRvs分别表示机器译文和源语言句子基于跨语言预训练模型XLM-RoBERTa的语义表征向量，XLM-RoBERTa(•)表示跨语言预训练模型XLM-RoBERTa，XRvh1、XRvh2、XRvhp表示机器译文第1个子词、第2个子词和第p个子词基于跨语言预训练模型XLM-RoBERTa的语义表征向量，XRvs1、XRvs2、XRvsq表示源语言句子第1个子词、第2个子词和第q个子词基于跨语言预训练模型XLM-RoBERTa的语义表征向量；
可选的，跨语言预训练模型XLM-RoBERTa使用其中的基础模型“xlm-roberta-large”模型，拥有24个变换器(Transformer)编码器隐藏层和16个自注意力头，对每个子词输出1024维向量。
横向拼接机器译文和源语言句子基于跨语言预训练模型XLM-RoBERTa的语义表征向量，获取机器译文和源语言句子的联合特征：
（12）；
其中，XRvhs表示机器译文和源语言句子的联合特征；
将机器译文和源语言句子的联合特征输入多头注意力层，获取机器译文和源语言句子交互表征向量：
（13）；
其中，XRuhs表示机器译文和源语言句子交互表征向量，Multi-head()为多头注意力层函数，XRuh1、XRuh2、XRuhp表示机器译文基于跨语言预训练模型XLM-RoBERTa的第1个子词、第2个子词和第p个子词交互表征向量，XRus1、XRus2、XRusq表示源语言句子基于跨语言预训练模型XLM-RoBERTa的第1个子词、第2个子词和第q个子词交互表征向量；
由于机器译文和源语言句子包含的子词个数可能不同，分别将机器译文基于跨语言预训练模型XLM-RoBERTa的子词交互表征向量和源语言句子基于跨语言预训练模型XLM-RoBERTa的子词交互表征向量进行最大池化和平均池化提取句子级别语义表征向量：
（14）；
（15）；
（16）；
（17）；
其中，XRvhmax，XRvhavg分别表示机器译文使用跨语言预训练模型XLM-RoBERTa表征情况下最大池化后的表征向量和平均池化后的表征向量，XRvsmax，XRvsavg分别表示源语言句子使用跨语言预训练模型XLM-RoBERTa表征情况下最大池化后的表征向量和平均池化后的表征向量，XRvhmax，XRvhavg，XRvsmax，XRvsavg都是句子级别表征向量，MaxPooling()和AvgPooling()表示最大池化操作和平均池化操作；
将机器译文使用跨语言预训练模型XLM-RoBERTa表征情况下最大池化后的表征向量和平均池化后的表征向量、源语言句子使用跨语言预训练模型XLM-RoBERTa表征情况下最大池化后的表征向量和平均池化后的表征向量输入差异特征提取层提取表征机器译文与源语言句子语义差异特征的向量：
（18）；
其中，XRdhs表示表征机器译文和源语言句子差异特征的向量，符号“⊕”表示两向量纵向拼接操作，符号“☉”表示两向量逐元素相乘操作，符号“-”表示两向量逐元素相减操作，符号“| |”表示向量逐元素取绝对值操作。
进一步的，步骤S4中提取机器译文与人工参考译文和机器译文与源语言句子的深度差异特征，具体为：
将步骤S2中表征机器译文和人工参考译文差异特征的向量RBdhr与步骤S3中表征机器译文和源语言句子语义差异特征的向量XRdhs，输入交互差异特征提取层，输出交互差异向量；
（19）；
其中，mdf为交互差异向量，符号“-”表示两向量逐元素相减操作，符号“| |”表示向量逐元素取绝对值操作，符号“☉”表示两向量逐元素相乘操作；
将交互差异向量输入多头注意力层获取机器译文与人工参考译文和机器译文与源语言句子的深度差异特征；
（20）；
其中，df为深度差异特征，df1，df2，df3，df4分别为深度差异特征的第1列列向量，第2列列向量，第3列列向量和第4列列向量。
进一步的，步骤S5中，预测机器译文质量分值，具体为：
将步骤S4中深度差异特征的第1列列向量，第2列列向量，第3列列向量和第4列列向量，纵向拼接后输入三层前馈神经网络，输出机器译文质量分值；
（21）；
其中，Score为机器译文质量分值，Feed-Forward为三层前馈神经网络，符号“⊕”表示两向量纵向拼接操作。
进一步的，步骤S6中均方差损失见公式（22）所示；
（22）；
其中，MSE表示均方差损失，N表示训练集中样本的数量，i表示训练集中第i条样本，y(i)表示训练集中第i条样本机器译文的人工评价分值，Score(i)表示第i条样本预测的机器译文质量分值。
附表2：在第6届国际机器翻译会议机器译文自动评价任务德英、中英和英中方向上不同机器译文自动评价方法与人工评价的句子级别相关性和系统级别相关性。
将本发明的基于深度差异特征的机器译文自动评价方法DDAtt在第6届国际机器翻译会议机器译文自动评价任务德英、中英和英中方向的新闻领域数据集Newstest2021上进行测试。将机器译文自动评价方法chrF、机器译文自动评价方法BERTScore、机器译文自动评价方法YiSi-1、机器译文自动评价方法bleurt-20、机器译文自动评价方法COMET-DA_2020和机器译文自动评价方法UniTE_UP等作为对比方法。
在系统性能评价时，遵循第6届国际机器翻译会议机器译文自动评价任务中官方做法：使用肯德尔相关系数评价模型在句子级别上与人工评分的相关性，使用皮尔森相关系数评价模型在系统级别上与人工评分的相关性，肯德尔相关系数和皮尔森相关系数的值越高，表明机器译文自动评价方法的性能越好。
附表2给出了在第6届国际机器翻译会议机器译文自动评价任务德英、中英和英中方向上不同机器译文自动评价方法与人工评价的句子级别相关性和系统级别相关性。其中DDAtt为本发明的基于深度差异特征的机器译文自动评价方法。附表2的数据表明基于深度差异特征的机器译文自动评价方法在句子级别相关性和系统级别相关性的平均值上均一致优于对比的机器译文自动评价方法chrF、BERTScore、YiSi-1、bleurt-20、COMET-DA_2020和UniTE_UP等。
这也表明本公开基于深度差异特征的机器译文自动评价方法能够充分地提取机器译文和源语言句子、人工参考译文的差异，能一致地提高机器译文自动评价的效果。
由于本公开的方法不是针对两种特定的语言而提出的，所以本公开的方法具有普遍的适用性。本公开虽然只在德英、中英、英中三个翻译方向上进行了实验验证，但本公开同样也适用于其它语言对，如汉语-日语和汉语-越南语等。
本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (7)

1.一种基于深度差异特征的机器译文自动评价方法，其特征在于：步骤如下：
步骤S1，获取训练集，对训练集进行规范化处理，获得规范化处理后的训练集；训练集由多个不同样本组成，每个样本包括由待评价机器译文翻译信息组成的三元组和待评价机器译文的人工评价分值；三元组为源语言句子、机器译文和人工参考译文；
步骤S2，提取表征机器译文与人工参考译文差异特征的向量；将规范化处理后的训练集内每个样本中机器译文和人工参考译文分别输入预训练语言模型，输出子词级别语义表征向量，将子词级别语义表征向量横向拼接输入多头注意力层获取交互表征向量，将交互表征向量输入最大池化和平均池化，输出句子级别语义表征向量，将句子级别语义表征向量输入差异特征提取层，输出表征机器译文与人工参考译文差异特征的向量；
步骤S3，提取表征机器译文与源语言句子语义差异特征的向量；将规范化处理后的训练集内每个样本中机器译文和源语言句子分别输入跨语言预训练模型，输出子词级别语义表征向量，将子词级别语义表征向量横向拼接输入多头注意力层获取交互表征向量，将交互表征向量输入最大池化和平均池化，输出句子级别语义表征向量，将句子级别语义表征向量输入差异特征提取层，输出表征机器译文与源语言句子语义差异特征的向量；
步骤S4，提取机器译文与人工参考译文和机器译文与源语言句子的深度差异特征；将步骤S2中表征机器译文与人工参考译文差异特征的向量与步骤S3中表征机器译文与源语言句子语义差异特征的向量，输入交互差异特征提取层，输出交互差异向量，将交互差异向量输入多头注意力层获取机器译文与人工参考译文和机器译文与源语言句子的深度差异特征；
步骤S5，预测机器译文质量分值；将步骤S4中机器译文与人工参考译文和机器译文与源语言句子的深度差异特征，纵向拼接后输入三层前馈神经网络，输出机器译文质量分值；
步骤S6，训练基于深度差异特征的机器译文自动评价模型；根据步骤S5中输出的机器译文质量分值和步骤S1中规范化处理后的训练集内机器译文的人工评价分值，通过最小化在规范化处理后的训练集上的均方差损失来训练基于深度差异特征的机器译文自动评价模型的参数，得到训练后的基于深度差异特征的机器译文自动评价模型；
步骤S2中提取表征机器译文与人工参考译文差异特征的向量，具体为：
将机器译文h和人工参考译文r分别输入预训练语言模型RoBERTa，由预训练语言模型RoBERTa使用子词切分方法BPE算法对机器译文h和人工参考译文r进行子词切分，分别得到包含m个子词和n个子词的子词序列：
；
其中，m和n分别表示机器译文和人工参考译文使用子词切分方法BPE算法切分后包含的子词个数；bh1，bh2，bhm表示机器译文使用子词切分方法BPE算法切分后的第1个子词，第2个子词，第m个子词；r1，r2，rn表示人工参考译文切分后的第1个子词，第2个子词，第n个子词；
预训练语言模型RoBERTa根据子词和子词在句子中的位置输出每个子词的语义表征向量；
（1）；
（2）；
其中，RBvh和RBvr分别表示机器译文和人工参考译文使用预训练语言模型RoBERTa的语义表征向量，RoBERTa(•)表示预训练语言模型RoBERTa，RBvh1、RBvh2、RBvhm分别表示机器译文第1个子词、第2个子词和第m个子词输入预训练语言模型RoBERTa获得的输出向量，RBvr1、RBvr2、RBvrn表示人工参考译文第1个子词、第2个子词和第n个子词输入预训练语言模型RoBERTa获得的输出向量；
横向拼接机器译文和人工参考译文使用预训练语言模型RoBERTa得到的语义表征向量，获取机器译文和人工参考译文联合特征：
（3）；
其中，RBvhr表示机器译文和人工参考译文联合特征；
将机器译文和人工参考译文联合特征输入多头注意力层，获取机器译文和人工参考译文交互表征向量：
（4）；
其中，RBuhr表示机器译文和人工参考译文交互表征向量，Multi-head()为多头注意力层函数，RBuh1、RBuh2、RBuhm表示机器译文基于预训练语言模型RoBERTa的第1个子词、第2个子词和第m个子词交互表征向量，RBur1、RBur2、RBurn表示人工参考译文基于预训练语言模型RoBERTa的第1个子词、第2个子词和第n个子词交互表征向量；
分别将机器译文基于预训练语言模型RoBERTa的子词交互表征向量和人工参考译文基于预训练语言模型RoBERTa的子词交互表征向量进行最大池化和平均池化提取句子级别语义表征向量：
（5）；
（6）；
（7）；
（8）；
其中，RBvhmax，RBvhavg分别表示机器译文使用预训练语言模型RoBERTa表征情况下最大池化后的表征向量和平均池化后的表征向量，RBvrmax，RBvravg分别表示人工参考译文使用预训练语言模型RoBERTa表征情况下最大池化后的表征向量和平均池化后的表征向量，RBvhmax，RBvhavg，RBvrmax，RBvravg都表示句子级别表征向量，MaxPooling()和AvgPooling()分别表示最大池化操作和平均池化操作；
将机器译文使用预训练语言模型RoBERTa表征情况下最大池化后的表征向量和平均池化后的表征向量、人工参考译文使用预训练语言模型RoBERTa表征情况下最大池化后的表征向量和平均池化后的表征向量输入差异特征提取层提取表征机器译文与人工参考译文差异特征的向量：
（9）；
其中，RBdhr表示表征机器译文和人工参考译文差异特征的向量，符号“⊕”表示两向量纵向拼接操作，符号“☉”表示两向量逐元素相乘操作，符号“-”表示两向量逐元素相减操作，符号“| |”表示向量逐元素取绝对值操作。
2.根据权利要求1所述的一种基于深度差异特征的机器译文自动评价方法，其特征在于：
步骤S1中训练集由多个不同样本组成，每个样本具体为：
给定训练集中一个样本d={(s, h, r), y}，其中d表示一个训练样本，s表示源语言句子，h表示机器译文，r表示人工参考译文， y表示对机器译文h的人工评价分值，人工评价分值介入0-1之间的实数值。
3.根据权利要求2所述的一种基于深度差异特征的机器译文自动评价方法，其特征在于：
步骤S3中提取表征机器译文与源语言句子语义差异特征的向量，具体为：
将机器译文h和源语言句子s分别输入跨语言预训练模型XLM-RoBERTa，由跨语言预训练模型XLM-RoBERTa使用子词切分方法SentencePiece算法对机器译文h和源语言句子s进行子词切分，分别得到包含p个子词和q个子词的子词序列；
；
其中，p和q分别表示机器译文和源语言句子使用SentencePiece算法子词切分后包含的子词个数；sh1，sh2，shp表示机器译文使用SentencePiece算法切分后的第1个子词，第2个子词，第p个子词；s1，s2，sq表示源语言句子切分后的第1个子词，第2个子词，第q个子词；
跨语言预训练模型XLM-RoBERTa根据子词和子词在句子中的位置输出每个子词的语义表征向量；
（10）；
（11）；
其中，XRvh和XRvs分别表示机器译文和源语言句子基于跨语言预训练模型XLM-RoBERTa的语义表征向量，XLM-RoBERTa(•)表示跨语言预训练模型XLM-RoBERTa，XRvh1、XRvh2、XRvhp表示机器译文第1个子词、第2个子词和第p个子词基于跨语言预训练模型XLM-RoBERTa的语义表征向量，XRvs1、XRvs2、XRvsq表示源语言句子第1个子词、第2个子词和第q个子词基于跨语言预训练模型XLM-RoBERTa的语义表征向量；
横向拼接机器译文和源语言句子基于跨语言预训练模型XLM-RoBERTa的语义表征向量，获取机器译文和源语言句子的联合特征：
（12）；
其中，XRvhs表示机器译文和源语言句子的联合特征；
将机器译文和源语言句子的联合特征输入多头注意力层，获取机器译文和源语言句子交互表征向量：
（13）
其中，XRuhs表示机器译文和源语言句子交互表征向量，Multi-head()为多头注意力层函数，XRuh1、XRuh2、XRuhp表示机器译文基于跨语言预训练模型XLM-RoBERTa的第1个子词、第2个子词和第p个子词交互表征向量，XRus1、XRus2、XRusq表示源语言句子基于跨语言预训练模型XLM-RoBERTa的第1个子词、第2个子词和第q个子词交互表征向量；
分别将机器译文基于跨语言预训练模型XLM-RoBERTa的子词交互表征向量和源语言句子基于跨语言预训练模型XLM-RoBERTa的子词交互表征向量进行最大池化和平均池化提取句子级别语义表征向量：
（14）；
（15）；
（16）；（17）；
其中，XRvhmax，XRvhavg分别表示机器译文使用跨语言预训练模型XLM-RoBERTa表征情况下最大池化后的表征向量和平均池化后的表征向量，XRvsmax，XRvsavg分别表示源语言句子使用跨语言预训练模型XLM-RoBERTa表征情况下最大池化后的表征向量和平均池化后的表征向量，XRvhmax，XRvhavg，XRvsmax，XRvsavg都表示句子级别表征向量；
将机器译文使用跨语言预训练模型XLM-RoBERTa表征情况下最大池化后的表征向量和平均池化后的表征向量、源语言句子使用跨语言预训练模型XLM-RoBERTa表征情况下最大池化后的表征向量和平均池化后的表征向量输入差异特征提取层提取表征机器译文与源语言句子语义差异特征的向量：
（18）；
其中，XRdhs表示表征机器译文和源语言句子差异特征的向量。
4.根据权利要求3所述的一种基于深度差异特征的机器译文自动评价方法，其特征在于：
步骤S4中提取机器译文与人工参考译文和机器译文与源语言句子的深度差异特征，具体为：
将步骤S2中表征机器译文和人工参考译文差异特征的向量RBdhr与步骤S3中表征机器译文和源语言句子语义差异特征的向量XRdhs，输入交互差异特征提取层，输出交互差异向量；
（19）；
其中，mdf为交互差异向量；
将交互差异向量输入多头注意力层获取机器译文与人工参考译文和机器译文与源语言句子的深度差异特征；
（20）；
其中，df为深度差异特征，df1，df2，df3，df4分别为深度差异特征的第1列列向量，第2列列向量，第3列列向量和第4列列向量。
5.根据权利要求4所述的一种基于深度差异特征的机器译文自动评价方法，其特征在于：
步骤S5中，预测机器译文质量分值，具体为：
将步骤S4中深度差异特征的第1列列向量，第2列列向量，第3列列向量和第4列列向量，纵向拼接后输入三层前馈神经网络，输出机器译文质量分值；
（21）；
其中，Score为机器译文质量分值，Feed-Forward为三层前馈神经网络。
6.根据权利要求5所述的一种基于深度差异特征的机器译文自动评价方法，其特征在于：
步骤S6中均方差损失见公式（22）所示；
（22）；
其中，MSE表示均方差损失，N表示训练集中样本的数量，i表示训练集中第i条样本，y(i)表示训练集中第i条样本机器译文的人工评价分值，Score(i)表示第i条样本预测的机器译文质量分值。
7.根据权利要求6所述的一种基于深度差异特征的机器译文自动评价方法，其特征在于：还包括：
步骤S7，对待评价机器译文翻译信息组成的三元组中源语言句子、机器译文和人工参考译文进行规范化处理；
步骤S8，将步骤S7中规范化处理后的源语言句子、机器译文和人工参考译文输入至步骤S6中训练后的基于深度差异特征的机器译文自动评价模型，预测机器译文质量分值。
CN202410312287.5A 2024-03-19 2024-03-19 一种基于深度差异特征的机器译文自动评价方法 Active CN117910482B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410312287.5A CN117910482B (zh) 2024-03-19 2024-03-19 一种基于深度差异特征的机器译文自动评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410312287.5A CN117910482B (zh) 2024-03-19 2024-03-19 一种基于深度差异特征的机器译文自动评价方法

Publications (2)

Publication Number Publication Date
CN117910482A CN117910482A (zh) 2024-04-19
CN117910482B true CN117910482B (zh) 2024-05-28

Family

ID=90697220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410312287.5A Active CN117910482B (zh) 2024-03-19 2024-03-19 一种基于深度差异特征的机器译文自动评价方法

Country Status (1)

Country Link
CN (1) CN117910482B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985251A (zh) * 2019-05-21 2020-11-24 南京大学 翻译质量测评方法及装置
CN113822078A (zh) * 2021-08-20 2021-12-21 北京中科凡语科技有限公司 融合xlm-r模型的机器翻译模型的训练方法
CN114386437A (zh) * 2022-01-13 2022-04-22 延边大学 基于跨语言预训练模型的中朝翻译质量估计方法和系统
CN114896992A (zh) * 2022-04-28 2022-08-12 南京大学 利用检索提升机器翻译质量自动评估的方法、介质及设备
CN115204408A (zh) * 2021-04-05 2022-10-18 百度（美国）有限责任公司 跨语言语言模型的预训练方法和设备
EP4202833A1 (en) * 2021-12-23 2023-06-28 HERE Global B.V. Method, apparatus, and system for pole extraction from a single image

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022020467A1 (en) * 2020-07-22 2022-01-27 Unbabel, Inc. System and method for training multilingual machine translation evaluation models
EP4341846A1 (en) * 2021-07-06 2024-03-27 Google Llc Dataset refining with machine translation quality prediction

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985251A (zh) * 2019-05-21 2020-11-24 南京大学 翻译质量测评方法及装置
CN115204408A (zh) * 2021-04-05 2022-10-18 百度（美国）有限责任公司 跨语言语言模型的预训练方法和设备
CN113822078A (zh) * 2021-08-20 2021-12-21 北京中科凡语科技有限公司 融合xlm-r模型的机器翻译模型的训练方法
EP4202833A1 (en) * 2021-12-23 2023-06-28 HERE Global B.V. Method, apparatus, and system for pole extraction from a single image
CN114386437A (zh) * 2022-01-13 2022-04-22 延边大学 基于跨语言预训练模型的中朝翻译质量估计方法和系统
CN114896992A (zh) * 2022-04-28 2022-08-12 南京大学 利用检索提升机器翻译质量自动评估的方法、介质及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于神经网络特征的句子级别译文质量估计;陈志明;李茂西;王明文;;计算机研究与发展;20170815(08);全文 *

Also Published As

Publication number Publication date
CN117910482A (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
CN110728997B (zh) 一种基于情景感知的多模态抑郁症检测系统
CN108614875B (zh) 基于全局平均池化卷积神经网络的中文情感倾向性分类方法
CN110096698B (zh) 一种考虑主题的机器阅读理解模型生成方法与系统
CN112990296B (zh) 基于正交相似度蒸馏的图文匹配模型压缩与加速方法及系统
CN107316654A (zh) 基于dis‑nv特征的情感识别方法
CN111179916A (zh) 重打分模型训练方法、语音识别方法及相关装置
CN110516244A (zh) 一种基于bert的句子自动填充方法
CN109979257B (zh) 一种基于英语朗读自动打分进行分拆运算精准矫正的方法
KR101988165B1 (ko) 청각 장애 학생들을 위한 전문 자료 텍스트 분석 기반 음성인식 기술 정확도 향상 방법 및 시스템
CN112397056B (zh) 语音评测方法及计算机存储介质
CN110717341A (zh) 一种以泰语为枢轴的老-汉双语语料库构建方法及装置
CN111653270B (zh) 语音处理方法、装置、计算机可读存储介质及电子设备
CN111951781A (zh) 一种基于图到序列的中文韵律边界预测的方法
CN110610006B (zh) 基于笔画和字形的形态学双通道中文词嵌入方法
CN112183106A (zh) 一种基于音素联想及深度学习的语义理解方法及装置
CN111159405A (zh) 基于背景知识的讽刺检测方法
JP2004094257A (ja) 音声処理のためのデシジョン・ツリーの質問を生成するための方法および装置
CN113032559B (zh) 一种用于低资源黏着性语言文本分类的语言模型微调方法
CN117034961B (zh) 一种基于bert的中法互译质量测评方法
CN113393841B (zh) 语音识别模型的训练方法、装置、设备及存储介质
CN117910482B (zh) 一种基于深度差异特征的机器译文自动评价方法
CN112949284A (zh) 一种基于Transformer模型的文本语义相似度预测方法
CN115240710A (zh) 基于神经网络的多尺度融合的发音评测模型优化方法
CN111128181B (zh) 背诵题评测方法、装置以及设备
KR100890404B1 (ko) 음성 인식을 이용한 자동 번역 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant