CN110674871B - 面向翻译译文的自动评分方法及自动评分系统 - Google Patents

面向翻译译文的自动评分方法及自动评分系统 Download PDF

Info

Publication number
CN110674871B
CN110674871B CN201910904087.8A CN201910904087A CN110674871B CN 110674871 B CN110674871 B CN 110674871B CN 201910904087 A CN201910904087 A CN 201910904087A CN 110674871 B CN110674871 B CN 110674871B
Authority
CN
China
Prior art keywords
translation
training
score
standard
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910904087.8A
Other languages
English (en)
Other versions
CN110674871A (zh
Inventor
周玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongkefan Language Technology Co ltd
Original Assignee
Beijing Zhongkefan Language Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongkefan Language Technology Co ltd filed Critical Beijing Zhongkefan Language Technology Co ltd
Priority to CN201910904087.8A priority Critical patent/CN110674871B/zh
Publication of CN110674871A publication Critical patent/CN110674871A/zh
Application granted granted Critical
Publication of CN110674871B publication Critical patent/CN110674871B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供一种面向翻译译文的自动评分方法及自动评分系统，包括：对各个训练译文、测试译文和标准译文均进行文本预处理；对预处理后的训练译文进行特征抽取，得到训练译文X维度特征得分；将N个训练译文作为训练样本，将每个训练译文的训练译文X维度特征得分作为X个输入，将训练译文的最终得分作为输出，分别训练神经网络模型、K‑最小近邻算法模型和支持向量机算法模型；将测试译文X维度特征得分输入训练好的模型，得到测试译文的最终得分。本发明提供的面向翻译译文的自动评分方法及自动评分系统，能够对翻译译文进行自动打分，显著提升评分的效率，减少评分人员的负担。

Description

面向翻译译文的自动评分方法及自动评分系统
技术领域
本发明属于自然语言处理技术领域，具体涉及一种面向翻译译文的自动评分方法及自动评分系统。
背景技术
翻译译文的自动打分是在各个考试的常见任务，例如全国英语四六级考试以及全国翻译资格考试。为了将考试学员所翻译的译文进行评分，现有的做法均是依靠专业翻译人员和教师进行人工评分，主要具有以下不足：效率往往较慢，尤其当考试人员较多时，人工评分方式也会极大地增加了人工负担。
发明内容
针对现有技术存在的缺陷，本发明提供一种面向翻译译文的自动评分方法及自动评分系统，可有效解决上述问题。
本发明采用的技术方案如下：
本发明提供一种面向翻译译文的自动评分方法，包括以下步骤：
步骤1，将所有收集到的对同一原文进行翻译得到的译文划分为训练译文集和测试译文集；其中，所述训练译文集包括N个训练译文；所述测试译文集包括M个测试译文；
获取对所述原文进行翻译得到的标准译文；
步骤2，对各个所述训练译文、所述测试译文和所述标准译文均进行文本预处理，得到预处理后的训练译文、预处理后的测试译文和预处理后的标准译文；
步骤3，对每个所述预处理后的训练译文，均进行以下处理：
步骤3.1，对所述预处理后的训练译文进行专家人工评分，得到训练译文的最终得分；
步骤3.2，对所述预处理后的训练译文进行特征抽取，基于与所述预处理后的标准译文进行比较，得到训练译文X维度特征得分；
步骤4，将N个所述训练译文作为训练样本，将每个所述训练译文的训练译文X维度特征得分作为X个输入，将训练译文的最终得分作为输出，分别训练神经网络模型、K-最小近邻算法模型和支持向量机算法模型，得到训练好的神经网络模型、训练好的K-最小近邻算法模型和训练好的支持向量机算法模型；
步骤5，对每个所述预处理后的测试译文进行特征抽取，基于与所述预处理后的标准译文进行比较，得到测试译文X维度特征得分；
将所述测试译文X维度特征得分作为输入，输入所述训练好的神经网络模型，得到第一得分；
将所述测试译文X维度特征得分作为输入，输入所述训练好的K-最小近邻算法模型，得到第二得分；
将所述测试译文X维度特征得分作为输入，输入所述训练好的支持向量机算法模型，得到第三得分；
将所述第一得分、所述第二得分和所述第三得分进行平均，得到所述测试译文的最终得分。
优选的，当原文为英文，译文为中文时，步骤2具体为：
对所述训练译文进行分词处理，得到分词处理后的第一训练译文；对所述训练译文进行分字处理，得到分字处理后的第二训练译文；
对所述标准译文进行分词处理，得到分词处理后的第一标准译文；对所述标准译文进行分字处理，得到分字处理后的第二标准译文；
对所述测试译文进行分词处理，得到分词处理后的第一测试译文；对所述测试译文进行分字处理，得到分字处理后的第二测试译文。
优选的，当原文为英文，译文为中文时，步骤3.2中，通过以下方法得到训练译文X维度特征得分：
步骤3.2.1，计算训练译文相对于标准译文的相似度得分，具体包含以下特征得分：
比较分析第一训练译文和第一标准译文，得到训练译文的词级别BLEU得分，作为训练译文第1维度特征得分；
比较分析第一训练译文和第一标准译文，得到训练译文的词级别ROUGE得分，作为训练译文第2维度特征得分；
比较分析第二训练译文和第二标准译文，得到训练译文的字级别BLEU得分，作为训练译文第3维度特征得分；
比较分析第二训练译文和第二标准译文，得到训练译文的字级别ROUGE得分，作为训练译文第4维度特征得分；
比较分析第一训练译文和第一标准译文，得到训练译文的词级别dice得分，作为训练译文第5维度特征得分；
步骤3.2.2，计算训练译文相对于标准译文的重点词汇的准确度得分，具体为：
分别对第一训练译文和第一标准译文进行词性标注，识别到实词；
分别对第一训练译文和第一标准译文进行实体识别，识别到命名实体词；
将实词和命名实体词定义为重点词汇，计算训练译文相对于标准译文的重点词汇的F1值，作为训练译文第6维度特征得分；
步骤3.2.3，计算训练译文相对于伪标准译文集的相似度，具体为：
1)对N个训练译文进行专家人工评分，取分数最高的前N1个训练译文构成伪标准译文集；其中，N1＜N；
2)对伪标准译文集中的每个伪标准译文进行分词处理，得到分词处理后的伪标准译文集；
3)比较分析第一训练译文相对于分词处理后的伪标准译文集的相似度，得到训练译文的词级别BLEU得分，作为训练译文第7维度特征得分。
优选的，步骤3.2.2中，实词包括名词、形容词、副词以及动词；命名实体词包括人名、地名以及组织结构名。
优选的，步骤5中，通过比较测试译文和标准译文的相似度，得到测试译文X维度特征得分，其计算比较方法，与训练译文X维度特征得分的方式相同。
优选的，当原文为中文，译文为英文时，步骤2具体为：
对所述训练译文进行英语词汇化处理，得到英语词汇化处理后的第三训练译文；对所述训练译文进行英文大小写处理，将所述训练译文中的所有大写字母均转化为小写字母，得到英文大小写处理后的第四训练译文；
对所述标准译文进行英语词汇化处理，得到英语词汇化处理后的第三标准译文；对所述标准译文进行英文大小写处理，将所述标准译文中的所有大写字母均转化为小写字母，得到英文大小写处理后的第四标准译文；
对所述测试译文进行英语词汇化处理，得到英语词汇化处理后的第三标测试译文；对所述测试译文进行英文大小写处理，将所述测试译文中的所有大写字母均转化为小写字母，得到英文大小写处理后的第四测试译文。
优选的，当原文为中文，译文为英文时，步骤3.2中，通过以下方法得到训练译文X维度特征得分：
步骤S3.2.1，计算训练译文相对于标准译文的相似度得分，具体包含以下特征得分：
比较分析第三训练译文和第三标准译文，得到训练译文的大小写敏感BLEU得分，作为训练译文第1维度特征得分；
比较分析第三训练译文和第三标准译文，得到训练译文的大小写敏感ROUGE得分，作为训练译文第2维度特征得分；
比较分析第四训练译文和第四标准译文，得到训练译文的大小写不敏感BLEU得分，作为训练译文第3维度特征得分；
比较分析第四训练译文和第四标准译文，得到训练译文的大小写不敏感ROUGE得分，作为训练译文第4维度特征得分；
比较分析第四训练译文和第四标准译文，得到训练译文的大小写不敏感dice得分，作为训练译文第5维度特征得分；
步骤S3.2.2，计算训练译文相对于标准译文的重点词汇的准确度得分，具体为：
分别对第四训练译文和第四标准译文进行词性标注，识别到实词；
分别对第四训练译文和第四标准译文进行实体识别，识别到命名实体词；
将实词和命名实体词定义为重点词汇，计算训练译文相对于标准译文的重点词汇的F1值，作为训练译文第6维度特征得分；
步骤S3.2.3，计算训练译文相对于伪标准译文集的相似度，具体为：
1)对N个训练译文进行专家人工评分，取分数最高的前N1个训练译文构成伪标准译文集；其中，N1＜N；
2)对伪标准译文集中的每个伪标准译文进行英文大小写处理，将所述伪标准译文中的所有大写字母均转化为小写字母，得到英文大小写处理后的伪标准译文集；
3)比较分析第四训练译文相对于英文大小写处理后的伪标准译文集的相似度，得到训练译文的大小写不敏感BLEU值，作为训练译文第7维度特征得分。
优选的，步骤5中，通过比较测试译文和标准译文的相似度，得到测试译文X维度特征得分，其计算比较方法，与训练译文X维度特征得分的方式相同。
本发明还提供一种面向翻译译文的自动评分系统，包括：
文本预处理模块，用于对各个所述训练译文、所述测试译文和所述标准译文均进行文本预处理，得到预处理后的训练译文、预处理后的测试译文和预处理后的标准译文；
训练译文多维度特征提取模块，用于对预处理后的训练译文进行特征提取，得到训练译文X维度特征得分；
模型训练模块，用于将N个所述训练译文作为训练样本，将每个所述训练译文的训练译文X维度特征得分作为X个输入，将训练译文的最终得分作为输出，分别训练神经网络模型、K-最小近邻算法模型和支持向量机算法模型，得到训练好的神经网络模型、训练好的K-最小近邻算法模型和训练好的支持向量机算法模型；
测试译文多维度特征提取模块，用于对预处理后的测试译文进行特征提取，得到测试译文X维度特征得分；
测试模块，用于将所述测试译文X维度特征得分作为输入，输入所述训练好的神经网络模型，得到第一得分；
将所述测试译文X维度特征得分作为输入，输入所述训练好的K-最小近邻算法模型，得到第二得分；
将所述测试译文X维度特征得分作为输入，输入所述训练好的支持向量机算法模型，得到第三得分；
将所述第一得分、所述第二得分和所述第三得分进行平均，得到所述测试译文的最终得分；
结果输出模块，用于输出每个测试译文的最终得分。
本发明提供的面向翻译译文的自动评分方法及自动评分系统具有以下优点：
本发明提供的面向翻译译文的自动评分方法及自动评分系统，能够对翻译译文进行自动打分，显著提升评分的效率，减少评分人员的负担。
附图说明
图1为本发明提供的面向翻译译文的自动评分方法的流程示意图；
图2为文本预处理模块的实现原理图；
图3为文本多维度特征提取模块的实现原理图；
图4为综合智能打分过程的实现原理图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供一种面向翻译译文的自动评分方法，包括以下步骤：
步骤1，将所有收集到的对同一原文进行翻译得到的译文划分为训练译文集和测试译文集；其中，所述训练译文集包括N个训练译文；所述测试译文集包括M个测试译文；
获取对所述原文进行翻译得到的标准译文；
步骤2，对各个所述训练译文、所述测试译文和所述标准译文均进行文本预处理，得到预处理后的训练译文、预处理后的测试译文和预处理后的标准译文；
当原文为英文，译文为中文时，步骤2具体为：
对所述训练译文进行分词处理，得到分词处理后的第一训练译文；对所述训练译文进行分字处理，得到分字处理后的第二训练译文；
对所述标准译文进行分词处理，得到分词处理后的第一标准译文；对所述标准译文进行分字处理，得到分字处理后的第二标准译文；
对所述测试译文进行分词处理，得到分词处理后的第一测试译文；对所述测试译文进行分字处理，得到分字处理后的第二测试译文。
例如，假设英译汉时：
原文：I love Beijing,and I have been there three times
标准译文：我爱北京，我去过那3次了
测试译文：我喜欢北京，我去过3次
文本预处理时，主要包括分词处理和分字处理。
汉语分词与分字：在针对英译汉的评分中，需要对汉语的标准译文和测试译文进行分词。分词工具采用自动化所开源词法工具Urheen工具(网址见：https://www.nlpr.ia.ac.cn/cip/software.html)。例如在汉语标准译文“我爱北京，我去过那3次了。”，经过分词以后的结果是“我爱北京，我去过那3次了。”。汉语分字则较为简单，分字以后的表示为“我爱北京，我去过那3次了。”。
当原文为中文，译文为英文时，步骤2具体为：
对所述训练译文进行英语词汇化处理，得到英语词汇化处理后的第三训练译文；对所述训练译文进行英文大小写处理，将所述训练译文中的所有大写字母均转化为小写字母，得到英文大小写处理后的第四训练译文；
对所述标准译文进行英语词汇化处理，得到英语词汇化处理后的第三标准译文；对所述标准译文进行英文大小写处理，将所述标准译文中的所有大写字母均转化为小写字母，得到英文大小写处理后的第四标准译文；
对所述测试译文进行英语词汇化处理，得到英语词汇化处理后的第三标测试译文；对所述测试译文进行英文大小写处理，将所述测试译文中的所有大写字母均转化为小写字母，得到英文大小写处理后的第四测试译文。
本步骤中，对英语词汇化和英文大小写处理：词汇化是英语预处理的一项常用方法，例如英语译文“I love Beijing,and I have been there three times”，经过词汇化操作以后就转换为“I love Beijing,and I have been there three times”。即：词汇化时，将每个标点符号和其前面相邻的单词之间加入空格，以使每个单词明显显示出来。如果英文中存在缩略语或省略语，则将缩略语或省略语转化为完整的描述语。
英文大小写处理也是对英语译文的处理，在上面的句子中，经过小写处理以后的句子会被处理为“i love beijing,and i have been there three times”。也就是说，英文大小写处理时，将原文中的所有大写字母，一律转化为小写字母，这样做的用法为在后续特征提取时，可以不需要考虑英文字母大小写的影响。
步骤3，对每个所述预处理后的训练译文，均进行以下处理：
步骤3.1，对所述预处理后的训练译文进行专家人工评分，得到训练译文的最终得分；
步骤3.2，对所述预处理后的训练译文进行特征抽取，基于与所述预处理后的标准译文进行比较，得到训练译文X维度特征得分；
当原文为英文，译文为中文时，主要对训练译文进行三类维度上的特征提取打分，即：训练译文与标准译文的相似度打分；训练译文与伪标准译文的相似度打分；重点词汇的翻译正确率打分。下面对这三种情况分别详细介绍：
(一)训练译文与标准译文的相似度打分
步骤3.2.1，计算训练译文相对于标准译文的相似度得分，具体包含以下特征得分：
比较分析第一训练译文和第一标准译文，得到训练译文的词级别BLEU得分，作为训练译文第1维度特征得分；
比较分析第一训练译文和第一标准译文，得到训练译文的词级别ROUGE得分，作为训练译文第2维度特征得分；
比较分析第二训练译文和第二标准译文，得到训练译文的字级别BLEU得分，作为训练译文第3维度特征得分；
比较分析第二训练译文和第二标准译文，得到训练译文的字级别ROUGE得分，作为训练译文第4维度特征得分；
比较分析第一训练译文和第一标准译文，得到训练译文的词级别dice得分，作为训练译文第5维度特征得分；
由此可见，给定训练译文与标准译文，通过不同算法得到训练译文与标准译文的相似度打分，如果训练译文与标准译文越相似，得分也越高。本发明采用了以下计算方法：
对于译文是汉语的情况，则计算：
a)基于词的BLEU得分；
b)基于字的BLEU得分；
c)基于词的Rouge打分(包括：Rouge1和Rouge2)；
d)基于字的Rouge打分；
e)Dice系数。
在给定的例子中，训练译文与标准译文的Bleu打分为：0.2998。这个值越高表示训练译文与标准译文越相似。
(二)重点词汇的翻译正确率打分
步骤3.2.2，计算训练译文相对于标准译文的重点词汇的准确度得分，具体为：
分别对第一训练译文和第一标准译文进行词性标注，识别到实词，包括名词、形容词、副词以及动词；
分别对第一训练译文和第一标准译文进行实体识别，识别到命名实体词，包括人名、地名以及组织结构名；
将实词和命名实体词定义为重点词汇，计算训练译文相对于标准译文的重点词汇的F1值，作为训练译文第6维度特征得分；
因此，在评分时，考虑了译文中的重点词汇是否翻译正确。
本发明通过两种方法衡量某个单词是否是重要单词，
a)词性标注。如果一个单词是实词(名词、动词、形容词和副词，本发明即认为就是重要单词。
b)命名实体识别，命名实体识别是分析得到句子中的所有的命名实体(人名、地名和组织结构名)。词性标注和命名实体识别均采用。
本发明计算这两类重点词汇的翻译正确率。在给定的例子里，“北京”这个词既是一个名词，也是一个命名实体，因此将“北京”设定为一个重点词汇。这个例子中，带得分的译文翻译正确了“北京”，因此其重点词汇的F1值为1.0。
(三)训练译文与伪标准译文的相似度打分
步骤3.2.3，计算训练译文相对于伪标准译文集的相似度，具体为：
1)对N个训练译文进行专家人工评分，取分数最高的前N1个训练译文构成伪标准译文集；其中，N1＜N；
2)对伪标准译文集中的每个伪标准译文进行分词处理，得到分词处理后的伪标准译文集；
3)比较分析第一训练译文相对于分词处理后的伪标准译文集的相似度，得到训练译文的词级别BLEU得分，作为训练译文第7维度特征得分。
因此，由于译文表达的多样性，标准译文仅仅是其中一种表达。为了尽可能获得更多样性的标准译文，从样卷得分的结果中，选择得分最高的前N1个译文(这里N1＝10)为伪标准译文，并依靠伪标准译文得到相似度评分。在给定的伪标准译文中，事实上将“爱”翻译为“喜欢”也是正确的，因此一旦伪标准译文包含“喜欢”这个候选翻译，就会将“喜欢”设定为正确的翻译。具体地，如果是中文则采用基于词的BLEU得分。如果是英语则采用大小写敏感的BLEU的得分。
当原文为中文，译文为英文时，步骤3.2中，通过以下方法得到训练译文X维度特征得分：
步骤S3.2.1，计算训练译文相对于标准译文的相似度得分，具体包含以下特征得分：
比较分析第三训练译文和第三标准译文，得到训练译文的大小写敏感BLEU得分，作为训练译文第1维度特征得分；
比较分析第三训练译文和第三标准译文，得到训练译文的大小写敏感ROUGE得分，作为训练译文第2维度特征得分；
比较分析第四训练译文和第四标准译文，得到训练译文的大小写不敏感BLEU得分，作为训练译文第3维度特征得分；
比较分析第四训练译文和第四标准译文，得到训练译文的大小写不敏感ROUGE得分，作为训练译文第4维度特征得分；
比较分析第四训练译文和第四标准译文，得到训练译文的大小写不敏感dice得分，作为训练译文第5维度特征得分；
如果是英语，则计算：
a)大小写敏感的BLEU得分；
b)大小写不敏感的BLEU得分；
c)大小写敏感的Rouge打分(包括：Rouge1和Rouge2)；
d)大小写不敏感的Rouge打分；
e)Dice系数。
步骤S3.2.2，计算训练译文相对于标准译文的重点词汇的准确度得分，具体为：
分别对第四训练译文和第四标准译文进行词性标注，识别到实词；
分别对第四训练译文和第四标准译文进行实体识别，识别到命名实体词；
将实词和命名实体词定义为重点词汇，计算训练译文相对于标准译文的重点词汇的F1值，作为训练译文第6维度特征得分；
步骤S3.2.3，计算训练译文相对于伪标准译文集的相似度，具体为：
1)对N个训练译文进行专家人工评分，取分数最高的前N1个训练译文构成伪标准译文集；其中，N1＜N；
2)对伪标准译文集中的每个伪标准译文进行英文大小写处理，将所述伪标准译文中的所有大写字母均转化为小写字母，得到英文大小写处理后的伪标准译文集；
3)比较分析第四训练译文相对于英文大小写处理后的伪标准译文集的相似度，得到训练译文的大小写不敏感BLEU值，作为训练译文第7维度特征得分。
步骤4，将N个所述训练译文作为训练样本，将每个所述训练译文的训练译文X维度特征得分作为X个输入，将训练译文的最终得分作为输出，分别训练神经网络模型、K-最小近邻算法模型和支持向量机算法模型，得到训练好的神经网络模型、训练好的K-最小近邻算法模型和训练好的支持向量机算法模型；
步骤5，对每个所述预处理后的测试译文进行特征抽取，基于与所述预处理后的标准译文进行比较，得到测试译文X维度特征得分；对测试译文X维度特征得分的方式，与对训练译文X维度特征得分的方式原理相同，区别仅仅为特征提取的对象不同，在此不再赘述。
将所述测试译文X维度特征得分作为输入，输入所述训练好的神经网络模型，得到第一得分；
将所述测试译文X维度特征得分作为输入，输入所述训练好的K-最小近邻算法模型，得到第二得分；
将所述测试译文X维度特征得分作为输入，输入所述训练好的支持向量机算法模型，得到第三得分；
将所述第一得分、所述第二得分和所述第三得分进行平均，得到所述测试译文的最终得分。
经过文本多维度特征提取，得到每个译文在多维度得分，然后通过综合智能打分，生成最后的得分。本发明采用三个机器学习算法，包括神经网络、最小近邻法以及支持向量机方法，从而提高最终得分的准确性。
经过上述步骤，可实现自动大规模的对待测译文进行自动评分。
本发明还提供一种面向翻译译文的自动评分系统，包括：
文本预处理模块，用于对各个所述训练译文、所述测试译文和所述标准译文均进行文本预处理，得到预处理后的训练译文、预处理后的测试译文和预处理后的标准译文；
训练译文多维度特征提取模块，用于对预处理后的训练译文进行特征提取，得到训练译文X维度特征得分；
模型训练模块，用于将N个所述训练译文作为训练样本，将每个所述训练译文的训练译文X维度特征得分作为X个输入，将训练译文的最终得分作为输出，分别训练神经网络模型、K-最小近邻算法模型和支持向量机算法模型，得到训练好的神经网络模型、训练好的K-最小近邻算法模型和训练好的支持向量机算法模型；
测试译文多维度特征提取模块，用于对预处理后的测试译文进行特征提取，得到测试译文X维度特征得分；
测试模块，用于将所述测试译文X维度特征得分作为输入，输入所述训练好的神经网络模型，得到第一得分；
将所述测试译文X维度特征得分作为输入，输入所述训练好的K-最小近邻算法模型，得到第二得分；
将所述测试译文X维度特征得分作为输入，输入所述训练好的支持向量机算法模型，得到第三得分；
将所述第一得分、所述第二得分和所述第三得分进行平均，得到所述测试译文的最终得分；
结果输出模块，用于输出每个测试译文的最终得分。
下面列举一个验证例：
表1给出了某次评测的英译汉的结果，表2给出了汉译英的结果。从表中可以看出，在汉译英中，采用本发明智能打分的方法，和人工打分的平均误差分别为0.8608以及0.9038。在英译汉中，本发明智能打分和人工打分的平均误差分别为0.7436以及0.7005。由此可见，采用本发明智能打分的方法，得到的得分的误差非常小，完全能够满足人们对试卷打分的精度和准确度的需求。
表1英译汉结果分析
题目 平均误差
英译汉题目1 0.8608
英译汉题目2 0.9038
表2英译汉结果分析
题目 平均误差
汉译英题目1 0.7436
汉译英题目2 0.7005
本发明提供的面向翻译译文的自动评分方法及自动评分系统具有以下优点：
本发明提供的面向翻译译文的自动评分方法及自动评分系统，能够对翻译译文进行自动打分，显著提升评分的效率，减少评分人员的负担。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (7)

1.一种面向翻译译文的自动评分方法，其特征在于，包括以下步骤：
步骤1，将所有收集到的对同一原文进行翻译得到的译文划分为训练译文集和测试译文集；其中，所述训练译文集包括N个训练译文；所述测试译文集包括M个测试译文；
获取对所述原文进行翻译得到的标准译文；
步骤2，对各个所述训练译文、所述测试译文和所述标准译文均进行文本预处理，得到预处理后的训练译文、预处理后的测试译文和预处理后的标准译文；
步骤3，对每个所述预处理后的训练译文，均进行以下处理：
步骤3.1，对所述预处理后的训练译文进行专家人工评分，得到训练译文的最终得分；
步骤3.2，对所述预处理后的训练译文进行特征抽取，基于与所述预处理后的标准译文进行比较，得到训练译文X维度特征得分；
步骤4，将N个所述训练译文作为训练样本，将每个所述训练译文的训练译文X维度特征得分作为X个输入，将训练译文的最终得分作为输出，分别训练神经网络模型、K-最小近邻算法模型和支持向量机算法模型，得到训练好的神经网络模型、训练好的K-最小近邻算法模型和训练好的支持向量机算法模型；
步骤5，对每个所述预处理后的测试译文进行特征抽取，基于与所述预处理后的标准译文进行比较，得到测试译文X维度特征得分；
将所述测试译文X维度特征得分作为输入，输入所述训练好的神经网络模型，得到第一得分；
将所述测试译文X维度特征得分作为输入，输入所述训练好的K-最小近邻算法模型，得到第二得分；
将所述测试译文X维度特征得分作为输入，输入所述训练好的支持向量机算法模型，得到第三得分；
将所述第一得分、所述第二得分和所述第三得分进行平均，得到所述测试译文的最终得分；
其中，当原文为英文，译文为中文时，步骤2具体为：
对所述训练译文进行分词处理，得到分词处理后的第一训练译文；对所述训练译文进行分字处理，得到分字处理后的第二训练译文；
对所述标准译文进行分词处理，得到分词处理后的第一标准译文；对所述标准译文进行分字处理，得到分字处理后的第二标准译文；
对所述测试译文进行分词处理，得到分词处理后的第一测试译文；对所述测试译文进行分字处理，得到分字处理后的第二测试译文；
其中，当原文为英文，译文为中文时，步骤3.2中，通过以下方法得到训练译文X维度特征得分：
步骤3.2.1，计算训练译文相对于标准译文的相似度得分，具体包含以下特征得分：
比较分析第一训练译文和第一标准译文，得到训练译文的词级别BLEU得分，作为训练译文第1维度特征得分；
比较分析第一训练译文和第一标准译文，得到训练译文的词级别ROUGE得分，作为训练译文第2维度特征得分；
比较分析第二训练译文和第二标准译文，得到训练译文的字级别BLEU得分，作为训练译文第3维度特征得分；
比较分析第二训练译文和第二标准译文，得到训练译文的字级别ROUGE得分，作为训练译文第4维度特征得分；
比较分析第一训练译文和第一标准译文，得到训练译文的词级别dice得分，作为训练译文第5维度特征得分；
步骤3.2.2，计算训练译文相对于标准译文的重点词汇的准确度得分，具体为：
分别对第一训练译文和第一标准译文进行词性标注，识别到实词；
分别对第一训练译文和第一标准译文进行实体识别，识别到命名实体词；
将实词和命名实体词定义为重点词汇，计算训练译文相对于标准译文的重点词汇的F1值，作为训练译文第6维度特征得分；
步骤3.2.3，计算训练译文相对于伪标准译文集的相似度，具体为：
1)对N个训练译文进行专家人工评分，取分数最高的前N1个训练译文构成伪标准译文集；其中，N1＜N；
2)对伪标准译文集中的每个伪标准译文进行分词处理，得到分词处理后的伪标准译文集；
3)比较分析第一训练译文相对于分词处理后的伪标准译文集的相似度，得到训练译文的词级别BLEU得分，作为训练译文第7维度特征得分。
2.根据权利要求1所述的面向翻译译文的自动评分方法，其特征在于，步骤3.2.2中，实词包括名词、形容词、副词以及动词；命名实体词包括人名、地名以及组织结构名。
3.根据权利要求1所述的面向翻译译文的自动评分方法，其特征在于，步骤5中，通过比较测试译文和标准译文的相似度，得到测试译文X维度特征得分，其计算比较方法，与训练译文X维度特征得分的方式相同。
4.根据权利要求1所述的面向翻译译文的自动评分方法，其特征在于，当原文为中文，译文为英文时，步骤2具体为：
对所述训练译文进行英语词汇化处理，得到英语词汇化处理后的第三训练译文；对所述训练译文进行英文大小写处理，将所述训练译文中的所有大写字母均转化为小写字母，得到英文大小写处理后的第四训练译文；
对所述标准译文进行英语词汇化处理，得到英语词汇化处理后的第三标准译文；对所述标准译文进行英文大小写处理，将所述标准译文中的所有大写字母均转化为小写字母，得到英文大小写处理后的第四标准译文；
对所述测试译文进行英语词汇化处理，得到英语词汇化处理后的第三标测试译文；对所述测试译文进行英文大小写处理，将所述测试译文中的所有大写字母均转化为小写字母，得到英文大小写处理后的第四测试译文。
5.根据权利要求4所述的面向翻译译文的自动评分方法，其特征在于，当原文为中文，译文为英文时，步骤3.2中，通过以下方法得到训练译文X维度特征得分：
步骤S3.2.1，计算训练译文相对于标准译文的相似度得分，具体包含以下特征得分：
比较分析第三训练译文和第三标准译文，得到训练译文的大小写敏感BLEU得分，作为训练译文第1维度特征得分；
比较分析第三训练译文和第三标准译文，得到训练译文的大小写敏感ROUGE得分，作为训练译文第2维度特征得分；
比较分析第四训练译文和第四标准译文，得到训练译文的大小写不敏感BLEU得分，作为训练译文第3维度特征得分；
比较分析第四训练译文和第四标准译文，得到训练译文的大小写不敏感ROUGE得分，作为训练译文第4维度特征得分；
比较分析第四训练译文和第四标准译文，得到训练译文的大小写不敏感dice得分，作为训练译文第5维度特征得分；
步骤S3.2.2，计算训练译文相对于标准译文的重点词汇的准确度得分，具体为：
分别对第四训练译文和第四标准译文进行词性标注，识别到实词；
分别对第四训练译文和第四标准译文进行实体识别，识别到命名实体词；
将实词和命名实体词定义为重点词汇，计算训练译文相对于标准译文的重点词汇的F1值，作为训练译文第6维度特征得分；
步骤S3.2.3，计算训练译文相对于伪标准译文集的相似度，具体为：
1)对N个训练译文进行专家人工评分，取分数最高的前N1个训练译文构成伪标准译文集；其中，N1＜N；
2)对伪标准译文集中的每个伪标准译文进行英文大小写处理，将所述伪标准译文中的所有大写字母均转化为小写字母，得到英文大小写处理后的伪标准译文集；
3)比较分析第四训练译文相对于英文大小写处理后的伪标准译文集的相似度，得到训练译文的大小写不敏感BLEU值，作为训练译文第7维度特征得分。
6.根据权利要求5所述的面向翻译译文的自动评分方法，其特征在于，步骤5中，通过比较测试译文和标准译文的相似度，得到测试译文X维度特征得分，其计算比较方法，与训练译文X维度特征得分的方式相同。
7.一种面向翻译译文的自动评分系统，其特征在于，包括：
文本预处理模块，用于对各个训练译文、测试译文和标准译文均进行文本预处理，得到预处理后的训练译文、预处理后的测试译文和预处理后的标准译文；当原文为英文，译文为中文时，具体为：
对所述训练译文进行分词处理，得到分词处理后的第一训练译文；对所述训练译文进行分字处理，得到分字处理后的第二训练译文；
对所述标准译文进行分词处理，得到分词处理后的第一标准译文；对所述标准译文进行分字处理，得到分字处理后的第二标准译文；
对所述测试译文进行分词处理，得到分词处理后的第一测试译文；对所述测试译文进行分字处理，得到分字处理后的第二测试译文；
训练译文多维度特征提取模块，用于对预处理后的训练译文进行特征提取，得到训练译文X维度特征得分；
当原文为英文，译文为中文时，具体通过以下方法得到训练译文X维度特征得分：
步骤3.2.1，计算训练译文相对于标准译文的相似度得分，具体包含以下特征得分：
比较分析第一训练译文和第一标准译文，得到训练译文的词级别BLEU得分，作为训练译文第1维度特征得分；
比较分析第一训练译文和第一标准译文，得到训练译文的词级别ROUGE得分，作为训练译文第2维度特征得分；
比较分析第二训练译文和第二标准译文，得到训练译文的字级别BLEU得分，作为训练译文第3维度特征得分；
比较分析第二训练译文和第二标准译文，得到训练译文的字级别ROUGE得分，作为训练译文第4维度特征得分；
比较分析第一训练译文和第一标准译文，得到训练译文的词级别dice得分，作为训练译文第5维度特征得分；
步骤3.2.2，计算训练译文相对于标准译文的重点词汇的准确度得分，具体为：
分别对第一训练译文和第一标准译文进行词性标注，识别到实词；
分别对第一训练译文和第一标准译文进行实体识别，识别到命名实体词；
将实词和命名实体词定义为重点词汇，计算训练译文相对于标准译文的重点词汇的F1值，作为训练译文第6维度特征得分；
步骤3.2.3，计算训练译文相对于伪标准译文集的相似度，具体为：
1)对N个训练译文进行专家人工评分，取分数最高的前N1个训练译文构成伪标准译文集；其中，N1＜N；
2)对伪标准译文集中的每个伪标准译文进行分词处理，得到分词处理后的伪标准译文集；
3)比较分析第一训练译文相对于分词处理后的伪标准译文集的相似度，得到训练译文的词级别BLEU得分，作为训练译文第7维度特征得分；
模型训练模块，用于将N个所述训练译文作为训练样本，将每个所述训练译文的训练译文X维度特征得分作为X个输入，将训练译文的最终得分作为输出，分别训练神经网络模型、K-最小近邻算法模型和支持向量机算法模型，得到训练好的神经网络模型、训练好的K-最小近邻算法模型和训练好的支持向量机算法模型；
测试译文多维度特征提取模块，用于对预处理后的测试译文进行特征提取，得到测试译文X维度特征得分；
测试模块，用于将所述测试译文X维度特征得分作为输入，输入所述训练好的神经网络模型，得到第一得分；
将所述测试译文X维度特征得分作为输入，输入所述训练好的K-最小近邻算法模型，得到第二得分；
将所述测试译文X维度特征得分作为输入，输入所述训练好的支持向量机算法模型，得到第三得分；
将所述第一得分、所述第二得分和所述第三得分进行平均，得到所述测试译文的最终得分；
结果输出模块，用于输出每个测试译文的最终得分。
CN201910904087.8A 2019-09-24 2019-09-24 面向翻译译文的自动评分方法及自动评分系统 Active CN110674871B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910904087.8A CN110674871B (zh) 2019-09-24 2019-09-24 面向翻译译文的自动评分方法及自动评分系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910904087.8A CN110674871B (zh) 2019-09-24 2019-09-24 面向翻译译文的自动评分方法及自动评分系统

Publications (2)

Publication Number Publication Date
CN110674871A CN110674871A (zh) 2020-01-10
CN110674871B true CN110674871B (zh) 2023-04-07

Family

ID=69077422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910904087.8A Active CN110674871B (zh) 2019-09-24 2019-09-24 面向翻译译文的自动评分方法及自动评分系统

Country Status (1)

Country Link
CN (1) CN110674871B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364669B (zh) * 2020-10-14 2021-09-03 北京中科凡语科技有限公司 机器翻译译后的术语翻译方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739867A (zh) * 2008-11-19 2010-06-16 中国科学院自动化研究所 运用计算机对口语翻译质量进行评分的方法
CN104731777A (zh) * 2015-03-31 2015-06-24 网易有道信息技术（北京）有限公司 一种译文评价方法及装置
CN105354188A (zh) * 2015-11-18 2016-02-24 成都优译信息技术有限公司 用于翻译教学系统的批量评分方法
CN109710948A (zh) * 2018-11-27 2019-05-03 语联网（武汉）信息技术有限公司 机器翻译引擎推荐方法及装置
CN110263349A (zh) * 2019-03-08 2019-09-20 腾讯科技（深圳）有限公司 语料评估模型训练方法、装置、存储介质和计算机设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8775155B2 (en) * 2010-10-25 2014-07-08 Xerox Corporation Machine translation using overlapping biphrase alignments and sampling
US8407041B2 (en) * 2010-12-01 2013-03-26 Microsoft Corporation Integrative and discriminative technique for spoken utterance translation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739867A (zh) * 2008-11-19 2010-06-16 中国科学院自动化研究所 运用计算机对口语翻译质量进行评分的方法
CN104731777A (zh) * 2015-03-31 2015-06-24 网易有道信息技术（北京）有限公司 一种译文评价方法及装置
CN105354188A (zh) * 2015-11-18 2016-02-24 成都优译信息技术有限公司 用于翻译教学系统的批量评分方法
CN109710948A (zh) * 2018-11-27 2019-05-03 语联网（武汉）信息技术有限公司 机器翻译引擎推荐方法及装置
CN110263349A (zh) * 2019-03-08 2019-09-20 腾讯科技（深圳）有限公司 语料评估模型训练方法、装置、存储介质和计算机设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
An Approach to Lao-English Rule Based Machine Translation;Arounyadeth Srithirath,et al.;《 2015 7th International Conference on Knowledge and Smart Technology (KST)》;20150302;第93-98页 *
翻译质量评价方法及其在计算机翻译评价系统中的应用;王金铨 等;《翻译技术》;20180430;第73-78页 *

Also Published As

Publication number Publication date
CN110674871A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
JP5356197B2 (ja) 単語意味関係抽出装置
US20120150529A1 (en) Method and apparatus for generating translation knowledge server
CN108280065B (zh) 一种外文文本评价方法及装置
CN104317882B (zh) 一种决策级中文分词融合方法
Liu Research on the development of computer intelligent proofreading system based on the perspective of English translation application
Abidin et al. Computer-aided Translation Based on Lampung Language as Low Resource Language
CN110674871B (zh) 面向翻译译文的自动评分方法及自动评分系统
CN103164397B (zh) 汉哈电子辞典及其自动转译汉哈语的方法
Duran et al. Some issues on the normalization of a corpus of products reviews in Portuguese
CN106294315A (zh) 基于句法特性与统计融合的自然语言谓语动词识别方法
Kessler et al. Extraction of terminology in the field of construction
Oh et al. Japanese term extraction using dictionary hierarchy and machine translation system
JP5823441B2 (ja) 格解析モデルパラメータ学習装置、格解析装置、方法、及びプログラム
CN112380877B (zh) 一种用于篇章级英译中机器翻译测试集的构建方法
He et al. Application of Grammar Error Detection Method for English Composition Based on Machine Learning
Duan et al. Automatically build corpora for chinese spelling check based on the input method
He Self-calibration system for pragmatic failure in English-Chinese translation based on big data
Unlee et al. Thai to Isarn dialect machine translation using rule-based and example-based
Lin et al. Design and implementation of intelligent scoring system for handwritten short answer based on deep learning
Luong et al. Building a corpus for vietnamese text readability assessment in the literature domain
CN112131889A (zh) 基于大数据的智能语文主观题评分方法和系统
Shquier et al. Fully automated Arabic to English machine translation system: transfer-based approach of AE-TBMT
CN110765783A (zh) 一种基于迁移学习的多语种互译方法及系统
Singh et al. GA-based machine translation system for Sanskrit to Hindi language
Kuyoro et al. Intelligent Essay Grading System using Hybrid Text Processing Techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant