CN111144134A - 基于OpenKiWi的翻译引擎自动化评测系统 - Google Patents

基于OpenKiWi的翻译引擎自动化评测系统 Download PDF

Info

Publication number
CN111144134A
CN111144134A CN201911160865.3A CN201911160865A CN111144134A CN 111144134 A CN111144134 A CN 111144134A CN 201911160865 A CN201911160865 A CN 201911160865A CN 111144134 A CN111144134 A CN 111144134A
Authority
CN
China
Prior art keywords
evaluation
engine
translation
result
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911160865.3A
Other languages
English (en)
Other versions
CN111144134B (zh
Inventor
刘国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iol Wuhan Information Technology Co ltd
Original Assignee
Iol Wuhan Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iol Wuhan Information Technology Co ltd filed Critical Iol Wuhan Information Technology Co ltd
Priority to CN201911160865.3A priority Critical patent/CN111144134B/zh
Publication of CN111144134A publication Critical patent/CN111144134A/zh
Application granted granted Critical
Publication of CN111144134B publication Critical patent/CN111144134B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明提出一种基于OpenKiWi的翻译引擎自动化评测系统，所述自动化评测系统包括基于句子级别的评测引擎以及基于词语级别的评测引擎，通过评测不同翻译引擎在不同级别上翻译结果的相似性和差异性，从而输出对应的评测得分；本发明还提出一种集成化评测引擎，所述集成化评测引擎包括基于词语级别的第一评测引擎以及基于句子级别的第二评测引擎，所述第一评测引擎包含预测器，第二评测引擎包括评估器；所述集成化评测引擎对外提供通信接口，通过所述通信接口与基于OpenKiWi的翻译引擎通信，并对所述翻译引擎的翻译结果进行评测。

Description

基于OpenKiWi的翻译引擎自动化评测系统
技术领域
本发明属于翻译评测技术领域，尤其涉及一种基于OpenKiWi的翻译引擎自动化评测系统以及集成化评测引擎。
背景技术
传统的译文质量自动评测方法主要针对机器自动翻译结果并通过与参考译文的对比实现译文质量的评估。目前著名的自动评测方法主要有IBM提出的BLEU(BilingualEvaluation Understudy)方法和美国国家标准与技术局(NIST:National InstituteofStandards and Technology)在BLUE方法上改进提出的NIST评测标准。这类自动评测方法重点在于评价机器翻译系统的性能，而对翻译结果的评价却依赖于给定的参考译文。这在实际的翻译工作中是不现实的，因为不可能要求所有的资料都事先给出参考译文。
例如，申请号为CN201810898744.8的中国发明专利申请提出一种翻译质量评价方法及装置，在获取到对给定文本进行正确翻译后的文本后，可以将其作为参考翻译文本，并将其按照预设文本单位进行切分，得到各个参考单位文本，然后，可以确定出每一参考单位文本在该参考翻译文本中的重要度，接着，关于对给定文本进行翻译后的待评价文本即目标翻译文本，便可以根据每一参考单位文本对应的重要度，确定出目标翻译文本的翻译质量。可见，本申请实施例不再只进行目标翻译文本与参考翻译文本中词语的遍历式匹配，而是根据该参考翻译文本中每一参考单位文本对应的重要度，确定出目标翻译文本的翻译质量，即，在进行翻译质量评价时考虑了参考翻译文本中每一词语本身的内容，从而提高了翻译质量评价结果的可信度。
在对质量要求高的实际翻译项目中，多采用人工评测的方式来评价译文质量。人工评测主要是在翻译过程中设置一个审校环节，由审校人员对翻译环节产生的译文进行评测来控制翻译质量。对于未通过评测的译文要返回给翻译人员修改，如此往复直到通过质量审查。由此可见，人工评测是确保翻译质量的核心步骤，但是人工评测耗时费力，效率低下，而且由于人的主观因素，对于同一篇译文不同的评测人员可能给出不同的判断。
例如，申请号为CN201611186415.8的中国发明专利申请提出一种基于众投的译文评价方法及系统，将翻译任务推送给用户群体进行评价，每一用户可随时参与评估，有效保证了评估任务的处理速度；评估任务属于碎片型兼职任务，任务定价相对翻译专家的审校任务低廉；评估任务对参与用户的语言能力要求相对较低，有效扩大了符合要求的人员数量；综合而言，该评估方法在提高译文识别效率、降低成本、减少专家资源依赖程度上都有非常优秀的表现。
无参考的译文质量评测主要是基于统计的N-Gram语言模型来衡量，语言模型可以通过对目标语言的特定语料训练得到，它可以给出一个混乱度来反映测试句子在训练语料中观察到的可能性，该方法已经用于机器翻译系统译文质量的评测中。使用大规模的语料训练出来的语言模型对于预测某个在训练语料中学习到的字符序列出现的概率可以取得较好的效果，但是在实际的应用中，由于训练语料的不平衡性，难免会出现数据稀疏问题。
例如，申请号为CN201710262369.3的中国发明专利申请提出一种自动探索更多参考译文信息的机器翻译优化方法，利用一个参考译文图对数据集的参考译文信息进行了拓展，获得了更多的参考信息，相比于在原始的参考译文上能够处理更多的语义多样性和表达多样性问题，尽可能多的保留机器翻译译文中翻译正确的内容，缓解了在参考译文有限的情况下由于语义、表达多样性而造成的评价偏差问题，更好的帮助传统的机器翻译系统进行参数学习，能够有效的提高系统最终的翻译结果质量。同时将双语评价指标BLEU与参考译文图相结合，显著提高了双语评价方法BLEU的人工评价相关度。
然而，现有技术大多针对翻译结果本身进行评价，而忽略了翻译结果的准确度很大程度上取决于翻译引擎的选择。
发明内容
为解决上述技术问题，本发明提出一种基于OpenKiWi的翻译引擎自动化评测系统，所述自动化评测系统包括基于句子级别的评测引擎以及基于词语级别的评测引擎，通过评测不同翻译引擎在不同级别上翻译结果的相似性和差异性，从而输出对应的评测得分；本发明还提出一种集成化评测引擎，所述集成化评测引擎包括基于词语级别的第一评测引擎以及基于句子级别的第二评测引擎，所述第一评测引擎包含预测器，第二评测引擎包括评估器；所述集成化评测引擎对外提供通信接口，通过所述通信接口与基于OpenKiWi的翻译引擎通信，并对所述翻译引擎的翻译结果进行评测。
在本发明的第一个方面，提出一种基于OpenKiWi的翻译引擎自动化评测系统。
不同于现有技术的单纯测评，作为本发明的突出优点之一，本发明所述自动化评测系统包括基于句子级别的评测引擎以及基于词语级别的评测引擎；
在所述基于句子级别的评测引擎上，包括至少一个预测器，所述预测器采用双向LSTM进行建模，并且输出所述基于句子级别的评测引擎和所述基于词语级别的评估引擎各自输出结果的相似度；
在所述基于词语级别的评测引擎上，包括至少一个评估器，所述评估器用于评估所述基于句子级别的评测引擎和所述基于词语级别的评估引擎各自输出结果的差异度；基于所述相似度与差异度，对所述翻译引擎进行自动化评测。
作为本发明的突出优点之一，所述自动化评测具体包括：对于所述基于句子级别的评测引擎输出结果序列X，以及基于词语级别的评估引擎输出结果Y，
对输出结果序列X、Y进行向量化，得到向量化序列x、y；
基于所述向量化序列x、y的1-范数以及±∞范数、计算所述差异度以及相似度；
如果相似度低于第一阈值，并且差异度大于第二阈值，则输出结果不合格；
否则，输出评测评分。
作为本发明的突出优点之一，其中，基于所述向量化序列x、y的1-范数以及±∞范数、计算所述差异度以及相似度；具体包括：
基于所述向量化序列x、y的1-范数以及∞范数，计算其相似度S(X,Y):
Figure BDA0002288482230000051
基于所述向量化序列x、y的1-范数以及-∞范数,计算其差异度C(X，Y)：
Figure BDA0002288482230000052
其中，
Figure BDA0002288482230000056
表示x的1-范数，
Figure BDA0002288482230000054
表示x的-∞范数，
Figure BDA0002288482230000055
表示y的∞范数。
在具体实现上，其中，如果相似度大于差异度，则输出评测评分，具体包括：按照如下公式计算评测评分P：
P＝eS(X,Y)-logC(X，Y),其中log为自然对数。
作为本发明的另一个创新点，对于源语言待译文档source，所述翻译引擎首先得到翻译结果MT，所述预测器基于所述翻译结果进行预测，得到预测后的翻译结果PE，所述基于句子级别的评测引擎对所述翻译结果MT进行评测，所述基于词语级别的评估引擎对所述翻译结果PE进行评测。
所述预测器还输出所述翻译结果MT和翻译结果PE的相似度。
具体来说，该自动化评测系统，还包括向量化模块，采用所述向量化模块对所述输出结果序列X、Y进行向量化。
值得指出的是，在本发明中，所述第一阈值大于第二阈值，这个条件对于本发明实现较高的准确度尤其重要，其原理将在具体实施例部分展开，该设置并非简单的常规设置。
在本发明的第二个方面，提供一种集成化评测引擎，所述集成化评测引擎包括基于词语级别的第一评测引擎以及基于句子级别的第二评测引擎。
其中，所述第一评测引擎包含预测器，第二评测引擎包括评估器；
所述集成化评测引擎对外提供通信接口，通过所述通信接口与基于OpenKiWi的翻译引擎通信，并对所述翻译引擎的翻译结果进行评测。
所述预测器包含相似度计算引擎，所述评估器包括差异度计算引擎。
所述预测器计算所述第一评测引擎输出结果与第二评测引擎输出结果的相似度；所述评估器计算所述第一评测引擎输出结果与第二评测引擎输出结果的差异度。
本发明的进一步优点将在具体实施例部分结合说明书附图进一步体现。
附图说明
图1是本发明翻译引擎自动化评测系统的执行流程示意图
图2是图1所述翻译引擎自动化评测系统的结构示意图
图3采用图1-图2所述系统进行评测的流程图
图4是集成化评测引擎的示意图
图5是采用图1-4所述系统进行自动化评测的方法流程图。
具体实施例
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和实施例对本发明做进一步说明。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
参见图1，本发明翻译引擎自动化评测系统的执行流程示意图。在图1中，翻译引擎自动化评测系统包括评测系统输出界面，其上可以显示相似度与差异度计算结果以及评分结果。
其中，所述自动化评测系统包括基于句子级别的评测引擎以及基于词语级别的评测引擎。
句子级别的评测和词语级别的评测属于本领域技术人员熟知的两种评测标准。例如2010年第届计算自然语言学习会议就以此为任务，组织了一次交流性的国际评测。词语级别和句子级别是这次国际评测的评测标准，词语级别要准确的找出句子中表达模糊限制信息的单词或者短语，粒度比较细，而句子级别只要正确给出句子的是否模糊，至于哪个词表达了不确定则不需要进行考虑，因此句子级别的最终值会比词语级别高。
然而，本实施例中，不同于上述现有技术，在所述基于句子级别的评测引擎上，还包括至少一个预测器，所述预测器采用双向LSTM进行建模，并且输出所述基于句子级别的评测引擎和所述基于词语级别的评估引擎各自输出结果的相似度；同时，在所述基于词语级别的评测引擎上，包括至少一个评估器，所述评估器用于评估所述基于句子级别的评测引擎和所述基于词语级别的评估引擎各自输出结果的差异度。
进一步参见图2，基于所述相似度与差异度，对所述翻译引擎进行自动化评测，具体包括：
对于所述基于句子级别的评测引擎输出结果序列X，以及基于词语级别的评估引擎输出结果Y，
对输出结果序列X、Y进行向量化，得到向量化序列x、y；
基于所述向量化序列x、y的范数计算所述差异度以及相似度。
因此，在图2中，翻译引擎进行自动化评测系统包括向量化引擎、范数计算引擎。
在本实施例中，基于所述向量化序列x、y的1-范数以及±∞范数、计算所述差异度以及相似度；
如果相似度低于第一阈值，并且差异度大于第二阈值，则输出结果不合格；
否则，输出评测评分。
具体而言，基于所述向量化序列x、y的1-范数以及∞范数，计算其相似度S(X,Y):
Figure BDA0002288482230000081
基于所述向量化序列x、y的1-范数以及-∞范数,计算其差异度C(X，Y)：
Figure BDA0002288482230000091
其中，
Figure BDA0002288482230000092
表示x的1-范数，
Figure BDA0002288482230000093
表示x的-∞范数，
Figure BDA0002288482230000094
表示y的∞范数。
如果相似度大于差异度，则输出评测评分，具体包括：
按照如下公式计算评测评分P：
P＝eS(X,Y)-logC(X，Y),其中log为自然对数。
值得指出的是，上述范数公式的使用，正是基于句子级别的评测模型和短语级别的评测模型各自的特点选择的，其他类型公式效果不佳。
参照前述所指出的，由于词语级别要准确的找出句子中表达模糊限制信息的单词或者短语，粒度比较细，因此，在设置阈值时，必须保证所述第一阈值大于第二阈值，这是本发明人经过反复比较得出的结论。
当然，作为本发明尤其不同于现有技术简单的对同一个源文进行句子级别评测以及词语级别评测检测后进行对比或者融合的做法，参见图3，所述的自动化评测系统，对于源语言待译文档source，所述翻译引擎首先得到翻译结果MT，所述预测器基于所述翻译结果进行预测，得到预测后的翻译结果PE，所述基于句子级别的评测引擎对所述翻译结果MT进行评测，所述基于词语级别的评估引擎对所述翻译结果PE进行评测，其中所述预测器还输出所述翻译结果MT和翻译结果PE的相似度。
在本实例中，将预测结果也引入评估，可以避免结果中的稀疏性变化。
进一步的，参见图4，本发明所述的自动化评测系统可以作为集成化的黑盒子状态对外提供接口。
在图4中，所述集成化评测引擎包括基于词语级别的第一评测引擎以及基于句子级别的第二评测引擎。
所述第一评测引擎包含预测器，第二评测引擎包括评估器；
所述集成化评测引擎对外提供通信接口，通过所述通信接口与基于OpenKiWi的翻译引擎通信，并对所述翻译引擎的翻译结果进行评测。所述预测器包含相似度计算引擎，所述评估器包括差异度计算引擎；
所述预测器计算所述第一评测引擎输出结果与第二评测引擎输出结果的相似度；所述评估器计算所述第一评测引擎输出结果与第二评测引擎输出结果的差异度。
图5是采用图1-4所述系统进行自动化评测的方法流程图。
在图5中，步骤S31-S32不存在先后顺序，步骤S41-S42也不存在先后限定，但是步骤S43在步骤S41和S42之后；步骤S51-S52也不存在先后限定。
作为一个实例，所述方法流程可以按照如下执行：
S1：输入待译文档source到基于OpenKiWi的翻译引擎中；
S2：基于OpenKiWi的翻译引擎输出翻译结果MT；
S3：所述集成化评测引擎的第一评测引擎对翻译结果MT进行评测，同时预测器输出预测结果PE；然后第二评测引擎对预测结果PE进行评测；
S4：输出第一评测引擎对翻译结果MT进行评测的输出结果序列X；同时得到第二评测引擎对预测结果PE进行评测的输出结果序列Y；对所述输出结果序列X和Y进行向量化；
S5：计算输出结果序列X和Y向量化后的向量序列x和y的相似度和差异度；
S6：基于所述相似度和差异度的判断结果，输出评测评分。
在本发明中，OpenKiWi是以pytorch为基础开发的一个深度翻译质量评测框架，其项目完全开源。需要指出的是，本发明所述基于句子级别的评测和基于短语级别的评测过程均不需要引入参考译文。
综上所述，本发明通过在句子级别引擎和词语级别引擎中引入评估器和预测器，并通过差异度和相似度来进行评测结果输出的判断，能够实现更客观的评测结果，因为这个过程仅针对源文档本身的翻译结果以及其预测结果，无需引入先验规则或者参考文献或者人为干涉。

Claims (10)

1.一种基于OpenKiwi的翻译引擎自动化评测系统，其特征在于：所述自动化评测系统包括基于句子级别的评测引擎以及基于词语级别的评测引擎；
在所述基于句子级别的评测引擎上，包括至少一个预测器，所述预测器采用双向LSTM进行建模，并且输出所述基于句子级别的评测引擎和所述基于词语级别的评估引擎各自输出结果的相似度；
在所述基于词语级别的评测引擎上，包括至少一个评估器，所述评估器用于评估所述基于句子级别的评测引擎和所述基于词语级别的评估引擎各自输出结果的差异度；
基于所述相似度与差异度，对所述翻译引擎进行自动化评测，具体包括：
对于所述基于句子级别的评测引擎输出结果序列X，以及基于词语级别的评估引擎输出结果Y，
对输出结果序列X、Y进行向量化，得到向量化序列x、y；
基于所述向量化序列x、y的1-范数以及±∞范数、计算所述差异度以及相似度；
如果相似度低于第一阈值，并且差异度大于第二阈值，则输出结果不合格；
否则，输出评测评分。
2.如权利要求1所述的自动化评测系统，其中，基于所述向量化序列x、y的1-范数以及±∞范数、计算所述差异度以及相似度；具体包括：
基于所述向量化序列x、y的1-范数以及∞范数，计算其相似度S(X,Y):
Figure FDA0002288482220000021
基于所述向量化序列x、y的1-范数以及-∞范数,计算其差异度C(X，Y)：
Figure FDA0002288482220000022
其中，
Figure FDA0002288482220000023
表示x的1-范数，
Figure FDA0002288482220000024
表示x的-∞范数，
Figure FDA0002288482220000025
表示y的∞范数。
3.如权利要求1所述的自动化评测系统，其中，如果相似度大于差异度，则输出评测评分，具体包括：
按照如下公式计算评测评分P：
P＝eS(X,Y)-logC(X，Y),其中log为自然对数。
4.如权利要求1所述的自动化评测系统，对于源语言待译文档source，所述翻译引擎首先得到翻译结果MT，所述预测器基于所述翻译结果进行预测，得到预测后的翻译结果PE，所述基于句子级别的评测引擎对所述翻译结果MT进行评测，所述基于词语级别的评估引擎对所述翻译结果PE进行评测。
5.如权利要求4所述的自动化评测系统，所述预测器还输出所述翻译结果MT和翻译结果PE的相似度。
6.如权利要求1所述的自动化评测系统，还包括向量化模块，采用所述向量化模块对所述输出结果序列X、Y进行向量化。
7.如权利要求1所述的自动化评测系统，其中，所述第一阈值大于第二阈值。
8.一种集成化评测引擎，所述集成化评测引擎包括基于词语级别的
第一评测引擎以及基于句子级别的第二评测引擎，其特征在于：
所述第一评测引擎包含预测器，第二评测引擎包括评估器；
所述集成化评测引擎对外提供通信接口，通过所述通信接口与基于OpenKiwi的翻译引擎通信，并对所述翻译引擎的翻译结果进行评测。
9.如权利要求8所述的集成化评测引擎，所述预测器包含相似度计算引擎，所述评估器包括差异度计算引擎。
10.如权利要求9所述的集成化评测评测引擎，所述预测器计算所述第一评测引擎输出结果与第二评测引擎输出结果的相似度；所述评估器计算所述第一评测引擎输出结果与第二评测引擎输出结果的差异度。
CN201911160865.3A 2019-11-27 2019-11-27 基于OpenKiWi的翻译引擎自动化评测系统 Active CN111144134B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911160865.3A CN111144134B (zh) 2019-11-27 2019-11-27 基于OpenKiWi的翻译引擎自动化评测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911160865.3A CN111144134B (zh) 2019-11-27 2019-11-27 基于OpenKiWi的翻译引擎自动化评测系统

Publications (2)

Publication Number Publication Date
CN111144134A true CN111144134A (zh) 2020-05-12
CN111144134B CN111144134B (zh) 2023-05-16

Family

ID=70516596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911160865.3A Active CN111144134B (zh) 2019-11-27 2019-11-27 基于OpenKiWi的翻译引擎自动化评测系统

Country Status (1)

Country Link
CN (1) CN111144134B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680526A (zh) * 2020-06-09 2020-09-18 语联网（武汉）信息技术有限公司 基于逆向翻译结果比对的人机交互翻译系统与方法
CN111680524A (zh) * 2020-06-09 2020-09-18 语联网（武汉）信息技术有限公司 基于逆向矩阵分析的人机反馈翻译方法与系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043774A (zh) * 2011-01-13 2011-05-04 北京交通大学 机器翻译测评装置和方法
JP2012079107A (ja) * 2010-10-01 2012-04-19 Nippon Telegr & Teleph Corp <Ntt> 翻訳品質自動評価装置とその方法、及び語順最適化機械翻訳学習装置とプログラム
CN104731774A (zh) * 2013-12-24 2015-06-24 哈尔滨工业大学 面向通用机译引擎的个性化翻译方法及装置
US20150286632A1 (en) * 2014-04-03 2015-10-08 Xerox Corporation Predicting the quality of automatic translation of an entire document
US20170068665A1 (en) * 2014-03-07 2017-03-09 National Institute Of Information And Communications Technology Word alignment score computing apparatus, word alignment apparatus, and computer program
US20170075883A1 (en) * 2015-09-15 2017-03-16 Kabushiki Kaisha Toshiba Machine translation apparatus and machine translation method
CN109710948A (zh) * 2018-11-27 2019-05-03 语联网（武汉）信息技术有限公司 机器翻译引擎推荐方法及装置
CN110472257A (zh) * 2019-08-20 2019-11-19 南京题麦壳斯信息科技有限公司 一种基于句对的机器翻译引擎测评优选方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012079107A (ja) * 2010-10-01 2012-04-19 Nippon Telegr & Teleph Corp <Ntt> 翻訳品質自動評価装置とその方法、及び語順最適化機械翻訳学習装置とプログラム
CN102043774A (zh) * 2011-01-13 2011-05-04 北京交通大学 机器翻译测评装置和方法
CN104731774A (zh) * 2013-12-24 2015-06-24 哈尔滨工业大学 面向通用机译引擎的个性化翻译方法及装置
US20170068665A1 (en) * 2014-03-07 2017-03-09 National Institute Of Information And Communications Technology Word alignment score computing apparatus, word alignment apparatus, and computer program
US20150286632A1 (en) * 2014-04-03 2015-10-08 Xerox Corporation Predicting the quality of automatic translation of an entire document
US20170075883A1 (en) * 2015-09-15 2017-03-16 Kabushiki Kaisha Toshiba Machine translation apparatus and machine translation method
CN109710948A (zh) * 2018-11-27 2019-05-03 语联网（武汉）信息技术有限公司 机器翻译引擎推荐方法及装置
CN110472257A (zh) * 2019-08-20 2019-11-19 南京题麦壳斯信息科技有限公司 一种基于句对的机器翻译引擎测评优选方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
F KEPLER: "OpenKiWi: An Open Source Framework for Quality Estimation" *
HYUN KIM: "Predictor-Estimator: Neural Quality Estimation Based on Target Word Prediction for Machine Translation" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680526A (zh) * 2020-06-09 2020-09-18 语联网（武汉）信息技术有限公司 基于逆向翻译结果比对的人机交互翻译系统与方法
CN111680524A (zh) * 2020-06-09 2020-09-18 语联网（武汉）信息技术有限公司 基于逆向矩阵分析的人机反馈翻译方法与系统
CN111680526B (zh) * 2020-06-09 2023-09-08 语联网（武汉）信息技术有限公司 基于逆向翻译结果比对的人机交互翻译系统与方法

Also Published As

Publication number Publication date
CN111144134B (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
CN110096570B (zh) 一种应用于智能客服机器人的意图识别方法及装置
KR102490752B1 (ko) 인공 신경망을 이용한 심층 문맥 기반 문법 오류 정정
CN107798140B (zh) 一种对话系统构建方法、语义受控应答方法及装置
WO2019085779A1 (zh) 机器处理及文本纠错方法和装置、计算设备以及存储介质
CN112270196B (zh) 实体关系的识别方法、装置及电子设备
CN105068997B (zh) 平行语料的构建方法及装置
CN107870901A (zh) 从翻译源原文生成相似文的方法、程序、装置以及系统
CN112883193A (zh) 一种文本分类模型的训练方法、装置、设备以及可读介质
CN113657115A (zh) 一种基于讽刺识别和细粒度特征融合的多模态蒙古文情感分析方法
CN110991193B (zh) 一种基于OpenKiWi的翻译矩阵模型选择系统
CN111144134A (zh) 基于OpenKiWi的翻译引擎自动化评测系统
CN115033753A (zh) 训练语料集构建方法、文本处理方法及装置
CN110633456B (zh) 语种识别方法、装置、服务器及存储介质
CN116244445A (zh) 航空文本数据标注方法及其标注系统
CN113705207A (zh) 语法错误识别方法及装置
CN112836525A (zh) 一种基于人机交互机器翻译系统及其自动优化方法
CN112349294A (zh) 语音处理方法及装置、计算机可读介质、电子设备
CN112085985B (zh) 一种面向英语考试翻译题目的学生答案自动评分方法
CN114239555A (zh) 一种关键词提取模型的训练方法及相关装置
Wu A chinese-english machine translation model based on deep neural network
CN113051398A (zh) 一种基于从文本中检测虚假问题的迁移学习方法
CN113849634A (zh) 用于提升深度模型推荐方案可解释性的方法
KR20210128315A (ko) 마스크 언어 모형을 이용한 문맥의존 철자오류 교정 장치 및 방법
CN112434516B (zh) 一种融合正文文本信息的自适应评论情感分析系统及方法
CN115587599B (zh) 一种机器翻译语料的质量检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant