CN109062912A - 一种翻译质量评价方法及装置 - Google Patents
一种翻译质量评价方法及装置 Download PDFInfo
- Publication number
- CN109062912A CN109062912A CN201810898744.8A CN201810898744A CN109062912A CN 109062912 A CN109062912 A CN 109062912A CN 201810898744 A CN201810898744 A CN 201810898744A CN 109062912 A CN109062912 A CN 109062912A
- Authority
- CN
- China
- Prior art keywords
- text
- translation
- importance
- reference unit
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013519 translation Methods 0.000 title claims abstract description 467
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 40
- 238000011156 evaluation Methods 0.000 claims description 56
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 21
- 230000011218 segmentation Effects 0.000 description 21
- 238000012549 training Methods 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 12
- 238000010606 normalization Methods 0.000 description 9
- 235000013372 meat Nutrition 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 235000021168 barbecue Nutrition 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 101100453790 Drosophila melanogaster Kebab gene Proteins 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 235000015231 kebab Nutrition 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/51—Translation evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Abstract
本申请公开了一种翻译质量评价方法及装置,该方法包括:在获取到对给定文本进行正确翻译后的参考翻译文本后,将其按照预设文本单位进行切分,得到各个参考单位文本,然后确定每一参考单位文本在该参考翻译文本中的重要度,接着,关于对给定文本进行翻译后的待评价文本即目标翻译文本,便可以根据每一参考单位文本对应的重要度,确定出目标翻译文本的翻译质量。可见,本申请不再只进行目标翻译文本与参考翻译文本中词语的遍历式匹配,而是根据该参考翻译文本中每一参考单位文本对应的重要度,确定出目标翻译文本的翻译质量,即,在进行翻译质量评价时考虑了参考翻译文本中每一词语本身的内容,从而提高了翻译质量评价结果的可信度。
Description
技术领域
本申请涉及机器翻译技术领域,尤其涉及一种翻译质量评价方法及装置。
背景技术
在机器翻译领域,对翻译效果的评价是一个非常重要的技术手段。
目前,在现有的翻译效果评价方法中,只是简单的拿机器翻译结果中的词语与参考翻译结果中的词语进行遍历式的匹配,其中,机器翻译结果是待评价的翻译文本,而参考翻译结果是认为正确的翻译结果,如果机器翻译结果中的某个词语能够匹配上,则该词语得1分,对于匹配不上的词语则得0分,最后将机器翻译结果中所有词语的得分相加除以参考翻译结果中词语的个数,作为机器翻译结果最终的翻译效果评分。
但是,现有的翻译效果评价方法对机器翻译结果中的所有词语不加区分,仅简单统计正确翻译的词语个数,未考虑到词语本身的内容,导致翻译效果评价结果的可信度较低。
发明内容
本申请实施例的主要目的在于提供一种翻译质量评价方法及装置,能够提高翻译效果评价结果的可信度。
本申请实施例提供了一种翻译质量评价方法,包括:
获取参考翻译文本,其中,所述参考翻译文本是对给定文本进行正确翻译后的文本;
将所述参考翻译文本按照预设文本单位进行切分,得到各个参考单位文本;
确定每一参考单位文本在所述参考翻译文本中的重要度;
根据每一参考单位文本对应的重要度,确定目标翻译文本的翻译质量,其中,所述目标翻译文本是对所述给定文本进行翻译后的待评价文本。
可选的,所述确定每一参考单位文本在所述参考翻译文本中的重要度,包括:
对于每一参考单位文本,根据预设的评价指标确定所述参考单位文本在所述参考翻译文本中的重要度,其中,所述评价指标包括所述参考单位文本的词性、词信息量以及翻译场景中的至少一个元素。
可选的,所述根据预设的评价指标确定所述参考单位文本在所述参考翻译文本中的重要度,包括:
若所述评价指标包括所述参考单位文本的词性,则确定所述参考单位文本的词性的重要度;
若所述评价指标包括所述参考单位文本的词信息量,则确定所述参考单位文本的词信息量的重要度;
若所述评价指标包括所述参考单位文本的翻译场景,则确定所述参考单位文本的翻译场景的重要度;
根据所述参考单位文本在所述评价指标下的重要度,确定所述参考单位文本在所述参考翻译文本中的重要度。
可选的,所述确定所述参考单位文本的词信息量的重要度,包括:
确定所述参考单位文本对应的缺失翻译文本,其中,所述缺失翻译文本是将所述参考单位文本从所述参考翻译文本中去除后的文本;
在预先构建的文本语料库中,确定与所述缺失翻译文本具有相同句式的句子数量;
根据所述句子数量确定所述参考单位文本的词信息量的重要度。
可选的,所述确定所述参考单位文本的翻译场景的重要度,包括:
利用TF-IDF算法,确定所述参考单位文本的翻译场景的重要度。
可选的,所述根据每一参考单位文本对应的重要度,确定目标翻译文本的翻译质量,包括:
将所述目标翻译文本按照所述预设文本单位进行切分,得到各个目标单位文本;
对于每一目标单位文本,确定与所述目标单位文本对应的参考单位文本,并确定所述目标单位文本与对应参考单位文本之间的相似度;
根据每一参考单位文本对应的重要度、以及每一目标单位文本与对应参考单位文本之间的相似度,确定目标翻译文本的翻译质量。
可选的,所述对于每一目标单位文本,确定与所述目标单位文本对应的参考单位文本,包括:
利用所述目标翻译文本的各个目标单位文本,生成具有依存关系的第一句法树;
利用所述参考翻译文本的各个参考单位文本,生成具有依存关系的第二句法树;
根据所述第一句法树与所述第二句法树在结构上的位置对应关系,从所述第二句法树中找到与每一目标单位文本对应的参考单位文本。
本申请实施例还提供了一种翻译质量评价装置,包括:
参考翻译文本获取单元,用于获取参考翻译文本,其中,所述参考翻译文本是对给定文本进行正确翻译后的文本;
参考单位文本获得单元,用于将所述参考翻译文本按照预设文本单位进行切分,得到各个参考单位文本;
重要度确定单元,用于确定每一参考单位文本在所述参考翻译文本中的重要度;
翻译质量确定单元,用于根据每一参考单位文本对应的重要度,确定目标翻译文本的翻译质量,其中,所述目标翻译文本是对所述给定文本进行翻译后的待评价文本。
可选的,所述重要度确定单元,具体用于对于每一参考单位文本,根据预设的评价指标确定所述参考单位文本在所述参考翻译文本中的重要度,其中,所述评价指标包括所述参考单位文本的词性、词信息量以及翻译场景中的至少一个元素。
可选的,所述重要度确定单元包括:
第一重要度确定子单元,用于若所述评价指标包括所述参考单位文本的词性,则确定所述参考单位文本的词性的重要度;
第二重要度确定子单元,用于若所述评价指标包括所述参考单位文本的词信息量,则确定所述参考单位文本的词信息量的重要度;
第三重要度确定子单元,用于若所述评价指标包括所述参考单位文本的翻译场景,则确定所述参考单位文本的翻译场景的重要度;
第四重要度确定子单元,用于根据所述参考单位文本在所述评价指标下的重要度,确定所述参考单位文本在所述参考翻译文本中的重要度。
可选的,所述第二重要度确定子单元包括:
缺失翻译文本确定子单元,用于确定所述参考单位文本对应的缺失翻译文本,其中,所述缺失翻译文本是将所述参考单位文本从所述参考翻译文本中去除后的文本;
句子数量确定子单元,用于在预先构建的文本语料库中,确定与所述缺失翻译文本具有相同句式的句子数量;
第五重要度确定子单元,用于根据所述句子数量确定所述参考单位文本的词信息量的重要度。
可选的,所述第三重要度确定子单元,具体用于利用TF-IDF算法,确定所述参考单位文本的翻译场景的重要度。
可选的,所述翻译质量确定单元包括:
目标单位文本获得子单元,用于将所述目标翻译文本按照所述预设文本单位进行切分,得到各个目标单位文本;
参考单位文本确定子单元,用于对于每一目标单位文本,确定与所述目标单位文本对应的参考单位文本;
相似度确定子单元,用于确定所述目标单位文本与对应参考单位文本之间的相似度;
翻译质量确定子单元,用于根据每一参考单位文本对应的重要度、以及每一目标单位文本与对应参考单位文本之间的相似度,确定目标翻译文本的翻译质量。
可选的,所述参考单位文本确定子单元包括:
第一句法树生成子单元,用于利用所述目标翻译文本的各个目标单位文本,生成具有依存关系的第一句法树;
第二句法树生成子单元,用于利用所述参考翻译文本的各个参考单位文本,生成具有依存关系的第二句法树;
参考单位文本查找子单元,用于根据所述第一句法树与所述第二句法树在结构上的位置对应关系,从所述第二句法树中找到与每一目标单位文本对应的参考单位文本。
本申请实施例还提供了一种翻译质量评价装置,包括:处理器、存储器、系统总线;
所述处理器以及所述存储器通过所述系统总线相连;
所述存储器用于存储一个或多个程序,所述一个或多个程序包括指令,所述指令当被所述处理器执行时使所述处理器执行上述翻译质量评价方法中的任意一种实现方式。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在终端设备上运行时,使得所述终端设备执行上述翻译质量评价方法中的任意一种实现方式。
本申请实施例还提供了一种计算机程序产品,所述计算机程序产品在终端设备上运行时,使得所述终端设备执行上述翻译质量评价方法中的任意一种实现方式。
本申请实施例提供的一种翻译质量评价方法及装置,在获取到对给定文本进行正确翻译后的文本后,可以将其作为参考翻译文本,并将其按照预设文本单位进行切分,得到各个参考单位文本,然后,可以确定出每一参考单位文本在该参考翻译文本中的重要度,接着,关于对给定文本进行翻译后的待评价文本即目标翻译文本,便可以根据每一参考单位文本对应的重要度,确定出目标翻译文本的翻译质量。可见,本申请实施例不再只进行目标翻译文本与参考翻译文本中词语的遍历式匹配,而是根据该参考翻译文本中每一参考单位文本对应的重要度,确定出目标翻译文本的翻译质量,即,在进行翻译质量评价时考虑了参考翻译文本中每一词语本身的内容,从而提高了翻译质量评价结果的可信度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种翻译质量评价方法的流程示意图;
图2为本申请实施例提供的确定每一参考单位文本在参考翻译文本中的重要度的流程示意图;
图3为本申请实施例提供的确定目标翻译文本的翻译质量的流程示意图;
图4为本申请实施例提供的一种翻译质量评价装置的组成示意图。
具体实施方式
在一些翻译质量评价方法中,对机器翻译结果中的所有词语不加区分,仅简单统计正确翻译的词语个数,未考虑词语本身的内容,导致翻译质量评价结果的可信度较低。
为解决上述缺陷,本申请实施例提供了一种翻译质量评价方法,在对机器翻译结果的翻译质量进行评价之前,不再只将机器翻译结果中的词语与参考翻译结果中的词语进行遍历式地匹配,而是预先将参考翻译结果以单个字或单个词语为单位进行切分,得到参考翻译结果中的各个字或各个词语,然后,确定出每个字或每个词语在参考翻译结果中的重要度,接着,根据每个字或每个词语对应的重要度,确定出机器翻译结果的翻译质量。可见,本申请实施例不再只简单的拿机器翻译结果中的词语与参考翻译结果中的词语进行遍历式地匹配,而是根据参考翻译结果中每个字或每个词语对应的重要度,确定出机器翻译结果的翻译质量,即,考虑了词语本身的内容对翻译质量的影响,从而提高了翻译质量评价结果的可信度。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
第一实施例
参见图1,为本实施例提供的一种翻译质量评价方法的流程示意图,该方法包括以下步骤:
S101:获取参考翻译文本,其中,参考翻译文本是对给定文本进行正确翻译后的文本。
在本实施例中,将需要进行翻译的文本定义为给定文本,将对该给定文本进行正确翻译后的文本定义为参考翻译文本,比如,参考翻译文本可以是人工翻译结果,是进行翻译质量评价的参照文本。需要说明的是,本实施例不限制给定文本和参考翻译文本的语种,比如,给定文本可以是英文,参考翻译文本可以是中文。
S102:将参考翻译文本按照预设文本单位进行切分,得到各个参考单位文本。
在本实施例中,通过步骤S101获取到参考翻译文本后,可以按照预设文本单位对其进行切分,得到各个参考单位文本。其中,预设文本单位可以是文本中的单个字,相应的,参考翻译文本中的各个参考单位文本指的则是参考翻译文本中的各个字;预设文本单位也可以是文本中的单个词语,相应的,参考翻译文本中的各个参考单位文本指的则是参考翻译文本中的各个词语。
在获取到参考翻译文本后,若以词语为单位进行切分,可以利用现有或未来出现的分词方法对参考翻译文本进行分词处理,得到参考翻译文本中的各个词语。
S103:确定每一参考单位文本在参考翻译文本中的重要度。
在本实施例中,通过步骤S102获取到参考翻译文本的各个参考单位文本后,比如获取到各个词语后,可以对每个词语进行数据处理,确定出每个词语在参考翻译文本中的重要度,其中,关于每个词语的重要度,可以采用该词语在参考翻译文本中所占的权重大小表征该词语的重要度,比如重要度越高、对应的权重值越大,反之亦然,进一步地,可以利用每个词语权重的归一化结果来对应表征每个词语在参考翻译文本中的重要度。
具体来讲,对每个词语进行数据处理指的是计算每个词语在参考翻译文本中所占的权重值,用以表征每个词语在参考翻译文本中的重要度。在具体的计算过程中,一方面,可以根据每个词语自身的词性,确定出每个词语的词性对应的权重值,比如,若某个词语的词性为代词,则可以通过查询预先构建好的词性-权重表来确定代词的权重值,从而确定出了该词语的词性对应的权重值;另一方面,可以根据每个词语本身的信息量(词语的信息量大小与该词语的通用性大小成正比),确定出每个词语的信息量对应的权重值,比如,可以通过信息熵计算每个词语的信息量,进而确定该词语的信息量对应的权重值;再一方面,可以根据每个词语所处的不同翻译场景,确定出每个词语在对应翻译场景中的权重值,比如,若词语“某某酒店”所处的翻译场景为“旅游场景”,则可以使用词频-逆文件频率(TermFrequency-Inverse Document Frequency,简称TF-IDF)算法计算该词语“某某酒店”在“旅游场景”下的权重值。
这样,便计算得到每个词语的词性对应的权重值、每个词语的信息量对应的权重值、以及每个词语在所属翻译场景下对应的权重值。
然后,可以分别对每个词语的词性对应的权重值、信息量对应的权重值以及翻译场景对应的权重值进行归一化处理,得到三个维度下进行归一化后的权重值,接着,将这三个维度下进行归一化后的权重值相乘后再进行归一化,最终确定出每个词语在该参考翻译文本中的权重值,即确定出每个词语在该参考翻译文本中的重要度。
需要说明的是,具体的计算每个词语在参考翻译文本中所占的权重值即每个词语在参考翻译文本中的重要度的实现过程可参见后续第二实施例的相关介绍。
S104:根据每一参考单位文本对应的重要度,确定目标翻译文本的翻译质量,其中,目标翻译文本是对给定文本进行翻译后的待评价文本。
在本实施例中,将采用本实施例实现翻译质量评价的任一待评价文本定义为目标翻译文本,目标翻译文本指的是对上述给定文本进行翻译后的待评价文本,目标翻译文本可以是待评价的机器翻译文本、也可以是待评价的人工翻译文本。可以理解的是,目标翻译文本与参考翻译文本的语种应是一致的,比如,可以均为中文文本,或者均为英文文本等。
通过步骤S103确定出每一参考单位文本在参考翻译文本中的重要度后,可以根据每一参考单位文本对应的重要度,确定目标翻译文本的翻译质量。具体来讲,本实施例是按照预设文本单位比如以单个词语为单位对参考翻译文本进行切分,所以,同样可以按照预设文本单位比如以单个词语为单位对目标翻译文本进行切分,然后将目标参考文本与参考翻译文本中每组相互对应的待评价翻译词语和正确翻译词语进行比较,确定每一待评价翻译词语与其正确翻译词语的相似程度,并结合正确翻译词语的重要度,确定出每一待翻译词语的翻译质量,最后,综合考虑目标翻译文本中每一待评价翻译词语的翻译质量,以对目标翻译文本的翻译质量进行评估。
需要说明的是,具体的根据各个词语对应的重要度确定目标翻译文本的翻译质量的实现过程可参见后续第三实施例的相关介绍。
综上,本实施例提供的一种翻译质量评价方法,在获取到对给定文本进行正确翻译后的文本后,可以将其作为参考翻译文本,并将其按照预设文本单位进行切分,得到各个参考单位文本,然后,可以确定出每一参考单位文本在该参考翻译文本中的重要度,接着,关于对给定文本进行翻译后的待评价文本即目标翻译文本,便可以根据每一参考单位文本对应的重要度,确定出目标翻译文本的翻译质量。可见,本申请实施例不再只进行目标翻译文本与参考翻译文本中词语的遍历式匹配,而是根据该参考翻译文本中每一参考单位文本对应的重要度,确定出目标翻译文本的翻译质量,即,在进行翻译质量评价时考虑了参考翻译文本中每一词语本身的内容,从而提高了翻译质量评价结果的可信度。
第二实施例
本实施例将对第一实施例中步骤S103“确定每一参考单位文本在参考翻译文本中的重要度”的具体实现过程进行介绍。
在本实施例中,一种可选的实现方式是,对于每一参考单位文本,可以根据预设的评价指标确定每一参考单位文本在参考翻译文本中的重要度,其中,该评价指标可以包括参考单位文本的词性、词信息量以及翻译场景中的至少一个元素。
需要说明的是,本实施例将以参考翻译文本中的每个词语作为每一参考单位文本为例进行介绍,也就是说,对于参考翻译文本中的每个词语,可以根据词语的词性、词信息量以及翻译场景中的至少一个元素作为评价指标,确定出每个词语在参考翻译文本中的重要度,具有可以确定出每个词语在参考翻译文本中所占的权重。
参见图2,其示出了本实施例提供的确定每一参考单位文本在参考翻译文本中的重要度的流程示意图,该流程包括以下步骤:
S201:若评价指标包括参考单位文本的词性,则确定该参考单位文本的词性的重要度。
在本实施例中,若评价指标包括参考单位文本的词性,即若评价指标包括参考翻译文本中词语的词性,则可以确定参考翻译文本中每一词语的词性对应的权重值,并利用该权重值表征该词语的词性的重要度。
在本实施例中,可以预先创建一重要度关系表,该预先创建的重要度关系表中包括了不同的词性信息以及与每一词性信息对应的重要度信息,具体可以包括不同的词性信息以及表征每一词性信息的重要度的权重信息,则该重要度关系表即为第一实施例中提及的词性-权重表。基于此,一种可选的实现方式是,本步骤S201可以通过查询预先创建的重要度关系表,确定出参考单位文本的每个词语的词性的重要度。
进一步的,为了保证各个权重值在一个量级上,在通过查询重要度关系表,确定出参考翻译文本中每个词语的词性的权重后,还需要对参考翻译文本的每一词语的词性权重值进行归一化处理,并将归一化后的值作为每个词语最终的词性权重值Vi,利用vi来表征对应词语的词性的重要度。在具体实现过程中,可以将参考翻译文本中每个词语的词性权重与参考翻译文本中所有词语的词性权重之和的比值,作为每个词语对应的归一化后的词性权重值,利用该值来表征该词语的词性在参考翻译文本中的重要度。
举例说明:假设给定文本为“I'd like to have a roast meat at the Meishanhotel.”,则对该给定文本进行正确翻译后得到的参考翻译文本为“我想去梅山饭店吃烤肉。”,然后将该参考翻译文本按照单个词语为单位进行切分,得到参考翻译文本的分词结果为“我、想、去、梅山饭店、吃、烤肉、。”,进而可以确定出该分词结果中每个词语对应的词性信息分别为“代词、介词、动词、名词、动词、名词、标点符号”。接着,可以通过查询预先创建的重要度关系表,确定出该分词结果中每个词语的词性的权重,如“我”是代词,经查表得到代词的权重为“0.1”,则“我”的权重即为“0.1”,依次类推,可以得到该分词结果中每个词语的词性的权重为“[我(0.1)、想(0.05)、去(0.1)、梅山饭店(0.2)、吃(0.1)、烤肉(0.15)、。(0.01)]”。
进一步的,还可以将每个词语的词性的权重与参考翻译文本中所有词的词性的权重和的比值,作为每个词语对应的归一化后的词性权重值,如词语“我”对应的归一化后的词性权重值为0.1408,其中,具体的计算过程为“0.1/(0.1+0.05+0.1+0.2+0.1+0.15+0.01)=0.1408”,依次类推,可以得到参考翻译文本中每个词语对应的归一化后的词性权重值为“[我(0.1408)、想(0.0704)、去(0.1408)、梅山饭店(0.2816)、吃(0.1408)、烤肉(0.2112)、。(0.0140)]”,进而可以利用上述每个词语对应的归一化后的词性权重值来表征每个词语的词性在参考翻译文本中的重要度。
一种可选的实现方式是,本实施例中的重要度关系表可以是通过模型训练得到的。
在本实施例中,重要度关系表可以是通过回归算法进行模型训练得到的。在训练过程中,需要准备的训练数据有:分词后的机器翻译结果、分词后的人工翻译结果(包括词性信息)以及人工打分结果(评分员参照人工翻译结果对机器翻译结果进行打分),其中,机器翻译结果与人工翻译结果需要成对进行训练,即二者是对同一样本文本进行翻译的翻译结果。
举例说明:假设样本文本为“I'd like to have a roast meat at the Meishanhotel.”,则对该样本文本进行分词后的机器翻译结果为“我、想、去、梅山饭店、处理、烤串。”,分词后的人工翻译结果(包括词性信息)为“我(代词)、想(介词)、去(动词)、梅山饭店(名词)、吃(动词)、烤肉(名词)、。(标点符号)”。则按照词语为单位进行匹配后,得到正确匹配的词语为“我、想、去、梅山饭店”,当利用现有技术中的双语互译质量评估辅助工具(Bilingual Evaluation Understudy,简称bleu)打分时,则以词语为单位进行匹配后得到的准确率得分为0.66(4/6=0.66),但本实施例将每个词语的词性权重考虑到翻译质量评价中,形成修改后的bleu打分工具进行打分时,则以词语为单位进行匹配后得到的准确率得分为0.6((1*0.1+1*0.3+1*0.1+1*0.1)=0.6),其中,1表示正确匹配的词语,而0.1、0.3、0.1、0.1均为正确匹配的词语的词性权重,这些词性权重是通过模型训练得到的。
接下来,本实施例将对如何通过模型训练得到重要度关系表(即词性-权重表)的具体过程进行描述,并以中文词语中的词性为例进行说明。
(1)构建一个初始的词性-权重表
在本实施例中,可以预先构建一个初始的词性-权重表,该表中每种词性对应一个权重值,每一权重值可任意赋值,比如,可以将代词的权重值赋为0.2,将介词的权重值赋为0.08。
(2)将训练文本中所有正确匹配的词语转化成向量形式
在本实施例中,为了通过模型训练得到最终的词性-权重表,需要预先准备大量成对的分词后的机器翻译结果、分词后的人工翻译结果(包括词性信息)作为训练文本,然后将每一机器翻译结果转化成向量形式,具体的转化公式如下:
hθ(x)=θTX
其中,hθ(x)表示机器翻译结果转化成的向量形式,X表示机器翻译结果中各个词语对应的词性信息,θ表示机器翻译结果中各个词语的词性的当前权重(通过查询当前的词性-权重表得到)。
使用修改后的bleu打分工具对进行向量转化后的机器翻译结果进行打分,得到一个机器评分
(3)建立损失函数
在使用修改后的bleu打分工具对进行向量转化后的机器翻译结果进行打分得到机器评分后,可以建立如下损失函数:
其中,表示使用修改后的bleu打分工具对进行向量转化后的机器翻译结果进行打分得到的打分结果;y(i)表示对机器翻译结果进行人工打分得到的为人工打分结果,即评分员参照人工翻译结果对机器翻译结果进行打分的得分;m表示每轮训练中使用的成对机器翻译结果和人工翻译结果(包括词性信息)的对数,比如,每轮训练中可以选取10对分词后的机器翻译结果和分词后的人工翻译结果(包括词性信息)进行训练,m的值越大,说明选取的训练数量越多。
需要说明的是,在通过模型训练词性-权重表的具体过程中,可以使用梯度下降算法不停更新词性-权重表中的权重值,直至损失函数的值趋近于零,则结束训练,得到训练好的词性-权重表,即得到训练好的重要度关系表,其中包含了每种词性对应的权重值。
S202:若评价指标包括参考单位文本的词信息量,则确定该参考单位文本的词信息量的重要度。
在本实施例中,若评价指标包括参考单位文本的词信息量,即若评价指标包括参考翻译文本中词语的信息量,则可以确定参考翻译文本中每一词语的信息量对应的权重,并利用该权重值表征该词语的信息量的重要度。
在本实施例的一种实现方式中,S202具体可以包括步骤A-B:
步骤A:确定参考单位文本对应的缺失翻译文本,其中,缺失翻译文本是将参考单位文本从参考翻译文本中去除后的文本。
在本实现方式中,对于参考翻译文本中的每一参考单位文本,可以从参考翻译文本中去除该参考单位文本,将去除后的文本作为该参考单位文本对应的缺失翻译文本。
例如,假设参考翻译文本为“我想去梅山饭店吃烤肉。”,且其各个参考单位文本为各个词语,即分别为“我”、“想”、“去”、“梅山饭店”、“吃”、“烤肉”、“。”,以其中的一个词语“梅山饭店”为例,将“梅山饭店”从“我想去梅山饭店吃烤肉。”去除后,得到的缺失翻译文本为“我想去XXX吃烤肉。”。
步骤B:在预先构建的文本语料库中,确定与所述缺失翻译文本具有相同句式的句子数量;并根据句子数量确定参考单位文本的词信息量的重要度。
在本实现方式中,为了确定参考单位文本的词信息量的重要度,需要预先构建一个足够大的文本语料库,该语料库中包括大量的句子,并且这些句子的内容是各不相同的。基于此,在通过步骤A确定出参考翻译文本中的每一参考单位文本对应的缺失翻译文本后,可以从预先构建的文本语料库中,找出与该缺失翻译文本相同句式的句子,并确定出文本语料库中与该缺失翻译文本具有相同句式的句子数量,接着,根据句子数量确定参考单位文本的词信息量的重要度。
在具体实现过程中,对于每一缺失翻译文本,可以使用字符串匹配算法,从预先构建的文本语料库中找出与该缺失翻译文本相同句式的句子,这种句式的句子数量越多,说明该缺失翻译文本对应的词语能够被替换成其他词语的可能性越大,表示该词语出现的概率越小。若出现的概率越小,那么该词语的翻译错误或丢失所带来的信息损失越大,原因在于概率小的词语一旦丢失,用户是无法还原整个句子的信息的。
举例说明:假设对参考翻译文本分词后的结果为“我想去梅山饭店吃烤肉。”,这里以计算词语“梅山饭店”的信息量对应的权重为例进行说明。由于“梅山饭店”对应的缺失翻译文本为“我想去XXX吃烤肉。”,可以从预先构建的文本语料库中,通过正则匹配找出所有“我想去XXX吃烤肉。”这样的句式,并统计文本语料库中相同句式的句子数量,该数量可以表征词语“梅山饭店”能够被替换成其他词语的可能性,数量越多,说明该词语能够被替换成其他词语的可能性越大,进而表示该词语出现的概率越小。假设通过计算得到“我想去XXX吃烤肉”这样的句式在文本语料库中一共出现1024次,则这个句子中词语“梅山饭店”出现的概率就为1/1024,那么词语“梅山饭店”的信息量的计算公式:
也就是说,“梅山饭店”一词的信息量对应的权重值为10。
进一步的,为了保证各个权重值在一个量级上,在确定出参考翻译文本中每个词语的信息量的权重后,还需要对参考翻译文的每一词语的信息量权重值进行归一化处理,并将归一化后的值作为每个词语最终的词信息量权重利用来表征对应词语的词信息量的重要度。在具体实现过程中,可以将参考翻译文本中每个词语的信息量权重与参考翻译文本中所有词语的信息量权重之和的比值,作为每个词语对应的归一化后的词信息量权重值Ii,可以利用Ii来表征该词语的信息量在参考翻译文本中的重要度。
例如,利用上述方法可以计算出上述举例中“我想去梅山饭店吃烤肉。”中每个词语的词信息量权重值为“[我(0.2142)、想(0.1071)、去(0.0714)、梅山饭店(0.3571)、吃(0.714)、烤肉(0.1428)、。(0.0357)]”,具体实现过程可参照上述步骤A-B。
S203:若评价指标包括参考单位文本的翻译场景,则确定该参考单位文本的翻译场景的重要度。
在本实施例中,若参考翻译文本的每一参考单位文本均是一个词语,则评价指标包括参考翻译文本中每一词语的翻译场景,基于此,可以确定出参考翻译文本中每一词语在其翻译场景下的权重值,利用该值来表征该词语在该翻译场景下的重要度。
一种可选的实现方式是,在本步骤S203中,可以利用TF-IDF算法,确定参考单位文本的翻译场景的重要度。在本实现方式中,若参考翻译文本的每一参考单位文本均是一个词语,则可以利用TF-IDF算法,确定参考翻译文本中每一词语的翻译场景对应的权重值。
更具体地,步骤S203在利用TF-IDF算法确定重要度时,可以包括步骤C-D:
步骤C:确定参考单位文本所属的参考翻译场景,其中,该参考翻译场景为预先给定的至少一个翻译场景中的其中一个场景,每一给定翻译场景分别对应一个语料库。
在本实现方式中,需要预先准备多个不同给定翻译场景(比如旅游、教育、医疗、新闻、安全等翻译场景)的语料库,同时可以指定参考翻译文本所属的给定翻译场景,本实施例将该指定的给定翻译场景定义为参考翻译场景。
举例说明:假设各个给定翻译场景分别为教育、医疗、旅游等,且每一给定翻译场景分别对应一个语料库,即教育语料库、医疗语料库以及旅游语料库等,则可以预先指定其中的“旅游场景”为参考翻译场景,进而确定出参考翻译文本中每个词语所属的参考翻译场景为“旅游场景”,对应的语料库为“旅游语料库”,且该语料库均包含了大量与旅游场景相关的语料,比如与旅游相关的词语和/或句子等。
步骤D:根据次数信息和/或数量信息,确定参考单位文本的翻译场景的重要度,其中,次数信息为参考单位文本在参考翻译场景的语料库中的出现次数,数量信息为在至少一个给定翻译场景的语料库中包括参考单位文本的语料库数量。
在本实现方式中,可以按照以下方式确定参考翻译文本每一参考单位文本的翻译场景的重要度。以参考单位文本为词语进行介绍,具体可以包括以下两个计算步骤。
第一步计算公式如下:
其中,N1表示参考翻译文本中的词语在参考翻译场景的语料库中的出现次数;N表示该翻译场景语料库中所有词语的数目。例如,假设参考翻译文本中的一个词语为“我”,该词语所处的参考翻译场景为“旅游场景”,则N1表示词语“我”在旅游场景语料库中出现的次数,N则表示旅游场景语料库中所有词语的数目。
接下来,可采用的第二步计算公式如下:
其中,N2表示翻译场景语料库的类型数,比如可以为旅游、教育、医疗等类型翻译场景语料库的类型数目;M表示在各个给定翻译场景的语料库中包括该词语的语料库数量。
在完成第一步和第二步的计算过程后,进一步的,可以通过如下公式计算出参考翻译文本中的该词语在参考翻译场景下的权重:
Ti=TF*IDF
其中,Ti表示参考翻译文本中的该词语在参考翻译场景下的权重;而TF和IDF作为计算过程的中间值,可以通过上述两个相关公式计算出来。
例如,通过上述公式可以将参考翻译文本中“我想去梅山饭店吃烤肉。”中每一词语在“旅游场景”下的权重值Ti计算出来。
进一步的,为了保证各个权重值在一个量级上,在确定出参考翻译文本中每个词语的翻译场景的权重后,还需要对参考翻译文本的每一词语的翻译场景权重值进行归一化处理,并将归一化后的值作为每个词语最终的翻译场景权重值利用来表征对应词语的词信息量的重要度。
需要说明的是,本实施例不限制步骤S201-S203的执行顺序。
S204:根据参考单位文本在评价指标下的重要度,确定参考单位文本在参考翻译文本中的重要度。
在本实施例中,通过步骤S201-S203确定出参考单位文本在评价指标下的重要度,即通过步骤S201-S203确定出参考翻译文本中每个词语的词性重要度、词信息量重要度和翻译场景重要度后,进一步地,对于参考翻译文本中的每一词语,可以将上述三个维度下表征该词语重要度的三个权重值相乘,再进行归一化处理,得到该词语最终的权重值,具体的计算公式如下:
其中,pi表示参考翻译文本中各个词语最终的权重值序列;Vi表示参考翻译文本中各个词语的词性的权重值序列;表示参考翻译文本中各个词语的词信息量的权重值序列;表示参考翻译文本中各个词语的翻译场景的权重值序列。可以理解的是,该公式中的每一参数均为一维列矩阵且维数相同,且每一列矩阵中相同位置的权重值元素均对应参考翻译文本的同一词语。
综上,本实施例从每一参考单位文本的词性、词信息量以及翻译场景三个不同维度计算出每个维度对应的权重值,进而结合三个维度的权重值共同确定出每一参考单位文本在参考翻译文本中的重要度,以便后续根据每一参考单位文本对应的重要度,确定出目标翻译文本的翻译质量,进一步提高了翻译效果评价结果的可信度。
第三实施例
本实施例将通过下述步骤S301-S303对第一实施例中步骤S104“根据每一参考单位文本对应的重要度,确定目标翻译文本的翻译质量”的具体实现过程进行介绍。
参见图3,其示出了本实施例提供的确定目标翻译文本的翻译质量的流程示意图,该流程包括以下步骤:
S301:将目标翻译文本按照预设文本单位进行切分,得到各个目标单位文本。
在本实施例中,可以按照预设文本单位对目标翻译文本进行切分,其切分方式应与第一实施例步骤S102中对参考翻译文本的切分方式相同,从而得到各个目标单位文本。
在获取到目标翻译文本后,若以词语为单位进行切分,可以利用现有或未来出现的分词方法对目标翻译文本进行分词处理,得到目标翻译文本中的各个词语。
S302:对于每一目标单位文本,确定与目标单位文本对应的参考单位文本,并确定目标单位文本与对应参考单位文本之间的相似度。
在本实施例中,通过步骤S301获取到目标翻译文本的各个目标单位文本(比如各个词语)后,可以通过依存句法分析方法,确定与目标单位文本对应的参考单位文本,在一种具体的实现方式中,步骤S302中的“确定与目标单位文本对应的参考单位文本”可以包括:利用目标翻译文本的各个目标单位文本,生成具有依存关系的第一句法树;利用参考翻译文本的各个参考单位文本,生成具有依存关系的第二句法树;根据第一句法树与第二句法树在结构上的位置对应关系,从第二句法树中找到与每一目标单位文本对应的参考单位文本。
在本实现方式中,对目标翻译文本进行句法分析,使目标翻译文本的各个目标单位文本构成一个句法树,这里定义其为第一句法树,该第一句法树中各个目标单位文本的连接关系反映了各个目标单位文本在句法上的依次关系;同理,对参考翻译文本进行句法分析,使参考翻译文本的各个参考单位文本构成一个句法树,这里定义其为第二句法树,该第二句法树中各个参考单位文本的连接关系反映了各个参考单位文本在句法上的依次关系。然后,对于每一目标单位文本,可以根据第一句法树与第二句法树的各个单位文本在结构上的位置对应关系,找出参考翻译文本中与目标单位文本对应的参考单位文本。
接下来,对于每组相互对应的目标单位文本与参考单位文本,确定目标单位文本与对应参考单位文本之间的相似度,基于此,可以确定出目标翻译文本中每个词语的翻译得分qi。其中,如果目标单位文本与参考单位文本相同,则翻译得分为1;如果不相同,则可以利用现有或未来出现的相似度计算方法对目标单位文本与对应参考单位文本之间的相似度进行计算,并将相似度计算得分作为翻译得分;如果翻译错误,即目标单位文本与对应参考单位文本是完全不同的,则翻译得分为0。
举例说明:仍以参考翻译文本的分词结果“我、想、去、梅山饭店、吃、烤肉、。”和目标翻译文本的分词结果“我、想、去、梅山饭店、处理、烤串。”为例,通过依存句法对目标翻译文本和参考翻译文本进行分析生成两个句法树,进而对于每一目标单位文本,可以根据两个依存句法树结构上的对应关系找出参考翻译文本中与目标单位文本对应的参考单位文本。具体的目标单位文本与参考单位文本的对应关系为:[我--我、想--想、去--去、梅山饭店--梅山饭店、吃--处理、烤肉--烤串、。--。]。
其中,对于翻译正确的词语:我、想、去、梅山饭店,各个词语的翻译得分为1;对于翻译结果近似的词语:烤肉(烤串),则可以计算二者的相似度得分,比如这两个词语的相似度得分为0.7分,则可以确定该词语“烤串”的翻译得分为0.7分;对于翻译结果完全不同的词语:吃(处理),则可以确定该词语“处理”的翻译得分为0。
可见,本实施例在进行目标单位文本与对应参考单位文本的比较时加入了近义词的判断,在具体的判断过程中,可以利用现有或未来出现的相似度计算方法对目标单位文本与对应参考单位文本之间的相似度进行计算,比如,可以通过近义词表得出目标单位文本与对应参考单位文本之间的相似度得分。
S303:根据每一参考单位文本对应的重要度、以及每一目标单位文本与对应参考单位文本之间的相似度,确定目标翻译文本的翻译质量。
在本实施例中,在通过步骤S302计算出目标单位文本与对应参考单位文本之间的翻译得分后,以及通过第二实施例确定每一参考单位文本对应的重要度(权重值)后,进一步可以根据二者的计算结果,确定出目标翻译文本的翻译结果评价得分,进而可以根据得分大小确定出目标翻译文本的翻译质量。具体的计算公式如下:
其中,qi表示目标翻译文本中每个词语的翻译得分;pi表示参考翻译文本中每个词语的权重值;i表示目标翻译文本中的第i个词语,N表示目标翻译文本中的词语个数;Score表示目标翻译文本的翻译结果评价得分,用以表征目标翻译文本的翻译质量。
举例说明:基于上述举例,目标翻译文本中词语“我、想、去、梅山饭店”的翻译得分为1;词语“烤串”翻译得分为0.7分;词语“处理”的翻译得分为0。此时,假设参考翻译文本中每个词语的权重为:[我(0.15)、想(0.1)、去(0.1)、梅山饭店(0.3)、吃(0.1)、烤肉(0.2)、。(0.05)],则可以基于上述公式确定出目标翻译文本的翻译结果评价得分为:
Score=0.15*1+0.1*1+0.1*1+0.3*1+0.1*0+0.2*0.7+0.05*1=0.84
进而可以利用该评价得分值表征目标翻译文本的翻译质量,比如,大于0.6表示翻译质量合格。
综上,本实施例根据每一参考单位文本对应的重要度、以及每一目标单位文本与对应参考单位文本之间的相似度,计算出目标翻译文本的翻译结果评价得分,进而可以根据得分大小确定出目标翻译文本的翻译质量,由此实现了基于词语本身的内容以及词语近义词对翻译质量的影响,确定出目标翻译结果的翻译质量,进而提高了翻译质量评价结果的可信度。
第四实施例
本实施例将对一种翻译质量评价装置进行介绍,相关内容请参见上述方法实施例。
参见图4,为本实施例提供的一种翻译质量评价装置的组成示意图,该装置400包括:
参考翻译文本获取单元401,用于获取参考翻译文本,其中,所述参考翻译文本是对给定文本进行正确翻译后的文本;
参考单位文本获得单元402,用于将所述参考翻译文本按照预设文本单位进行切分,得到各个参考单位文本;
重要度确定单元403,用于确定每一参考单位文本在所述参考翻译文本中的重要度;
翻译质量确定单元404,用于根据每一参考单位文本对应的重要度,确定目标翻译文本的翻译质量,其中,所述目标翻译文本是对所述给定文本进行翻译后的待评价文本。
在本实施例的一种实现方式中,所述重要度确定单元403,具体用于对于每一参考单位文本,根据预设的评价指标确定所述参考单位文本在所述参考翻译文本中的重要度,其中,所述评价指标包括所述参考单位文本的词性、词信息量以及翻译场景中的至少一个元素。
在本实施例的一种实现方式中,所述重要度确定单元403包括:
第一重要度确定子单元,用于若所述评价指标包括所述参考单位文本的词性,则确定所述参考单位文本的词性的重要度;
第二重要度确定子单元,用于若所述评价指标包括所述参考单位文本的词信息量,则确定所述参考单位文本的词信息量的重要度;
第三重要度确定子单元,用于若所述评价指标包括所述参考单位文本的翻译场景,则确定所述参考单位文本的翻译场景的重要度;
第四重要度确定子单元,用于根据所述参考单位文本在所述评价指标下的重要度,确定所述参考单位文本在所述参考翻译文本中的重要度。
在本实施例的一种实现方式中,所述第二重要度确定子单元包括:
缺失翻译文本确定子单元,用于确定所述参考单位文本对应的缺失翻译文本,其中,所述缺失翻译文本是将所述参考单位文本从所述参考翻译文本中去除后的文本;
句子数量确定子单元,用于在预先构建的文本语料库中,确定与所述缺失翻译文本具有相同句式的句子数量;
第五重要度确定子单元,用于根据所述句子数量确定所述参考单位文本的词信息量的重要度。
在本实施例的一种实现方式中,所述第三重要度确定子单元,具体用于利用TF-IDF算法,确定所述参考单位文本的翻译场景的重要度。
在本实施例的一种实现方式中,所述翻译质量确定单元404包括:
目标单位文本获得子单元,用于将所述目标翻译文本按照所述预设文本单位进行切分,得到各个目标单位文本;
参考单位文本确定子单元,用于对于每一目标单位文本,确定与所述目标单位文本对应的参考单位文本;
相似度确定子单元,用于确定所述目标单位文本与对应参考单位文本之间的相似度;
翻译质量确定子单元,用于根据每一参考单位文本对应的重要度、以及每一目标单位文本与对应参考单位文本之间的相似度,确定目标翻译文本的翻译质量。
在本实施例的一种实现方式中,所述参考单位文本确定子单元包括:
第一句法树生成子单元,用于利用所述目标翻译文本的各个目标单位文本,生成具有依存关系的第一句法树;
第二句法树生成子单元,用于利用所述参考翻译文本的各个参考单位文本,生成具有依存关系的第二句法树;
参考单位文本查找子单元,用于根据所述第一句法树与所述第二句法树在结构上的位置对应关系,从所述第二句法树中找到与每一目标单位文本对应的参考单位文本。
进一步地,本申请实施例还提供了一种翻译质量评价装置,包括:处理器、存储器、系统总线;
所述处理器以及所述存储器通过所述系统总线相连;
所述存储器用于存储一个或多个程序,所述一个或多个程序包括指令,所述指令当被所述处理器执行时使所述处理器执行上述翻译质量评价方法的任一种实现方法。
进一步地,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在终端设备上运行时,使得所述终端设备执行上述翻译质量评价方法的任一种实现方法。
进一步地,本申请实施例还提供了一种计算机程序产品,所述计算机程序产品在终端设备上运行时,使得所述终端设备执行上述翻译质量评价方法的任一种实现方法。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者诸如媒体网关等网络通信设备,等等)执行本申请每个实施例或者实施例的某些部分所述的方法。
需要说明的是,本说明书中每个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,每个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (17)
1.一种翻译质量评价方法,其特征在于,包括:
获取参考翻译文本,其中,所述参考翻译文本是对给定文本进行正确翻译后的文本;
将所述参考翻译文本按照预设文本单位进行切分,得到各个参考单位文本;
确定每一参考单位文本在所述参考翻译文本中的重要度;
根据每一参考单位文本对应的重要度,确定目标翻译文本的翻译质量,其中,所述目标翻译文本是对所述给定文本进行翻译后的待评价文本。
2.根据权利要求1所述的方法,其特征在于,所述确定每一参考单位文本在所述参考翻译文本中的重要度,包括:
对于每一参考单位文本,根据预设的评价指标确定所述参考单位文本在所述参考翻译文本中的重要度,其中,所述评价指标包括所述参考单位文本的词性、词信息量以及翻译场景中的至少一个元素。
3.根据权利要求2所述的方法,其特征在于,所述根据预设的评价指标确定所述参考单位文本在所述参考翻译文本中的重要度,包括:
若所述评价指标包括所述参考单位文本的词性,则确定所述参考单位文本的词性的重要度;
若所述评价指标包括所述参考单位文本的词信息量,则确定所述参考单位文本的词信息量的重要度;
若所述评价指标包括所述参考单位文本的翻译场景,则确定所述参考单位文本的翻译场景的重要度;
根据所述参考单位文本在所述评价指标下的重要度,确定所述参考单位文本在所述参考翻译文本中的重要度。
4.根据权利要求3所述的方法,其特征在于,所述确定所述参考单位文本的词信息量的重要度,包括:
确定所述参考单位文本对应的缺失翻译文本,其中,所述缺失翻译文本是将所述参考单位文本从所述参考翻译文本中去除后的文本;
在预先构建的文本语料库中,确定与所述缺失翻译文本具有相同句式的句子数量;
根据所述句子数量确定所述参考单位文本的词信息量的重要度。
5.根据权利要求3所述的方法,其特征在于,所述确定所述参考单位文本的翻译场景的重要度,包括:
利用TF-IDF算法,确定所述参考单位文本的翻译场景的重要度。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述根据每一参考单位文本对应的重要度,确定目标翻译文本的翻译质量,包括:
将所述目标翻译文本按照所述预设文本单位进行切分,得到各个目标单位文本;
对于每一目标单位文本,确定与所述目标单位文本对应的参考单位文本,并确定所述目标单位文本与对应参考单位文本之间的相似度;
根据每一参考单位文本对应的重要度、以及每一目标单位文本与对应参考单位文本之间的相似度,确定目标翻译文本的翻译质量。
7.根据权利要求6所述的方法,其特征在于,所述对于每一目标单位文本,确定与所述目标单位文本对应的参考单位文本,包括:
利用所述目标翻译文本的各个目标单位文本,生成具有依存关系的第一句法树;
利用所述参考翻译文本的各个参考单位文本,生成具有依存关系的第二句法树;
根据所述第一句法树与所述第二句法树在结构上的位置对应关系,从所述第二句法树中找到与每一目标单位文本对应的参考单位文本。
8.一种翻译质量评价装置,其特征在于,包括:
参考翻译文本获取单元,用于获取参考翻译文本,其中,所述参考翻译文本是对给定文本进行正确翻译后的文本;
参考单位文本获得单元,用于将所述参考翻译文本按照预设文本单位进行切分,得到各个参考单位文本;
重要度确定单元,用于确定每一参考单位文本在所述参考翻译文本中的重要度;
翻译质量确定单元,用于根据每一参考单位文本对应的重要度,确定目标翻译文本的翻译质量,其中,所述目标翻译文本是对所述给定文本进行翻译后的待评价文本。
9.根据权利要求8所述的装置,其特征在于,所述重要度确定单元,具体用于对于每一参考单位文本,根据预设的评价指标确定所述参考单位文本在所述参考翻译文本中的重要度,其中,所述评价指标包括所述参考单位文本的词性、词信息量以及翻译场景中的至少一个元素。
10.根据权利要求9所述的装置,其特征在于,所述重要度确定单元包括:
第一重要度确定子单元,用于若所述评价指标包括所述参考单位文本的词性,则确定所述参考单位文本的词性的重要度;
第二重要度确定子单元,用于若所述评价指标包括所述参考单位文本的词信息量,则确定所述参考单位文本的词信息量的重要度;
第三重要度确定子单元,用于若所述评价指标包括所述参考单位文本的翻译场景,则确定所述参考单位文本的翻译场景的重要度;
第四重要度确定子单元,用于根据所述参考单位文本在所述评价指标下的重要度,确定所述参考单位文本在所述参考翻译文本中的重要度。
11.根据权利要求10所述的装置,其特征在于,所述第二重要度确定子单元包括:
缺失翻译文本确定子单元,用于确定所述参考单位文本对应的缺失翻译文本,其中,所述缺失翻译文本是将所述参考单位文本从所述参考翻译文本中去除后的文本;
句子数量确定子单元,用于在预先构建的文本语料库中,确定与所述缺失翻译文本具有相同句式的句子数量;
第五重要度确定子单元,用于根据所述句子数量确定所述参考单位文本的词信息量的重要度。
12.根据权利要求10所述的装置,其特征在于,所述第三重要度确定子单元,具体用于利用TF-IDF算法,确定所述参考单位文本的翻译场景的重要度。
13.根据权利要求8至12所述的装置,其特征在于,所述翻译质量确定单元包括:
目标单位文本获得子单元,用于将所述目标翻译文本按照所述预设文本单位进行切分,得到各个目标单位文本;
参考单位文本确定子单元,用于对于每一目标单位文本,确定与所述目标单位文本对应的参考单位文本;
相似度确定子单元,用于确定所述目标单位文本与对应参考单位文本之间的相似度;
翻译质量确定子单元,用于根据每一参考单位文本对应的重要度、以及每一目标单位文本与对应参考单位文本之间的相似度,确定目标翻译文本的翻译质量。
14.根据权利要求13所述的装置,其特征在于,所述参考单位文本确定子单元包括:
第一句法树生成子单元,用于利用所述目标翻译文本的各个目标单位文本,生成具有依存关系的第一句法树;
第二句法树生成子单元,用于利用所述参考翻译文本的各个参考单位文本,生成具有依存关系的第二句法树;
参考单位文本查找子单元,用于根据所述第一句法树与所述第二句法树在结构上的位置对应关系,从所述第二句法树中找到与每一目标单位文本对应的参考单位文本。
15.一种翻译质量评价装置,其特征在于,包括:处理器、存储器、系统总线;
所述处理器以及所述存储器通过所述系统总线相连;
所述存储器用于存储一个或多个程序,所述一个或多个程序包括指令,所述指令当被所述处理器执行时使所述处理器执行权利要求1-7任一项所述的方法。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当所述指令在终端设备上运行时,使得所述终端设备执行权利要求1-7任一项所述的方法。
17.一种计算机程序产品,其特征在于,所述计算机程序产品在终端设备上运行时,使得所述终端设备执行权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810898744.8A CN109062912B (zh) | 2018-08-08 | 2018-08-08 | 一种翻译质量评价方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810898744.8A CN109062912B (zh) | 2018-08-08 | 2018-08-08 | 一种翻译质量评价方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109062912A true CN109062912A (zh) | 2018-12-21 |
CN109062912B CN109062912B (zh) | 2023-07-28 |
Family
ID=64678897
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810898744.8A Active CN109062912B (zh) | 2018-08-08 | 2018-08-08 | 一种翻译质量评价方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109062912B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111046679A (zh) * | 2020-03-13 | 2020-04-21 | 腾讯科技(深圳)有限公司 | 翻译模型的质量信息获取方法、装置及计算机设备 |
WO2020192523A1 (zh) * | 2019-03-27 | 2020-10-01 | 华为技术有限公司 | 译文质量检测方法、装置、机器翻译系统和存储介质 |
CN111814496A (zh) * | 2020-08-04 | 2020-10-23 | 腾讯科技(深圳)有限公司 | 文本处理方法、装置、设备及存储介质 |
CN111985251A (zh) * | 2019-05-21 | 2020-11-24 | 南京大学 | 翻译质量测评方法及装置 |
CN112036193A (zh) * | 2019-06-03 | 2020-12-04 | 阿里巴巴集团控股有限公司 | 译文检测方法及装置 |
CN113342939A (zh) * | 2021-06-24 | 2021-09-03 | 中国平安人寿保险股份有限公司 | 数据质量监控方法、装置及相关设备 |
CN113408302A (zh) * | 2021-06-30 | 2021-09-17 | 澳门大学 | 一种机器翻译结果的评估方法、装置、设备及存储介质 |
CN117034961A (zh) * | 2023-10-09 | 2023-11-10 | 武汉大学 | 一种基于bert的中法互译质量测评方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102054006A (zh) * | 2009-11-10 | 2011-05-11 | 腾讯科技(深圳)有限公司 | 一种词汇质量挖掘评价方法及装置 |
CN106547736A (zh) * | 2016-10-31 | 2017-03-29 | 百度在线网络技术(北京)有限公司 | 基于人工智能的文本信息术语重要度生成方法以及装置 |
CN106598949A (zh) * | 2016-12-22 | 2017-04-26 | 北京金山办公软件股份有限公司 | 一种词语对文本贡献度的确定方法及装置 |
CN107357783A (zh) * | 2017-07-04 | 2017-11-17 | 桂林电子科技大学 | 一种中文翻译成英文的英语译文质量分析方法 |
-
2018
- 2018-08-08 CN CN201810898744.8A patent/CN109062912B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102054006A (zh) * | 2009-11-10 | 2011-05-11 | 腾讯科技(深圳)有限公司 | 一种词汇质量挖掘评价方法及装置 |
CN106547736A (zh) * | 2016-10-31 | 2017-03-29 | 百度在线网络技术(北京)有限公司 | 基于人工智能的文本信息术语重要度生成方法以及装置 |
CN106598949A (zh) * | 2016-12-22 | 2017-04-26 | 北京金山办公软件股份有限公司 | 一种词语对文本贡献度的确定方法及装置 |
CN107357783A (zh) * | 2017-07-04 | 2017-11-17 | 桂林电子科技大学 | 一种中文翻译成英文的英语译文质量分析方法 |
Non-Patent Citations (2)
Title |
---|
程葳等: "一种面向口语的译文质量自动评价方法", 《中文信息学报》 * |
鲁松等: "文档中词语权重计算方法的改进", 《中文信息学报》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020192523A1 (zh) * | 2019-03-27 | 2020-10-01 | 华为技术有限公司 | 译文质量检测方法、装置、机器翻译系统和存储介质 |
CN111985251A (zh) * | 2019-05-21 | 2020-11-24 | 南京大学 | 翻译质量测评方法及装置 |
CN111985251B (zh) * | 2019-05-21 | 2023-11-07 | 南京大学 | 翻译质量测评方法及装置 |
CN112036193A (zh) * | 2019-06-03 | 2020-12-04 | 阿里巴巴集团控股有限公司 | 译文检测方法及装置 |
CN111046679A (zh) * | 2020-03-13 | 2020-04-21 | 腾讯科技(深圳)有限公司 | 翻译模型的质量信息获取方法、装置及计算机设备 |
CN111046679B (zh) * | 2020-03-13 | 2020-07-28 | 腾讯科技(深圳)有限公司 | 翻译模型的质量信息获取方法、装置及计算机设备 |
CN111814496A (zh) * | 2020-08-04 | 2020-10-23 | 腾讯科技(深圳)有限公司 | 文本处理方法、装置、设备及存储介质 |
CN111814496B (zh) * | 2020-08-04 | 2023-11-28 | 腾讯科技(深圳)有限公司 | 文本处理方法、装置、设备及存储介质 |
CN113342939A (zh) * | 2021-06-24 | 2021-09-03 | 中国平安人寿保险股份有限公司 | 数据质量监控方法、装置及相关设备 |
CN113408302A (zh) * | 2021-06-30 | 2021-09-17 | 澳门大学 | 一种机器翻译结果的评估方法、装置、设备及存储介质 |
CN117034961A (zh) * | 2023-10-09 | 2023-11-10 | 武汉大学 | 一种基于bert的中法互译质量测评方法 |
CN117034961B (zh) * | 2023-10-09 | 2023-12-19 | 武汉大学 | 一种基于bert的中法互译质量测评方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109062912B (zh) | 2023-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109062912B (zh) | 一种翻译质量评价方法及装置 | |
US11016966B2 (en) | Semantic analysis-based query result retrieval for natural language procedural queries | |
US9613025B2 (en) | Natural language question answering system and method, and paraphrase module | |
US10496756B2 (en) | Sentence creation system | |
US20150199339A1 (en) | Semantic refining of cross-lingual information retrieval results | |
US20130018650A1 (en) | Selection of Language Model Training Data | |
US20090089047A1 (en) | Natural Language Hypernym Weighting For Word Sense Disambiguation | |
KR101224660B1 (ko) | 유사 문장 검색 장치, 검색 방법, 저장 매체, 자동 대화서비스 시스템 및 서비스 방법 | |
US11238074B2 (en) | Efficient grammatical property alignment for a question answering system | |
US20180197531A1 (en) | Domain terminology expansion by sensitivity | |
CN111476026A (zh) | 语句向量的确定方法、装置、电子设备及存储介质 | |
US10043511B2 (en) | Domain terminology expansion by relevancy | |
CN113743090B (zh) | 一种关键词提取方法及装置 | |
CN117271736A (zh) | 一种问答对的生成方法和系统、电子设备及存储介质 | |
WO2015043071A1 (zh) | 一种译文检查方法及其系统 | |
CN111444713B (zh) | 新闻事件内实体关系抽取方法及装置 | |
Agarwal et al. | Construction of a semi-automated model for FAQ retrieval via short message service | |
WO2009032113A1 (en) | Methods and systems for language representation | |
van Schooten et al. | Handling speech input in the Ritel QA dialogue system | |
CN106708811A (zh) | 数据的处理方法与装置 | |
CN113515932A (zh) | 处理问答信息的方法、装置、设备和存储介质 | |
CN111414459B (zh) | 人物关系获取方法、装置、电子设备及存储介质 | |
JP4934115B2 (ja) | キーワード抽出装置、方法及びプログラム | |
CN111125302A (zh) | 用户输入语句检错方法、装置及电子设备 | |
Ojokoh et al. | Online question answering system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |