CN111814496A - 文本处理方法、装置、设备及存储介质 - Google Patents

文本处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111814496A
CN111814496A CN202010772951.6A CN202010772951A CN111814496A CN 111814496 A CN111814496 A CN 111814496A CN 202010772951 A CN202010772951 A CN 202010772951A CN 111814496 A CN111814496 A CN 111814496A
Authority
CN
China
Prior art keywords
translation
text
target
model
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010772951.6A
Other languages
English (en)
Other versions
CN111814496B (zh
Inventor
张祥文
谢军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010772951.6A priority Critical patent/CN111814496B/zh
Publication of CN111814496A publication Critical patent/CN111814496A/zh
Application granted granted Critical
Publication of CN111814496B publication Critical patent/CN111814496B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/51—Translation evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明实施例公开了一种文本处理方法、装置、设备及存储介质，其中方法可包括：显示文本翻译界面，文本翻译界面包括接收待翻译文本的第一区域；当第一区域中存在待翻译文本时，调用翻译处理模型中的翻译子模型对待翻译文本进行翻译处理，得到待翻译文本对应的目标译文；调用翻译处理模型中的质量评分子模型基于待翻译文本和目标译文进行评分处理，得到目标译文的翻译质量评分；在文本翻译界面包括的第二区域中显示目标译文以及翻译质量评分。采用本发明实施例，在翻译文本过程中，不仅可以输出待翻译文本的目标译文，还可以输出用于反映目标译文准确性的质量评分，增加了文本翻译的丰富性。

Description

文本处理方法、装置、设备及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种文本处理方法、装置、设备及存储介质。
背景技术
机器翻译，又可以称为自动翻译，是利用计算机将一种自然语言转换为另一种自然语言的过程，比如将中文文本转换为英文文本，或者将英文文本转换为中文文本。
在大多数具有机器翻译功能的产品中，对于给定的源端输入，翻译系统通常只输出相应的机器译文。在实际应用场景中，由于缺乏真实的人工翻译译文作为翻译结果的参考答案，很难判断机器译文的准确度，从而降低用户对产品的关注度。因此，在机器翻译的应用中，如何有效地对文本进行翻译成为研究的热点问题。
发明内容
本发明实施例提供了一种文本处理方法、装置、设备以及存储介质，在翻译文本过程中，不仅可以输出待翻译文本的目标译文，还可以得到用于反映目标译文准确性的质量评分，提高了文本翻译的丰富性。
一方面，本发明实施例提供了一种文本处理方法，包括：
显示文本翻译界面，所述文本翻译界面包括接收待翻译文本的第一区域；
当所述第一区域中存在待翻译文本时，调用翻译处理模型中的翻译子模型对所述待翻译文本进行翻译处理，得到所述待翻译文本对应的目标译文；
调用所述翻译处理模型中的质量评分子模型基于所述待翻译文本和所述目标译文进行评分处理，得到所述目标译文的翻译质量评分；
在所述文本翻译界面包括的第二区域中显示所述目标译文以及所述翻译质量评分。
一方面，本发明实施例提供了一种文本处理装置，其特征在于，包括：
显示单元，用于显示文本翻译界面，所述文本翻译界面包括接收待翻译文本的第一区域；
处理单元，用于当所述第一区域中存在待翻译文本时，调用翻译处理模型中的翻译子模型对所述待翻译文本进行翻译处理，得到所述待翻译文本对应的目标译文；
所处理单元，还用于调用所述翻译处理模型中的质量评分子模型基于所述待翻译文本和所述目标译文进行评分处理，得到所述目标译文的翻译质量评分；
所述显示单元，还用于在所述文本翻译界面包括的第二区域中显示所述目标译文以及所述翻译质量评分。
一方面，本发明实施例提供了一种信息处理设备，其特征在于，包括：
处理器，适于实现一条或多条指令；以及，
计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如下步骤：
显示文本翻译界面，所述文本翻译界面包括接收待翻译文本的第一区域；
当所述第一区域中存在待翻译文本时，调用翻译处理模型中的翻译子模型对所述待翻译文本进行翻译处理，得到所述待翻译文本对应的目标译文；
调用所述翻译处理模型中的质量评分子模型基于所述待翻译文本和所述目标译文进行评分处理，得到所述目标译文的翻译质量评分；
在所述文本翻译界面包括的第二区域中显示所述目标译文以及所述翻译质量评分。
一方面，本发明实施例提供了一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机程序指令，所述计算机程序指令被处理器执行时，用于执行：
显示文本翻译界面，所述文本翻译界面包括接收待翻译文本的第一区域；
当所述第一区域中存在待翻译文本时，调用翻译处理模型中的翻译子模型对所述待翻译文本进行翻译处理，得到所述待翻译文本对应的目标译文；
调用所述翻译处理模型中的质量评分子模型基于所述待翻译文本和所述目标译文进行评分处理，得到所述目标译文的翻译质量评分；
在所述文本翻译界面包括的第二区域中显示所述目标译文以及所述翻译质量评分。
一方面，本发明实施例提供了一种计算机程序产品或计算机程序，所述计算机程序产品或所述计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中；信息处理设备的处理器从所述计算机存储介质中读取所述计算机指令，所述处理器执行所述计算机指令执行：
显示文本翻译界面，所述文本翻译界面包括接收待翻译文本的第一区域；
当所述第一区域中存在待翻译文本时，调用翻译处理模型中的翻译子模型对所述待翻译文本进行翻译处理，得到所述待翻译文本对应的目标译文；
调用所述翻译处理模型中的质量评分子模型基于所述待翻译文本和所述目标译文进行评分处理，得到所述目标译文的翻译质量评分；
在所述文本翻译界面包括的第二区域中显示所述目标译文以及所述翻译质量评分。
本发明实施例中，当检测到文本翻译界面中的第一区域存在待翻译文本时，调用翻译处理模型中的翻译子模型对待翻译文本进行翻译处理，得到目标译文；进一步地，调用翻译处理模型中的质量评分子模型对待翻译文本和目标译文进行评分处理，得到目标译文的翻译质量评分，并输出目标译文以及目标译文对应的翻译质量评分。其中，翻译质量评分用于反映目标译文的准确度，在上述文本处理过程中，不仅可以显示待翻译文本的目标译文，还可以输出用于翻译目标译文的翻译准确度的翻译质量评分，增加了文本翻译的丰富性。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的一种文本处理系统的结构示意图；
图1b是本发明实施例提供的一种翻译处理模型的结构示意图；
图2是本发明实施例提供的一种文本处理方法的流程示意图；
图3a是本发明实施例提供的一种文本翻译界面的示意图；
图3b是本发明实施例提供的一种显示待翻译文本的示意图；
图3c是本发明实施例提供的另一种文本翻译界面的示意图；
图3d是本发明实施例提供的又一种文本翻译界面的示意图；
图4a是本发明实施例提供的又一种文本翻译界面的示意图；
图4b是本发明实施例提供的又一种文本翻译界面的示意图；
图4c是本发明实施例提供的又一种文本翻译界面的示意图；
图5是本发明实施例提供的另一种文本处理方法的流程示意图；
图6是本发明实施例提供的一种文本处理装置的结构示意图；
图7是本发明实施例提供的一种文本处理设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
本发明实施例了一种文本处理方案，在检测到文本翻译界面中存在待翻译文本时，调用翻译处理模型中的翻译子模型对待翻译文本进行翻译处理，得到待翻译文本的目标译文，进一步的，调用翻译处理模型中的质量评分子模型对目标译文进行评分处理，得到目标译文对应的翻译质量评分。其中，翻译质量评分用于反映目标译文的准确性，不仅可以输出待翻译文本的目标译文，还可以得到用于反映目标译文准确性的质量评分，增加了文本翻译的丰富性。
本发明实施例提供的文本处理方案应用于诸多文本翻译场景中，比如在普通翻译场景中，用户可以根据本方案输出目标译文的翻译质量评分判断目标译文是否可靠，并可以对低质量评分的译文进行校正，而不必仔细审阅所有译文，从而降低了用户校对译文所需时间；再如，在机器翻译作为辅助的人工翻译系统中，翻译人员可以将翻译质量评分作为参考，仅对其中不可靠的译文进行人工审核和修正，从而有效降低人工介入的工作量，减少人力成本。
基于上述文本处理方案，本发明实施例提供了一种文本处理系统，参见图1a，为本发明实施例提供的一种文本处理系统的结构示意图。图1a所示的文本处理系统包括终端101和服务器102，其中，终端101可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等中的任意一种或多种；服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一个实施例中，终端101中可运行任意一种翻译类产品，比如腾讯翻译君，终端101的用户在终端101的翻译类产品中输入待翻译文本，终端101调用翻译处理模型对待翻译文本进行翻译处理。其中，翻译处理模型可以是服务器102基于训练数据集训练得到的。
在一个实施例中，现有的文本处理系统调用翻译处理模型对待翻译文本进行处理可包括以下三种情况：第一种是只能对待翻译文本进行翻译得到目标译文，不能提供目标译文的质量评分，也即给定文本处理系统的源端输入，仅生成相应的机器译文，并返回给用户；第二种提供目标译文，并利用翻译的负对数似然作为质量评价；第三种是提供目标译文，并利用独立的质量评价系统对机器译文进行自动评价，该技术的特点在于，翻译与质量评分分为独立的两个阶段进行。
上述三种情况都存在一定的问题，比如，第一种情况中无法提供目标译文的质量评价，用户不能判断目标译文的准确度；再如，第二种情况中负对数似然与翻译质量之间并不存在直接的正相关关系，因此无法有效反映译文的质量。其次，负对数似然的取值范围在0到正无穷之间，没有上限，难以客观评价某个机器译文质量的高低；又如，第三种情况中需要分别部署翻译处理模型和质量评分系统，部署和集成代价较高，并且为了保证两个系统都运行无误，同时提高了维护成本。另外，第三种情况中由于翻译和质量评分处于两个阶段顺序执行，因此对于用户而言，质量评分阶段增加了响应时长，降低了用户体验。
为了解决上述问题，本发明实施例的文本处理系统中提出了一种新的翻译处理模型，参见图1b为本发明实施例提供的一种翻译处理模型的结构示意图。图1b所示的翻译处理模型包括翻译子模型103。翻译子模型103可包括编码器11、解码器12以及注意机制13。在图1b中x1…xN表示为源端输入的N个词，也即待翻译文本包括的多个词，y1…yM表示目标译文的M个词。
在一个实施例中，编码器11用于将输入序列(也即待翻译文本)处理成指定长度的向量，这些向量组成了源端隐状态集合，应当理解的，如果编码器11包括多个编码层，每一个编码层均对应一个源端隐状态集合，因此源端隐状态集合的数量可以为一个或多个，在下面的描述中，无特别说明时，均默认为编码器包括一个编码层，解码器包括一个解码层；解码器12用于根据编辑器11生成的源端隐状态集合生成目标端隐状态集合，进而根据目标端隐状态集合生成目标译文；注意机制13用于对编码器11得到的源端隐状态集合进行统一化处理，并将统一化处理的结果输入到解码器12中，以使得解码器12根据输入的结果输出目标译文。
基于上述描述，简单概括翻译子模型103的工作原理为：编码器对待翻译文本包括的每个词进行编码处理得到每个词对应的源端隐状态，每个词对应的源端隐状态组成了源端隐状态集合；当对待翻译文本中的任意一个词进行翻译处理时，注意机制可以基于待翻译文本中其他词与该词之间的关联度对源端隐状态集合进行统一化处理，得到处理结果，比如某个词与该词之间的关联度越大，可以为某个词对应的源端隐状态分配更大的权重系数，最后基于每个源端隐状态的权重系数对源端隐状态集合进行统一化处理；进一步的，将处理结果发送至解码器，解码器对处理结果进行解码处理，得到一个目标端隐状态，基于该目标端隐状态生成一个译文单词。重复上述步骤，直至解码器检测到解码结束标识，得到的所有译文单词做成了目标译文。其中，解码结束标识可以为EOS标识符。应当理解的，目标译文中可包括多个词，每个词可能与待翻译文本中的多个词相关，注意机制在为每个源端隐状态确定权重系数时，可以依据当前解码器需要解码的目标译文中的词与哪个或者哪些源端隐状态相关性较大，使得这些相关性较大的源端隐状态的系数大于其他源端隐状态。
在一个实施例中，翻译子模型可以包括机器翻译模型、统计模型(比如基于短语的统计翻译模型)以及神经网络模型(比如基于循环神经网络、卷积神经网络、自注意机制等的神经网络模型)中的任意一种。其中，编辑器11和解码器12可以为一层或多层，如果编码器11为多层时，前一层的输出可以作为后一层的输入；同理的，如果解码器12为多层时，前一层的输出也可以作为后一层的输入。
在一个实施例中，图1b所示的翻译处理模型还包括质量评分子模型104，质量评分子模型104包括一层或多层特征提取器，本发明实施例中假设包括两层，分别为第一特征提取和第二特征提取。另外，质量评分子模型104还包括逻辑回归层，所述逻辑回归层用于基于第二特征提取器的输出计算翻译质量评分。在一个实施例中，第一特征提取器的输入是基于编码器的源端隐状态集合，和目标端隐状态集合确定的。具体实现中，可以将编码器的最后一个编码层对应的源端隐状态集合和解码器的最后一个解码层层对应的目标端隐状态集合进行拼接转置处理，拼接转置处理后的结果作为第一特征提取器的输入。质量评分子模型104的原理是：将源端隐状态集合和目标端隐状态集合作为输入，利用特征提取器，提取出与目标译文质量相关的特征，用于进行质量评分。具体实现中，特征提取器以源端隐状态集合中的多个源端隐状态(每个隐状态均为一个向量)和目标端隐状态集合中的多个目标端隐状态(每个目标端隐状态为一个向量)为输入，利用自注意机制，建模每个向量与其他向量之间的关联，最后对每个向量，都生成一个对应的向量，以此来编码这种关联信息。通过建模目标译文中每个词与目标译文中其他单词，以及源端输入的句子的每个词之间的关系，可以实现：检测目标译文是否符合源端输入的句子的语义，以及目标译文是否为流畅的句子。
本发明实施例提供的新的翻译处理模型中将翻译子模型和质量评分子模型融合为一个翻译处理模型，实现了在不用分别部署两个子模型的情况下，不仅输出待翻译文本对应的目标译文，还可以输出目标译文对应的翻译质量评分，节省了模型部署和维护成本的同时，还丰富了对待翻译文本的翻译形式。并且，对待翻译文本的翻译处理和评分处理是在同一个模型中实现的，相对于现有技术中分别部署翻译系统和评分系统，可缩短响应时长。
在一个实施例中，图1a所示的文本处理系统可以基于图1b所示的翻译处理模型进行文本处理，具体地：终端101的用户可以通过终端101在翻译类产品中输入待翻译文本；终端101调用翻译处理模型中的翻译子模型对待翻译文本进行翻译处理，得到翻译文本对应的目标译文；进一步的，终端101调用翻译处理模型中的质量评分子模型基于待翻译文本和目标译文进行评分处理，得到目标译文的翻译质量评分，进而在文本翻译界面中显示目标译文以及目标译文的翻译质量评分。其中，翻译处理模型可以是服务器102基于训练数据集进行训练优化得到的。
作为一种可选的实施例，服务器102对翻译处理模型训练优化后，可以将翻译处理模型存储在终端101中，终端101调用翻译处理模型中的翻译子模型对待翻译文本进行翻译处理的实施方式可以是终端101调用存储在本地的翻译处理模型中的翻译子模型执行对待翻译文本进行翻译；同理，终端101调用存储在本地的翻译处理模型中的质量评分子模型基于待翻译文本和目标译文进行质量评分。
作为另一种可选的实施例，服务器102对翻译处理模型训练完成后，可以不将翻译处理模型发送给终端101，而可以将翻译处理模型存储在服务器102中。基于此，终端101调用翻译处理模型中的翻译子模型对待翻译文本进行翻译处理的实施方式可以是：终端101向服务器102发送通知信息，服务器102接收到通知信息后调用翻译处理模型中的翻译子模型对待翻译文本进行翻译处理。
在上述文本处理过程中，不仅可以显示待翻译文本的目标译文，还可以输出用于翻译目标译文的翻译准确度的翻译质量评分，增加了文本翻译的丰富性。
基于上述的文本管理系统，本发明实施例提供了一种文本处理方法，参见图2，为本发明实施例提供的一种文本处理方法的流程示意图。图2所述的文本处理方法可由终端执行，具体可由终端的处理器执行。图2所示的信息处理方法可包括如下步骤：
步骤S201、显示文本翻译界面，文本翻译界面包括显示待翻译文本的第一区域。
其中，文本翻译界面可以是终端在检测到用户打开翻译类产品时显示的，例如翻译类产品为腾讯翻译君，用户点击腾讯翻译君，终端显示如图3a所示的文本翻译界面。
在一个实施例中，文本翻译界面中可包括显示待翻译文本的第一区域如图3a中301所示。可选的，第一区域中显示的待翻译文本可以是用户在第一区域输入的，比如用户在301区域中输入待翻译文本，该待翻译文本可以是任意一种语言形式的文本，比如中文文本“我是一个喜欢旅行的人”，再如英文文本“I am a person who likes to travel”。
在其他实施例中，第一区域中显示的待翻译文本也可以是终端自动识别的。比如，用户想要使用腾讯翻译君对某张图像中的一个句子进行翻译，用户可以上传包括该句子的图像；终端检测到用户上传了图像后，对图像进行识别处理，自动提取出图像中包括的句子，将该句子作为待翻译文本显示在第一区域中。具体实现中，包括：当文本翻译界面中上传图像控件被触发时，显示图像选择窗口；若在图像选择窗口中检测到确定上传指令，则对所述图像选择窗口中上传的待识别图像进行识别，获取待识别图像中包括的文本，并将该文本作为待翻译文本显示在第一区域中。其中，图像控件可以显示在文本翻译界面的任意位置，比如第一区域。可选的，如果待识别图像中包括多个文本，则可以提示用户在待识别图像中标识出需要识别的文本。
例如，参考图3b为本发明实施例提供的一种显示待翻译文本的示意图。图3b中331表示文本翻译界面中的第一区域，第一区域331中可以包括图像上传控件332，用户点击332触发终端显示图像选择窗口333；用户通过图像选择窗口333上传待识别图像，并选中图像选择窗口中“发送”按钮；终端对待识别图像进行识别处理，提取待识别图像中包括文本，假设提取到的文本为“我是中国人”，并将该文本作为待翻译文本显示在第一区域中。
在一个实施例中，文本翻译界面还可以包括翻译语言设置选项，如图3a中302所示。翻译语言设置选项包括待翻译文本所属的语言类型选择项31和目标译文所属的语言类型选择项32。当31被触发时，文本翻译界面中可显示语言类型列表页如图3c中311所示，311中可包括多种语言类型选项以及自动识别选项，当自动识别选项被触发时，终端可自动检测第一区域输入的待翻译文本所属的语言类别。如图3a所示，假设用户在311中触发了自动识别选项，并在第一区域输入“我是喜欢旅行的人”，此时待翻译文本所属的语言类选择项31的位置处显示“检测到中文”。
在一个实施例中，目标译文所述的语言类型选项32被触发时，文本翻译界面中可以显示语言类型列表页如图3d中322所示，322中包括多种语言类型选项，当任意一种语言类型选项被选中时，待翻译文本则由31中所指示的语言类型转换为32中所指示的语言类型，也即待翻译文本对应的目标译文所属的语言类型是32中所指示的语言类型。如图3a所示，假设用户在322中触发了英语选项，则目标译文所述的语言类型选项32的位置处显示“英语”。
在一个实施例中，文本翻译界面的第一区域还包括待翻译文本发音控件，如图3a中303所示，当待翻译文本发音控件303被触发时，终端将待翻译文本转换成语音文件，并调用语音输出组件输出该语音文件。
步骤S202、当第一区域中存在待翻译文本时，调用翻译处理模型中的翻译子模型对待翻译文本进行翻译处理，得到待翻译文本对应的目标译文。
在一个实施例中，假设待翻译文本所属的语言类型为第一语言，目标译文所属的语言类型为第二语言，目标译文可以看成是将待翻译文本由第一语言转换为第二语言得到的文本。
在一个实施例中，终端可以设置当检测到第一区域输入了待翻译文本时，自动默认为用户选择了机器翻译，此时终端可执行调用翻译处理模型中的翻译子模型对待翻译文本进行翻译处理的步骤。
在其他实施例中，文本翻译界面中可包括翻译触发控件如图3a中304所示，表示为“翻译”。此种情况下，步骤S202可包括：当检测到第一区域中存在待翻译文本时，检测是否翻译触发控件被触发；若翻译触发控件被触发，则执行调用翻译处理模型中的翻译子模型对待翻译文本进行翻译处理的步骤。
在一个实施例中，所述翻译处理模型可如图1b所示，翻译处理模型将翻译子模型和质量评分子模型进行融合，以使得所述翻译处理模型可以用于对待翻译文本进行翻译，并对翻译结果进行评分。具体实现中，翻译子模型包括编码器、解码器和注意机制，所述待翻译文本包括至少一个词，所述调用所述翻译处理模型中的翻译子模型对待翻译文本进行翻译处理得到目标译文，包括：调用所述翻译子模型中的编码器对所述至少一个词包括的每个词进行编码处理，得到所述每个词对应的源端隐状态；当对所述待翻译文本中的任意词进行翻译处理时，调用注意机制基于所述至少一个词中其他词与所述任意词的关联度对所述每个词的源端隐状态进行统一化处理得到处理结果，并将所述处理结果传输至所述解码器中，所述任意词为所述至少一个词中的任意一个；调用所述解码器对所述处理结果进行解码处理，得到目标端隐状态，并基于所述目标端隐状态生成所述任意词对应的译文单词；重复上述步骤得到所述待翻译文本中每个词对应的译文单词，并基于所述每个词对应的译文单词生成目标译文。
其中，至少一个词中其他词与任意词的关联度可以依据其他词与任意词之间的距离确定的，比如任意词与相邻词之间的关联度大于不相邻词之间的关联度。由于每个词与其他词之间的关联度不同，注意机制可以为每个词对应的源端隐状态分配不同的权重系数，这样可以为解码器提供更好的解码参考，提高了生成目标译文的准确性。
在一个实施例中，注意机制(attention)中有三个概念：query、key、value，记为q、K、V，分别是d维向量、Nxd维矩阵和Nxd维矩阵。N表示待翻译文本包括的词的个数，d表示隐状态的维度，通常情况下d的取值为512。q可以理解为查询向量矩阵，K表示键向量矩阵，V表示值向量矩阵，查询向量可以指目标译文中每个单词，键向量可以理解成待翻译文本中每个词的特征，值向量可以理解为每个词的内容，在本发明实施例中，键向量和值向量相同。例如，假设待翻译文本为“我是中国人”，目标译文为“I am Chinese”，“我”、“是”、“中国人”代表一个键向量矩阵或者值向量矩阵，“I”、“am”、“Chinese”代表一个查询向量，假设待翻译文本包括N个单词，目标译文中包括M个单词，则键向量可以表示为Ki,1≤i≤N，值向量表示为Vi,1≤i≤N，查询向量表示为Qi,1≤i≤M。
注意机制可以认为是一个查询的过程，利用qi，对待翻译文本中每个单词的键向量进行匹配，然后根据匹配结果，对相应单词的值向量进行加权平均，最终生成的结果就表示从待翻译文本的所有单词中抽取出的、与当前这个目标译文中单词相关的信息。具体实现中，注意机制首先对qi和N个Ki分别进行向量乘法运算，计算出每个Ki的权重系数αi,1＜＜i＜＜N，接着，以αi为系数，对N个Vi进行加权平均，最后得到一个d维的向量。
其中，编码器可以包括至少一个编码层，解码器包括至少一个解码层，每个词对应的源端隐状态包括至少一个或多个，任意一个编码层中每个词的源端隐状态组成相应编码层对应的源端隐状态集合，所述源端隐状态集合的数量为一个或多个；所述解码器包括至少一个解码层，每个译文单词对应的目标端隐状态的数量为一个或多个，任意一个解码层中每个译文单词对应的目标端隐状态组成相应解码层对应的目标端隐状态集合。源端隐状态集合的数量与编码层的数量相同，同理的，目标端隐状态集合的数量与解码层的数量相同。
在一个实施例中，上述解码器在基于注意机制输入的处理结果进行解码时，还可以参考最后一个编码层的源端隐状态集合。另外，解码器还可以基于最后一个解码层的目标端隐状态集合进行下一个译文单词预测。应当理解的，对于翻译子模型对待翻译文本进行翻译处理的实施方式可参见图1b实施例部分相关内容的描述，在此不再赘述。
步骤S203、调用翻译处理模型中的质量评分子模型基于待翻译文本和目标译文进行评分处理，得到目标译文的翻译质量评分。
在一个实施例中，所述调用翻译处理模型中的质量评分子模型基于待翻译文本和目标译文进行评分处理，得到目标译文的翻译质量评分，包括：基于所述源端隐状态集合确定第一源端隐状态集合，以及基于所述目标端隐状态集合确定第一目标端隐状态集合；将所述第一源端隐状态集合和所述第一目标端隐状态集合输入至所述质量评分子模型中，以控制所述质量评分子模型进行评分处理，得到所述目标译文对应的翻译质量评分。
基于前述可知，所述源端隐状态集合的数量为一个或多个，所述目标端隐状态集合的数量为一个或多个；基于此，所述基于所述源端隐状态集合确定第一源端隐状态集合，包括：若所述源端隐状态集合的数量为一个，则可将所述源端隐状态集合确定为第一源端隐状态集合；若所述源端隐状态集合的数量为多个，则可将最后一个编码层对应的源端隐状态集合作为第一源端隐状态集合。同理的，所述基于目标端隐状态集合确定第一源端隐状态集合，包括：若所述目标端隐状态集合的数量为一个，则可将目标端隐状态集合确定为第一目标端隐状态集合；若所述目标端隐状态集合的数量为多个，则可将最后一个解码层对应的目标端隐状态集合确定为第一目标端隐状态集合。
简单来说，将第一源端隐状态集合和第一目标端隐状态集合输入至质量评分子模型中，以控制质量评分子模型进行评分处理，得到目标译文对应的翻译质量评分，可以理解为：质量评分子模型中以第一源端隐状态集合和第一目标端隐状态集合为输入，利用质量评分子模型中包括的特征提取器，提取出目标译文质量相关的特征，进而基于目标译文质量相关的特征预测目标译文的翻译质量评分。具体来说，质量评分子模型中包括的特征提取器以翻译子模型的编码器和解码器所提供的第一源端隐状态集合和第一目标端隐状态集合为输入，利用自注意机制，建模每个向量与其他向量间的关联，最终对每个向量输入都新生成一个对应的向量，用来表示这种关联关系。
步骤S204、在文本翻译界面包括的第二区域中显示目标译文以及翻译质量评分。
在一个实施例中，在得到目标译文以及目标译文对应的翻译质量评分后，可以将目标译文以及目标译文对应的翻译质量评分显示在文本翻译界面中。具体实现中，文本翻译界面可包括用于显示译文的第二区域，在第二区域显示目标译文以及目标译文对应的翻译质量评分。
在一个实施例中，翻译质量评分可以以具体分数值的形式显示在第二区域中，比如0.9分、0.85分等等。在其他实施例中，翻译质量评分也可以是以正确率百分比的形式显示在第二区域中的，比如90％、75％等等。应当理解的，上述只是本发明实施例列举的两种在第二区域显示翻译质量评分的方式，在实际应用中，还可以采用其他方式在第二区域中显示翻译质量评分，比如第二区域显示5个评分选项，每个评分选项代表0.2分，当任意一个评分选项处于未被触发状态时代表0分；当任意一个评分被触发时代表0.2分。根据翻译质量评分，确定各个评分选项的触发状态。
例如，参考图4a，为本发明实施例提供的又一种文本翻译界面的示意图，图4a中包括第一区域401和第二区域402，假设第一区域中输入了待翻译文本为“我是一个喜欢旅行的人”，用户选择将待翻译文本翻译为英文，则通过步骤S202和步骤S203得到待翻译文本对应的目标译文为“I am a person who likes to travel”，该目标译文对应的翻译质量评分为0.95分，则在,第二区域402中显示目标译文I am a person who likes to travel，以及翻译质量分数，表示为“0.95分”。
在一个实施例中，所述第二区域可以包括触发控件如图4a中40所示，触发控件可以包括第一状态和第二状态。可选的，所述触发控件40可以由41和42两部分组成，当41处于左侧时，可以认为触发控件处于第一状态，此时42可以显示为第一颜色；当41处于右侧时，可以认为触发控件处于第二状态，此时42可以显示为第二颜色。
在一个实施例中，当所述触发控件被触发为第一状态时，所述第二区域中只显示目标译文和目标译文对应的翻译质量评分；当所述触发控件被触发为第二状态时，第二区域中可显示待翻译文本、目标译文以及目标译文对应的翻译质量评分。例如，图4a中触发控件为第一状态，第二区域中显示了目标译文以及目标译文对应的翻译质量评分；如果将触发控件由第一状态触发为第二状态，第二区域中除了显示目标译文和翻译质量评分，还显示有待翻译文本，如图4b中403所示。
在一个实施例中，文本翻译界面还包括第三区域如图4b中404所示。第三区域用于显示目标译文中每个词的词汇释义。具体实现中，第三区域404中可显示有目标译文中出现的所有词汇，其中，未被触发的词汇以第一显示状态显示在第三区域，已被触发的词汇以第二显示状态显示在第三区域。当任意一个词汇被触发时，第三区域显示该词汇对应的词汇释义，比如“who”被触发，第三区域中显示who的中文释义。
在一个实施例中，第二区域还可以包括纠错选项，如图4b中405所示。如果用户认为目标译文不够准确，则可以触发该纠错选项，以触发终端显示纠错界面，用户可以在纠错界面中输入正确的译文。例如，当纠错选项405被触发时，第二区域显示纠错界面如图4c中406所示，用户可以在406中输入译文，并点击406中提交按钮。
本发明实施例中，当检测到文本翻译界面中的第一区域存在待翻译文本时，调用翻译处理模型中的翻译子模型对待翻译文本进行翻译处理，得到目标译文；进一步地，调用翻译处理模型中的质量评分子模型对待翻译文本和目标译文进行评分处理，得到目标译文的翻译质量评分，并输出目标译文以及目标译文对应的翻译质量评分。其中，翻译质量评分用于反映目标译文的准确度，在上述文本处理过程中，不仅可以显示待翻译文本的目标译文，还可以输出用于翻译目标译文的翻译准确度的翻译质量评分，增加了文本翻译的丰富性。
基于上述的文本处理方法的实施例，本发明实施例还提供了另一种文本处理方法。参见图5，为本发明实施例提供的另一种文本处理方法的流程示意图。图5所示的文本处理方法可由终端执行，具体可由终端的处理器执行。图5所示的文本处理方法可包括如下步骤：
步骤S501、显示文本翻译界面，文本翻译界面包括接收待翻译文本的第一区域和显示译文的第二区域。
在一个实施例中，步骤S501中包括的一些可行的实施方式可参见图2所示实施例中步骤S201的描述，在此不再赘述。
步骤S502、当第一区域中存在待翻译文本时，调用翻译子模型中的编码器对待翻译文本包括的至少一个词进行编码处理，得到每个词对应的源端隐状态。
步骤S503、当对翻译文本中的任意词进行翻译处理时，调用注意机制基于至少一个词中其他词与任意词之间的关联度对每个词对应的源端隐状态进行统一化处理得到处理结果，并将处理结果传输至解码器中。
步骤S504、调用解码器对处理结果进行解码处理得到目标端隐状态，并基于目标端隐状态生成任意词对应的译文单词，并基于每个词对应的译文单词生成目标译文。
由前述可知，当检测到第一区域中用户输入了待翻译文本时，终端可以调用翻译处理模型中的翻译子模型对待翻译文本进行翻译处理，得到目标译文，具体实现中，翻译子模型中可包括编码器、解码器以及注意机制，所述调用翻译处理模型中的翻译子模型对待翻译文本进行翻译处理，得到目标译文，可通过步骤S502-步骤S504执行。
步骤S505、基于源端隐状态集合确定第一源端隐状态集合，以及基于目标端隐状态集合确定第一目标端隐状态集合。
步骤S506、将第一源端隐状态集合和第一目标端隐状态集合输入至质量评分子模型中，以控制质量评分子模型进行评分处理，得到目标译文对应的翻译质量评分。
在一个实施例中，终端在对待翻译文本进行翻译处理得到目标译文后，可以通过步骤S505-步骤S506确定目标译文对应的翻译质量评分。其中，所述质量评分子模型可以包括一个或多个特征提取器，本发明实施例中以所述质量评分子模型包括第一特征提取器和第二特征提取器为例进行描述。
具体实现中，步骤S506可包括：将所述第一源端隐状态集合包括的每个源端隐状态，以及所述第一目标端隐状态集合中包括的每个目标端隐状态进行拼接转置处理，处理结果作为所述第一特征提取器的输入矩阵；对所述输入矩阵进行特征提取处理，得到所述第一特征提取器对应的第一输出矩阵；对所述第一输出矩阵进行特征提取处理，得到所述第二特征提取器对应的第二输出矩阵；基于所述输出矩阵获取所述翻译质量评价相关信息，并将所述翻译质量评价相关信息输入到评分函数中进行评分，得到所述目标译文对应的翻译质量评分。
也就是说，对第一特征提取器的输入矩阵进行特征提取处理，得到第一特征提取器对应的第一输出矩阵后，将第一输出矩阵作为第二特征提取器的输入矩阵，对第一输出矩阵进行特征提取，得到第二特征提取器对应的第二输出矩阵。总结来说，如果质量评分子模型包括多个特征提取器，则对于第一特征提取而言，其输入矩阵是基于第一源端隐状态集合和第一目标端隐状集合确定的，其输出矩阵是对其输入矩阵进行特征提取得到的；对于其他特征提取器而言，其输入矩阵是前一个特征提取器的输出矩阵，其输出矩阵是对前一个特征提取器的输出矩阵进行特征提取得到的。
在一个实施例中，假设第一源端隐状态集合表示为H＝{1,…,N}，第一目标端隐状态集合表示为S＝{s1,…,sN}。对第一源端隐状态集合中每个源端隐状态以及第一目标端隐状态集合中每个目标端隐状态进行拼接转置处理，得到第一特征提取器的输入矩阵，可如下公式(1)所示：
F0＝[h1；…；hN；s1；…；sN]T (1)
其中，F0表示第一特征提取器的输入矩阵，T表示转置运算，F0∈R(M+N)×d，即F0是一个(M+N)行、d列的矩阵，d表示隐状态维度。
由前述可知，在得到第一特征提取器的输入矩阵之后，对输入矩阵进行特征提取得到第一特征提取器对应的第一输出矩阵，可以通过以下公式(2)表示：
F1＝extract(F0) (2)
其中，F1表示第一特征提取器对应的第一输出矩阵，F1∈R(M+N)×d，即F1是一个(M+N)行、d列的矩阵，extract(·)表示特征提取函数。
进一步的，对第一特征提取器对应的第一输出矩阵进行特征提取处理，得到第二特征提取器对应的第二输出矩阵，可以通过以下公式(3)表示：
F2＝extract(F1) (3)
其中，F2表示第二特征提取对应的第二输出矩阵，F2∈R(M+N)×d，即F2是一个(M+N)行、d列的矩阵。
具体实现中，所述对第一特征提取器对应的第一输出矩阵进行特征提取处理，得到第二特征提取器对应的第二输出矩阵，包括：利用自注意机制对所述第一输出矩阵包括的矩阵元素进行关联矩阵元素查询，得到每个矩阵元素对应的关联矩阵元素；将每个矩阵元素对应的关联矩阵元素组成关联矩阵，并对所述关联矩阵进行非线性变换，得到所述第二特征提取器对应的第二输出矩阵。
由前述可知，注意机制中包括q、K、V三个输入，同样的，自注意机制也包括这三个输入，与注意机制不同的是，自注意机制中的三个输入是相同大小的。假设待翻译文本对应的矩阵X为例，自注意机制就是利用xi对N个xi分别进行匹配，然后利用每个xi对应的αi对N个xi进行加权平均。由于这一过程将N个xi分别视为上面提到的q进行查询操作，因此N个xi可以得到N个查询到的关联向量，这些关联向量组成的矩阵可以称为关联矩阵。由此可见，自注意机制的输出是与输入具有相同大小的矩阵，而注意机制输入是一个矩阵，输出则是一个d维向量。
为了增加自注意机制的表示能力，可以使用WQ，WK以及WV对X进行矩阵变换，映射为Q，K以及V，然后再进行上述的查询过程。
基于上述对自注意机制的介绍，本发明实施例中，所述利用自注意机制对所述第一输出矩阵包括的矩阵元素进行关联矩阵元素查询，得到每个矩阵元素对应的关联矩阵元素：首先，使用WQ，WK以及WV对第一输出矩阵进行矩阵变换，分别得到Q，K以及V，例如以下公式(4)-(6)所示：
Q＝F1×WQ (4)
K＝F1×WK (5)
V＝F1×WV (6)
上述公式(4)-(6)中，WQ，WK以及WV均为d行d列的矩阵，用于对F1进行线性变换。可选的，基于Q，K以及V查询每个矩阵元素对应的关联矩阵元素，组成关联矩阵，具体实现中，通过以下公式(7)表示得到关联矩阵的过程：
Figure BDA0002617330980000171
在公式(7)中，A表示关联矩阵，softmax(·)表示归一化函数，归一化函数的作用是将任意矩阵元素规范化成加和为1且元素值大于等于0的分布，dK表示K的维度。
在一个实施例中，在得到关联矩阵之后，对关联矩阵进行非线性变换之前，还可以利用V对关联矩阵进行矩阵乘法，以实现利用关联矩阵中的权重对V中的向量进行加权平均，得到一个新的矩阵。该过程可通过以下公式(8)表示：
Self-attention(F1)＝AV (8)
进一步的，基于关联矩阵和V得到新的矩阵后，可以对新的矩阵进行非线性处理，便可得到第二特征提取器的输出矩阵，具体实现中，可通过以下公式(9)表示：
F2＝ReLU(Self-attention(F1)×W1)×W2 (9)
在公式(9)中，F2表示第二特征提取器的输出矩阵，ReLU(·)表示非线性变换函数，W1为d行2d列的矩阵，W2表示2d行d列的矩阵，W1和W2用于对Self-attention输出结果进行变换。其中，W1将Self-attention的输出结果放大到2d维的高维空间后，又通过W2降低到原来的维度，目的是抽取高维空间的特征信息，同时保留向量的低维度表示。
在一个实施例中，生成第二特征提取器的输出矩阵后，基于输出矩阵获取翻译质量评价相关信息，并将翻译质量评价相关信息输入到评分函数中进行评分，得到目标译文对应的翻译质量评分。具体实现中，可以将输出矩阵的前N行的矩阵元素和后M行的矩阵元素分别进行取平均运算，得到的两个向量，将这两个向量分别作为源端和目标端的翻译质量评价信息；将这两个向量进行拼接处理，得到一个2d维的行向量q，并用这个行向量通过逻辑回归建模质量分数，可通过以下公式(10)表示。在公式(10)中，logstic(·)表示逻辑回归函数，W为逻辑回归的参数，W可以是一个2d维的行向量。
Score(x,y)＝logistic(F2；W)＝logistic(q；W) (10)
其中，Score(x,y)表示目标译文对应的翻译质量评分，其取值可以在0到1之间。
步骤S507、在文本翻译界面的第二区域中显示目标译文以及目标译文对应的翻译质量评分。
在一个实施例中，通过上述步骤确定了目标译文以及目标译文的翻译质量评分后，可以在文本翻译界面的第二区域中显示目标译文以及翻译质量评分。
在一个实施例中，上述所述翻译子模型和质量评分子模型是翻译处理模型中包括的两个子模型，所述翻译处理模型是基于训练数据集中的训练数据，以及每个训练数据对应的译文标签和评分标签优化训练得到的。具体实现中，获取训练数据集，所述训练数据集包括多个训练数据以及每个训练数据对应的译文标签和评分标签；调用翻译处理模型中的翻译子模型对训练数据集中每个训练数据进行翻译处理，得到每个训练数据对应的训练译文；调用翻译处理模型中的质量评分子模型对每个训练数据对应的训练译文进行评分处理，得到每个训练数据对应的训练评分；基于每个训练数据对应的训练译文和译文标签，以及每个训练数据对应的训练评分和评分标签，对翻译处理模型进行优化训练。
在一个实施例中，训练数据可以包括训练文本，任意一个训练数据对应的译文标签可以包括人工标注的第一类译文标签或模型标注的第二类译文标签，所述第二类译文标签是基于标注模型对任意一个训练数据进行翻译处理得到的，所述标注模型是基于所述训练数据集中多个训练数据以及每个训练数据对应的人工标注的第一类译文标签训练得到的。简单来说，训练数据集中包括的多个训练数据中，有的训练数据的译文标签是人工标注的，有的训练数据的译文标签是通过预先训练的标注模型进行标注的。应当理解的，大规模的人工标注译文标签的训练数据十分稀缺比如越南语到中文的翻译，并且需要消耗较多的人力资源，因此本发明实施例中采用上述方法来构造训练数据以及训练数据的译文标签。
在一个实施例中，假设Dp＝{(x,y)}是由多个训练数据以及多个训练数据中每个训练数据与其对应的人工标注的第一类译文标签组成的集合，也即Dp为由多个(x,y)形式的二元组构成的集合，其中x可以表示任意一个训练数据，Y表示该训练数据对应的人工标注的译文标签，所述获取训练数据集的过程可如下所示：基于Dp，训练一个x->y(表示将x翻译成y)的标注模型，利用该标注模型对Dp中的所有x进行翻译处理，得到y′，基于此得到由多个训练数据、多个训练数据中每个训练数据对应的人工标注的第一类译文标签以及每个训练数据对应的模型标注的第二类译文标签组成的集合，表示为D′p＝{(x,y,y′)}。
进一步的，可以利用任意一种自动评价指标来计算D′p中所有y′与对应y之间的分数，比如beer、BLEU以及Meteor中的任意一个。可选的，y′与对应y之间的分数可以表示为score(y,y′)。
接着，基于Dp中的x，x对应的机器译文y′以及score(y,y′)三元组，构成一个数据集合，表示为Dscore＝{(x,y′，score)}，再基于Dp中的x、y，构造另一个数据集合，最后将两个数据集合按照1:1的比例进行合并，得到的数据集作为训练数据集。其中，用Dp中的x，x对应的机器译文y′以及score(y,y′)三元组构成的数据集合中包括x，x对应的y′，以及y′对应的翻译质量分数score(y,y′)(也可以称为评分标签)；由Dp中的x、y，构造的数据集合包括x，x对应的y，以及y的评分标签比如0.95。这里采用0.95表示人工标注的第一类译文标签的评分标签，是由于第一类译文标签中可能存在一定的噪声比如低质量的翻译，这些噪声会对评分产生一定的影响，因此本发明实施例中没有用1作为第一类译文标签的评分标签。
在其他实施例中，所述训练数据集中的任意一个训练数据可以包括第一类训练数和第二类训练数据，其中，任意一个第二类悬链数据是由数据选取模型对相应的第一类训练数据对应的译文标签进行翻译处理得到的，所述数据选取模型是基于所述第一类训练数据以及所述第一类训练数据对应的译文标签训练得到的。简单来说，训练数据集中有一部分训练数据是人为选取的，有一部分是在人为选取的第一类训练数据和第一类训练数据对应的译文标签的基础上，通过数据选取模型进行选取的。
基于此，所述获取训练数据集，可包括如下：基于Dp训练x->y和y->x两个数据选取模型，然后用y->x模型对Dp中的y进行翻译处理，得到y对应的数据，得到一个由y和相应的x′组成的数据集可以表示为D′＝{(x′,y)}；进一步的，再利用x->y模型，将D′中的x′翻译成y′，得到的数据集表示为D″＝{(x′,y,y′)}；最后，将D″替换上述D′p。并按照上述后续步骤，继续构造训练数据集。
在一个实施例中，获取到训练数据集后，基于训练数据集中每个训练数据以及每个数据对应的译文标签和评分标签对翻译处理模型进行训练优化，具体实现中，可包括：根据每个训练数据对应的训练译文以及译文标签，确定所述翻译子模型对应的第一损失函数；根据每个训练数据对应的训练评分以及评分标签，确定所述质量评分子模型对应的第二损失函数；基于所述第一损失函数和第二损失函数，确定联合优化函数，并按照减小所述联合优化函数的值方向优化所述翻译处理模型。
其中，根据每个训练数据对应的训练译文以及译文标签，确定所述翻译子模型对应的第一损失函数，可以通过公式(11)表示：
JNMT(D|θ)＝1/|D|∑(x,y)∈Dlogp(y|x,θ) (11)
在公式(11)中，θ表示翻译子模型的参数，D表示训练数据集，|D|表示训练数据集的大小，JNMT(D|θ)表示第一损失函数。
所述根据每个训练数据对应的训练评分以及评分标签，确定质量评分子模型对应的第二损失函数，可以通过公式(12)表示：
JQE(D|θ)＝1/|D|∑(x,y，score)∈D1/2|score-score′|2 (12)
在公式(12)中，JQE(D|θ)表示第二损失函数，score表示任意一个译文标签对应的评分标签，score′表示译文标签对应的训练评分。
基于第一损失函数和第二损失函数，得到联合优化函数，可以表示为公式(13)：
J(D|θ)＝JNMT(D|θ)×JQE(D|θ)/JNMT(D|θ)+JQE(D|θ)×(1-IQE(D|θ)/JNMT(D|θ)) (13)
在联合优化函数(13)中，利用第二损失函数和第一损失函数的比值，作为两个损失函数的系数，用于平衡两个损失函数大小的数值差距，从而平滑参数优化过程的梯度。应当理解的，按照减少联合优化函数的值的方向优化训练翻译处理模型实质是不断调整翻译处理模型的模型参数，以使得联合优化函数的值尽可能小。
本发明实施例中，终端显示文本翻译界面，当检测到文本翻译界面的第一区域输入了待翻译文本时，调用翻译子模型中的编码器对待翻译文本进行编码处理，得到源端隐状态集合；基于注意机制对源端隐状态集合进行统一化处理，并将处理结果输入至解码器中，调用解码器基于处理结果进行解码处理得到目标端隐状态集合，然后基于目标端隐状态集合生成目标译文。基于源端隐状态集合确定第一源端隐状态集合，以及基于目标端隐状态集合确定第一目标端隐状态集合；将第一源端隐状态集合和第一目标端隐状态集合输入至质量评分子模型中，以控制质量评分子模型进行评分处理，得到目标译文对应的翻译质量评分；最后，在文本翻译界面的第二区域显示目标译文以及目标译文对应的翻译质量评分，有助于用户根据翻译质量评分判断目标译文的准确性。另外，本发明实施例中将翻译子模型和质量评分子模型融合到一个翻译处理模型中，可以实现对待翻译文本进行翻译以及对翻译质量进行评分，与现有技术中翻译类产品相比，在文本翻译方面增加了翻译形式，也即不仅可以显示译文，还可以显示译文的质量评分；并且，将两个子模型融合在同一个模型中，节省了分别部署两个模型的部署成本。
基于上述的方法实施例，本发明实施例提供了一种文本处理装置。参见图6，为本发明实施例提供的一种文本处理装置的结构示意图。图6所示的文本处理装置可运行如下单元：
显示单元601，用于显示文本翻译界面，所述文本翻译界面包括接收待翻译文本的第一区域；
处理单元602，用于当所述第一区域中存在待翻译文本时，调用翻译处理模型中的翻译子模型对所述待翻译文本进行翻译处理，得到所述待翻译文本对应的目标译文；
所处理单元602，还用于调用所述翻译处理模型中的质量评分子模型基于所述待翻译文本和所述目标译文进行评分处理，得到所述目标译文的翻译质量评分；
所述显示单元601，还用于在所述文本翻译界面包括的第二区域中显示所述目标译文以及所述翻译质量评分。
在一个实施例中，所述第二区域包括触发控件，当所述触发控件被触发为第一状态时，所述第二区域中显示所述目标译文和所述目标译文对应的翻译质量评分；当所述触发控件被触发为第二状态时，所述第二区域中显示所述待翻译文本、所述目标译文以及所述目标译文对应的翻译质量评分。
在一个实施例中，翻译子模型包括编码器、解码器和注意机制，所述处理单元602在调用所述翻译处理模型中的所述翻译子模型对所述待翻译文本进行翻译处理得到目标译文时，执行如下操作：
调用所述翻译子模型中的编码器对所述至少一个词包括的每个词进行编码处理，得到所述每个词对应的源端隐状态；当对所述待翻译文本中的任意词进行翻译处理时，调用注意机制基于所述至少一个词中其他词与所述任意词的关联度对所述每个词的源端隐状态进行统一化处理得到处理结果，并将所述处理结果传输至所述解码器中；调用所述解码器对所述处理结果进行解码处理，得到目标端隐状态，并基于所述目标端隐状态生成任意词对应的译文单词；基于每个词对应的译文单词生成目标译文。
在一个实施例中，所述编码器包括至少一层或多层编码层，每个词对应的源端隐状态包括至少一个或多个，任意一个编码层中每个词的源端隐状态组成相应编码层对应的源端隐状态集合，所述源端隐状态集合的数量为一个或多个；所述解码器包括至少一个解码层，每个译文单词对应的目标端隐状态的数量为一个或多个，任意一个解码层中每个译文单词对应的目标端隐状态组成相应解码层对应的目标端隐状态集合，所述目标端隐状态集合的数量为一个或多个；
所述处理单元602在调用所述翻译处理模型中的所述质量评分子模型基于所述待翻译文本和所述目标译文进行评分处理，得到所述目标译文对应的翻译质量评分时，执行如下操作：
基于所述源端隐状态集合确定第一源端隐状态集合，以及基于所述目标端隐状态集合确定第一目标端隐状态集合；将所述第一源端隐状态集合和所述第一目标端隐状态集合传输至所述质量评分子模型中，以控制所述质量评分子模型进行评分处理，得到所述目标译文对应的翻译质量评分。
在一个实施例中，质量评分子模型包括第一特征提取器和第二特征提取器，所述处理单元602在将所述第一源端隐状态集合和所述第一目标端隐状态集合传输至所述质量评分子模型中，以控制所述评分质量子模型进行评分处理，得到所述目标译文对应的翻译质量评分时，执行如下操作：
将所述第一源端隐状态集合包括的每个源端隐状态，以及所述第一目标端隐状态集合中包括的每个目标端隐状态进行拼接转置处理，处理结果作为所述第一特征提取器的输入矩阵；对所述第一特征提取器的输入矩阵进行特征提取处理，得到所述第一特征提取器对应的第一输出矩阵；对所述第一输出矩阵进行特征提取处理，得到所述第二特征提取器对应的第二输出矩阵；基于所述第二输出矩阵获取所述翻译质量评价相关信息，并将所述翻译质量评价相关信息输入到评分函数中进行评分，得到所述目标译文对应的翻译质量评分。
在一个实施例中，所述处理单元602在对所述第一特征提取器的输入矩阵进行特征提取处理，得到所述第二特征提取器的输出矩阵时，执行如下操作：利用自注意机制对所述第一输出矩阵包括的矩阵元素进行关联矩阵元素查询，得到每个矩阵元素对应的关联矩阵元素；将每个矩阵元素对应的关联矩阵元素组成关联矩阵，并对所述关联矩阵进行非线性处理，得到所述第二特征提取器对应的第二输出矩阵。
在一个实施例中，所述文本处理装置还包括获取单元603：
所述获取单元603，用于获取训练数据集，所述训练数据集包括多个训练数据以及每个训练数据对应的译文标签和评分标签；
所述处理单元602，还用于调用所述翻译处理模型中的所述翻译子模型对所述训练数据集中每个训练数据进行翻译处理，得到每个训练数据对应的训练译文；调用所述翻译处理模型中的所述质量评分子模型对每个训练数据对应的训练译文进行评分处理，得到每个训练数据对应的训练评分；基于每个训练数据对应的训练译文和译文标签，以及每个训练数据对应的训练评分和评分标签，对所述翻译处理模型进行优化训练。
在一个实施例中，所述处理单元602在基于每个训练数据对应的训练译文和译文标签，以及每个训练数据对应的训练评分和评分标签，对所述翻译处理模型进行优化训练时，执行如下操作：根据每个训练数据对应的训练译文以及译文标签，确定所述翻译子模型对应的第一损失函数；根据每个训练数据对应的训练评分以及评分标签，确定所述质量评分子模型对应的第二损失函数；基于所述第一损失函数和所述第二损失函数，确定联合优化函数，并按照减小联合优化函数的值的方向优化所述翻译处理模型。
在一个实施例中，所述训练数据集中任意一个训练数据对应的译文标签包括人工标注的第一类译文标签或模型标注的第二类译文标签，所述第二类译文标签是基于标注模型对任意一个训练数据进行翻译处理得到的，所述标注模型是基于所述训练数据集中多个训练数据以及每个训练数据对应的人工标注的第一类译文标签训练得到的。
在一个实施例中，所述训练数据集中的任意一个训练数据包括第一类训练数据和第二类训练数据，任意一个第二类训练数据是由数据选取模型对相应的第一类训练数据对应的译文标签进行翻译处理得到的，所述数据选取模型是基于所述第一类训练数据以及所述第一类训练数据对应的译文标签训练得到的。
根据本发明的一个实施例，图2和图5所示的文本处理方法所涉及各个步骤可以是由图6所示的文本处理装置中的各个单元来执行的。例如，图2所述的步骤S201和步骤S204可由图6所示的文本处理装置中的显示单元601来执行，步骤S202-步骤S203可由文本处理装置中处理单元602执行；再如，图5所示的文本处理方法中，步骤S501和步骤S507可由文本处理装置中显示单元601来执行，步骤S502-步骤S506可由文本处理装置中处理单元602来执行.
根据本发明的另一个实施例，图6所示的文本处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本发明的其它实施例中，基于文本处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
根据本发明的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2以及图5所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图6中所示的文本处理装置，以及来实现本发明实施例文本处理方法。所述计算机程序可以记载于例如计算机可读存储介质上，并通过计算机可读存储介质装载于上述计算设备中，并在其中运行。
本发明实施例中，当检测到文本翻译界面中的第一区域存在待翻译文本时，调用翻译处理模型中的翻译子模型对待翻译文本进行翻译处理，得到目标译文；进一步地，调用翻译处理模型中的质量评分子模型对待翻译文本和目标译文进行评分处理，得到目标译文的翻译质量评分，并输出目标译文以及目标译文对应的翻译质量评分。其中，翻译质量评分用于反映目标译文的准确度，在上述文本处理过程中，不仅可以显示待翻译文本的目标译文，还可以输出用于翻译目标译文的翻译准确度的翻译质量评分，增加了文本翻译的丰富性。
基于上述方法以及装置实施例，本发明实施例还提供了一种文本处理设备。参考图7，为本发明实施例提供的一种文本处理设备的结构示意图。图7所示的文本处理设备可对应于前述的终端，图7所示的文本处理设备至少包括处理器701、输入接口702、输出接口703以及计算机存储介质704。其中，处理器701、输入接口702、输出接口703以及计算机存储介质704可通过总线或其他方式连接。
计算机存储介质704可以存储在文本处理设备的存储器中，所述计算机存储介质704用于存储计算机程序，所述计算机程序包括程序指令，所述处理器701用于执行所述计算机存储介质704存储的程序指令。处理器701(或称CPU(Central Processing Unit，中央处理器))是文本处理设备的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行：显示文本翻译界面，所述文本翻译界面包括接收待翻译文本的第一区域；当所述第一区域中存在待翻译文本时，调用翻译处理模型中的翻译子模型对所述待翻译文本进行翻译处理，得到所述待翻译文本对应的目标译文；调用所述翻译处理模型中的质量评分子模型基于所述待翻译文本和所述目标译文进行评分处理，得到所述目标译文的翻译质量评分；在所述文本翻译界面包括的第二区域中显示所述目标译文以及所述翻译质量评分。
本发明实施例还提供了一种计算机存储介质(Memory)，所述计算机存储介质是文本处理设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括文本处理设备中的内置存储介质，当然也可以包括文本处理设备所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了文本处理设备的操作系统。并且，在该存储空间中还存放了适于被处理器701加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
在一个实施例中，所述计算机存储介质可由处理器701加载并执行计算机存储介质中存放的一条或多条指令，以实现上述有关图2和图5所示的文本处理方法的相应步骤。具体实现中，计算机存储介质中的一条或多条指令由处理器701加载并执行如下步骤：显示文本翻译界面，所述文本翻译界面包括接收待翻译文本的第一区域；当所述第一区域中存在待翻译文本时，调用翻译处理模型中的翻译子模型对所述待翻译文本进行翻译处理，得到所述待翻译文本对应的目标译文；调用所述翻译处理模型中的质量评分子模型基于所述待翻译文本和所述目标译文进行评分处理，得到所述目标译文的翻译质量评分；在所述文本翻译界面包括的第二区域中显示所述目标译文以及所述翻译质量评分。
在一个实施例中，所述第二区域包括触发控件，当所述触发控件被触发为第一状态时，所述第二区域中显示所述目标译文和所述目标译文对应的翻译质量评分；当所述触发控件被触发为第二状态时，所述第二区域中显示所述待翻译文本、所述目标译文以及所述目标译文对应的翻译质量评分。
在一个实施例中，所述翻译子模型包括编码器、解码器和注意机制，所述处理器701在调用所述翻译处理模型中的所述翻译子模型对所述待翻译文本进行翻译处理得到目标译文时，执行如下操作：
调用所述翻译子模型中的编码器对所述至少一个词包括的每个词进行编码处理，得到所述每个词对应的源端隐状态；当对所述待翻译文本中的任意词进行翻译处理时，调用注意机制基于所述至少一个词中其他词与所述任意词的关联度对所述每个词的源端隐状态进行统一化处理得到处理结果，并将所述处理结果传输至所述解码器中；调用所述解码器对所述处理结果进行解码处理，得到目标端隐状态，并基于所述目标端隐状态生成任意词对应的译文单词；基于每个词对应的译文单词生成目标译文。
在一个实施例中，所述编码器包括至少一层或多层编码层，每个词对应的源端隐状态包括至少一个或多个，任意一个编码层中每个词的源端隐状态组成相应编码层对应的源端隐状态集合，所述源端隐状态集合的数量为一个或多个；所述解码器包括至少一个解码层，每个译文单词对应的目标端隐状态的数量为一个或多个，任意一个解码层中每个译文单词对应的目标端隐状态组成相应解码层对应的目标端隐状态集合，所述目标端隐状态集合的数量为一个或多个；
所述处理器701在调用所述翻译处理模型中的所述质量评分子模型基于所述待翻译文本和所述目标译文进行评分处理，得到所述目标译文对应的翻译质量评分时，执行如下操作：基于所述源端隐状态集合确定第一源端隐状态集合，以及基于所述目标端隐状态集合确定第一目标端隐状态集合；将所述第一源端隐状态集合和所述第一目标端隐状态集合传输至所述质量评分子模型中，以控制所述质量评分子模型进行评分处理，得到所述目标译文对应的翻译质量评分。
在一个实施例中，所述质量评分子模型包括第一特征提取器和第二特征提取器，所述处理器701在将所述第一源端隐状态集合和所述第一目标端隐状态集合传输至所述质量评分子模型中，以控制所述评分质量子模型进行评分处理，得到所述目标译文对应的翻译质量评分时，执行如下操作：
将所述第一源端隐状态集合包括的每个源端隐状态，以及所述第一目标端隐状态集合中包括的每个目标端隐状态进行拼接转置处理，处理结果作为所述第一特征提取器的输入矩阵；对所述第一特征提取器的输入矩阵进行特征提取处理，得到所述第一特征提取器对应的第一输出矩阵；对所述第一输出矩阵进行特征提取处理，得到所述第二特征提取器对应的第二输出矩阵；基于所述第二输出矩阵获取所述翻译质量评价相关信息，并将所述翻译质量评价相关信息输入到评分函数中进行评分，得到所述目标译文对应的翻译质量评分。
在一个实施例中，所述处理器701在对所述第一特征提取器的输入矩阵进行特征提取处理，得到所述第二特征提取器的输出矩阵时，执行如下操作：利用自注意机制对所述第一输出矩阵包括的矩阵元素进行关联矩阵元素查询，得到每个矩阵元素对应的关联矩阵元素；将每个矩阵元素对应的关联矩阵元素组成关联矩阵，并对所述关联矩阵进行非线性处理，得到所述第二特征提取器对应的第二输出矩阵。
在一个实施例中，所述处理器701还用于执行：获取训练数据集，所述训练数据集包括多个训练数据以及每个训练数据对应的译文标签和评分标签；调用所述翻译处理模型中的所述翻译子模型对所述训练数据集中每个训练数据进行翻译处理，得到每个训练数据对应的训练译文；调用所述翻译处理模型中的所述质量评分子模型对每个训练数据对应的训练译文进行评分处理，得到每个训练数据对应的训练评分；基于每个训练数据对应的训练译文和译文标签，以及每个训练数据对应的训练评分和评分标签，对所述翻译处理模型进行优化训练。
在一个实施例中，所述处理器701在基于每个训练数据对应的训练译文和译文标签，以及每个训练数据对应的训练评分和评分标签，对所述翻译处理模型进行优化训练时，执行如下操作：根据每个训练数据对应的训练译文以及译文标签，确定所述翻译子模型对应的第一损失函数；根据每个训练数据对应的训练评分以及评分标签，确定所述质量评分子模型对应的第二损失函数；基于所述第一损失函数和所述第二损失函数，确定联合优化函数，并按照减小联合优化函数的值的方向优化所述翻译处理模型。
在一个实施例中，所述训练数据集中任意一个训练数据对应的译文标签包括人工标注的第一类译文标签或模型标注的第二类译文标签，所述第二类译文标签是基于标注模型对任意一个训练数据进行翻译处理得到的，所述标注模型是基于所述训练数据集中多个训练数据以及每个训练数据对应的人工标注的第一类译文标签训练得到的。
在一个实施例中，所述训练数据集中的任意一个训练数据包括第一类训练数据和第二类训练数据，任意一个第二类训练数据是由数据选取模型对相应的第一类训练数据对应的译文标签进行翻译处理得到的，所述数据选取模型是基于所述第一类训练数据以及所述第一类训练数据对应的译文标签训练得到的。
本发明实施例中，当检测到文本翻译界面中的第一区域存在待翻译文本时，调用翻译处理模型中的翻译子模型对待翻译文本进行翻译处理，得到目标译文；进一步地，调用翻译处理模型中的质量评分子模型对待翻译文本和目标译文进行评分处理，得到目标译文的翻译质量评分，并输出目标译文以及目标译文对应的翻译质量评分。其中，翻译质量评分用于反映目标译文的准确度，在上述文本处理过程中，不仅可以显示待翻译文本的目标译文，还可以输出用于翻译目标译文的翻译准确度的翻译质量评分，增加了文本翻译的丰富性。
根据本申请的一个方面，本发明实施例还提供了一种计算机产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。处理器701从计算机可读存储介质读取该计算机指令，处理器701执行该计算机指令，使得该文本处理设备执行图2和图5所示的文本处理方法，具体地：显示文本翻译界面，所述文本翻译界面包括接收待翻译文本的第一区域；当所述第一区域中存在待翻译文本时，调用翻译处理模型中的翻译子模型对所述待翻译文本进行翻译处理，得到所述待翻译文本对应的目标译文；调用所述翻译处理模型中的质量评分子模型基于所述待翻译文本和所述目标译文进行评分处理，得到所述目标译文的翻译质量评分；在所述文本翻译界面包括的第二区域中显示所述目标译文以及所述翻译质量评分。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (13)

1.一种文本处理方法，其特征在于，包括：
显示文本翻译界面，所述文本翻译界面包括接收待翻译文本的第一区域；
当所述第一区域中存在待翻译文本时，调用翻译处理模型中的翻译子模型对所述待翻译文本进行翻译处理，得到所述待翻译文本对应的目标译文；
调用所述翻译处理模型中的质量评分子模型基于所述待翻译文本和所述目标译文进行评分处理，得到所述目标译文的翻译质量评分；
在所述文本翻译界面包括的第二区域中显示所述目标译文以及所述翻译质量评分。
2.如权利要求1所述的方法，其特征在于，所述第二区域包括触发控件，当所述触发控件被触发为第一状态时，所述第二区域中显示所述目标译文和所述目标译文对应的翻译质量评分；当所述触发控件被触发为第二状态时，所述第二区域中显示所述待翻译文本、所述目标译文以及所述目标译文对应的翻译质量评分。
3.如权利要求1所述的方法，其特征在于，所述翻译子模型包括编码器、解码器和注意机制，所述待翻译文本包括至少一个词，所述调用所述翻译处理模型中的所述翻译子模型对所述待翻译文本进行翻译处理得到目标译文，包括：
调用所述翻译子模型中的编码器对所述至少一个词包括的每个词进行编码处理，得到所述每个词对应的源端隐状态；
当对所述待翻译文本中的任意词进行翻译处理时，调用注意机制基于所述至少一个词中其他词与所述任意词的关联度对所述每个词的源端隐状态进行统一化处理得到处理结果，并将所述处理结果传输至所述解码器中；
调用所述解码器对所述处理结果进行解码处理，得到目标端隐状态，并基于所述目标端隐状态生成任意词对应的译文单词；
基于每个词对应的译文单词生成目标译文。
4.如权利要求3所述的方法，其特征在于，所述编码器包括至少一层或多层编码层，每个词对应的源端隐状态包括至少一个或多个，任意一个编码层中每个词的源端隐状态组成相应编码层对应的源端隐状态集合，所述源端隐状态集合的数量为一个或多个；所述解码器包括至少一个解码层，每个译文单词对应的目标端隐状态的数量为一个或多个，任意一个解码层中每个译文单词对应的目标端隐状态组成相应解码层对应的目标端隐状态集合，所述目标端隐状态集合的数量为一个或多个；
所述调用所述翻译处理模型中的所述质量评分子模型基于所述待翻译文本和所述目标译文进行评分处理，得到所述目标译文对应的翻译质量评分，包括：
基于所述源端隐状态集合确定第一源端隐状态集合，以及基于所述目标端隐状态集合确定第一目标端隐状态集合；
将所述第一源端隐状态集合和所述第一目标端隐状态集合传输至所述质量评分子模型中，以控制所述质量评分子模型进行评分处理，得到所述目标译文对应的翻译质量评分。
5.如权利要求4所述的方法，其特征在于，所述质量评分子模型包括第一特征提取器和第二特征提取器，所述将所述第一源端隐状态集合和所述第一目标端隐状态集合传输至所述质量评分子模型中，以控制所述评分质量子模型进行评分处理，得到所述目标译文对应的翻译质量评分，包括：
将所述第一源端隐状态集合包括的每个源端隐状态，以及所述第一目标端隐状态集合中包括的每个目标端隐状态进行拼接转置处理，并将拼接转置处理的结果作为所述第一特征提取器的输入矩阵；
对所述第一特征提取器的输入矩阵进行特征提取处理，得到所述第一特征提取器对应的第一输出矩阵；
对所述第一输出矩阵进行特征提取处理，得到所述第二特征提取器对应的第二输出矩阵；
基于所述第二输出矩阵获取所述翻译质量评价相关信息，并将所述翻译质量评价相关信息输入到评分函数中进行评分，得到所述目标译文对应的翻译质量评分。
6.如权利要求5所述的方法，其特征在于，所述对所述第一特征提取器的输入矩阵进行特征提取处理，得到所述第二特征提取器的输出矩阵，包括：
利用自注意机制对所述第一输出矩阵包括的矩阵元素进行关联矩阵元素查询，得到每个矩阵元素对应的关联矩阵元素；
将每个矩阵元素对应的关联矩阵元素组成关联矩阵，并对所述关联矩阵进行非线性处理，得到所述第二特征提取器对应的第二输出矩阵。
7.如权利要求1所述的方法，其特征在于，所述方法还包括：
获取训练数据集，所述训练数据集包括多个训练数据以及每个训练数据对应的译文标签和评分标签；
调用所述翻译处理模型中的所述翻译子模型对所述训练数据集中每个训练数据进行翻译处理，得到每个训练数据对应的训练译文；
调用所述翻译处理模型中的所述质量评分子模型对每个训练数据对应的训练译文进行评分处理，得到每个训练数据对应的训练评分；
基于每个训练数据对应的训练译文和译文标签，以及每个训练数据对应的训练评分和评分标签，对所述翻译处理模型进行优化训练。
8.如权利要求7所述的方法，其特征在于，所述基于每个训练数据对应的训练译文和译文标签，以及每个训练数据对应的训练评分和评分标签，对所述翻译处理模型进行优化训练，包括：
根据每个训练数据对应的训练译文以及译文标签，确定所述翻译子模型对应的第一损失函数；
根据每个训练数据对应的训练评分以及评分标签，确定所述质量评分子模型对应的第二损失函数；
基于所述第一损失函数和所述第二损失函数，确定联合优化函数，并按照减小联合优化函数的值的方向优化所述翻译处理模型。
9.如权利要求7所述的方法，所述训练数据集中任意一个训练数据对应的译文标签包括人工标注的第一类译文标签或模型标注的第二类译文标签，所述第二类译文标签是基于标注模型对任意一个训练数据进行翻译处理得到的，所述标注模型是基于所述训练数据集中多个训练数据以及每个训练数据对应的人工标注的第一类译文标签训练得到的。
10.如权利要求7所述的方法，其特征在于，所述训练数据集中的任意一个训练数据包括第一类训练数据和第二类训练数据，任意一个第二类训练数据是由数据选取模型对相应的第一类训练数据对应的译文标签进行翻译处理得到的，所述数据选取模型是基于所述第一类训练数据以及所述第一类训练数据对应的译文标签训练得到的。
11.一种文本处理装置，其特征在于，包括：
显示单元，用于显示文本翻译界面，所述文本翻译界面包括接收待翻译文本的第一区域；
处理单元，用于当所述第一区域中存在待翻译文本时，调用翻译处理模型中的翻译子模型对所述待翻译文本进行翻译处理，得到所述待翻译文本对应的目标译文；
所处理单元，还用于调用所述翻译处理模型中的质量评分子模型基于所述待翻译文本和所述目标译文进行评分处理，得到所述目标译文的翻译质量评分；
所述显示单元，还用于在所述文本翻译界面包括的第二区域中显示所述目标译文以及所述翻译质量评分。
12.一种文本处理设备，其特征在于，包括：
处理器，适于实现一条或多条指令；以及
计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如权利要求1-10任一项所述的文本处理方法。
13.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机程序指令，所述计算机程序指令被处理器执行时，用于执行如权利要求1-10任一项所述的文本处理方法。
CN202010772951.6A 2020-08-04 2020-08-04 文本处理方法、装置、设备及存储介质 Active CN111814496B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010772951.6A CN111814496B (zh) 2020-08-04 2020-08-04 文本处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010772951.6A CN111814496B (zh) 2020-08-04 2020-08-04 文本处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111814496A true CN111814496A (zh) 2020-10-23
CN111814496B CN111814496B (zh) 2023-11-28

Family

ID=72864299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010772951.6A Active CN111814496B (zh) 2020-08-04 2020-08-04 文本处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111814496B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023082198A1 (zh) * 2021-11-12 2023-05-19 上海传英信息技术有限公司 数据处理方法、智能终端及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108845993A (zh) * 2018-06-06 2018-11-20 中国科学技术信息研究所 文本信息的翻译方法、装置及终端设备
CN109062912A (zh) * 2018-08-08 2018-12-21 科大讯飞股份有限公司 一种翻译质量评价方法及装置
CN109948166A (zh) * 2019-03-25 2019-06-28 腾讯科技（深圳）有限公司 文本翻译方法、装置、存储介质和计算机设备
CN110674646A (zh) * 2019-09-06 2020-01-10 内蒙古工业大学 一种基于字节对编码技术的蒙汉机器翻译系统
CN111401078A (zh) * 2020-03-17 2020-07-10 江苏省舜禹信息技术有限公司 神经网络文本翻译模型的运行方法、装置、设备、及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108845993A (zh) * 2018-06-06 2018-11-20 中国科学技术信息研究所 文本信息的翻译方法、装置及终端设备
CN109062912A (zh) * 2018-08-08 2018-12-21 科大讯飞股份有限公司 一种翻译质量评价方法及装置
CN109948166A (zh) * 2019-03-25 2019-06-28 腾讯科技（深圳）有限公司 文本翻译方法、装置、存储介质和计算机设备
CN110674646A (zh) * 2019-09-06 2020-01-10 内蒙古工业大学 一种基于字节对编码技术的蒙汉机器翻译系统
CN111401078A (zh) * 2020-03-17 2020-07-10 江苏省舜禹信息技术有限公司 神经网络文本翻译模型的运行方法、装置、设备、及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023082198A1 (zh) * 2021-11-12 2023-05-19 上海传英信息技术有限公司 数据处理方法、智能终端及存储介质

Also Published As

Publication number Publication date
CN111814496B (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
KR102401942B1 (ko) 번역품질 평가 방법 및 장치
WO2021082953A1 (zh) 机器阅读理解方法、设备、存储介质及装置
CN110795543B (zh) 基于深度学习的非结构化数据抽取方法、装置及存储介质
US10592607B2 (en) Iterative alternating neural attention for machine reading
CN110704576B (zh) 一种基于文本的实体关系抽取方法及装置
CN111931517B (zh) 文本翻译方法、装置、电子设备以及存储介质
CN109753661B (zh) 一种机器阅读理解方法、装置、设备及存储介质
EP4113357A1 (en) Method and apparatus for recognizing entity, electronic device and storage medium
WO2023241410A1 (zh) 数据处理方法、装置、设备及计算机介质
CN113268609A (zh) 基于知识图谱的对话内容推荐方法、装置、设备及介质
CN111930915B (zh) 会话信息处理方法、装置、计算机可读存储介质及设备
CN111414561A (zh) 用于呈现信息的方法和装置
CN115862040A (zh) 文本纠错方法、装置、计算机设备及可读存储介质
CN111368066B (zh) 获取对话摘要的方法、装置和计算机可读存储介质
CN113449081A (zh) 文本特征的提取方法、装置、计算机设备及存储介质
CN111814496B (zh) 文本处理方法、装置、设备及存储介质
CN113609873A (zh) 翻译模型训练方法、装置及介质
CN110717316B (zh) 字幕对话流的主题分割方法及装置
US20200089774A1 (en) Machine Translation Method and Apparatus, and Storage Medium
CN116978028A (zh) 视频处理方法、装置、电子设备及存储介质
CN115906854A (zh) 一种基于多级对抗的跨语言命名实体识别模型训练方法
CN115115984A (zh) 视频数据处理方法、装置、程序产品、计算机设备和介质
CN114330701A (zh) 模型训练方法、装置、计算机设备、存储介质及程序产品
CN113591493A (zh) 翻译模型的训练方法及翻译模型的装置
CN116913278B (zh) 语音处理方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40030664

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant