CN113268997B - 文本翻译方法、装置、计算机设备和存储介质 - Google Patents
文本翻译方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113268997B CN113268997B CN202110637328.4A CN202110637328A CN113268997B CN 113268997 B CN113268997 B CN 113268997B CN 202110637328 A CN202110637328 A CN 202110637328A CN 113268997 B CN113268997 B CN 113268997B
- Authority
- CN
- China
- Prior art keywords
- information
- translation
- text
- complex
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 239000013598 vector Substances 0.000 claims abstract description 36
- 230000006870 function Effects 0.000 claims description 23
- 230000011218 segmentation Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/126—Character encoding
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Abstract
本申请涉及自然语言处理领域,通过将文本信息输入嵌入层进行复数编码,可以获得包含各词组之间的位置相关性的复数编码信息,实现将复数编码信息融合到词向量中,有效避免了翻译结果出现词序颠倒或难以准确表达句子语义等问题,提高了翻译结果的准确性。涉及一种文本翻译方法、装置、计算机设备和存储介质,该方法包括:获取待翻译的文本信息;调用机器翻译模型,将文本信息输入机器翻译模型的嵌入层进行位置信息的复数编码,获得文本信息对应的复数编码信息;将复数编码信息与文本信息输入机器翻译模型的翻译层进行翻译,获得文本信息对应的翻译结果。此外,本申请还涉及区块链技术,机器翻译模型可存储于区块链中。
Description
技术领域
本申请涉及自然语言处理领域,尤其涉及一种文本翻译方法、装置、计算机设备和存储介质。
背景技术
在对自然语言进行机器翻译时,现有的机器翻译模型大多数是基于注意力机制实现文本翻译。虽然注意力机制可以更好的学习到文本上下文间的关系,但无法得到文本的位置信息,因此,需要对文本中的词组的位置信息进行编码,将得到的编码信息添加到词向量中。
现有的机器翻译模型对位置信息进行编码时,一般是用整数进行编码,并在机器翻译模型的训练过程中,根据编码信息独立训练机器翻译模型。由于并未考虑词组与词组之间的位置相关性,导致机器翻译模型输出的翻译结果会出现词序颠倒或难以准确表达句子语义的问题,因此降低了翻译结果的准确性。
因此,如何提高翻译结果的准确性成为亟需解决的问题。
发明内容
本申请提供了一种文本翻译方法、装置、计算机设备和存储介质,通过将文本信息输入嵌入层进行复数编码,可以获得包含各词组之间的位置相关性的复数编码信息,实现将复数编码信息融合到词向量中,有效避免了翻译结果出现词序颠倒或难以准确表达句子语义等问题,提高了翻译结果的准确性。
第一方面,本申请提供了一种文本翻译方法,所述方法包括:
获取待翻译的文本信息;
调用机器翻译模型,将所述文本信息输入所述机器翻译模型的嵌入层进行位置信息的复数编码,获得所述文本信息对应的复数编码信息,所述复数编码信息包含所述文本信息中的各词组之间的位置相关性;
将所述复数编码信息与所述文本信息输入所述机器翻译模型的翻译层进行翻译,获得所述文本信息对应的翻译结果。
第二方面,本申请还提供了一种文本翻译装置,所述装置包括:
文本获取模块,用于获取待翻译的文本信息;
复数编码模块,用于调用机器翻译模型,将所述文本信息输入所述机器翻译模型的嵌入层进行位置信息的复数编码,获得所述文本信息对应的复数编码信息,所述复数编码信息包含所述文本信息中的各词组之间的位置相关性;
文本翻译模块,用于将所述复数编码信息与所述文本信息输入所述机器翻译模型的翻译层进行翻译,获得所述文本信息对应的翻译结果。
第三方面,本申请还提供了一种计算机设备,所述计算机设备包括存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述计算机程序并在执行所述计算机程序时实现如上述的文本翻译方法。
第四方面,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如上述的文本翻译方法。
本申请公开了一种文本翻译方法、装置、计算机设备和存储介质,通过调用机器翻译模型,将待翻译的文本信息输入机器翻译模型的嵌入层进行位置信息的复数编码,可以获得包含文本信息中的各词组之间的位置相关性的复数编码信息;通过将复数编码信息与文本信息输入机器翻译模型的翻译层进行翻译,可以实现将复数编码信息融合到词向量中,有效避免了翻译结果出现词序颠倒或难以准确表达句子语义等问题,提高了翻译结果的准确性。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种文本翻译方法的示意性流程图;
图2是本申请实施例提供的一种训练机器翻译模型的子步骤的示意性流程图;
图3是本申请实施例提供的一种进行复数编码的子步骤的示意性流程图;
图4是本申请实施例提供的一种嵌入层的示意图;
图5是本申请实施例提供的一种调整机器翻译模型的参数的子步骤的示意性流程图;
图6是本申请实施例提供的一种文本翻译装置的示意性框图;
图7是本申请实施例提供的一种计算机设备的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
本申请的实施例提供了一种文本翻译方法、装置、计算机设备和存储介质。其中,该文本翻译方法可以应用于服务器或终端中,通过将文本信息输入嵌入层进行复数编码,可以获得包含各词组之间的位置相关性的复数编码信息,实现将复数编码信息融合到词向量中,有效避免了翻译结果出现词序颠倒或难以准确表达句子语义等问题,提高了翻译结果的准确性。
其中,服务器可以为独立的服务器,也可以为服务器集群。终端可以是智能手机、平板电脑、笔记本电脑和台式电脑等电子设备。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
如图1所示,文本翻译方法包括步骤S10至步骤S30。
步骤S10、获取待翻译的文本信息。
需要说明的是,本申请实施例提供的文本翻译方法可以应用于文本翻译系统中,用户可以在文本翻译系统上的翻译页面进行文本翻译。其中,文本翻译系统可以安装在服务器或终端中。用户可以在翻译页面中输入需要翻译的文本信息,还可以上传包含待翻译的文本信息的文档至翻译页面。
示例性的,待翻译的文本信息可以包括但不限于新闻、报告以及论文等文本信息。例如,一段新闻或论文中的一段话。其中,文本信息可以是中文语言文本,也可以是外文语言文本。例如,英文、日文等等。
步骤S20、调用机器翻译模型,将所述文本信息输入所述机器翻译模型的嵌入层进行位置信息的复数编码,获得所述文本信息对应的复数编码信息,所述复数编码信息包含所述文本信息中的各词组之间的位置相关性。
在本申请实施例中,可以调用机器翻译模型,将文本信息输入机器翻译模型的嵌入层进行位置信息的复数编码,从而可以得到包含文本信息中的各词组之间的位置相关性的复数编码信息。
需要说明的是,机器翻译(Machine Translation,MT)是指使用机器将文本或言语从一种语言转化为具有相同含义内容的另一种语言的过程。其中,机器翻译模型是预先训练好的模型。在本申请实施例中,将详细说明如何对初始的机器翻译模型进行训练至收敛,得到训练好的机器翻译模型。通过对初始的机器翻译模型进行训练,可以提高训练好的机器翻译模型翻译的准确性。
请参阅图2,图2是本申请实施例提供的一种训练机器翻译模型的子步骤的示意性流程图,具体可以包括以下步骤S201至步骤S205。
步骤S201、获取待训练的原始文本以及所述原始文本对应的原始翻译结果,根据所述原始文本确定每一轮的训练样本数据。
示例性的,可以从本地磁盘或本地数据库获取待训练的原始文本;原始翻译结果包括原始文本在翻译后对应的目标语言文本。
在一些实施例中,在根据原始文本确定每一轮的训练样本数据时,可以对原始文本进行分词处理,获得原始文本顺序排列的词组集合;根据词组集合,确定为训练样本数据。
示例性的,可以基于分词模型,对原始文本进行分词处理。其中,分词模型可以包括BI_LSTM-CRF神经网络模型,当然,也可以是其它的神经网络模型,在此不作限定。需要说明的是,BI_LSTM-CRF神经网络模型结合BI_LSTM网络和CRF(Conditional Random Field)层。BI_LSTM-CRF神经网络模型不仅可以使用过去输入的特征和语句标签信息,还可以使用将来的输入特征,考虑到长距离上下文信息对分词的影响,可以确保分词有较高的准确性。
通过基于分词模型对原始文本进行分词处理,可以提高分词的准确性,进而提高了后续对训练样本数据进行复数编码的准确性。
步骤S202、将当前轮训练样本数据输入所述嵌入层进行复数编码,获得所述当前轮训练样本数据对应的复数编码训练信息。
示例性的,在确定每一轮的训练样本数据之后,可以将当前轮训练样本数据输入嵌入层进行复数编码,输出当前轮训练样本数据对应的复数编码训练信息。在本申请实施例中,将详细说明复数编码的具体过程。
请参阅图3,图3是本申请实施例提供的一种进行复数编码的子步骤的示意性流程图,具体可以包括以下步骤S2021至步骤S2023。
步骤S2021、确定所述当前轮训练样本数据对应的整数编码信息。
示例性的,可以对当前轮训练样本数据进行位置信息的整数编码,得到对应的整数编码信息。例如,可以使用整数,对当前轮训练样本数据的位置依次进行编码,得到整数编码信息。其中,整数编码信息可以表示为pos_seq。
通过确定当前轮训练样本数据对应的整数编码信息,可以实现在整数编码信息的基础上进行复数编码,得到复数编码训练信息。
步骤S2022、将所述当前轮训练样本数据分别输入所述第一子嵌入层、所述第二子嵌入层以及所述第三子嵌入层,获得所述当前轮训练样本数据对应的振幅值、频率权重值以及初始相位值。
请参阅图4,图4是本申请实施例提供的一种嵌入层的示意图。如图4所示,嵌入层可以包括用于输出振幅值的第一子嵌入层、用于输出频率权重值的第二子嵌入层以及用于输出初始相位值的第三子嵌入层。
示例性的,可以将当前轮训练样本数据分别输入第一子嵌入层、第二子嵌入层以及第三子嵌入层,获得当前轮训练样本数据对应的振幅值、频率权重值以及初始相位值。其中,振幅值可以表示为Amplitude;频率权重值可以表示为Frequency;初始相位值可以表示为Phase。
通过第一子嵌入层、第二子嵌入层以及第三子嵌入层,可以确定当前轮训练样本数据对应的振幅值、频率权重值以及初始相位值,进而可以根据振幅值、频率权重值以及初始相位值将整数形式的整数编码信息转换成复数形式的复数编码训练信息。
步骤S2023、根据所述整数编码信息、所述振幅值、所述频率权重值以及所述初始相位值,确定所述复数编码训练信息。
在一些实施例中,根据整数编码信息、振幅值、频率权重值以及初始相位值,确定复数编码训练信息,可以包括:将整数编码信息与频率权重值相乘,并将得到的相乘值与初始相位值相加,获得对应的目标相位值;基于预设的复数公式,根据目标相位值与振幅值,确定对应的实部编码信息与虚部编码信息;根据实部编码信息与虚部编码信息,确定复数编码信息。
示例性的,目标相位值可以表示为output_phase;其中,目标相位值output_phase可以由以下公式计算得到:
output_phase=pos_seq*Frequency+Phase。
示例性的,实部编码信息可以表示为A;虚部编码信息可以表示为B。在本申请实施例中,可以基于预设的复数公式,根据目标相位值与振幅值,确定对应的实部编码信息与虚部编码信息。例如,实部编码信息A和虚部编码信息B可以由以下公式计算得到:
A=Amplitude*cos(output_phase),
B=Amplitude*sin(output_phase)。
示例性的,根据实部编码信息与虚部编码信息,确定复数编码信息,如下所示:
Z=A+Bi
式中,i为虚数单位;Z表示复数编码信息。
步骤S203、将所述复数编码训练信息与所述当前轮训练样本数据输入所述翻译层进行翻译训练,获得所述当前轮训练样本数据对应的翻译训练结果。
示例性的,在通过嵌入层获得当前轮训练样本数据对应的复数编码训练信息之后,可以将复数编码训练信息与当前轮训练样本数据输入翻译层进行翻译训练,获得当前轮训练样本数据对应的翻译训练结果。其中,翻译层至少包括编码器。
需要说明的是,在本申请实施例中,翻译层可以包括至少一个编码器与至少一个解码器。其中,编码器用于对输入的序列转换成一个固定长度的词向量;解码器用于基于目标语言语料库,将编码器输出的词向量解码成输出序列。示例性的,编码器包括自注意力权重层和前馈神经网络,解码器可以包括自注意力权重层、关注层和前馈神经网络。
示例性的,可以将复数编码训练信息与当前轮训练样本数据输入编码器中,由编码器对复数编码训练信息与当前轮训练样本数据进行编码,输出包含位置信息的词向量;然后将词向量输入解码器进行解码,输出训练样本数据对应的翻译训练结果。其中,具体的编码过程与解码过程,在此不作限定。需要说明的是,将复数编码训练信息与当前轮训练样本数据输入编码器,可以使得编码器同时对复数编码训练信息与当前轮训练样本数据进行编码,从而实现将位置信息融合到词向量中。
通过将复数编码训练信息与当前轮训练样本数据输入翻译层进行翻译训练,实现将位置信息融合到词向量后对机器翻译模型进行训练,使得训练好的机器翻译模型能够学习词组与词组之间的位置相关性,提高了机器翻译模型翻译的准确性。
步骤S204、基于预设的损失函数,根据所述翻译训练结果与所述原始翻译信息,确定所述当前轮训练样本数据对应的损失函数值。
示例性的,预设的损失函数可以包括但不限于0-1损失函数、绝对值损失函数、对数损失函数、平方损失函数以及指数损失函数等等。
例如,可以通过指数损失函数,根据翻译训练结果与原始翻译信息,计算出当前轮训练样本数据对应的损失函数值。
步骤S205、若所述损失函数值大于预设的损失值阈值,则调整所述机器翻译模型的参数,并进行下一轮训练,直至得到的损失函数值小于或等于所述损失值阈值,结束训练,得到训练好的所述机器翻译模型。
示例性的,预设的损失值阈值可以根据实际情况设定,具体数值在此不作限定。
示例性的,若损失函数值大于损失值阈值,则调整机器翻译模型的参数。其中,参数可以至少包括第二子嵌入层的频率权重值。在本申请实施例中,将详细说明如何调整第二子嵌入层的频率权重值。
请参阅图5,图5是本申请实施例提供的一种调整机器翻译模型的参数的子步骤的示意性流程图,具体可以包括以下步骤S2051至步骤S2053。
步骤S2051、获取所述编码器输出的词向量,对所述词向量与所述复数编码训练信息进行相关性计算,获得对应的相关性分值。
需要说明的是,由于在训练过程中,将复数编码训练信息与当前轮训练样本数据输入编码器进行编码,因此,可以获取编码器输出的词向量。
在本申请实施例中,通过计算词向量与复数编码训练信息之间的相关性,可以确定词组的不同位置对翻译结果的影响大小,进而可以根据相关性减小或增大复数编码训练信息对翻译结果的影响。
示例性的,可以基于相似度算法,对词向量与复数编码训练信息进行相关性计算,获得对应的相关性分值。其中,相似度算法可以包括但不限于欧式距离、余弦相似度、Jaccard相似系数以及Pearson相关系数等算法。
步骤S2052、当所述相关性分值小于预设的第一相关性阈值时,减小所述频率权重值。
示例性的,第一相关性阈值可以根据实际情况设定,具体数值在此不作限定。
示例性的,当相关性分值小于第一相关性阈值时,减小第二子嵌入层中的频率权重值。
步骤S2053、当所述相关性分值大于预设的第二相关性阈值时,增大所述频率权重值。
示例性的,第二相关性阈值可以根据实际情况设定,具体数值在此不作限定。其中,第一相关性阈值小于第二相关性阈值。
示例性的,当相关性分值大于第二相关性阈值时,增大第二子嵌入层中的频率权重值。
可以理解的是,当训练样本数据对应的词向量与复数编码训练信息之间的相关性较低时,说明该训练样本数据中的词组在不同位置对翻译结果的影响较小;通过减小频率权重值,可以减小该训练样本数据的复数编码训练信息对翻译结果的影响。当训练样本数据对应的词向量与复数编码信息之间的相关性较高时,说明该训练样本数据中的词组在不同位置对翻译结果的影响较大,通过增大频率权重值,可以增大该训练样本数据的复数编码信息对翻译结果的影响。
在另一些实施例中,还可以通过梯度下降算法或反向传播算法,调整集群翻译模型的其它参数,具体的调整参数过程,在此不作限定。
示例性的,在调整机器翻译模型的参数之后,可以进行下一轮训练,直至得到的损失函数值小于或等于损失值阈值,结束训练,得到训练好的机器翻译模型。
为进一步保证上述训练好的机器翻译模型的私密和安全性,上述训练好的机器翻译模型可以存储于一区块链的节点中。当需要使用训练好的机器翻译模型进行文本翻译时,可以从区块链节点中调用。
通过对词向量与复数编码训练信息进行相关性计算,可以根据对应的相关性分值调整频率权重值,使得机器翻译模型能够学习如何根据词组的不同位置,减小或增大复数编码信息对翻译结果的影响。
在一些实施方式中,可以调用训练好的机器翻译模型,将文本信息输入训练好的机器翻译模型的嵌入层进行位置信息的复数编码,从而可以得到包含文本信息中的各词组之间的位置相关性的复数编码信息。
在一些实施例中,在将文本信息输入机器翻译模型的嵌入层进行位置信息的复数编码之前,还可以包括:对文本信息进行分词处理,获得文本信息顺序排列的词组集合;对词组集合进行位置信息的整数编码,获得文本信息对应的整数编码信息。
示例性的,可以基于分词模型,对文本信息进行分词处理,得到文本信息顺序排列的词组集合。其中,词组集合可以包括至少一个词组;分词模型可以包括BI_LSTM-CRF神经网络模型。
示例性的,可以使用整数,根据词组集合中的各词组对应的位置顺序进行编码,得到整数编码信息。
在一些实施例中,将文本信息输入机器翻译模型的嵌入层进行位置信息的复数编码,可以包括:将词组集合与整数编码信息输入嵌入层进行复数编码。
示例性的,可以将词组集合分别输入第一子嵌入层、第二子嵌入层以及第三子嵌入层,获得词组集合对应的振幅值、频率权重值以及初始相位值;然后将整数编码信息、振幅值、频率权重值以及初始相位值,确定复数编码信息。
其中,确定复数编码信息的具体过程,可以参见上述实施例的详细描述,具体过程在此不再赘述。
通过将将词组集合与整数编码信息输入嵌入层进行复数编码,可以实现将词组集合中各词组之间的位置相关性融合至词向量中。
步骤S30、将所述复数编码信息与所述文本信息输入所述机器翻译模型的翻译层进行翻译,获得所述文本信息对应的翻译结果。
示例性的,将复数编码信息与文本信息输入机器翻译模型的翻译层进行翻译,获得文本信息对应的翻译结果,可以包括:将复数编码信息与词组集合输入编码器进行编码处理,获得融合位置信息的词向量;将词向量输入解码器进行解码处理,获得翻译结果。
通过将复数编码信息与文本信息输入机器翻译模型的翻译层进行翻译,可以实现将复数编码信息融合到词向量中,有效避免了翻译结果出现词序颠倒或难以准确表达句子语义等问题,提高了翻译结果的准确性。
上述实施例提供的文本翻译方法,通过对初始的机器翻译模型进行训练,可以提高训练好的机器翻译模型翻译的准确性;通过基于分词模型对原始文本进行分词处理,可以提高分词的准确性,进而提高了后续对训练样本数据进行复数编码的准确性;通过确定当前轮训练样本数据对应的整数编码信息,可以实现在整数编码信息的基础上进行复数编码,得到复数编码训练信息;通过第一子嵌入层、第二子嵌入层以及第三子嵌入层,可以确定当前轮训练样本数据对应的振幅值、频率权重值以及初始相位值,进而可以根据振幅值、频率权重值以及初始相位值将整数形式的整数编码信息转换成复数形式的复数编码训练信息;通过将复数编码训练信息与当前轮训练样本数据输入翻译层进行翻译训练,实现将位置信息融合到词向量后对机器翻译模型进行训练,使得训练好的机器翻译模型能够学习词组与词组之间的位置相关性,提高了机器翻译模型翻译的准确性;通过对词向量与复数编码训练信息进行相关性计算,可以根据对应的相关性分值调整频率权重值,使得机器翻译模型能够学习如何根据词组的不同位置,减小或增大复数编码信息对翻译结果的影响;通过将复数编码信息与文本信息输入机器翻译模型的翻译层进行翻译,可以实现将复数编码信息融合到词向量中,有效避免了翻译结果出现词序颠倒或难以准确表达句子语义等问题,提高了翻译结果的准确性。
请参阅图6,图6是本申请的实施例还提供一种文本翻译装置1000的示意性框图,该文本翻译装置用于执行前述的文本翻译方法。其中,该文本翻译装置可以配置于服务器或终端中。
如图6所示,该文本翻译装置1000,包括:文本获取模块1001、复数编码模块1002和文本翻译模块1003。
文本获取模块1001,用于获取待翻译的文本信息。
复数编码模块1002,用于调用机器翻译模型,将所述文本信息输入所述机器翻译模型的嵌入层进行位置信息的复数编码,获得所述文本信息对应的复数编码信息,所述复数编码信息包含所述文本信息中的各词组之间的位置相关性。
文本翻译模块1003,用于将所述复数编码信息与所述文本信息输入所述机器翻译模型的翻译层进行翻译,获得所述文本信息对应的翻译结果。
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的装置和各模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
上述的装置可以实现为一种计算机程序的形式,该计算机程序可以在如图7所示的计算机设备上运行。
请参阅图7,图7是本申请实施例提供的一种计算机设备的结构示意性框图。
请参阅图7,该计算机设备包括通过系统总线连接的处理器和存储器,其中,存储器可以包括非易失性存储介质和内存储器。
处理器用于提供计算和控制能力,支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境,该计算机程序被处理器执行时,可使得处理器执行任意一种文本翻译方法。
应当理解的是,处理器可以是中央处理单元(Central Processing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中,在一个实施例中,所述处理器用于运行存储在存储器中的计算机程序,以实现如下步骤:
获取待翻译的文本信息;调用机器翻译模型,将所述文本信息输入所述机器翻译模型的嵌入层进行位置信息的复数编码,获得所述文本信息对应的复数编码信息,所述复数编码信息包含所述文本信息中的各词组之间的位置相关性;将所述复数编码信息与所述文本信息输入所述机器翻译模型的翻译层进行翻译,获得所述文本信息对应的翻译结果。
在一个实施例中,所述处理器在实现调用机器翻译模型之前,还用于实现:
获取待训练的原始文本以及所述原始文本对应的原始翻译结果,根据所述原始文本确定每一轮的训练样本数据;将当前轮训练样本数据输入所述嵌入层进行复数编码,获得所述当前轮训练样本数据对应的复数编码训练信息;将所述复数编码训练信息与所述当前轮训练样本数据输入所述翻译层进行翻译训练,获得所述当前轮训练样本数据对应的翻译训练结果;基于预设的损失函数,根据所述翻译训练结果与所述原始翻译信息,确定所述当前轮训练样本数据对应的损失函数值;若所述损失函数值大于预设的损失值阈值,则调整所述机器翻译模型的参数,并进行下一轮训练,直至得到的损失函数值小于或等于所述损失值阈值,结束训练,得到训练好的所述机器翻译模型。
在一个实施例中,所述嵌入层包括用于输出振幅值的第一子嵌入层、用于输出频率权重值的第二子嵌入层以及用于输出初始相位值的第三子嵌入层;所述处理器在实现将当前轮训练样本数据输入所述嵌入层进行复数编码,获得所述当前轮训练样本数据对应的复数编码训练信息时,用于实现:
确定所述当前轮训练样本数据对应的整数编码信息;将所述当前轮训练样本数据分别输入所述第一子嵌入层、所述第二子嵌入层以及所述第三子嵌入层,获得所述当前轮训练样本数据对应的振幅值、频率权重值以及初始相位值;根据所述整数编码信息、所述振幅值、所述频率权重值以及所述初始相位值,确定所述复数编码训练信息。
在一个实施例中,所述处理器在实现根据所述整数编码信息、所述振幅值、所述频率权重值以及所述初始相位值,确定所述复数编码训练信息时,用于实现:
将所述整数编码信息与所述频率权重值相乘,并将得到的相乘值与所述初始相位值相加,获得对应的目标相位值;基于预设的复数公式,根据所述目标相位值与所述振幅值,确定对应的实部编码信息与虚部编码信息;根据所述实部编码信息与所述虚部编码信息,确定所述复数编码信息。
在一个实施例中,所述翻译层至少包括编码器,所述参数至少包括所述第二子嵌入层的所述频率权重值;所述处理器在实现调整所述机器翻译模型的参数时,用于实现:
获取所述编码器输出的词向量,对所述词向量与所述复数编码训练信息进行相关性计算,获得对应的相关性分值;当所述相关性分值小于预设的第一相关性阈值时,减小所述频率权重值;当所述相关性分值大于预设的第二相关性阈值时,增大所述频率权重值。
在一个实施例中,所述处理器在实现将所述文本信息输入所述机器翻译模型的嵌入层进行位置信息的复数编码之前,还用于实现:
对所述文本信息进行分词处理,获得所述文本信息顺序排列的词组集合;对所述词组集合进行位置信息的整数编码,获得所述文本信息对应的整数编码信息。
在一个实施例中,所述处理器在实现将所述文本信息输入所述机器翻译模型的嵌入层进行位置信息的复数编码时,用于实现:
将所述词组集合与所述整数编码信息输入所述嵌入层进行复数编码。
在一个实施例中,所述翻译层包括编码器与解码器;所述处理器在实现将所述复数编码信息与所述文本信息输入所述机器翻译模型的翻译层进行翻译,获得所述文本信息对应的翻译结果时,用于实现:
将所述复数编码信息与所述词组集合输入所述编码器进行编码处理,获得融合位置信息的词向量;将所述词向量输入所述解码器进行解码处理,获得所述翻译结果。
本申请的实施例中还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序中包括程序指令,所述处理器执行所述程序指令,实现本申请实施例提供的任一项文本翻译方法。
其中,所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元,例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备,例如所述计算机设备上配备的插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字卡(Secure Digital Card,SD Card),闪存卡(Flash Card)等。
进一步地,所述计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (7)
1.一种文本翻译方法,其特征在于,包括:
获取待翻译的文本信息;
调用机器翻译模型,将所述文本信息输入所述机器翻译模型的嵌入层进行位置信息的复数编码,获得所述文本信息对应的复数编码信息,所述复数编码信息包含所述文本信息中的各词组之间的位置相关性;
将所述复数编码信息与所述文本信息输入所述机器翻译模型的翻译层进行翻译,获得所述文本信息对应的翻译结果,所述翻译层包括编码器与解码器,所述编码器用于对所述复数编码信息与所述文本信息进行编码处理,所述解码器用于对所述编码器输出的词向量进行解码处理,得到所述翻译结果;
所述调用机器翻译模型之前,所述方法还包括:获取待训练的原始文本以及所述原始文本对应的原始翻译结果,根据所述原始文本确定每一轮的训练样本数据;将当前轮训练样本数据输入所述嵌入层进行复数编码,获得所述当前轮训练样本数据对应的复数编码训练信息;将所述复数编码训练信息与所述当前轮训练样本数据输入所述翻译层进行翻译训练,获得所述当前轮训练样本数据对应的翻译训练结果;基于预设的损失函数,根据所述翻译训练结果与所述原始翻译信息,确定所述当前轮训练样本数据对应的损失函数值;若所述损失函数值大于预设的损失值阈值,则调整所述机器翻译模型的参数,并进行下一轮训练,直至得到的损失函数值小于或等于所述损失值阈值,结束训练,得到训练好的所述机器翻译模型;
所述嵌入层包括用于输出振幅值的第一子嵌入层、用于输出频率权重值的第二子嵌入层以及用于输出初始相位值的第三子嵌入层;所述将当前轮训练样本数据输入所述嵌入层进行复数编码,获得所述当前轮训练样本数据对应的复数编码训练信息,包括:确定所述当前轮训练样本数据对应的整数编码信息;将所述当前轮训练样本数据分别输入所述第一子嵌入层、所述第二子嵌入层以及所述第三子嵌入层,获得所述当前轮训练样本数据对应的振幅值、频率权重值以及初始相位值;根据所述整数编码信息、所述振幅值、所述频率权重值以及所述初始相位值,确定所述复数编码训练信息;
所述参数至少包括所述第二子嵌入层的所述频率权重值;所述调整所述机器翻译模型的参数,包括:获取所述编码器输出的词向量,对所述词向量与所述复数编码训练信息进行相关性计算,获得对应的相关性分值;当所述相关性分值小于预设的第一相关性阈值时,减小所述频率权重值;当所述相关性分值大于预设的第二相关性阈值时,增大所述频率权重值。
2.根据权利要求1所述的文本翻译方法,其特征在于,所述根据所述整数编码信息、所述振幅值、所述频率权重值以及所述初始相位值,确定所述复数编码训练信息,包括:
将所述整数编码信息与所述频率权重值相乘,并将得到的相乘值与所述初始相位值相加,获得对应的目标相位值;
基于预设的复数公式,根据所述目标相位值与所述振幅值,确定对应的实部编码信息与虚部编码信息;
根据所述实部编码信息与所述虚部编码信息,确定所述复数编码信息。
3.根据权利要求1所述的文本翻译方法,其特征在于,所述将所述文本信息输入所述机器翻译模型的嵌入层进行位置信息的复数编码之前,还包括:
对所述文本信息进行分词处理,获得所述文本信息顺序排列的词组集合;
对所述词组集合进行位置信息的整数编码,获得所述文本信息对应的整数编码信息;
所述将所述文本信息输入所述机器翻译模型的嵌入层进行位置信息的复数编码,包括:
将所述词组集合与所述整数编码信息输入所述嵌入层进行复数编码。
4.根据权利要求3所述的文本翻译方法,其特征在于,所述将所述复数编码信息与所述文本信息输入所述机器翻译模型的翻译层进行翻译,获得所述文本信息对应的翻译结果,包括:
将所述复数编码信息与所述词组集合输入所述编码器进行编码处理,获得融合位置信息的词向量;
将所述词向量输入所述解码器进行解码处理,获得所述翻译结果。
5.一种文本翻译装置,其特征在于,用于执行权利要求1至4任一项所述的文本翻译方法,所述文本翻译装置包括:
文本获取模块,用于获取待翻译的文本信息;
复数编码模块,用于调用机器翻译模型,将所述文本信息输入所述机器翻译模型的嵌入层进行位置信息的复数编码,获得所述文本信息对应的复数编码信息,所述复数编码信息包含所述文本信息中的各词组之间的位置相关性;
文本翻译模块,用于将所述复数编码信息与所述文本信息输入所述机器翻译模型的翻译层进行翻译,获得所述文本信息对应的翻译结果,所述翻译层包括编码器与解码器,所述编码器用于对所述复数编码信息与所述文本信息进行编码处理,所述解码器用于对所述编码器输出的词向量进行解码处理,得到所述翻译结果。
6.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至4任一项所述的文本翻译方法。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如权利要求1至4任一项所述的文本翻译方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110637328.4A CN113268997B (zh) | 2021-06-08 | 2021-06-08 | 文本翻译方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110637328.4A CN113268997B (zh) | 2021-06-08 | 2021-06-08 | 文本翻译方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113268997A CN113268997A (zh) | 2021-08-17 |
CN113268997B true CN113268997B (zh) | 2024-03-08 |
Family
ID=77234516
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110637328.4A Active CN113268997B (zh) | 2021-06-08 | 2021-06-08 | 文本翻译方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113268997B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110765785A (zh) * | 2019-09-19 | 2020-02-07 | 平安科技(深圳)有限公司 | 基于神经网络的中英翻译方法、及其相关设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11138392B2 (en) * | 2018-07-26 | 2021-10-05 | Google Llc | Machine translation using neural network models |
-
2021
- 2021-06-08 CN CN202110637328.4A patent/CN113268997B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110765785A (zh) * | 2019-09-19 | 2020-02-07 | 平安科技(深圳)有限公司 | 基于神经网络的中英翻译方法、及其相关设备 |
Non-Patent Citations (1)
Title |
---|
Benyou Wang et al..ENCODING WORD ORDER IN COMPLEX EMBEDDINGS.《arXiv:1912.12333v2》.2020,第1-15页. * |
Also Published As
Publication number | Publication date |
---|---|
CN113268997A (zh) | 2021-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11816442B2 (en) | Multi-turn dialogue response generation with autoregressive transformer models | |
US20210365635A1 (en) | Joint intent and entity recognition using transformer models | |
CN110288980A (zh) | 语音识别方法、模型的训练方法、装置、设备及存储介质 | |
CN112487182A (zh) | 文本处理模型的训练方法、文本处理方法及装置 | |
CN113590761B (zh) | 文本处理模型的训练方法、文本处理方法及相关设备 | |
CN112800757B (zh) | 关键词生成方法、装置、设备及介质 | |
CN111368037A (zh) | 基于Bert模型的文本相似度计算方法和装置 | |
CN116645668B (zh) | 图像生成方法、装置、设备以及存储介质 | |
CN111401037B (zh) | 自然语言的生成方法、装置、电子设备及存储介质 | |
CN112052329A (zh) | 文本摘要生成方法、装置、计算机设备及可读存储介质 | |
CN112446211A (zh) | 文本处理装置、方法、设备和计算机可读存储介质 | |
CN113779277A (zh) | 用于生成文本的方法和装置 | |
CN112597778A (zh) | 一种翻译模型的训练方法、翻译方法以及设备 | |
CN111814479B (zh) | 一种企业简称生成及其模型的训练方法及装置 | |
CN113947091A (zh) | 用于语言翻译的方法、设备、装置和介质 | |
CN110188926A (zh) | 一种订单信息预测系统和方法 | |
CN113362804A (zh) | 一种合成语音的方法、装置、终端及存储介质 | |
CN113204629A (zh) | 文本匹配方法、装置、计算机设备及可读存储介质 | |
CN114281996B (zh) | 长文本分类方法、装置、设备及存储介质 | |
CN112307738B (zh) | 用于处理文本的方法和装置 | |
CN116127925B (zh) | 基于对文本进行破坏处理的文本数据增强方法及装置 | |
CN115033683B (zh) | 摘要生成方法、装置、设备及存储介质 | |
CN117173269A (zh) | 一种人脸图像生成方法、装置、电子设备和存储介质 | |
CN113268997B (zh) | 文本翻译方法、装置、计算机设备和存储介质 | |
CN113704466B (zh) | 基于迭代网络的文本多标签分类方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |