CN110807335A - 基于机器学习的翻译方法、装置、设备及存储介质 - Google Patents
基于机器学习的翻译方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110807335A CN110807335A CN201910824339.6A CN201910824339A CN110807335A CN 110807335 A CN110807335 A CN 110807335A CN 201910824339 A CN201910824339 A CN 201910824339A CN 110807335 A CN110807335 A CN 110807335A
- Authority
- CN
- China
- Prior art keywords
- word
- sentence
- graph
- state
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013519 translation Methods 0.000 title claims abstract description 102
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000010801 machine learning Methods 0.000 title claims abstract description 40
- 230000011218 segmentation Effects 0.000 claims abstract description 111
- 239000013598 vector Substances 0.000 claims abstract description 57
- 230000007246 mechanism Effects 0.000 claims description 34
- 238000010586 diagram Methods 0.000 claims description 24
- 230000004927 fusion Effects 0.000 claims description 24
- 230000015654 memory Effects 0.000 claims description 21
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 17
- 230000000306 recurrent effect Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 7
- 239000010410 layer Substances 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 240000007377 Petunia x hybrida Species 0.000 description 1
- 244000141353 Prunus domestica Species 0.000 description 1
- 125000002015 acyclic group Chemical group 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Abstract
本申请公开了一种基于机器学习的翻译方法、装置、设备及存储介质，涉及人工智能领域，该方法包括：获取第一语种类型的句子；采用不同的分词器将所述句子划分为至少两个分词序列；根据所述至少两个分词序列生成所述句子的词图结构；调用编码器将所述词图结构转换为所述句子的中间向量表示；调用解码器将所述中间向量表示转换为第二语种类型的句子。由于该词图表示覆盖了句子的多种分词可能性，因此能够解决分词产生错误划分，本申请解决分词产生错误划分，导致句子产生错误的语义或歧义，从而对句子的语义造成不可修复的破坏的问题，提高机器翻译模型的翻译准确度。
Description
技术领域
本申请实施例涉及人工智能领域，特别涉及一种基于机器学习的翻译方法、装置、设备及存储介质。
背景技术
基于机器学习的翻译系统是目前主流的翻译系统。典型的，基于机器学习的翻译系统所使用的神经网络模型包括：编码器和解码器。
在使用神经网络模型进行翻译时，由用户输入第一语种的句子，通过分词将句子表示成词序列，编码器将词序列转换为中间向量，解码器将中间向量转换为第二语种的句子。
但是由于分词可能会产生错误划分，导致句子产生错误的语义或歧义，从而对句子的语义造成不可修复的破坏，最终的翻译结果较差。
发明内容
本申请实施例提供了一种基于机器学习的翻译方法、装置、设备及存储介质，可以解决分词产生错误划分，导致句子产生错误的语义或歧义，从而对句子的语义造成不可修复的破坏，翻译效果较差的问题。所述技术方案如下：
一方面，提供了一种基于机器学习的翻译方法，该方法包括：
获取第一语种类型的句子；
采用不同的分词器将句子划分为至少两个分词序列；
根据至少两个分词序列生成句子的词图结构，词图结构中的词图边对应候选分词，词图结构中的节点对应相邻候选分词之间的边界；
调用编码器将词图结构基于与词图边垂直的维度转换为句子的中间向量表示；
调用解码器将中间向量表示转换为第二语种类型的句子。
另一方面，提供了一种基于机器学习的翻译装置，该装置包括：获取模块、分词模块、生成模块、编码模块和解码模块；
获取模块，被配置为获取第一语种类型的句子；
分词模块，被配置为采用不同的分词器将句子划分为至少两个分词序列；
生成模块，被配置为根据至少两个分词序列生成句子的词图结构，词图结构中的词图边对应候选分词，词图结构中的节点对应相邻候选分词之间的边界；
编码模块，被配置为调用编码器将词图结构基于与词图边垂直的维度转换为句子的中间向量表示；
解码模块，被配置为调用解码器将中间向量表示转换为第二语种类型的句子。
另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中提供的基于机器学习的翻译方法。
另一方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中提供的基于机器学习的翻译方法。
另一方面，提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行如上述本申请实施例中提供的基于机器学习的翻译方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过构建句子的词图表示，调用编码器将对源端语言生成的词图结构进行编码，将词图结构转换为句子的中间向量表示；由于该词图表示覆盖了句子的多种分词可能性，因此能够解决分词产生错误划分，导致句子产生错误的语义或歧义，从而对句子的语义造成不可修复的破坏的问题，提高机器翻译模型的翻译准确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是相关技术中的门控循环单元(Gated Recurrent Unit，GRU)的示意图；
图2是相关技术中的机器翻译模型的结构框图；
图3是本申请一个示例性实施例提供的机器翻译模型的结构框图；
图4是本申请一个示例性实施例提供的基于机器学习的翻译方法的流程图；
图5是本申请一个示例性实施例提供的翻译的示意图；
图6是本申请一个示例性实施例提供的基于机器学习的翻译方法的流程图；
图7是本申请一个示例性实施例提供的生成句子的词图结构的示意图；
图8是本申请一个示例性实施例提供的基于机器学习的翻译方法的流程图；
图9是本申请一个示例性实施例提供的基于机器学习的翻译方法的流程图；
图10是本申请一个示例性实施例提供的对词图状态进行编码的示意图；
图11是本申请一个示例性实施例提供的对词图状态进行编码的示意图；
图12是本申请一个示例性实施例提供的对词图状态进行编码的示意图；
图13是本申请一个示例性实施例提供的基于机器学习的翻译方法的流程图；
图14是本申请一个示例性实施例提供的基于机器学习的翻译装置的框图；
图15是本申请一个示例性实施例提供的服务器的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
首先，对本申请实施例中涉及的名词进行简单介绍：
机器翻译：是指通过计算机将一种自然语言的句子翻译成另一种自然语言的句子的翻译方式。通常，该机器翻译是通过训练好的机器翻译模型对句子进行翻译，示意性的，通过大量的翻译语料样本对机器翻译模型进行训练，该翻译语料样本中包括多组第一自然语言的语料和第二自然语言的语料之间的对应关系，每个第一自然语言的语料对应一个第二自然语言的语料作为翻译结果，训练完成后，用户将第一自然语言的源端句子输入该机器翻译模型后，输出得到第二自然语言的目标端句子。示意性的，将中文句子翻译为英文句子，中文句子即为源端句子，英文句子即为目标端句子；比如，机器翻译模型将句子“我必须解决这个问题。”翻译为句子“I must solve the problem.”，则句子“我必须解决这个问题。”是源端句子，句子“I must solve the problem.”是目标端句子。
循环神经网络(Recurrent Neural Network，RNN)：是一类人工神经网络，其可以通过为网络添加额外的权重来在网络图(network graph)中创建循环，以便维持一个内部状态。RNN应用于输入数据具有依赖性且是序列模式时的场景，即前一个输入和后一个输入是有关系的。RNN的隐藏层是循环的，这表明隐藏层的值不仅取决于当前的输入值，还取决于前一时刻隐藏层的值。具体的表现形式是RNN记住前面的信息并将其应用于计算当前输出的，这使得隐藏层之间的节点是有连接的。
GRU：是长短期记忆网络(Long Short-Term Memory，LSTM)的一种变体。GRU的结构与LSTM很相似，LSTM有三个门，而GRU只有两个门且没有细胞状态，简化了LSTM的结构。结合参考图1，GRU的两个门是更新门z和重置门r，“更新门”的作用是控制前一时刻的单元状态有多少信息数能被带入到当前状态中，“重置门”的作用是控制前一状态能被写入到当前状态的信息数。
示意性的，图2是相关技术中提供的机器翻译模型的结构框图，如图2所示，该机器翻译模型100通过注意力机制对序列进行建模，该机器翻译模型100包括编码器110和解码器120，其中，编码器110中包括自注意力模块111和前馈神经网络模块112；解码器120中包括自注意力模块121、源端注意力模块122以及前馈神经网络模块123；该机器翻译模块100中还包括特征映射网络130和softmax网络140，输入句子的词序列向量并通过编码器110进行编码以及通过解码器120进行解码后，通过特征映射网络130进行特征映射，并通过softmax网络140确定输出的翻译结果。
图2所示出的机器翻译模型的输入是句子的词序列向量，该句子的词序列向量是根据分词方式对句子进行分词后，将每个分词对应的词向量进行拼接后得到的。但是由于分词可能出现分词错误、分词歧义等问题，导致翻译结果较差。为此，本申请实施例提供有如下基于机器学习的翻译方法。
如图3所示，本申请提供的基于机器学习的翻译方法，输入编码器的是句子的词图结构。将第一语种的句子210输入该机器翻译模型，分词器221至分词器22N对第一语种的句子210分别进行分词处理，划分得到N个分词序列(N>＝2)。将N个分词序列对应的图结构进行合并操作，生成句子的词图结构，将该句子的词图结构输入编码器220，得到句子的中间向量表示，通过解码器240的解码，得出翻译结果，即第二语种的句子250。
示意性的，本申请涉及的应用场景至少包括如下场景：
1、该机器翻译模型应用于即时通信程序中，即时通信程序能够实现实时语音翻译；如：通过上述机器翻译模型能够实现即时通信程序语音/视频过程中的实时语音翻译；
2、该机器翻译模型应用于视频播放程序中，视频播放程序能够在视频播放过程中实现对第一自然语言的字幕进行实时翻译，得到第二自然语言的字幕；
3、该机器翻译模型应用于文档翻译软件中，可以用于实现对文档类内容快速准确的翻译；
4、该机器翻译模型应用于文章资讯阅读中，可以用于实现对国外资讯、文章或将自有内容进行翻译；
5、该机器翻译模型应用于外文网站翻译中，可以用于实现对国外电商网站、海淘服务网站的便捷访问；
6、该机器翻译模型应用于电子词典中，能够实现各种语言的快速准确的翻译查询；
7、该机器翻译模型应用于翻译机等实时翻译工具时，用户能够通过该实时翻译工具实现快速应答，如：在跨国会议场景中、境外旅游中。
值得注意的是，上述应用场景仅为示意性的举例，在实际操作中，通过上述机器翻译模型的训练方法对机器翻译模型进行训练的应用场景都可以使用本申请实施例中提供的机器翻译模型的训练方法，本申请实施例对此不加以限定。
图4示出了本申请一个示例性实施例提供的基于机器学习的翻译方法的流程图，以该方法应用于服务器中为例进行说明，如图4所示，该方法包括：
步骤301，获取第一语种类型的句子；
可选的，第一语种类型的句子由服务器获取，将第一语种类型的语句翻译为第二语种类型的句子。其中，第一语种类型包括但不限于：汉语、英语、法语、韩语、日语、德语、俄语、西班牙语中的至少一种。
步骤302，采用不同的分词器将句子划分为至少两个分词序列；
分词器是将输入的一段文本(句子)，分析成符合逻辑的分词序列的一种工具。
可选的，分词器采用的分词方法包括但不限于：基于词典分词算法(字符串匹配分词算法)、基于理解的分词方法、基于统计的机器学习算法中的至少一种。
示例性的，以分词器处理的是中文文本为例。中文分词是中文文本处理的一个基础步骤，也是中文人机自然语言交互的基础模块。不同于英文的是，中文句子中没有词的界限，因此在进行中文自然语言处理时，通常需要先进行分词，分词效果将直接影响词性，句法树等模块的效果。
示例性的，采用不同的分词器处理中文文本，得到至少两个分词序列。至少两个分词序列可以是互不相同的。对于中文文本“中华人民共和国”，分词器1的分词序列为“中华人民共和国”；分词器2的分词序列为“中华人民共和国”。
步骤303，根据至少两个分词序列生成句子的词图结构，词图结构中的词图边对应候选分词，词图结构中的节点对应相邻候选分词之间的边界；
词图(Lattice)指的是句子中的可能的候选分词构成的图。词图是有向无环图，有向指的是图中的边是有方向的，无环指的是无法从某个顶点出发经过若干条边回到该点。
可选的，词图能够表示句子潜在的多种切分方式，与普通的分词序列相比，词图是一种表达能力更丰富、灵活的表示结构。
示例性的，对于中文文本“中华人民共和国”，分词器1的分词序列为“中华人民共和国”；分词器2的分词序列为“中华人民共和国”，根据上述2个分词序列生成句子的词图结构。候选分词为“中华”、“人民”、“共和”、“国”和“人民共和国”。
步骤304，调用编码器将词图结构基于与词图边垂直的维度转换为句子的中间向量表示；
可选的，该编码器基于的神经网络包括但不限于：图循环神经网络和图卷积神经网络中的至少一种。
示例性的，该编码器基于图循环神经网络，使用的模型包括但不限于：GRU模型和长短期记忆模型中的至少一种。
可选的，调用基于词图状态的编码器模型将词图结构转换为句子的中间向量表示；其中，词图状态包括词图结构中的所有节点的状态集合和全局状态。
可选的，词图状态是一个集合，表示一个句子的语义信息，随着基于与词图边垂直的维度的迭代进行更新。
可选的，全局状态是句级别的状态，用来建模上下文信息，以辅助对节点间长距离依赖的建模。
步骤305，调用解码器将中间向量表示转换为第二语种类型的句子；
第二语种类型的句子是第一语种类型的句子的翻译结果。
可选的，第二语种类型包括但不限于：汉语、英语、法语、韩语、日语、德语、俄语、西班牙语中的至少一种。第二语种类型与第一语种类型是不同的语种类型。
示例性的，以第一语种类型为汉语，第二语种类型为英语为例进行说明。在如图5所示的翻译软件中，用户输入第一语种类型的句子“房价正在持续上涨”，选择第二语种类型为英语进行翻译，则与该第一语种类型的句子对应的第二语种类型的句子显示为“Thehousing prices continued to rise”。其中，第一语种类型的句子中的每个词汇与第二语种类型的句子中的单词或短语对应，如：词汇“房价”与短语“the housing prices”对应，词汇“正在持续”与单词“continued”对应，词汇“上涨”与短语“to rise”对应。
综上所述，本实施例提供的方法，通过构建句子的词图表示，调用编码器将对源端语言生成的词图结构进行编码，将词图结构转换为句子的中间向量表示，由于该词图表示覆盖了句子的多种分词可能性，因此能够解决分词产生错误划分，导致句子产生错误的语义或歧义，从而对句子的语义造成不可修复的破坏的问题，提高机器翻译模型的翻译准确度。
在基于图4的可选实施例中，图6示出了本申请一个示例性实施例提供的基于机器学习的翻译方法的流程图。在本实施例中，上述实施例中的步骤303可以替换实现为步骤3031和步骤3032，该方法包括：
步骤3031，将至少两个分词序列分别进行图转换处理，得到至少两个图结构；
可选的，由至少两个不同的分词器对句子进行划分，得到至少两个分词序列。其中，一个分词序列对应一个图结构。
可选的，至少两个不同的分词器包括但不限于如下分词器中的至少两个：基于美国滨州大学所提供的开源数据集训练得到的第一分词器(Chinese Tree Bank,CTB)、基于微软所提供的开源数据集训练得到的第二分词器(Microsoft Research,MSR)、基于北京大学所提供的开源数据集训练得到的第三分词器(Peking University，PKU)和基于谷歌所提供的开源数据集训练得到的第四分词器sentencepiece。
如图7所示，图7示出了本申请一个示例性实施例提供的生成句子的词图结构的示意图；
对于中文文本“副总理率团访华”，采用3个不同分词器对该句子进行划分。其中，分词器1对应的分词序列为“副总理率团访华”；分词器2对应的分词序列为“副总理率团访华”；分词器3对应的分词序列为“副总理率团访华”。
步骤3032，将至少两个图结构进行合并，得到句子的词图结构，词图结构中的词图边对应候选分词，词图结构中的节点对应相邻候选分词之间的边界；
在图结构中，任意两个字符的边界对应图上的节点。如图5所示，存在8个节点，从v0至v7。字符“副”和字符“总”的边界对应的是节点v1，字符“总”和字符“理”的边界对应的节点是v2，字符“理”和字符“率”的边界对应的节点是v3。节点v1至节点v3的词图边对应的是候选分词c1:3“总理”。
将分词器1、分词器2和分词器3对应的图结构进行合并，去除重复的词图边，得到句子的词图结构。其中，候选分词包括：c0:1“副”、c1:3“总理”、c0:3“副总理”、c3:4“率”、c3:5“率团”、c4:5“团”、c5:6“访”、c5:7“访华”、c6:7“华”。
该词图结构能够表示句子的多种切分方式，除了上述3个分词器对应的划分方式外，还包括如“副总理率团访华”、“副总理率团访华”、“副总理率团访华”、“副总理率团访华”和“副总理率团访华”等划分方式得到的分词序列。
综上所述，本实施例提供的方法，通过运用词图结构对句子进行处理，保留了句子潜在的多种切分方式，允许错误分词和分词歧义的存在，具有容错的能力，避免了简单的分词产生错误划分，导致句子产生错误的语义或歧义，从而对句子的语义造成不可修复的破坏的情况。
在基于图4的可选实施例中，图8示出了本申请一个示例性实施例提供的基于机器学习的翻译方法的流程图，在本实施例中基于词图状态的编码器模型是基于词图状态的循环神经网络。在本实施例中，上述实施例中的步骤304可以替换实现为步骤701和步骤702，该方法包括：
步骤701，调用基于词图结构的编码器模型，将词图结构对应的词图状态进行T次迭代更新；
在一个示例中，T为固定值，T为整数。
可选的，T的值可以是服务器中预先存储的或运维人员所设置的，也可以是服务器从其他服务器中获取的，本申请实施例对T的值的设定方式不加以限定。
词图状态是随着迭代过程的进行而更新的，因此词图状态是一个与迭代次数相关的表示。在第t次迭代时(t＝0...T)，词图的节点状态集合记为
其中
为节点vi在第t次迭代时的状态；相应地，第t次迭代时的全局状态，记为gt。
步骤702，根据T次迭代更新的词图状态确定句子的中间向量表示；
T次迭代更新的词图状态包括：T次迭代更新后，词图结构中的所有节点的状态集合HT和全局状态gT。
综上所述，本实施例提供的方法，通过对词图状态进行T次迭代更新，对词图结构中的节点进行建模，同时引入了全局状态，用来建模上下文信息，以辅助对节点间长距离依赖的建模，解决了难以获取节点间的长期依赖关系的问题。
同时，由于词图状态的循环步数T是固定的，与翻译模型(分词器+编码器+解码器)的建模过程和词图的具体结构进行了解耦，因此使得翻译模型的复杂度受到控制，从而不受词图结构的个体复杂度的影响。
在基于图8的可选实施例中，图9示出了本申请一个示例性实施例提供的基于机器学习的翻译方法的流程图。在本实施例中，上述实施例中的步骤701可以替换实现为步骤7011、步骤7012和步骤7013，该方法包括：
步骤7011，在调用基于词图状态的编码器进行第t次迭代更新时，根据词图结构中的第i个节点vi在上一次迭代更新后的隐状态、第i个节点vi的邻接节点相关的状态信息和上一次迭代更新后的全局状态，更新得到第i个节点vi在本次迭代更新后的隐状态；
邻接节点是指与一个节点相接的节点。结合参考图6中的分词器1对应的词图结构，节点v3的邻接节点是节点v0和节点v5，节点v5的邻接节点是节点v3和节点v7。
示例性的，在进行第t次迭代更新时，将第i个节点vi在上一次迭代更新后的隐状态记为将第i个节点vi在本次迭代更新后的隐状态记为
上一次迭代更新后的全局状态记为gt-1。
结合参考图10，编码器在垂直于词图边的维度上进行建模，对词图结构的词图状态进行T次迭代更新。
示例性的，需要根据第3个节点v3在上一次迭代更新后的隐状态
节点v3的邻接节点v0、v1、v4和v5相关的状态信息，上一次迭代更新后的全局状态gt-1，得到词图结构中的节点v3在第t次迭代更新后的隐状态
步骤7012，根据所有节点在本次迭代更新后的隐状态，更新得到本次迭代更新后的全局状态；
可选的，全局状态是句级别的状态，用来建模上下文信息，以辅助对节点间长距离依赖的建模。
根据如下公式，可得本次迭代更新后的全局状态gt：
其中，式中的σ为sigmoid函数，让
和
的值趋向于0或者1；式中的⊙为Hadamard乘积，即两个量的对应元素的乘积；式中的tanh为双曲正切函数；矩阵
矩阵
矩阵
和向量
是门控循环单元的参数；
表示在第t次迭代时的所有节点的隐状态的均值；上标gr，gz和gc分别对应门控循环单元中的重置门，更新门和候选隐状态；
表示在第t次迭代的重置门；
表示在第t次迭代的更新门；
表示在第t次迭代更新后的全局状态的候选隐状态；gt表示在第t次迭代更新后的全局状态。
如图11所示，编码器在垂直于词图边的维度上进行建模，对词图结构的词图状态进行T次迭代更新。
示意的，根据在第t次迭代时的所有节点的隐状态
得到第t次迭代更新后的全局状态gt。
步骤7013，在t不等于T时，将t加一后重复上述两个步骤；
示例性的，对词图结构的词图状态进行T次迭代更新。结合参考图9，在得到第t次迭代更新后的所有节点vi在本次迭代更新后的隐状态
和全局状态gt之后，由于t不等于T，对词图结构的词图状态进行第t+1次迭代更新,直至完成T次迭代更新。
步骤702，根据T次迭代更新的词图状态确定句子的中间向量表示；
在一个示例中，根据T次迭代更新的词图状态确定句子的中间向量表示，包括：将T次迭代更新的T个词图状态按照时间维度的第三注意力机制进行融合，得到融合后的词图状态，作为句子的中间向量表示。
可选的，在编码器完成循环迭代后，第三注意力机制用于对节点的历史隐状态加权求和，得到每个节点的最终状态hi。
通过第三注意力机制，每个节点能够动态地决定其状态hi的信息由哪些历史隐状态组成，并控制每个历史隐状态的贡献值。
确定句子的中间向量表示的公式如下所示：
其中，
为节点vi的隐状态
在第t次迭代时的归一化权重，通过第三注意机制计算所得；f(·)是一个单层神经网络。
如图12所示，编码器在垂直于词图边的维度上进行建模，对词图结构的词图状态进行T次迭代更新。
示意的，根据节点v7的历史隐状态
和T次迭代更新后的全局状态gT,得到节点v7的最终状态h7。
根据更新后的所有节点的最终状态hi，得到句子的中间向量。
综上所述，本实施例提供的方法，通过利用基于词图状态的循环神经网络的编码器，在垂直于词图边的维度上进行建模，对词图结构的词图状态进行T次迭代更新，解决了传统的模型只能建模文本的词序列，不能对图结构进行处理的问题。
在基于图9的可选实施例中，邻接节点相关的状态信息，包括：入度边的融合信息、出度边的融合信息、入度节点的融合信息和出度节点的融合信息；
入度是指图中某点作为图中的边的终点。
出度是指图中某点作为图中的边的起点。
结合参考图7中的分词器1对应的词图结构，节点v5的入度边是候选分词c3:5“率团”对应的边，出度边是候选分词c5:7“访华”对应的边，入度节点是v3，出度节点是v7。
根据第一注意力机制将第i个节点在本次迭代更新中的入度边对应的候选词向量以及第i个节点的位置嵌入进行融合，得到入度边的融合信息；
其中，表示节点vi在第t次迭代的入度所对应的候选词向量；将vi的邻接节点按照入度分为1个集合，表示为iNodes(vi)；
为vi的第j个入度边所对应候选分词cj:i的词向量；Vx表示源端词表；Ep(vj)是节点vj的位置嵌入(Position Embedding)，用来编码节点在词图中的拓扑序；标量
为节点vi对第j个入度的第一注意力机制中的注意力权重。
根据第二注意力机制将第i个节点在本次迭代更新中的出度边对应的候选词向量以及第i个节点的位置嵌入进行融合，得到出度边的融合信息；
其中，
表示节点vi在第t次迭代的出度所对应的候选词向量；将vi的邻接节点按照出度分为1个集合，表示为oNodes(vi)；
为vi的第k个出度边所对应候选分词ci:k的词向量，Vx表示源端词表；Ep(vk)是节点vk的位置嵌入，用来编码节点在词图中的拓扑序；标量
为节点vi对第k个出度的第二注意力机制中的注意力权重。
根据第一注意力机制将第i个节点在上一次迭代更新中的入度节点对应的隐状态以及第i个节点的位置嵌入进行融合，得到入度节点的融合信息；
其中，
表示融合的入度的候选前隐状态；将vi的邻接节点按照入度分为1个集合，表示为iNodes(vi)；Ep(vj)是节点vj的位置嵌入，用来编码节点在词图中的拓扑序；
表示节点vj在第t-1次迭代时的状态；标量
为节点vi对第j个入度的第一注意力机制中的注意力权重。
根据第二注意力机制将第i个节点在上一次迭代更新中的出度节点对应的隐状态以及第i个节点的位置嵌入进行融合，得到出度节点的融合信息。
其中，
表示融合的出度候选前隐状态；将vi的邻接节点按照出度分为1个集合，表示为oNodes(vi)；Ep(vk)是节点vk的位置嵌入，用来编码节点在词图中的拓扑序；表示节点vk在第t-1次迭代时的状态；标量
为节点vi对第k个出度的第二注意力机制中的注意力权重。
可选的，第一注意力机制和第二注意力机制中的权重相同或不同。
其中，为节点vi对第j个入度的第一注意力机制中的注意力权重；
为节点vi对第k个出度的第二注意力机制中的注意力权重；Ew(cj:i)为候选分词cj:i对参数矩阵Ew进行索引，所得到的相应词向量；Ew(ci:k)为候选分词ci:k对参数矩阵Ew进行索引，所得到的相应词向量；
中的分号表示对两个向量的拼接操作；f(·)是一个单层神经网络；Zα和Zβ为归一化项，定义如下：
对词图中vi的节点状态
按照如下方式进行更新，得到
其中，式中的σ为sigmoid函数，让
和
的值趋向于0或者1；式中的⊙为Hadamard乘积，即两个量的对应元素的乘积；式中的tanh为双曲正切函数；矩阵
矩阵
矩阵和向量
为模型参数；上标r，z和c分别门控循环单元中的重置门，更新门和候选隐状态；
表示对和
进行拼接操作得到的向量；
表示对
和
进行拼接操作得到的向量；表示在第t次迭代的重置门，
表示在第t次迭代的更新门；表示在第t次迭代的第i个节点的候选隐状态；表示在第t次迭代的第i个节点的隐状态。
综上所述，本实施例提供的方法，通过在垂直于词图边的维度上进行建模，每个节点的信息来源可以包括入度和出度的信息，使得入度信息和出度信息可以在语义上相互作用；同时引入第一注意力机制和第二注意力机制，使得模型能够区分入度信息和出度信息。
在基于图9的可选实施例中，上述基于词图结构的编码器是需要预先训练得到的。示例性的，采用基于图循环神经网络的词图状态编码器，给定源句x和前j-1个译文单词，通过线性变换和softmax函数来计算yj的翻译概率，形式如下：
其中，x为源句；yj为目标端第j个词；为yj在第L层输出的隐状态；W为参数矩阵，对
进行线性变换。
给定训练数据集
基于词图结构的编码器，得到目标函数具体定义如下：
其中，
为训练数据集；x为源句；y为目标句；θ为参数。
该式表示给定一个源句x时，目标句y为其翻译结果的条件概率，并将其根据贝叶斯公式分解为所有译文单词的概率连乘。特别地，在本申请的实施例中，源句x用词图结构进行表示。
训练过程以该式定义的似然函数为目标，通过极大似然估计来优化参数θ。
结合参考图13，对基于机器学习的翻译方法在翻译场景中的实现方式进行示例性的说明。
一：对原始文本进行预处理，生成词图结构。用户将原始文本输入服务器中，服务器使用3个不同的分词器对原始文本进行分词处理，得到词序列。服务器将得到的3个词序列转换为图结构，对3个图结构进行合并、剪枝，去掉重复的词图边，得到该原始原本的词图结构。
二：对原始文本的词图状态进行编码。基于图循环神经网络，服务器对词图状态进行迭代更新，其中，引入了全局状态，用来建模上下文信息。重复上述步骤，直到完成对词图状态的T次迭代更新。在编码器完成迭代循环后，服务器采用基于时间维度的注意机制，对各节点的历史隐状态进行融合，转换为原始文本的中间向量表示。
三：对编码生成的中间向量进行解码，输出原始文本对应的新单词，直至所有单词输出完成。
四：结束对原始文本的翻译，返回译文。
图14是本申请一个示例性实施例提供的基于机器学习的翻译装置的框图，该装置包括：获取模块1401、分词模块1402、生成模块1403、编码模块1404和解码模块1405；
获取模块1401，被配置为获取第一语种类型的句子；
分词模块1402，被配置为采用不同的分词器将句子划分为至少两个分词序列；
生成模块1403，被配置为根据至少两个分词序列生成句子的词图结构，词图结构中的词图边对应候选分词，词图结构中的节点对应相邻候选分词之间的边界；
编码模块1404，被配置为调用编码器将词图结构基于与词图边垂直的维度转换为句子的中间向量表示；
解码模块1405，被配置为调用解码器将中间向量表示转换为第二语种类型的句子。
在一个示例中，分词模块1402，被配置为采用至少两个不同的分词器对句子分别进行分词处理，得到至少两个分词序列。
在一个示例中，生成模块1403，被配置为将至少两个分词序列分别进行图转换处理，得到至少两个图结构；生成模块1403，被配置为将至少两个图结构进行合并，得到句子的词图结构。
在一个示例中，编码模块1404，被配置为调用基于词图状态的编码器模型将词图结构转换为句子的中间向量表示；
其中，词图状态包括词图结构中的所有节点的状态集合和全局状态。
在一个示例中，基于词图状态的编码器模型是基于词图状态的循环神经网络；编码模块1404，被配置为调用基于词图状态的循环神经网络，将词图结构对应的词图状态进行T次迭代更新；编码模块1404，被配置为根据T次迭代更新的词图状态确定句子的中间向量表示。
在一个示例中，编码模块1404，被配置为在调用基于词图状态的编码器进行第t次迭代更新时，根据词图结构中的第i个节点vi在上一次迭代更新后的隐状态、第i个节点vi的邻接节点相关的状态信息和上一次迭代更新后的全局状态，更新得到第i个节点vi在本次迭代更新后的隐状态；
编码模块1404，被配置为根据所有节点在本次迭代更新后的隐状态，更新得到本次迭代更新后的全局状态；
编码模块1404，被配置为在t不等于T时，将t加一后重复上述两个步骤。
在一个示例中，邻接节点相关的状态信息，包括：入度边的融合信息、出度边的融合信息、入度节点的融合信息和出度节点的融合信息；
编码模块1404，被配置为根据第一注意力机制将第i个节点在本次迭代更新中的入度边对应的候选词向量以及第i个节点的位置嵌入进行融合，得到入度边的融合信息；
编码模块1404，被配置为根据第二注意力机制将第i个节点在本次迭代更新中的出度边对应的候选词向量以及第i个节点的位置嵌入进行融合，得到出度边的融合信息；
编码模块1404，被配置为根据第一注意力机制将第i个节点在上一次迭代更新中的入度节点对应的隐状态以及第i个节点的位置嵌入进行融合，得到入度节点的融合信息；
编码模块1404，被配置为根据第二注意力机制将第i个节点在上一次迭代更新中的出度节点对应的隐状态以及第i个节点的位置嵌入进行融合，得到出度节点的融合信息。
在一个示例中，第一注意力机制和第二注意力机制中的权重相同或不同。
在一个示例中，T为固定值。
在一个示例中，编码模块1404，被配置为将T次迭代更新的T个词图状态按照时间维度的第三注意力机制进行融合，得到融合后的词图状态，作为句子的中间向量表示。
需要说明的是：上述实施例提供的基于机器学习的翻译装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
本申请还提供了一种服务器，该服务器包括处理器和存储器，存储器中存储有至少一条指令，至少一条指令由处理器加载并执行以实现上述各个方法实施例提供的基于机器学习的翻译方法。需要说明的是，该服务器可以是如下图15所提供的服务器。
请参考图15，其示出了本申请一个示例性实施例提供的服务器的结构示意图。具体来讲：服务器1500包括中央处理单元(CPU)1501、包括随机存取存储器(RAM)1502和只读存储器(ROM)1503的系统存储器1504，以及连接系统存储器1504和中央处理单元1501的系统总线1505。服务器1500还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)1506，和用于存储操作系统1513、应用程序1514和其他程序模块1515的大容量存储设备1507。
基本输入/输出系统1506包括有用于显示信息的显示器1508和用于用户输入信息的诸如鼠标、键盘之类的输入设备1509。其中显示器1508和输入设备1509都通过连接到系统总线1505的输入输出控制器1510连接到中央处理单元1501。基本输入/输出系统1506还可以包括输入输出控制器1510以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1510还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备1507通过连接到系统总线1505的大容量存储控制器(未示出)连接到中央处理单元1501。大容量存储设备1507及其相关联的计算机可读介质为服务器1500提供非易失性存储。也就是说，大容量存储设备1507可以包括诸如硬盘或者CD-ROI驱动器之类的计算机可读介质(未示出)。
不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1504和大容量存储设备1507可以统称为存储器。
存储器存储有一个或多个程序，一个或多个程序被配置成由一个或多个中央处理单元1501执行，一个或多个程序包含用于实现上述基于机器学习的翻译方法的指令，中央处理单元1501执行该一个或多个程序实现上述各个方法实施例提供的基于机器学习的翻译方法。
根据本申请的各种实施例，服务器1500还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1500可以通过连接在系统总线1505上的网络接口单元1511连接到网络1512，或者说，也可以使用网络接口单元1511来连接到其他类型的网络或远程计算机系统(未示出)。
存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，一个或者一个以上程序包含用于进行本发明实施例提供的基于机器学习的翻译方法中由服务器所执行的步骤。
本申请实施例还提供一种计算机设备，该计算机设备包括存储器和处理器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并实现上述基于机器学习的翻译方法。
本申请实施例还提供一种计算机可读存储介质，该可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述基于机器学习的翻译方法。
本申请还提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述各个方法实施例提供的基于机器学习的翻译方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，该计算机可读存储介质可以是上述实施例中的存储器中所包含的计算机可读存储介质；也可以是单独存在，未装配入终端中的计算机可读存储介质。该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述基于机器学习的翻译方法。
可选地，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、固态硬盘(SSD，Solid State Drives)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,Resistance RandomAccess Memory)和动态随机存取存储器(DRAM，Dynamic Random Access Memory)。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (15)
1.一种基于机器学习的翻译方法，其特征在于，所述方法包括：
获取第一语种类型的句子；
采用不同的分词器将所述句子划分为至少两个分词序列；
根据所述至少两个分词序列生成所述句子的词图结构，所述词图结构中的词图边对应候选分词，所述词图结构中的节点对应相邻候选分词之间的边界；
调用编码器将所述词图结构基于与所述词图边垂直的维度转换为所述句子的中间向量表示；
调用解码器将所述中间向量表示转换为第二语种类型的句子。
2.根据权利要求1所述的方法，其特征在于，所述采用不同的分词器将所述句子划分为至少两个分词序列，包括：
采用至少两个不同的分词器对所述句子分别进行分词处理，得到至少两个分词序列。
3.根据权利要求1所述的方法，其特征在于，所述根据所述至少两个分词序列生成所述句子的词图结构，包括：
将所述至少两个分词序列分别进行图转换处理，得到至少两个图结构；
将所述至少两个图结构进行合并，得到所述句子的词图结构。
4.根据权利要求1至3任一所述的方法，其特征在于，所述调用编码器将所述词图结构基于与所述词图边垂直的维度转换为所述句子的中间向量表示，包括：
调用基于词图状态的编码器模型将所述词图结构基于与所述词图边垂直的维度转换为所述句子的中间向量表示；
其中，所述词图状态包括所述词图结构中的所有节点的状态集合和全局状态。
5.根据权利要求4所述的方法，其特征在于，所述基于词图状态的编码器模型是基于词图状态的循环神经网络；
所述调用基于词图结构的编码器模型基于与所述词图边垂直的维度将所述词图结构转换为所述句子的中间向量表示，包括：
调用所述基于词图状态的循环神经网络，将所述词图结构对应的词图状态进行T次迭代更新；
根据所述T次迭代更新的词图状态确定所述句子的中间向量表示。
6.根据权利要求5所述的方法，其特征在于，所述调用所述基于词图状态的编码器模型，将所述词图结构对应的词图状态进行T次迭代更新，包括：
在调用所述基于词图状态的编码器进行第t次迭代更新时，根据所述词图结构中的第i个节点vi在上一次迭代更新后的隐状态、所述第i个节点vi的邻接节点相关的状态信息和上一次迭代更新后的全局状态，更新得到所述第i个节点vi在本次迭代更新后的隐状态；
根据所有节点在本次迭代更新后的隐状态，更新得到本次迭代更新后的全局状态；
在所述t不等于T时，将所述t加一后重复上述两个步骤。
7.根据权利要求6所述的方法，其特征在于，所述邻接节点相关的状态信息，包括：入度边的融合信息、出度边的融合信息、入度节点的融合信息和出度节点的融合信息；
根据第一注意力机制将所述第i个节点在本次迭代更新中的入度边对应的候选词向量以及所述第i个节点的位置嵌入进行融合，得到所述入度边的融合信息；
根据第二注意力机制将所述第i个节点在本次迭代更新中的出度边对应的候选词向量以及所述第i个节点的位置嵌入进行融合，得到所述出度边的融合信息；
根据所述第一注意力机制将所述第i个节点在上一次迭代更新中的入度节点对应的隐状态以及所述第i个节点的位置嵌入进行融合，得到所述入度节点的融合信息；
根据所述第二注意力机制将所述第i个节点在上一次迭代更新中的出度节点对应的隐状态以及所述第i个节点的位置嵌入进行融合，得到所述出度节点的融合信息。
8.根据权利要求7所述的方法，其特征在于，所述第一注意力机制和所述第二注意力机制中的权重相同或不同。
9.根据权利要求6所述的方法，其特征在于，所述T为固定值。
10.根据权利要求5所述的方法，其特征在于，所述根据所述T次迭代更新的词图状态确定所述句子的中间向量表示，包括：
将所述T次迭代更新的T个词图状态按照时间维度的第三注意力机制进行融合，得到融合后的词图状态，作为所述句子的中间向量表示。
11.一种基于机器学习的翻译装置，其特征在于，所述装置包括：获取模块、分词模块、生成模块、编码模块和解码模块；
所述获取模块，被配置为获取第一语种类型的句子；
所述分词模块，被配置为采用不同的分词器将所述句子划分为至少两个分词序列；
所述生成模块，被配置为根据所述至少两个分词序列生成所述句子的词图结构，所述词图结构中的词图边对应候选分词，所述词图结构中的节点对应相邻候选分词之间的边界；
所述编码模块，被配置为调用编码器将所述词图结构基于与所述词图边垂直的维度转换为所述句子的中间向量表示；
所述解码模块，被配置为调用解码器将所述中间向量表示转换为第二语种类型的句子。
12.根据权利要求11所述的装置，其特征在于，
所述分词模块，被配置为采用至少两个不同的分词器对所述句子分别进行分词处理，得到至少两个分词序列。
13.根据权利要求11所述的装置，其特征在于，
所述生成模块，被配置为将所述至少两个分词序列分别进行图转换处理，得到至少两个图结构；
所述生成模块，被配置为将所述至少两个图结构进行合并，得到所述句子的词图结构。
14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行以实现如权利要求1至10任一所述的基于机器学习的翻译方法。
15.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如权利要求1至10任一所述的基于机器学习的翻译方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910824339.6A CN110807335B (zh) | 2019-09-02 | 2019-09-02 | 基于机器学习的翻译方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910824339.6A CN110807335B (zh) | 2019-09-02 | 2019-09-02 | 基于机器学习的翻译方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110807335A true CN110807335A (zh) | 2020-02-18 |
| CN110807335B CN110807335B (zh) | 2023-06-30 |
Family
ID=69487477
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910824339.6A Active CN110807335B (zh) | 2019-09-02 | 2019-09-02 | 基于机器学习的翻译方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110807335B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111368537A (zh) * | 2020-02-24 | 2020-07-03 | 苏州思必驰信息科技有限公司 | 句子相似度确定方法及系统 |
| CN111563391A (zh) * | 2020-04-28 | 2020-08-21 | 北京金山云网络技术有限公司 | 机器翻译方法、装置及电子设备 |
| CN111723649A (zh) * | 2020-05-08 | 2020-09-29 | 天津大学 | 一种基于语义分解的短视频事件检测方法 |
| CN111831626A (zh) * | 2020-07-16 | 2020-10-27 | 平安科技（深圳）有限公司 | 数据库逻辑关系的图结构生成方法、数据查询方法及装置 |
| CN112580370A (zh) * | 2020-12-24 | 2021-03-30 | 内蒙古工业大学 | 一种融合语义知识的蒙汉神经机器翻译方法 |
| CN114332872A (zh) * | 2022-03-14 | 2022-04-12 | 四川国路安数据技术有限公司 | 一种基于图注意力网络的合同文档容错信息提取方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105912533A (zh) * | 2016-04-12 | 2016-08-31 | 苏州大学 | 面向神经机器翻译的长句切分方法及装置 |
| CN106537373A (zh) * | 2014-07-16 | 2017-03-22 | 美国联合包裹服务公司 | 语言内容翻译 |
| US20170323203A1 (en) * | 2016-05-06 | 2017-11-09 | Ebay Inc. | Using meta-information in neural machine translation |
| US20180011843A1 (en) * | 2016-07-07 | 2018-01-11 | Samsung Electronics Co., Ltd. | Automatic interpretation method and apparatus |
| WO2018010455A1 (zh) * | 2016-07-12 | 2018-01-18 | 华为技术有限公司 | 一种基于神经网络的翻译方法及装置 |
| WO2018081089A1 (en) * | 2016-10-26 | 2018-05-03 | Deepmind Technologies Limited | Processing text sequences using neural networks |
| CN108874785A (zh) * | 2018-06-01 | 2018-11-23 | 清华大学 | 一种翻译处理方法及系统 |
| CN109543195A (zh) * | 2018-11-19 | 2019-03-29 | 腾讯科技（深圳）有限公司 | 一种文本翻译的方法、信息处理的方法以及装置 |
| US20190155909A1 (en) * | 2017-11-23 | 2019-05-23 | Samsung Electronics Co., Ltd. | Machine translation method and apparatus |
-
2019
- 2019-09-02 CN CN201910824339.6A patent/CN110807335B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106537373A (zh) * | 2014-07-16 | 2017-03-22 | 美国联合包裹服务公司 | 语言内容翻译 |
| CN105912533A (zh) * | 2016-04-12 | 2016-08-31 | 苏州大学 | 面向神经机器翻译的长句切分方法及装置 |
| US20170323203A1 (en) * | 2016-05-06 | 2017-11-09 | Ebay Inc. | Using meta-information in neural machine translation |
| US20180011843A1 (en) * | 2016-07-07 | 2018-01-11 | Samsung Electronics Co., Ltd. | Automatic interpretation method and apparatus |
| WO2018010455A1 (zh) * | 2016-07-12 | 2018-01-18 | 华为技术有限公司 | 一种基于神经网络的翻译方法及装置 |
| WO2018081089A1 (en) * | 2016-10-26 | 2018-05-03 | Deepmind Technologies Limited | Processing text sequences using neural networks |
| US20190155909A1 (en) * | 2017-11-23 | 2019-05-23 | Samsung Electronics Co., Ltd. | Machine translation method and apparatus |
| CN108874785A (zh) * | 2018-06-01 | 2018-11-23 | 清华大学 | 一种翻译处理方法及系统 |
| CN109543195A (zh) * | 2018-11-19 | 2019-03-29 | 腾讯科技（深圳）有限公司 | 一种文本翻译的方法、信息处理的方法以及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 李博涵;刘汇丹;龙从军;: "深度学习在汉藏机器翻译中的应用研究", 民族翻译, no. 03 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111368537A (zh) * | 2020-02-24 | 2020-07-03 | 苏州思必驰信息科技有限公司 | 句子相似度确定方法及系统 |
| CN111368537B (zh) * | 2020-02-24 | 2023-08-11 | 思必驰科技股份有限公司 | 句子相似度确定方法及系统 |
| CN111563391A (zh) * | 2020-04-28 | 2020-08-21 | 北京金山云网络技术有限公司 | 机器翻译方法、装置及电子设备 |
| CN111723649A (zh) * | 2020-05-08 | 2020-09-29 | 天津大学 | 一种基于语义分解的短视频事件检测方法 |
| CN111831626A (zh) * | 2020-07-16 | 2020-10-27 | 平安科技（深圳）有限公司 | 数据库逻辑关系的图结构生成方法、数据查询方法及装置 |
| CN112580370A (zh) * | 2020-12-24 | 2021-03-30 | 内蒙古工业大学 | 一种融合语义知识的蒙汉神经机器翻译方法 |
| CN112580370B (zh) * | 2020-12-24 | 2023-09-26 | 内蒙古工业大学 | 一种融合语义知识的蒙汉神经机器翻译方法 |
| CN114332872A (zh) * | 2022-03-14 | 2022-04-12 | 四川国路安数据技术有限公司 | 一种基于图注意力网络的合同文档容错信息提取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110807335B (zh) | 2023-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11604956B2 (en) | Sequence-to-sequence prediction using a neural network model | |
| CN110807335B (zh) | 基于机器学习的翻译方法、装置、设备及存储介质 | |
| US10860808B2 (en) | Method and system for generation of candidate translations | |
| US11972365B2 (en) | Question responding apparatus, question responding method and program | |
| CN107506414B (zh) | 一种基于长短期记忆网络的代码推荐方法 | |
| Yin et al. | Neural enquirer: Learning to query tables with natural language | |
| CN109284397A (zh) | 一种领域词典的构建方法、装置、设备及存储介质 | |
| CN110210032A (zh) | 文本处理方法及装置 | |
| CN114676234A (zh) | 一种模型训练方法及相关设备 | |
| CN109299479A (zh) | 通过门控机制将翻译记忆融入神经机器翻译的方法 | |
| CN111191002A (zh) | 一种基于分层嵌入的神经代码搜索方法及装置 | |
| CN111310441A (zh) | 基于bert的语音识别后文本修正方法、装置、终端及介质 | |
| CN111145914B (zh) | 一种确定肺癌临床病种库文本实体的方法及装置 | |
| US20200279159A1 (en) | Learning method, extraction method, and information processing apparatus | |
| Zhang et al. | Named entity recognition method in health preserving field based on BERT | |
| CN112364639B (zh) | 基于预训练语言模型的上下文敏感的释义生成方法及系统 | |
| Basmatkar et al. | Survey on neural machine translation for multilingual translation system | |
| CN115186147A (zh) | 对话内容的生成方法及装置、存储介质、终端 | |
| Park et al. | Natural language generation using dependency tree decoding for spoken dialog systems | |
| CN117034942B (zh) | 一种命名实体识别方法、装置、设备及可读存储介质 | |
| CN112131363B (zh) | 自动问答方法、装置、设备及存储介质 | |
| CN112364659B (zh) | 一种无监督的语义表示自动识别方法及装置 | |
| Vashistha et al. | Active learning for neural machine translation | |
| CN113591493B (zh) | 翻译模型的训练方法及翻译模型的装置 | |
| Benkov | Neural Machine Translation as a Novel Approach to Machine Translation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40022062 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |