CN110619127B - 一种基于神经网络图灵机的蒙汉机器翻译方法 - Google Patents

一种基于神经网络图灵机的蒙汉机器翻译方法 Download PDF

Info

Publication number
CN110619127B
CN110619127B CN201910806869.8A CN201910806869A CN110619127B CN 110619127 B CN110619127 B CN 110619127B CN 201910806869 A CN201910806869 A CN 201910806869A CN 110619127 B CN110619127 B CN 110619127B
Authority
CN
China
Prior art keywords
neural network
word
words
mongolian
turing machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910806869.8A
Other languages
English (en)
Other versions
CN110619127A (zh
Inventor
苏依拉
赵旭
卞乐乐
薛媛
范婷婷
高芬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia University of Technology
Original Assignee
Inner Mongolia University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inner Mongolia University of Technology filed Critical Inner Mongolia University of Technology
Priority to CN201910806869.8A priority Critical patent/CN110619127B/zh
Publication of CN110619127A publication Critical patent/CN110619127A/zh
Application granted granted Critical
Publication of CN110619127B publication Critical patent/CN110619127B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Machine Translation (AREA)

Abstract

一种基于神经网络图灵机的蒙汉机器翻译方法，首先对蒙汉双语语料进行预处理，将蒙汉双语语料向量化，在此基础上构建出双语字典；然后通过神经网络图灵机(NTM)对存储进一步扩展，从LSTM的内部记忆单元扩展到外部存储器，引入内存机制，实现语义关系提取，给出两个实体词的语义关系；最后通过解码器模型训练，寻找最优解。与现有技术相比，本发明借助神经图灵机进行语义的分析，找出相关的语义知识进行提取，借助语义知识对于自然语言处理的精确性有很大的提升，同时利用CPU和GPU并行工作的方式对语料进行预处理，使得速度提高近一倍，进一步改进了整体翻译的质量。

Description

一种基于神经网络图灵机的蒙汉机器翻译方法
技术领域
本发明属于机器翻译技术领域，特别涉及一种基于神经网络图灵机的蒙汉机器翻译方法。
背景技术
随着目前包含信息技术在内的一系列网络服务的蓬勃发展，自然语言处理尤其是机器翻译在互联网发展过程中起到至关重要的作用。许多的大型搜索企业和服务中心例如谷歌、百度等针对机器翻译都进行了大规模的研究，为获取机器翻译的高质量译文而不懈努力。
然而，随着科学家和语言学家几十年的不断努力，机器翻译在发展的过程中也暴露出无法忽略的问题——歧义词处理、未登录词处理以及双语结构差异而存在的编码混乱导致的译文质量低等问题。目前，国外很多知名大学和企业例如斯坦福大学自然语言处理小组、谷歌NLP小组和Facebook神经机器翻译部门都在相关领域的翻译任务中对上述问题提出了一定的假设解决方案并实施，无论是在英法翻译任务还是在英中翻译任务中，都没有一种兼容性很强的处理方法来解决上述出现的问题。实验结果表明，针对每一种翻译任务，有且仅存在一种符合源语言和目标语言两种语言特性的处理方案来缓解编码过程造成的一系列问题。有文献指出，从统计机器翻译的盛行的20世纪90年代到利用神经网络进行翻译建模的21世纪前10年，虽然在大体上机器翻译质量得到的不小的提高，但是在歧义词处理，非字典词语的替换等问题上仍没有得到有效的解决。因此针对翻译质量的有效提高迫在眉睫。
目前，利用神经网络技术将处理过后的双语语料进行压缩编码并导入神经网络节点中，通过神经网络层与层之间和节点与节点之间的参数变换和传递来不断对语义进行学习。虽然能够通过了解句子意思的方式在一定程度上缓解统计翻译方法中出现的很多问题，例如译码不明、错译、未登陆词处理等问题，但是在精准度上面相比人工翻译仍然存在不小的劣势。
最新的研究显示，谷歌、百度和全国知名院校的机器翻译工作进展中存在或多或少的翻译问题，有文献指出，由于世界语言的复杂性，没有一个完全解决翻译问题的系统出现，因此在粗译的前提下，如何做好细译的工作是本领域的工作重点。
发明内容
为了解决上述中主要存在的翻译过程中的漏译、错译、未登录词处理等问题，本发明的目的在于提供一种基于神经网络图灵机的蒙汉机器翻译方法，针对小语料中的数据稀少和字典小的问题，在降低系统复杂度，对用户可视化系统结构的条件下保证用户翻译服务质量，从而完善蒙汉机器翻译系统，达到较好译文翻译的目标。
为了实现上述目的，本发明采用的技术方案是：
一种基于神经网络图灵机的蒙汉机器翻译方法，首先对蒙汉双语语料进行预处理，将蒙汉双语语料向量化，在此基础上构建出双语字典；然后通过神经网络图灵机(NTM)对存储进一步扩展，从LSTM的内部记忆单元扩展到外部存储器，引入内存机制，实现语义关系提取，给出两个实体词的语义关系；最后通过模型训练，寻找最优解。
所述预处理是基于jieba分词模块和word2vec模块的分词处理，对于一长段中文文字，采用jieba分词，步骤如下：
1)首先用正则表达式将中文段落粗略分成一个个句子；
2)将每个句子构造成有向无环图，之后寻找最佳切分方案；
3)最后对于连续的单字，采用HMM模型将其再次划分；
4)然后借助word2vec生成词向量，从而定量地去度量词与词之间的关系，挖掘词之间的联系；
对于蒙古词语，采用word2vec算法训练，步骤如下：
1)借助CBOW方法在输入层对蒙语进行处理，用前后c个词来预测中间w个词，预测结果表示为Context(w)；
2)通过投影层将每个词向量相加，
Figure GDA0002445330480000031
xw表示每个词向量相加后的值，V表示预测结果Context(w)的向量值，第i个预测结果表示为Context(w)i；
3)借助Huffman Tree来编码输出层的词典，使得最后离根节点近的词出现的频率更高，而在叶子节点处出现的频率更低；
4)将每个分支的概率相乘，得到所需的P(w|Context(w))，即通过中心词w的前c个词和后c个词来预测中心词是w的概率；
5)取对数
Figure GDA0002445330480000032
对其求偏导，使用梯度下降算法更新权重，训练结束后的w就是词向量的矩阵，任何一个词的One-Hot表示乘以这个矩阵w就可以得到其词向量的表示，最终得到蒙语词向量矩阵。
所述神经网络图灵机(NTM)包含神经网络控制器和内存池两个可微分的基本组件，神经网络控制器与一个带有选择性读写操作的内存池进行交互，将执行读写操作的网络输出称为读写头；每个读写头上附有的一个权值，定义了神经网络图灵机读写头在各个地址的读写比重，由此，一个读写头，既能够精确访问单一地址，也能够弱定位在各个内存池位置。
所述神经网络图灵机(NTM)中定义了模糊读写的概念，即能够通过更多或更少的权重与内存池中的全部元素进行交互，模糊度由注意力机制确定，此机制约束每一个读或写操作交互到一小片内存池中，同时忽略其他部分。
所述神经网络图灵机(NTM)使用LSTM作为控制器，LSTM内部的存储单元作为内部状态，而在LSTM外部额外使用一个二维的存储矩阵，用于保存外部状态，作为外部存储器。
使用神经网络图灵机根据词嵌入来提取语义特征，使每个词的高级特征考虑语境信息，语义提取过程通过词嵌入层获得每个词的数值化表示，使句子文本转化为一个二维的数值矩阵表示，然后将该矩阵输入一组神经网络图灵机中获得每个词的高级特征，之后将所有词通过注意力层进行合并得到句子特征，最后输入到分类器进行分类，得到实体词的语义关系。准确的语义关系抽取对句意理解有十分重要的作用，理解句子核心词之间的关系是把握句子整体含义的重要一步，对于翻译过程的理解有着促进作用。
所述模型训练的过程如下：
根据如下公式计算神经网络图灵机存储矩阵的地址：
cost＝soft max(cos ine(Mt-1,xt))
Figure GDA0002445330480000041
其中：
Figure GDA0002445330480000042
和
Figure GDA0002445330480000043
分别为输入和输出地址，
Figure GDA0002445330480000044
是LSTM的隐藏层输出，xt是输入向量，cost是输入-存储矩阵相似度，
Figure GDA0002445330480000045
和
Figure GDA0002445330480000046
是LSTM隐层的输入输出归一化后的值，softmax是softmax函数，即非线性激活并作归一化，cosine是余弦相似度计算函数，α是一个超参数，用于调节隐层和相似度的比例，W和b均为神经网络待训练的参数，下标表示所属计算单元；
所得存储矩阵的地址是一个一维向量，其长度等于存储矩阵的长，数值的大小表示存储矩阵对应位置的采用率；得到地址后，存储矩阵的写入和读取计算公式如下：
vt＝relu(Wxm+bxm)
Figure GDA0002445330480000047
Figure GDA0002445330480000051
其中，Mt是t时刻完成写入操作后的存储矩阵，Mt-1是t-1时刻完成写入操作后的存储矩阵，使用非线性映射后的输入向量vt进行写入，relu是激活函数，
Figure GDA0002445330480000052
是从存储矩阵中读取出的信息，为一个一维向量，将其与LSTM的隐层输出合并在一起作为神经网络图灵机的完整输出，计算公式如下：
Figure GDA0002445330480000053
最终模型得到神经网络图灵机的一系列隐层输出，它与最初的输入一一对应，再将它们输入到后继网络中进行训练，ht是最终隐层输出；
合并每个单词对应的隐层输出ht和代表整句信息的最终时刻隐层hlast，对其进行非线性映射并作归一化，从而模型可求解出一个权值at，然后将词的高级特征加权求和，得到句子的最终特征。
所述注意力层的计算公式如下：
Figure GDA0002445330480000054
et＝k*score(ht,hlast)
Figure GDA0002445330480000055
其中：ha是注意力层的输出，即句子的最终特征，at对应于t位置单词的权重，是通过score函数计算并进行归一化的实数，exp是以e为底的指数函数，k是一个随机参数，et是归一化后的实数，
Figure GDA0002445330480000056
是单词对应隐层输出的转置矩阵；
根据得到的句子最终特征ha，导入蒙汉机器翻译模型(相当于解码器部分)，通过下述公式进行翻译：
Figure GDA0002445330480000057
其中S是翻译生成的句子，
Figure GDA0002445330480000061
是在t时刻句子的输出特征，θ是网络相关参数，st是在t时刻生成的句子，求出满足语义特征最大概率的句子表示，也就是翻译句子的最优解释。
对于得到的句子特征结果，可使用BLEU评分算法进行评测，根据评测结果，进行进一步优化。
与现有技术相比，本发明主要是借助神经网络图灵机进行语义的分析，找出相关的语义知识进行提取，借助语义知识对于自然语言处理的精确性有很大的提升，同时利用CPU和GPU并行工作的方式对语料进行预处理，使得速度提高近一倍，进一步改进了整体翻译的质量。
附图说明
图1是NTM基本结构示意图。
图2是NTM具体结构示意图。
图3是基于NTM的语义关系抽取模型。
图4是词级注意力结构。
具体实施方式
下面结合附图和实施例说明本发明的具体实施方式。
本发明一种基于神经网络图灵机的蒙汉机器翻译方法，其主要步骤：首先对蒙汉双语语料进行预处理，将蒙汉双语语料向量化，在此基础上构建出双语字典；然后通过神经网络图灵机(NTM)对存储进一步扩展，从LSTM的内部记忆单元扩展到外部存储器，引入内存机制，实现语义关系提取，给出两个实体词的语义关系；最后通过模型训练，寻找最优解。
在NLP领域中，为了能表示人类的语言符号，一般会把这些符号转成一种数学向量形式以方便处理，把语言单词嵌入到向量空间中就叫词嵌入(word embedding)。word2vec是一种词嵌入工具，它能生成词向量，通过词向量可以很好地度量词与词之间的相似性。通过它可以在大数据量上进行高效训练从而得到词向量。
词向量定义如下，给定一个句子S＝(w1，w2，…，wn)，通过查找词向量矩阵
Figure GDA0002445330480000071
将每个词转换成词向量，其中：dw是词向量的维度；V是词向量矩阵的语料集中词汇数量。通过矩阵查找，每个单词被映射到一个行向量
Figure GDA0002445330480000072
Figure GDA0002445330480000073
即该词的词向量表示。对于无法在词向量矩阵中找到的词，使用随机初始化方式。
具体而言，本发明分词处理主要基于jieba分词模块和word2vec模块，对于一长段中文文字，采用jieba分词，步骤如下：
1)首先用正则表达式将中文段落粗略分成一个个句子；
2)将每个句子构造成有向无环图，之后寻找最佳切分方案；
3)最后对于连续的单字，采用HMM模型将其再次划分；
4)然后借助word2vec生成词向量，就可以定量的去度量词与词之间之间的关系，挖掘词之间的联系。
对于蒙古词语，采用word2vec算法训练生成向量矩阵，步骤如下：
1)借助CBOW方法在输入层对蒙语进行处理，用前后c个词来预测中间w个词，预测结果表示为Context(w)；
2)通过投影层将每个词向量加起来，
Figure GDA0002445330480000074
xw表示每个词向量相加后的值，V表示预测结果Context(w)的向量值，第i个预测结果表示为Context(w)i；
3)借助Huffman Tree来编码输出层的词典，使得最后离根节点近的词出现的频率更高，而在叶子节点处出现的频率更低；
4)将每个分支的概率相乘，得到所需的P(w|Context(w))，即通过中心词w的前c个词和后c个词来预测中心词是w的概率；
5)取对数
Figure GDA0002445330480000075
对其求偏导，使用梯度下降算法更新权重，训练结束后的w就是词向量的矩阵，任何一个词的One-Hot表示乘以这个矩阵w就可以得到其词向量的表示，最终得到蒙语词向量矩阵。
神经网络图灵机(Neural Turing Machine，NTM)，也可称神经记忆网络(NeuralMemory Network)，本发明使用循环神经网络作为其控制器，因而其本质是一个具有额外存储矩阵的循环神经网络(RNN)，如图1所示。
而相比长短时记忆(Long Short-Term Memory，LSTM)网络或门控循环神经网络(Gated Recurren Unit，GRU)等RNN上强化记忆能力的改进模型，神经网络图灵机拥有更多且互不干扰的存储空间，它允许RNN对输入进行无损的保存，从而赋予RNN更优秀的记忆能力甚至使RNN拥有长时记忆(持久记忆)，因此，将其用于语义关系抽取任务，可以获得更好的语境特征提取效果。同时额外使用一个二维的存储矩阵，用于保存外部状态，其整体架构如图2所示。
即，神经网络图灵机(NTM)包含神经网络控制器和内存池两个可微分的基本组件，神经网络控制器与一个带有选择性读写操作的内存池进行交互，将执行读写操作的网络输出称为“读写头”；每个读写头上附有的一个权值，定义了神经网络图灵机读写头在各个地址的读写比重，由此，一个读写头，既能够精确访问单一地址，也能够弱定位在各个内存池位置。
同时，神经网络图灵机(NTM)中定义了“模糊”读写的概念，即可以通过更多或更少的权重与内存池中的全部元素进行交互；“模糊度”由注意力机制确定，此机制约束每一个读/写操作交互到一小片内存池中，同时忽略其他部分。
神经网络图灵机(NTM)的读过程如下：
令mt代表时刻t的n*m内存矩阵。(n代表地址数或行数，m代表每个地址的向量大小)。令wt在时刻t读写头在n个地址的读写比重，由于所有的权重都进行了归一化，所以wt向量的内部元素wt(i)满足：
Figure GDA0002445330480000081
矩阵M读取向量rt，为定义为每个地址的向量Mt(i)加权和，为其返回值：
Figure GDA0002445330480000091
这个公式清晰地显示权重和记忆都是可微的(离散表示)。
本发明使用神经网络图灵机根据词嵌入来提取语境(语义)特征，使每个词的高级特征考虑语境信息，这对于自然语言处理的精确性有很大的提升。如图3所示，语义提取过程通过词嵌入层获得每个词的数值化表示，使句子文本转化为一个二维的数值矩阵表示，然后将该矩阵输入一组神经网络图灵机中获得每个词的高级特征，之后将所有词通过注意力层进行合并得到句子特征，最后输入到分类器进行分类。存储矩阵的地址计算公式如下：
cost＝soft max(cos ine(Mt-1,xt))
Figure GDA0002445330480000092
其中：
Figure GDA0002445330480000093
和
Figure GDA0002445330480000094
分别为输入和输出地址，
Figure GDA0002445330480000095
是LSTM的隐藏层输出，xt是输入向量，cost是输入-存储矩阵相似度，
Figure GDA0002445330480000096
和
Figure GDA0002445330480000097
是LSTM隐层的输入输出归一化后的值，softmax是softmax函数，即非线性激活并作归一化，cosine是余弦相似度计算函数，α是一个超参数，用于调节隐层和相似度的比例，W和b均为神经网络待训练的参数，下标表示所属计算单元，
Figure GDA0002445330480000099
是存储矩阵，模型计算出的存储地址是一个一维向量，其长度等于存储矩阵的长，数值的大小表示存储矩阵对应位置的采用率。
得到地址后，存储矩阵的写入和读取计算公式如下：
vt＝relu(Wxm+bxm)
Figure GDA0002445330480000098
Figure GDA0002445330480000101
其中，Mt是t时刻完成写入操作后的存储矩阵，Mt-1是t-1时刻完成写入操作后的存储矩阵，使用非线性映射后的输入向量vt进行写入，relu是激活函数，
Figure GDA0002445330480000102
是从存储矩阵中读取出的信息，为一个一维向量，将其与LSTM的隐层输出合并在一起作为神经网络图灵机的完整输出，计算公式如下：
Figure GDA0002445330480000103
最终模型得到神经网络图灵机的一系列隐层输出，它与最初的输入一一对应，再将它们输入到后继网络中进行训练。
其中词级注意力结构如图4所示，合并每个单词对应的隐层输出ht和代表整句信息的最终时刻隐层hlast，对其进行非线性映射并作归一化，从而模型可求解出一个权值at，然后将词的高级特征加权求和，得到句子的最终特征。
其中注意力层的计算如下所示：
Figure GDA0002445330480000104
et＝k*score(ht,hlast)
Figure GDA0002445330480000105
其中：ha是注意力层的输出，即句子的最终特征，at对应于t位置单词的权重，是通过score函数计算并进行归一化的实数，exp是以e为底的指数函数，k是一个随机参数，et是归一化后的实数，
Figure GDA0002445330480000106
是单词对应隐层输出的转置矩阵；
根据得到的句子最终特征ha，导入蒙汉机器翻译模型(相当于解码器部分)，通过下述公式进行翻译：
Figure GDA0002445330480000107
其中S是翻译生成的句子，
Figure GDA0002445330480000111
是在t时刻句子的输出特征，θ是网络相关参数，st是在t时刻生成的句子，求出满足语义特征最大概率的句子表示，也就是翻译句子的最优解释。
对于得到的句子特征结果使用BLEU评分算法进行评测。
BLEU评分算法
BLEU算法是现阶段对机器翻译技术进行评估的一个基准，算法的基本思想是，对比待评测译文和提供的参考译文,判断翻译的准确率。BLEU算法的计算如下所示，其中BP为分段函数
Figure GDA0002445330480000112
其中c表示待评测译文的长度，r表示参考译文的长度，分段函数BP即为一个长度惩罚因子，与c和r的大小关系相关。
本发明的步骤可描述如下：
1：loop
2：选取蒙汉双语语料，利用jieba分词技术和word2vec方法对蒙汉语料进行分词以及词向量生成；
3：通过神经网络图灵机，将双语语料进行词嵌入及语义关系提取；
4：使用梯度下降算法进行训练，寻找最优语义关系特征。
5：采用输出函数进行输出特征的操作：
Figure GDA0002445330480000113
6：评测译文质量算法如下：
Figure GDA0002445330480000121
7：end loop。

Claims (5)

1.一种基于神经网络图灵机的蒙汉机器翻译方法，首先对蒙汉双语语料进行预处理，将蒙汉双语语料向量化，在此基础上构建出双语字典；然后通过神经网络图灵机(NTM)对存储进一步扩展，从LSTM的内部记忆单元扩展到外部存储器，引入内存机制，实现语义关系提取，给出两个实体词的语义关系；最后通过模型训练，寻找最优解，其特征在于，所述预处理是基于jieba分词模块和word2vec模块的分词处理，对于一长段中文文字，采用jieba分词，步骤如下：
1)首先用正则表达式将中文段落粗略分成一个个句子；
2)将每个句子构造成有向无环图，之后寻找最佳切分方案；
3)最后对于连续的单字，采用HMM模型将其再次划分；
4)然后借助word2vec生成词向量，从而定量地去度量词与词之间的关系，挖掘词之间的联系；
对于蒙古词语，采用word2vec算法训练，步骤如下：
1)借助CBOW方法在输入层对蒙语进行处理，用前后c个词来预测中间w个词，预测结果表示为Context(w)；
2)通过投影层将每个词向量相加，
Figure FDA0002445330470000011
xw表示每个词向量相加后的值，V表示预测结果Context(w)的向量值，第i个预测结果表示为Context(w)i；
3)借助Huffman Tree来编码输出层的词典，使得最后离根节点近的词出现的频率更高，而在叶子节点处出现的频率更低；
4)将每个分支的概率相乘，得到所需的P(w|Context(w))，即通过中心词w的前c个词和后c个词来预测中心词是w的概率；
5)取对数
Figure FDA0002445330470000021
对其求偏导，使用梯度下降算法更新权重，训练结束后的w就是词向量的矩阵，任何一个词的One-Hot表示乘以这个矩阵w就可以得到其词向量的表示，最终得到蒙语词向量矩阵。
2.根据权利要求1所述基于神经网络图灵机的蒙汉机器翻译方法，其特征在于，所述神经网络图灵机(NTM)包含神经网络控制器和内存池两个可微分的基本组件，神经网络控制器与一个带有选择性读写操作的内存池进行交互，将执行读写操作的网络输出称为读写头；每个读写头上附有的一个权值，定义了神经网络图灵机读写头在各个地址的读写比重，由此，一个读写头，既能够精确访问单一地址，也能够弱定位在各个内存池位置。
3.根据权利要求2所述基于神经网络图灵机的蒙汉机器翻译方法，其特征在于，所述神经网络图灵机(NTM)中定义了模糊读写的概念，即能够通过更多或更少的权重与内存池中的全部元素进行交互，模糊度由注意力机制确定，此机制约束每一个读或写操作交互到一小片内存池中，同时忽略其他部分。
4.根据权利要求2所述基于神经网络图灵机的蒙汉机器翻译方法，其特征在于，所述神经网络图灵机(NTM)使用LSTM作为控制器，LSTM内部的存储单元作为内部状态，而在LSTM外部额外使用一个二维的存储矩阵，用于保存外部状态，作为外部存储器。
5.根据权利要求2所述基于神经网络图灵机的蒙汉机器翻译方法，其特征在于，使用神经网络图灵机根据词嵌入来提取语义特征，使每个词的高级特征考虑语境信息，语义提取过程通过词嵌入层获得每个词的数值化表示，使句子文本转化为一个二维的数值矩阵表示，然后将该矩阵输入一组神经网络图灵机中获得每个词的高级特征，之后将所有词通过注意力层进行合并得到句子特征，最后输入到分类器进行分类，得到实体词的语义关系。
CN201910806869.8A 2019-08-29 2019-08-29 一种基于神经网络图灵机的蒙汉机器翻译方法 Active CN110619127B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910806869.8A CN110619127B (zh) 2019-08-29 2019-08-29 一种基于神经网络图灵机的蒙汉机器翻译方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910806869.8A CN110619127B (zh) 2019-08-29 2019-08-29 一种基于神经网络图灵机的蒙汉机器翻译方法

Publications (2)

Publication Number Publication Date
CN110619127A CN110619127A (zh) 2019-12-27
CN110619127B true CN110619127B (zh) 2020-06-09

Family

ID=68922564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910806869.8A Active CN110619127B (zh) 2019-08-29 2019-08-29 一种基于神经网络图灵机的蒙汉机器翻译方法

Country Status (1)

Country Link
CN (1) CN110619127B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680494B (zh) * 2020-04-27 2023-05-12 平安科技（深圳）有限公司 相似文本的生成方法及装置
CN112308210B (zh) * 2020-10-27 2023-04-07 中国人民解放军战略支援部队信息工程大学 基于神经网络的跨架构二进制函数相似性检测方法及系统
CN112364668A (zh) * 2020-11-10 2021-02-12 内蒙古工业大学 一种基于模型无关元学习策略及可微分神经机的蒙汉机器翻译方法
US20220263842A1 (en) * 2021-02-18 2022-08-18 Ciena Corporation Machine learning detection of network attacks using traffic and log information
CN113011193B (zh) * 2021-04-09 2021-11-23 广东外语外贸大学 基于Bi-LSTM算法的检测咨询语句重复性评价方法及系统
CN113657122B (zh) * 2021-09-07 2023-12-15 内蒙古工业大学 一种融合迁移学习的伪平行语料库的蒙汉机器翻译方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160133349A (ko) * 2015-05-12 2016-11-22 삼성전자주식회사 구 표 생성 방법 및 구 표를 이용한 기계 번역 방법
CN107967262B (zh) * 2017-11-02 2018-10-30 内蒙古工业大学 一种神经网络蒙汉机器翻译方法
CN109344391B (zh) * 2018-08-23 2022-10-21 昆明理工大学 基于神经网络的多特征融合中文新闻文本摘要生成方法
CN109684449B (zh) * 2018-12-20 2021-12-10 电子科技大学 一种基于注意力机制的自然语言语义表征方法

Also Published As

Publication number Publication date
CN110619127A (zh) 2019-12-27

Similar Documents

Publication Publication Date Title
CN110619127B (zh) 一种基于神经网络图灵机的蒙汉机器翻译方法
CN108628823B (zh) 结合注意力机制和多任务协同训练的命名实体识别方法
CN108460013B (zh) 一种基于细粒度词表示模型的序列标注模型及方法
CN109887484B (zh) 一种基于对偶学习的语音识别与语音合成方法及装置
CN108829684A (zh) 一种基于迁移学习策略的蒙汉神经机器翻译方法
JP3768205B2 (ja) 形態素解析装置、形態素解析方法及び形態素解析プログラム
CN107967262A (zh) 一种神经网络蒙汉机器翻译方法
CN109829162B (zh) 一种文本分词方法及装置
CN112818118B (zh) 基于反向翻译的中文幽默分类模型的构建方法
CN111401084A (zh) 一种机器翻译的方法、设备以及计算机可读存储介质
CN112541356A (zh) 一种生物医学命名实体识别的方法和系统
CN116432655B (zh) 基于语用知识学习的少样本命名实体识别方法和装置
CN113255366B (zh) 一种基于异构图神经网络的方面级文本情感分析方法
CN115545041B (zh) 一种增强医疗语句语义向量表示的模型构造方法及系统
CN113657123A (zh) 基于目标模板指导和关系头编码的蒙语方面级情感分析方法
CN115630649B (zh) 一种基于生成模型的医学中文命名实体识别方法
CN115600597A (zh) 基于注意力机制和词内语义融合的命名实体识别方法、装置、系统及存储介质
CN111144410A (zh) 一种跨模态的图像语义提取方法、系统、设备及介质
CN114781380A (zh) 一种融合多粒度信息的中文命名实体识别方法、设备和介质
CN116663578A (zh) 一种基于策略梯度方法改进的神经机器翻译方法
CN115759119A (zh) 一种金融文本情感分析方法、系统、介质和设备
CN115238693A (zh) 一种基于多分词和多层双向长短期记忆的中文命名实体识别方法
CN113191150B (zh) 一种多特征融合的中文医疗文本命名实体识别方法
Szűcs et al. Seq2seq deep learning method for summary generation by lstm with two-way encoder and beam search decoder
CN114925687A (zh) 一种基于动态词向量表征的中文作文评分方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant