CN107015963A - 基于深度神经网络的自然语言语义分析系统及方法 - Google Patents

基于深度神经网络的自然语言语义分析系统及方法 Download PDF

Info

Publication number
CN107015963A
CN107015963A CN201710172099.7A CN201710172099A CN107015963A CN 107015963 A CN107015963 A CN 107015963A CN 201710172099 A CN201710172099 A CN 201710172099A CN 107015963 A CN107015963 A CN 107015963A
Authority
CN
China
Prior art keywords
word
entity
knowledge graph
natural language
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710172099.7A
Other languages
English (en)
Inventor
李鹏华
赵芬
孙健
朱智勤
程安宇
米怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201710172099.7A priority Critical patent/CN107015963A/zh
Publication of CN107015963A publication Critical patent/CN107015963A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于深度神经网络的自然语言语义分析系统及方法，包括构建知识图、输入训练集、得到N‑Gram概率模型、利用word2vec将词表征为向量得到矩阵作为输入、利用深度置信网络模型进行实体识别、输入验证集，调整分类器参数、输入测试集，测试模型的分类能力、采用知识图的方法，对语言描述中的实体进行推理、得到相应结论。与现有技术相比，本发明采用知识图的方法对语言描述中的实体进行推理，得到相应的结论，使我们的自然语言理解功能不仅具备理解字面意思的能力，还具备逻辑推理，理解深层意思的能力，具有推广使用的价值。

Description

基于深度神经网络的自然语言语义分析系统及方法
技术领域
本发明涉及机器学习研究的新领域，尤其涉及一种基于深度神经网络的自然语言语义分析系统及方法。
背景技术
深度学习在图像和语音处理领域硕果累累，但在同属人类认知范畴的自然语言处理任务中，研究尚未取得重大突破。与语音和图像不同，自然语言”在深度学习中用于初始输入的“数据源”是字或词，已经包含了人类的语义解释，是经过人类主观思考处理后形成的。本质上，人类语言的理解，是一个复杂的知识推理过程。然而，当前的深度学习过多关注于“自动学习”，导致对自然语言的处理大多依旧停留在“浅层语义”的理解。本发明在深度学习中引入知识图的概念，在构建知识图的基础上，将浅层语义理解结果注入知识图，通过相应的知识推理获得较为深层的语义理解。
发明内容
本发明的目的就在于为了解决上述问题而提供一种基于深度神经网络的自然语言语义分析系统及方法。
本发明通过以下技术方案来实现上述目的：
本发明包括以下步骤：
(1)构建知识图，用知识图作为实体构造的知识表示方法，以期基于此建立出知识表示准确的实体；以长短文本为语义知识资源，知识图为语义表示方法，构建一种基于深度神经网络下的自然语言语义知识图，利用构建的知识图对自然语言中的实体进行描述。
知识图表示一个概念体系，概念用结点表示，概念之间的关联用箭头表示；结点的内容可以是文字、图形、嵌套的知识图及其组合，箭头上面也可以用文字或图形标志关联的名称或内容。知识图不限定图的结构为树，也可以是网。
知识图表示中，实体的表示称之为概念，概念用节点表示。知识图由两种节点组成：概念节点和关系节点。概念节点表示出现在应用领域的实体，关系节点表示实体之间的关系。概念类型(实体类型)的顺序集用TC来表示。个体概念是引用单独标记，该单独标记属于单独标记集I。有一个通用标记*，它用来表示一个未指明的实体。相同标记*用来表示一个通用实体不管它的类型。关系集用TR来表示，TR的一个元素叫做关系符号或关系类型。这三种集(TC,TR,I)组成词汇，该词汇被用来标注知识图的两种节点。一个知识图的词汇，或者简单的一个词汇，是一个三元关系(TC,TR,I)。
图5是概念类型的一个子集，图6是关系类型集的一部分。其都描述孩子们玩耍的一张照片。描述如下：一个男孩和他的姐姐，名字叫Mary，正在一个房间里面玩耍，房间里面有一个方块状的玩具车和家具。
知识图由两个互斥节点集组成,也就是说，知识图中的任意一条边连接来自不同集的节点，节点可以同时被几个边所连接。节点的一个集叫做概念节点的集(表示实体)，另一个集叫做关系节点的集(表示实体之间的关系)。
知识图上概念关系抽取。在构建本体框架时，概念及概念间的关系需要被准确定义。每个概念都与其他概念构成上下位关系，所以采用语义概念相似度的计算，首先先选取领域中综合的、概括性的概念作为大的类，然后逐步细化、说明，生成子类。
义原间的语义相似度计算:
1)义原a与义原b的语义距离Distance(a,b):
Distance(a,b)＝a与b在义原分类树上的最短距离
2)义原a与义原b的语义相似度Sim(a,b):
两个词图G1，G2的相似度记为Sim(G1,G2)＝Sim1(a,b)×β1+Sim2(a,b)×β2，其中β1，β2为两个参数，β1+β2＝1，β1＞0.5。
图7表示一个知识图由4个概念节点(表示实体)和3个关系节点(表示实体之间的关系)组成。4个概念节点分别为：一个名字叫保罗的孩子，一辆小汽车，一个人，小尺寸；3个关系节点：一个三元关系：玩，两个二元关系：属性和拥有。该图能被理解为描述下面的事实：一个名叫保罗的孩子拥有一辆玩具小车，保罗和一个人正在玩这辆玩具小轿车。
图8展示另一个知识图，描述如下事实：一个名叫保罗的孩子一边洗澡，一边和他的妈妈玩耍。可以看出概念(孩子：保罗)和关系(洗澡)之间的平行边，显示关系(洗澡)的主语和宾语是相同的实体(孩子：保罗)。
图9展示带有更多复杂圈的知识图，描述如下事实：爸爸和孩子正坐在垫子上一起玩，孩子的妈妈坐在靠近垫子的沙发上看着他们。
对于领域的描述仅仅通过类是不够的，还要对于类的内部结构进行描述，即定义类的属性。属性往往具有自己的特征，如本质特征，外部特征，等等。所以我们需要对属性添加其属性值来说明其取值类型、个数及其他特征。我们根据语义相似度运算对结果进行分类，并对每个概念添加属性和属性值。
(2)输入训练集；
(3)中文分词是中文信息处理领域的关键技术之一，其质量高低直接影响中文信息处理效率；利用基于统计的分词方法中的N-Gram算法，N-Gram模型思想:一个单词的出现与其上下文环境中出现的单词序列密切相关，第n个词的出现只与前面n-1个词相关，而与其它任何词都不相关，设W1，W2，…，Wn是长度为n的字串，由于预测词Wn的出现概率，必须知道它前面所有词的出现概率，太过复杂；为了简化计算，规定任意词Wi只与其前两个相关，得到三元概率模型如下:
P(W)≈P(W1)P(W2/W1)Πi＝3…n P(Wi/IWi-2Wi-1) (1)
以此类推，N元模型就是假设当前词的出现概率只同它前面的N-1个词有关而得出的；
(4)利用word2vec将词表征为向量，得到矩阵作为输入；词向量这种方式最主要的优点在于让有一定关系的词，在数学意义上的距离更近了；要想对词向量进行训练，其中最广泛被使用的方法有神经网络语言模型，Word2vec也是基于它进行改进的，针对此种模型进行研宄；Word2vec(Word To Vector)，它可以将词汇转换成向量形式，从而把对文本的处理转化为向量空间中的向量运算，方便地完成各种自然语言处理任务；Word2vec以文本语料库作为输入，首先在训练文本数据集中构建一个词汇表，然后训练出每个单词的词向量作为输出，产生的词向量文件可以作为特征向量供后续的自然语言处理和机器学习等算法使用；Word2Vec模型提取文本中词汇的位置关系，提取词汇的上下文信息，生成词汇的向量模型；词汇可以通过数值向量量化表示，词汇之间的相似度可以由向量计算得到；
(5)利用深度置信网络模型进行实体识别，实体识别的目的是识别出数据集中描述同一真实世界实体的元组；利用深度置信网络(Deep Belief Net，简称DBN)模型进行基于特征的实体关系抽取任务，DBN模型结合了无监督学习和有监督学习的优点，是一种对高维稀疏特征向量具有强大分类能力的神经网络；
(6)输入验证集，调整分类器参数；
(7)输入测试集，测试模型的分类能力；
(8)采用知识图的方法，对语言描述中的实体进行推理；
(9)得到相应结论；构建基于深度置信网络的知识图，实现对自然语言语义的分析和理解，有利于可视化或分类，得出相应的结论，使我们的自然语言理解功能不仅具备理解字面意思的能力，还具备逻辑推理，理解深层意思的能力。
本发明的有益效果在于：
本发明是一种基于深度神经网络的自然语言语义分析系统及方法，与现有技术相比，本发明采用知识图的方法对语言描述中的实体进行推理，得到相应的结论，使我们的自然语言理解功能不仅具备理解字面意思的能力，还具备逻辑推理，理解深层意思的能力，具有推广使用的价值。
附图说明
图1为：本发明利用基于深度置信网络的知识图对自然语言语义处理的流程图；
图2为：本发明的采用深度置信网络DBN训练模型的示意图；
图3为：本发明的受限玻尔兹曼机RBM的示意图；
图4为：本发明的基于马尔可夫链的RBM网络自训练过程；
图5为：本发明的概念类型集图；
图6为：本发明的关系标志集；
图7为：本发明的三元关系的知识图：
图8为：本发明的带有平行边的知识图；
图9为：本发明的带有复杂圈的知识图。
具体实施方式
下面结合附图对本发明作进一步说明：
图1为本发明的基于深度置信网络的知识图对自然语言语义分析的示意图。以长短文本为语义知识资源,知识图为语义表示方法。本发明构建一种基于深度神经网络下的自然语言语义知识图，利用构建的知识图对自然语言中的实体进行描述。下面结合附图给出一个利用深度置信网络对自然语言语义知识图构建的实施例以对本发明作进一步的阐述。如图1所示，本发明各部分具体实施细节如下：
1.构建知识图。知识图是一种属于语义网络范畴的知识表示方法,它使用节点表示概念,使用有向弧表示概念之间的关系。在自然语言处理中,知识表示是其中的核心问题,知识图作为一种语义网络范畴的概念图,是一种更为一般的知识表示方法,并且其“结构就是含义“的思想是一种独到的自然语言理解的思想,其带来最为明显的优点就是在其上所构建的语义模型具有层次清晰,语义明确的特点,以长短文本为语义知识资源提出了一种构造词图的方法,用知识图作为本体构造的知识表示方法,以期基于此建立出知识表示准确的本体。
以语义的描述为出发点,提出了一种基于知识图的本体构建方法。以长短文本为语义知识资源,知识图为语义表示方法,采用成熟的软件工程流程,最终构建出的领域本体具有结构明确,语义清晰的特点。对于在其上的信息抽取、语义网等应用提供了有效支持。本发明构建一种基于深度神经网络下的自然语言语义知识图，利用构建的知识图对自然语言中的实体进行描述。
2.输入训练集。
3.基于统计的分词方法：N-Gram算法。中文分词是中文信息处理领域的关键技术之一，其质量高低直接影响中文信息处理效率。中文分词就是将中文连续的字序列按照一定的规则重新组合成词序列的过程。
本发明利用基于统计的分词方法中的N-Gram算法，N-Gram模型思想:一个单词的出现与其上下文环境中出现的单词序列密切相关,第n个词的出现只与前面n-1个词相关,而与其它任何词都不相关,设W1，W2,…,Wn是长度为n的字串,由于预测词Wn的出现概率,必须知道它前面所有词的出现概率,太过复杂。为了简化计算,规定任意词Wi只与其前两个相关,得到三元概率模型如下:
P(W)≈P(W1)P(W2/W1)Πi＝3…n P(Wi/IWi-2Wi-1)(2)
以此类推,N元模型就是假设当前词的出现概率只同它前面的N-1个词有关而得出的。
4.利用word2vec将词表征为向量，得到矩阵作为输入。词向量这种方式最主要的优点在于让有一定关系的词，在数学意义上的距离更近了。通过语言模型，我们能获得符合实际需求的最好的词向量。要想对词向量进行训练，其中最广泛被使用的方法有神经网络语言模型，Word2vec也是基于它进行改进的，因此，本发明针对此种模型进行研宄。
Word2vec(Word To Vector)可以将词汇转换成向量形式，从而把对文本的处理转化为向量空间中的向量运算，方便地完成各种自然语言处理任务。Word2vec以文本语料库作为输入，首先在训练文本数据集中构建一个词汇表，然后训练出每个单词的词向量作为输出，产生的词向量文件可以作为特征向量供后续的自然语言处理和机器学习等算法使用。Word2Vec模型提取文本中词汇的位置关系，提取词汇的上下文信息，生成词汇的向量模型。词汇可以通过数值向量量化表示，词汇之间的相似度可以由向量计算得到。
5.利用深度置信网络模型进行实体识别。实体识别的目的是识别出数据集中描述同一真实世界实体的元组。利用深度置信网络(Deep Belief Net，简称DBN)模型进行基于特征的实体关系抽取任务，DBN模型结合了无监督学习和有监督学习的优点,是一种对高维稀疏特征向量具有强大分类能力的神经网络,它由若干层无监督的受限玻尔兹曼机(Restricted Boltzmann Machine，简称RBM)网络和一层有监督的反向传播网络(back-propagation,简称BP)组成.DBN模型的训练过程分为两个阶段:首先利用多层RBM对特征集合进行聚类,然后利用BP对聚类结果进行分类,并同时对RBM网络进行微调。
6.输入验证集，调整分类器参数。
7.输入测试集，测试模型的分类能力。
8.采用基于深度置信网络的知识图的方法对自然语言描述中的实体进行推理。人工智能研究的目的无非是用机器模拟人脑的思维，真正的人工智能系统要能很好反映人脑思维的不确定性并能对各种无所不在的不确定性信息进行处理。于是，如何表示和处理知识的不确定性也就成为人工智能研究的重要课题之一，也是人工智能面临的一大难题。知识图推理理论，是一种不确定性推理模型。
9.得到相应结论。构建基于深度神经网络的知识图，实现对自然语言语义的分析和理解，有利于可视化或分类，使我们的自然语言理解功能不仅具备理解字面意思的能力，还具备逻辑推理，理解深层意思的能力。
图2为本发明的采用深度置信网络DBN训练模型的示意图。深度置信网络DBN是由若干层受限玻尔兹曼机RBM和一层反向传播BP组成的一种深层神经网络,其结构如下图2所示。
DBN在训练模型的过程中主要分为两步:第1步,分别单独无监督地训练每一层RBM网络,确保特征向量映射到不同特征空间时,都尽可能多地保留特征信息；
第2步,在DBN的最后一层设置BP网络,接收RBM的输出特征向量作为它的输入特征向量,有监督地训练实体关系分类器。
DBN底层的神经网络接收原始的特征向量,在自底向上的传递过程中,从具体的特征向量逐渐转化为抽象的特征向量,在顶层的神经网络形成更易于分类的组合特征向量.增加网络层数能够将特征向量更加抽象化。
图3为受限玻尔兹曼机RBM的示意图。RBM由一个可见层V和一个隐含层H组成,层间的节点两两相连,层内的节点不相连,其结构如下图3所示。
令vi和hj分别表示可视层和隐含层内的节点值,b和c分别表示可视层和隐含层的偏置量,W表示可视层和隐含层之间的权值.利用公式(3)可以由已知的可视层的节点值得到隐含层的节点值:
RBM是对称网络,同理,利用公式(4)可以由已知的隐含层的节点值得到可视层的节点值:
那么,可视层内的特征向量v和隐含层内的特征向量h的联合概率分布满足:
其中,E(v,h)是特征向量v和特征向量h数学期望,其绝对值的大小代表特征向量h保存着特征向量v的信息的多少,需要确定的参数为θ＝(W,b,c)，其中,W是RBM的权值参数,b是可视层的偏置量,c是隐含层的偏置量,使得联合概率分布P(v,h)最大.最大似然法并不能求出满足条件的参数,传统的做法是利用马尔可夫链蒙特卡罗(Markov chain MonteCarlo,简称MCMC).MCMC的特性使得可视层和隐含层互为条件,不断地求得更新状态,最后它们共同趋向平稳状态,而此时的P(v,h)达到最大.此后可以求得最大联合概率分布与初始状态的联合概率分布的斜率然后用公式(6)更新权值θ.
其中,τ为迭代次数,η为学习速度.其过程如图4所示.
v0是t＝0时刻可视层的特征向量,即是RBM的输入向量；h0是由v0根据公式(3)得到的隐含层特征向量；v1是t＝1时刻可视层的特征向量,根据h0由公式(4)计算得到.以此类推,v∞和h∞分别是t＝∞时刻可视层和隐含层的特征向量.斜率可由公式(7)计算得出:
其中,＜h0v0＞为输入特征向量与其对应的隐含层特征向量的点乘的平均值；＜h∞v∞＞为马尔可夫链末端可视层特征向量与其对应的隐含层特征向量的乘积的平均值,＜h∞v∞＞是收敛的.由公式(7)可知,联合概率分布的斜率与中间状态无关,只与网络的初始状态和最终状态有关.根据公式(6)可以得出修改后的参数,从而达到自训练的目的.
BP神经网络其训练过程主要分为两步:第1步是前向传播,将输入特征向量沿输入端传播至输出端；
第2步是反向传播,将BP网络的输出结果与正确结果相比较得到误差,然后将误差从输出端反向传播至输入端,以修改DBN的参数.
利用sigmoid函数作为BP的网络节点的求值函数,其实现步骤如算法1所示.
算法1.BP网络的训练过程.
(1)随机初始化顶层反向传播网络的参数,设定训练步长为N；
(2)进行前向计算,对第l层的j单元节点,其值为若神经元j属于输出层(l＝L),则令误差ej(n)＝dj(n)-Oj(n),dj为正确信息；
(3)计算δ,将δ反向传递用以自顶向下修正网络的权值参数,对于输出单元:对于隐含层单元:
(4)修改权值:为学习速率；
(5)如果n＝N,则训练结束；反之,n＝n+1,转步骤(2).
以上显示和描述了本发明的基本原理和主要特征及本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (1)

1.一种基于深度神经网络的自然语言语义分析系统及方法，其特征在于，包括以下步骤：
(1)构建知识图，用知识图作为实体构造的知识表示方法，以期基于此建立出知识表示准确的实体；以长短文本为语义知识资源，知识图为语义表示方法，构建一种基于深度神经网络下的自然语言语义知识图，利用构建的知识图对自然语言中的实体进行描述；
(2)输入训练集；
(3)利用基于统计的分词方法中的N-Gram算法，N-Gram模型思想:一个单词的出现与其上下文环境中出现的单词序列密切相关，第n个词的出现只与前面n-1个词相关，而与其它任何词都不相关，设W1，W2，…，Wn是长度为n的字串，由于预测词Wn的出现概率，必须知道它前面所有词的出现概率，太过复杂；为了简化计算，规定任意词Wi只与其前两个相关，得到三元概率模型如下:
P(W)≈P(W1)P(W2/W1)∏i＝3…n P(Wi/IWi-2Wi-1) (1)
以此类推，N元模型就是假设当前词的出现概率只同它前面的N-1个词有关而得出的；
(4)利用word2vec将词表征为向量，得到矩阵作为输入；Word2vec以文本语料库作为输入，首先在训练文本数据集中构建一个词汇表，然后训练出每个单词的词向量作为输出，产生的词向量文件可以作为特征向量供后续的自然语言处理和机器学习等算法使用；Word2Vec模型提取文本中词汇的位置关系，提取词汇的上下文信息，生成词汇的向量模型；词汇可以通过数值向量量化表示，词汇之间的相似度可以由向量计算得到；
(5)利用深度置信网络模型进行实体识别，实体识别的目的是识别出数据集中描述同一真实世界实体的元组；利用深度置信网络模型进行基于特征的实体关系抽取任务；
(6)输入验证集，调整分类器参数；
(7)输入测试集，测试模型的分类能力；
(8)采用知识图的方法，对语言描述中的实体进行推理；
(9)得到相应结论；构建基于深度置信网络的知识图，实现对自然语言语义的分析和理解，有利于可视化或分类，得出相应的结论。
CN201710172099.7A 2017-03-22 2017-03-22 基于深度神经网络的自然语言语义分析系统及方法 Pending CN107015963A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710172099.7A CN107015963A (zh) 2017-03-22 2017-03-22 基于深度神经网络的自然语言语义分析系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710172099.7A CN107015963A (zh) 2017-03-22 2017-03-22 基于深度神经网络的自然语言语义分析系统及方法

Publications (1)

Publication Number Publication Date
CN107015963A true CN107015963A (zh) 2017-08-04

Family

ID=59440337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710172099.7A Pending CN107015963A (zh) 2017-03-22 2017-03-22 基于深度神经网络的自然语言语义分析系统及方法

Country Status (1)

Country Link
CN (1) CN107015963A (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107422691A (zh) * 2017-08-11 2017-12-01 山东省计算中心（国家超级计算济南中心） 一种协同plc编程语言构造方法
CN107491655A (zh) * 2017-08-31 2017-12-19 康安健康管理咨询（常熟）有限公司 基于机器学习的肝脏疾病信息智能咨询方法及系统
CN108009284A (zh) * 2017-12-22 2018-05-08 重庆邮电大学 采用半监督卷积神经网络的法律文本分类方法
CN108009285A (zh) * 2017-12-22 2018-05-08 重庆邮电大学 基于自然语言处理的林业生态环境人机交互方法
CN108256077A (zh) * 2018-01-18 2018-07-06 重庆邮电大学 一种面向中国移动智能客服的动态扩展知识图推理方法
CN108268619A (zh) * 2018-01-08 2018-07-10 阿里巴巴集团控股有限公司 内容推荐方法及装置
CN108447528A (zh) * 2018-02-05 2018-08-24 龙马智芯（珠海横琴）科技有限公司 信息处理方法和装置、设备、计算机可读存储介质
CN108563766A (zh) * 2018-04-19 2018-09-21 天津科技大学 食品检索的方法及装置
CN108710608A (zh) * 2018-04-28 2018-10-26 四川大学 一种基于上下文语义的恶意域名语料库生成方法
CN109446518A (zh) * 2018-10-09 2019-03-08 清华大学 语言模型的解码方法及解码器
CN109543046A (zh) * 2018-11-16 2019-03-29 重庆邮电大学 一种基于深度学习的机器人数据互操作领域本体构建方法
CN109583562A (zh) * 2017-09-28 2019-04-05 西门子股份公司 Sgcnn：结构的基于图的卷积神经网络
CN109766994A (zh) * 2018-12-25 2019-05-17 华东师范大学 一种自然语言推理的神经网络架构
CN109951464A (zh) * 2019-03-07 2019-06-28 西安电子科技大学 未知二进制私有协议的报文序列聚类方法
WO2019138289A1 (en) * 2018-01-10 2019-07-18 International Business Machines Corporation Machine learning to integrate knowledge and natural language processing
CN110209832A (zh) * 2018-08-08 2019-09-06 腾讯科技（北京）有限公司 上下位关系的判别方法、系统和计算机设备
CN110413992A (zh) * 2019-06-26 2019-11-05 重庆兆光科技股份有限公司 一种语义分析识别方法、系统、介质和设备
US10606958B2 (en) 2018-01-10 2020-03-31 International Business Machines Corporation Machine learning modification and natural language processing
CN111651998A (zh) * 2020-05-07 2020-09-11 中国科学技术大学 虚拟现实与增强现实场景下弱监督深度学习语义解析方法
US10776586B2 (en) 2018-01-10 2020-09-15 International Business Machines Corporation Machine learning to integrate knowledge and augment natural language processing
CN111694945A (zh) * 2020-06-03 2020-09-22 北京北大软件工程股份有限公司 基于神经网络的法条关联推荐方法及装置
WO2020234508A1 (en) * 2019-05-18 2020-11-26 IPRally Technologies Oy System and method for analyzing similarity of natural language data
CN112101038A (zh) * 2019-06-18 2020-12-18 杭州中软安人网络通信股份有限公司 语义理解方法
CN112860864A (zh) * 2021-02-05 2021-05-28 陕西师范大学 一种基于概念图的故事语义可视化呈现方法
CN113553444A (zh) * 2021-07-27 2021-10-26 之江实验室 一种基于超边的审计知识图谱表示模型及关联推理方法
CN113705227A (zh) * 2020-05-21 2021-11-26 中国科学院上海高等研究院 中文无分词词嵌入模型的构建方法、系统、介质及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809176A (zh) * 2015-04-13 2015-07-29 中央民族大学 藏语实体关系抽取方法
CN106095736A (zh) * 2016-06-07 2016-11-09 华东师范大学 一种领域新词抽取的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809176A (zh) * 2015-04-13 2015-07-29 中央民族大学 藏语实体关系抽取方法
CN106095736A (zh) * 2016-06-07 2016-11-09 华东师范大学 一种领域新词抽取的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王仁武等: "《基于深度学习与图数据库构建中文商业知识图谱的探索研究》", 《图书与情报》 *

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107422691A (zh) * 2017-08-11 2017-12-01 山东省计算中心（国家超级计算济南中心） 一种协同plc编程语言构造方法
CN107491655A (zh) * 2017-08-31 2017-12-19 康安健康管理咨询（常熟）有限公司 基于机器学习的肝脏疾病信息智能咨询方法及系统
CN107491655B (zh) * 2017-08-31 2020-08-25 上海柯棣健康管理咨询有限公司 基于机器学习的肝脏疾病信息智能咨询系统
US11853903B2 (en) 2017-09-28 2023-12-26 Siemens Aktiengesellschaft SGCNN: structural graph convolutional neural network
CN109583562A (zh) * 2017-09-28 2019-04-05 西门子股份公司 Sgcnn：结构的基于图的卷积神经网络
CN108009284A (zh) * 2017-12-22 2018-05-08 重庆邮电大学 采用半监督卷积神经网络的法律文本分类方法
CN108009285A (zh) * 2017-12-22 2018-05-08 重庆邮电大学 基于自然语言处理的林业生态环境人机交互方法
CN108009285B (zh) * 2017-12-22 2019-04-26 重庆邮电大学 基于自然语言处理的林业生态环境人机交互方法
CN108268619A (zh) * 2018-01-08 2018-07-10 阿里巴巴集团控股有限公司 内容推荐方法及装置
CN108268619B (zh) * 2018-01-08 2020-06-30 阿里巴巴集团控股有限公司 内容推荐方法及装置
US10846485B2 (en) 2018-01-10 2020-11-24 International Business Machines Corporation Machine learning model modification and natural language processing
US10606958B2 (en) 2018-01-10 2020-03-31 International Business Machines Corporation Machine learning modification and natural language processing
GB2583313A (en) * 2018-01-10 2020-10-21 Ibm Machine learning to integrate knowledge and natural language processing
CN111566654B (zh) * 2018-01-10 2023-10-24 国际商业机器公司 集成知识和自然语言处理的机器学习
CN111566654A (zh) * 2018-01-10 2020-08-21 国际商业机器公司 集成知识和自然语言处理的机器学习
WO2019138289A1 (en) * 2018-01-10 2019-07-18 International Business Machines Corporation Machine learning to integrate knowledge and natural language processing
US10599780B2 (en) 2018-01-10 2020-03-24 International Business Machines Corporation Machine learning to integrate knowledge and natural language processing
US10423726B2 (en) 2018-01-10 2019-09-24 International Business Machines Corporation Machine learning to integrate knowledge and natural language processing
US10776586B2 (en) 2018-01-10 2020-09-15 International Business Machines Corporation Machine learning to integrate knowledge and augment natural language processing
CN108256077B (zh) * 2018-01-18 2022-02-08 重庆邮电大学 一种面向中国移动智能客服的动态扩展知识图推理方法
CN108256077A (zh) * 2018-01-18 2018-07-06 重庆邮电大学 一种面向中国移动智能客服的动态扩展知识图推理方法
CN108447528A (zh) * 2018-02-05 2018-08-24 龙马智芯（珠海横琴）科技有限公司 信息处理方法和装置、设备、计算机可读存储介质
CN108563766A (zh) * 2018-04-19 2018-09-21 天津科技大学 食品检索的方法及装置
CN108710608A (zh) * 2018-04-28 2018-10-26 四川大学 一种基于上下文语义的恶意域名语料库生成方法
CN110209832A (zh) * 2018-08-08 2019-09-06 腾讯科技（北京）有限公司 上下位关系的判别方法、系统和计算机设备
CN109446518A (zh) * 2018-10-09 2019-03-08 清华大学 语言模型的解码方法及解码器
CN109543046A (zh) * 2018-11-16 2019-03-29 重庆邮电大学 一种基于深度学习的机器人数据互操作领域本体构建方法
CN109766994A (zh) * 2018-12-25 2019-05-17 华东师范大学 一种自然语言推理的神经网络架构
CN109951464B (zh) * 2019-03-07 2021-05-14 西安电子科技大学 未知二进制私有协议的报文序列聚类方法
CN109951464A (zh) * 2019-03-07 2019-06-28 西安电子科技大学 未知二进制私有协议的报文序列聚类方法
WO2020234508A1 (en) * 2019-05-18 2020-11-26 IPRally Technologies Oy System and method for analyzing similarity of natural language data
CN112101038A (zh) * 2019-06-18 2020-12-18 杭州中软安人网络通信股份有限公司 语义理解方法
CN110413992A (zh) * 2019-06-26 2019-11-05 重庆兆光科技股份有限公司 一种语义分析识别方法、系统、介质和设备
CN111651998A (zh) * 2020-05-07 2020-09-11 中国科学技术大学 虚拟现实与增强现实场景下弱监督深度学习语义解析方法
CN113705227A (zh) * 2020-05-21 2021-11-26 中国科学院上海高等研究院 中文无分词词嵌入模型的构建方法、系统、介质及设备
CN113705227B (zh) * 2020-05-21 2023-04-25 中国科学院上海高等研究院 中文无分词词嵌入模型的构建方法、系统、介质及设备
CN111694945A (zh) * 2020-06-03 2020-09-22 北京北大软件工程股份有限公司 基于神经网络的法条关联推荐方法及装置
CN112860864A (zh) * 2021-02-05 2021-05-28 陕西师范大学 一种基于概念图的故事语义可视化呈现方法
CN113553444A (zh) * 2021-07-27 2021-10-26 之江实验室 一种基于超边的审计知识图谱表示模型及关联推理方法

Similar Documents

Publication Publication Date Title
CN107015963A (zh) 基于深度神经网络的自然语言语义分析系统及方法
CN105938485B (zh) 一种基于卷积循环混合模型的图像描述方法
CN109036465B (zh) 语音情感识别方法
CN108197294B (zh) 一种基于深度学习的文本自动生成方法
US20180101752A1 (en) Deep learning based method and apparatus for three dimensional model triangular facet feature learning and classifying
CN110866117A (zh) 一种基于语义增强与多层次标签嵌入的短文本分类方法
Mangal et al. LSTM vs. GRU vs. Bidirectional RNN for script generation
CN109189925A (zh) 基于点互信息的词向量模型和基于cnn的文本分类方法
CN111291556B (zh) 基于实体义项的字和词特征融合的中文实体关系抽取方法
CN103729459A (zh) 一种构建情感分类模型的方法
CN106845411A (zh) 一种基于深度学习和概率图模型的视频描述生成方法
CN113191357B (zh) 基于图注意力网络的多层次图像-文本匹配方法
CN107506590A (zh) 一种基于改进深度信念网络的心血管疾病预测模型
CN106910497A (zh) 一种中文词语发音预测方法及装置
CN103345656A (zh) 一种基于多任务深度神经网络的数据识别方法及装置
CN106776580A (zh) 混合的深度神经网络cnn和rnn的主题句识别方法
CN103778407A (zh) 一种迁移学习框架下基于条件随机场的手势识别算法
Lin et al. Intelligent decision support for new product development: a consumer-oriented approach
CN110347819A (zh) 一种基于正负样本对抗训练的文本摘要生成方法
CN106886798A (zh) 基于矩阵变量的高斯分布受限玻尔兹曼机的图像识别方法
Chen et al. Deep neural networks for multi-class sentiment classification
CN115391563B (zh) 一种基于多源异构数据融合的知识图谱链路预测方法
Huang et al. C-Rnn: a fine-grained language model for image captioning
CN111581392B (zh) 一种基于语句通顺度的自动作文评分计算方法
Sadr et al. Improving the performance of text sentiment analysis using deep convolutional neural network integrated with hierarchical attention layer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170804