CN108763542A - 一种基于联合学习的文本情报分类方法、装置及计算机设备 - Google Patents

一种基于联合学习的文本情报分类方法、装置及计算机设备 Download PDF

Info

Publication number
CN108763542A
CN108763542A CN201810552043.9A CN201810552043A CN108763542A CN 108763542 A CN108763542 A CN 108763542A CN 201810552043 A CN201810552043 A CN 201810552043A CN 108763542 A CN108763542 A CN 108763542A
Authority
CN
China
Prior art keywords
text
intelligence
lstm
input
text intelligence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810552043.9A
Other languages
English (en)
Inventor
张镇
伊文超
史云飞
梁波
赵国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Huarong Technology Group Ltd
Original Assignee
China Huarong Technology Group Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Huarong Technology Group Ltd filed Critical China Huarong Technology Group Ltd
Priority to CN201810552043.9A priority Critical patent/CN108763542A/zh
Publication of CN108763542A publication Critical patent/CN108763542A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及一种基于联合学习的文本情报分类方法、装置及计算机设备，该方法包括：S1：将第一文本情报输入双向长短期记忆循环神经网络Bi‑LSTM进行处理；S2：将经过所述双向长短期记忆循环神经网络Bi‑LSTM处理后的输出，分别作为长短期记忆网络LSTM和协同卷积神经网络CNN的输入，共同进行混合神经网络训练，得到文本情报的分类网络；S3：将第二文本情报输入双向长短期记忆循环神经网络Bi‑LSTM进行处理，将处理的结果输入到所述分类网络，得到所述第二文本情报的情报实体间关系的分类。解决了现有的文本情报由于种类多、数据量大，存在分类/梳理困难的问题。能够自动识别文本情报中的“人员”“地点”“时间”等情报实体，显著降低办案人员时间成本。

Description

一种基于联合学习的文本情报分类方法、装置及计算机设备
技术领域
本发明涉及大数据分析技术领域，尤其涉及一种基于联合学习的文本情报分类方法、装置及计算机设备。
背景技术
文本情报作为一种犯罪行为研判的依据，在案件侦破中发挥着重要作用，尤其在大数据背景下，网站社交数据、通讯内容、聊天记录等文本情报的获取，极大丰富了研判信息，为案件侦破提供了稳固的信息支撑。然而，伴随着文本情报的急剧增加，情报难梳理、难利用的问题日益凸显，“数据量大、价值密度低、利用低下”成为文本情报分析的难点。
文本情报提取成为解决以上问题的重要途径。文本情报提取主要由两部分组成，一、命名实体识别(Named Entity Recognition，NER)，即从文本情报中对命名实体进行识别，在公共安全领域，命名实体主要包含“人员”、“地点”、“时间”等(以下统称情报实体)；二、关系分类(Relation Classification，RC)，即依据NER过程提取的命名实体，对实体间的关系按设定类型进行分类。在公共安全领域，主要针对人员与人员的关联关系，人员与地点的所属关系，时间与人员的对应关系进行实体关系分类(以下统称情报实体关系分类)。
传统的情报提取方式将NER过程和RC过程作为两个独立单元进行处理并且过于依赖人工特征(依据领域理解和自然语言处理工具对文本进行特征提取的过程)，存在以下问题：
NER与RC过程割裂，忽略了实体与关系的内在联系，致使关系分类效果不佳；人工特征过程繁琐耗时，对于多元海量文本情报的提取尤其显著。
发明内容
本发明针对现有的文本情报由于种类多、数据量大，存在分类/梳理困难的问题，提供了一种基于联合学习的文本情报分类方法、装置及计算机设备，能够自动识别文本情报中的“人员”“地点”“时间”等情报实体，从中提取人与人、人与地点、人与事件的关系，在充分利用大数据背景下多样化文本情报的同时，显著降低办案人员时间成本。
第一方面，本发明提供了一种基于联合学习的文本情报分类方法，包括：
S1：将第一文本情报输入双向长短期记忆循环神经网络Bi-LSTM进行处理；所述第一文本情报为训练分类网络所用的文本情报；
S2：将经过所述双向长短期记忆循环神经网络Bi-LSTM处理后的输出，分别作为长短期记忆网络LSTM和协同卷积神经网络CNN的输入，共同进行混合神经网络训练，得到文本情报的分类网络；
S3：将第二文本情报输入双向长短期记忆循环神经网络Bi-LSTM进行处理，将处理的结果输入到所述分类网络，得到所述第二文本情报的情报实体间关系的分类；所述第二文本情报为待分类的文本情报。
本发明的有益效果是：在充分利用大数据背景下多样化文本情报的同时，显著降低办案人员的时间成本。
进一步，在所述S1和S3中，所述处理过程包括：通过双向长短期记忆循环神经网络Bi-LSTM对输入的第一/第二文本情报进行编码，得到情报融合向量。
进一步，在所述S2中，所述作为LSTM的输入和协同卷积神经网络CNN的输入，共同进行混合神经网络训练的过程包括：
对编码后得到的所述融合向量通过长短期记忆循环神经网络LSTM进行情报实体识别，得到情报实体识别模型；
对编码后得到的所述融合向量通过协同卷积神经网络CNN进行情报实体识别，得到情报实体关系类别模型；
将所述情报实体识别模型、和所述情报实体关系类别模型作为所述分类网络。
进一步，所述得到所述第二文本情报的情报实体间关系的分类的过程包括：
将处理所述第二文本情报的情报融合向量，输入到情报实体识别模型，得到情报实体标签；
将处理所述第二文本情报的情报融合向量，输入到情报实体关系类别模型，得到情报实体关系类别。
进一步，所述S2中使用的所述卷积神经网络CNN为5层卷积层，5层池化层，卷积核大小为5×5，每层卷积层的卷积核为6个，激活函数为线性整流函数ReLU函数。
采用上述进一步的技术方案的有益技术效果在于，采用ReLU函数作为激活函数，首先，在反向传播求梯度时，整个过程的计算量会节省很多。其次，对于深层网络，使用sigmoid函数作为激活函数时，反向传播非常容易出现梯度消失的问题，所以传统的BP神经网络一般不能超过三层，而引入ReLU函数之后，它的右侧是不会饱和的，所以一般不会出现梯度消失的问题。第三，ReLU函数在输入小于0的时候，会一直输出0。这就会使一部分神经元输出为0，从而使得网络具有稀疏性。
第二方面，本发明提供了一种基于联合学习的文本情报提取装置，所述装置包括：
输入模块：用于将第一文本情报输入双向长短期记忆循环神经网络Bi-LSTM；所述第一文本情报为训练分类网络所用的文本情报；
训练模块：用于将经过所述双向长短期记忆循环神经网络Bi-LSTM处理后的输出，分别作为长短期记忆网络LSTM和协同卷积神经网络CNN的输入，共同进行混合神经网络训练，得到文本情报的分类网络；
分类模块：用于将第二文本情报输入双向长短期记忆循环神经网络Bi-LSTM进行处理，将处理的结果输入到所述分类网络，得到所述第二文本情报的情报实体间关系的分类；所述第二文本情报为待分类的文本情报。
本发明的有益效果是：在充分利用大数据背景下多样化文本情报的同时，显著降低办案人员的时间成本。
进一步的，所述输入模块的所述处理过程包括：通过双向长短期记忆循环神经网络Bi-LSTM对输入的第一/第二文本情报进行编码，得到情报融合向量。
进一步的，所述作为LSTM的输入和协同卷积神经网络CNN的输入，共同进行混合神经网络训练的过程包括：对编码后得到的所述融合向量通过长短期记忆循环神经网络LSTM进行情报实体识别，得到情报实体识别模型；
对编码后得到的所述融合向量通过协同卷积神经网络CNN进行情报实体识别，得到情报实体关系类别模型；
将所述情报实体识别模型、和所述情报实体关系类别模型作为所述分类网络。
进一步的，所述分类模块的所述得到所述第二文本情报的情报实体间关系的分类的过程包括：
将处理所述第二文本情报的情报融合向量，输入到情报实体识别模型，得到情报实体标签；
将处理所述第二文本情报的情报融合向量，输入到情报实体关系类别模型，得到情报实体关系类别。
第三方面，本发明提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
本发明的有益效果是：
1.文本编码过程结合实体和实体关系，充分考虑情报实体上下文联系以及情报实体间隐含关系，引入双向循环神经网络和联合学习对文本编码进行更新；
2.融合情报关系抽取和情报实体发现过程，通过共享文本编码过程，实现其动态交互上，提高情报实体关系分类的准确率，为辅助研判提供了信息支撑。
3.构建“人员”“地点”“时间”情报关系网络，分析人与人，人与地点，人与时间的关系，在简化文本情报的同时，掌握情报主线，展示情报来龙去脉。
4.实体关系分类过程进行多特征融合，并采用深度学习，自动学习文本情报特征，避免了复杂的人工特征提取过程，降低了人力成本；
5.实体识别过程中优化LSTM结构，充分模拟实体信息交互过程，提高实体识别准确率。
附图说明
图1为本发明实施例提供的一种基于联合学习的文本情报分类方法的流程示意图；
图2位本发明的一种基于联合学习的文本情报分类方法的结构图；
图3为本发明实施例提供的一种基于联合学习的文本情报分类装置结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
图1为本发明实施例提供的一种基于联合学习的文本情报分类方法的流程示意图。
如图1所示，该方法包括：
S1：将第一文本情报输入双向长短期记忆循环神经网络Bi-LSTM进行处理；所述第一文本情报为训练分类网络所用的文本情报；
S2：将经过所述双向长短期记忆循环神经网络Bi-LSTM处理后的输出，分别作为长短期记忆网络LSTM和协同卷积神经网络CNN的输入，共同进行混合神经网络训练，得到文本情报的分类网络；
S3：将第二文本情报输入双向长短期记忆循环神经网络Bi-LSTM进行处理，将处理的结果输入到所述分类网络，得到所述第二文本情报的情报实体间关系的分类；所述第二文本情报为待分类的文本情报。
在所述S1和S3中，所述处理过程包括：通过双向长短期记忆循环神经网络Bi-LSTM对输入的第一/第二文本情报进行编码，得到情报融合向量。
文本情报主要包含网站社交信息、通讯内容、聊天记录等文本内容，无法直接作为混合神经网络的输入，需要进行编码处理。传统编码过程仅从字符角度出发，忽略了上下文的联系，影响实体命名和实体关系分类结果。本发明充分考虑实体的语义关联，采用双向长短期记忆网络(Bi-LSTM)，进行文本编码，以下为编码的过程，将词嵌入层和Bi-LSTM网络层关联，网络的具体结构如下：
(1)词嵌入层(word embedding layer)
词嵌入层实现了文本的预编码，采用独热编码(one-hot representation)方式，将文本情报中的单个汉字转换成计算机可处理的词向量，此时文本中单个汉字独立存在，没有与上下文产生任何关联，其表示形式如下：
W＝{w1，...wt，wt+1...wn)
其中W表示一个情报子句，wt表示子句中的单个汉字。t＝1～n，n为自然数。
(2)Bi-LSTM网络层
Bi-LSTM层实现了文本情报的上下文关联，包含一个前向LSTM层和一个后向LSTM层以及一个融合层，具体结构参见图2。对于每一个wt，前向LSTM层描述了w1到wt的上下文关系，记为后向LSTM层描述了wt到wn的上下文关系,记为上下文关系具体涵盖了词汇所处的共现词、语境、前邻词、后邻词等语境信息。文本情报经过词嵌入层，以词向量的形式输入到Bi-LSTM层，在模型训练过程中，Bi-LSTM网络结合文本情报上下文内容，动态更新预编码内容，完成文本情报编码过程，得到融合向量。
Bi-LSTM网络中记忆块(memory block)输入门、遗忘门、输出门的函数定义分别如下：
输入门it＝δ(Wxixt+Whiht-1+Wcict-1+bi)
遗忘门ft＝δ(Wxfxt+Whfht-1+Wcfct-1+bf)
输出门ot＝δ(Wxoxt+Whoht-1+Wcoct+bo)
其中：
ct＝ftct-1+ltzt
zt＝tanh(Wxcxt+Whcht-1+bc)
ht＝ot tanh(ct)
上式中it、ft、ot分别表示LSTM单元中第t个字的输入门、遗忘门、输出门，Wxi WhiWci分别表示输入门中词向量、隐层输出、单元当前状态对应的权重，Wxf Whf Wcf分别表示遗忘门中词向量、隐层输出、单元当前状态对应的权重，Wxo Who Wco分别表示输出门中词向量、隐层输出、单元当前状态对应的权重，xt表示第t个字的词向量，ht ht-1表示第t、t-1个字的隐层输出，bi bf bo分别表示输入门、遗忘门、输出门的基项，ct-1ct分别表示第t-1、t个字的LSTM单元当前状态，zt表示LSTM单元中第t个字的输入值，δ()表示sigmoid函数。
至此文本情报预处理及编码过程结束，编码后的文本情报为融合向量，作为编码结果，融合了上下文信息，将作为LSTM网络的NER过程和CNN网络的RC过程的输入。
在所述S2中，情报实体识别可以视为一个序列标注问题(从给定句子中抽取词块，构成有意义的短句)，文本情报内容繁杂，没有规范结构，“多词同意”现象严重，传统NER过程无法对实体标签(序列标注问题中词块在短句中的位置，如实体起始、实体结束、实体之外等称为实体标签)进行关联，致使实体识别能力较差。本发明充分考虑实体标签的长相关性，采用LSTM对每个词的实体标签进行预测，对文本情报中出现的情报体(包括情报涉及的人员、地点、时刻等)进行自动提取。
在一些说明性实施例中，在所述S2中，所述作为LSTM的输入和协同卷积神经网络CNN的输入，共同进行混合神经网络训练的过程包括：
对编码后得到的所述融合向量通过长短期记忆循环神经网络LSTM进行情报实体识别，得到情报实体识别模型；
对编码后得到的所述融合向量通过协同卷积神经网络CNN进行情报实体识别，得到情报实体关系类别模型；
将所述情报实体识别模型、和所述情报实体关系类别模型作为所述分类网络。
实体标签采用BILOS(B：实体开始；I：实体内部；L：实体结尾；O：实体外部；S：单个实体)编码框架，每个标签代表了单个词在实体中的位置信息，在模型训练过程中，训练数据的标签用BILOS形式表示。
以情报信息为例，文本内容为“李四明天要去天安门”，李四、天安门是命名实体，经过图2中的情报实体识别模型，得到其实体标签为李(B)、四(L)、明(B)、天(L)、去(O)、天(B)、安(I)、门(L)。
实体预测是情报文本实体标签的预测过程。文本情报中，实体在前后文中常常蕴含着多种隐式规则，对于实体预测具有积极意义。本发明充分考虑实体在情报文本中的长相关性，采用长短期记忆网络LSTM网络模拟实体的交互过程，挖掘词的上下文隐含关系。犯罪文本情报经过步骤S1进行编码，作为实体预测模型LSTM的输入，经过LSTM预测，得到文本情报的实体标签，通过其位置信息映射，最终得到情报实体。
LSTM网络的结构描述如下，结构图具体参见图2。
LSTM网络中记忆块(memory block)遗忘门、输出门的函数与Bi-LSTM网络一致，其输入层函数定义如下：
it＝δ(Wxiht+Whist-1+WtiTt-1+bi)
Tt＝Wtsst+bts
其中Tt表示第t个字的标签预测向量，it表示LSTM单元中第t个字的输入门，Wxi WhiWti Wts分别表示输入门中词向量、隐层输出、标签预测向量对应的权重以及标签预测过程中隐层输出权重，表示LSTM单元中第t-1、t个字的隐层输出，ht表示第t个字经过文本编码过程后生成的词向量，bi bts分别表示输入门的基项以及标签预测过程中的基项，δ()表示sigmoid函数。
传统实体关系分类方法，主要依赖人工特征，其过程繁琐耗时，效果不佳。本发明采用CNN网络模型，自动完成特征提取过程，实现情报实体关系分类。由于实体关系主要隐藏在两个实体间的文字描述中，CNN网络的输入选择为两个实体的编码信息(he1，he2)的求和、以及两个实体间的词向量(we1，we1+1，…，we2)。对于单个实体在文本情报中多次出现的问题，采用编码信息相加的方式，融合成一个实体编码。
文本情报提取主要以“人员”、“地点”、“时间”为基础，定义三种分类关系：人员与地点关系、人员与人员关系、人员与时间关系，分别从轨迹、协同、时间角度进行情报发现。其中人员与人员的关系主要包括：协同、从属、亲友、无关，人员与地点关系主要包括：出发地、目的地、出生地、居住地，人员与时间的关系主要包括：起始时刻、结束时刻。
通过CNN网络，以情报实体编码信息以及实体间的词向量作为模型输入，对两个实体的关系类型进行分类。实体关系分类的函数表示如下：
R＝CNN([he1，we1，we1+1，...we2，he2])
其中，R表示实体关系类型，he1，he2表示实体1和实体2的编码信息即融合向量，we1，we1+1，…，we2表示两个实体之间的文本编码信息即融合向量。例如：情报文本“张三和李四从小一起长大，张三和李四明天要去天安门”，“张三”“李四”分别为实体1、实体2。
CNN网络的结构如下：5层卷积层和5层池化层，每个卷积层之后跟随一个最大池化层，卷积核大小5×5，卷积核个数6，激活函数使用ReLU；再加入一层softmax层进行关系分类。
以情报文本“张三和李四从小一起长大，张三和李四明天要去天安门”为例进行情报实体关系分类描述：首先，经过情报实体识别模型，情报文本中的“人名”“地点”“时间”实体被提取出来，分别对应：“人名”：张三、李四，“时间”：明天，“地点”：天安门。之后，分别抽取“人员”、“时间”、“地点”的关系类型，以“人员”关系为例，首先定义人员关系的类型为：协同、非协同，并进行模型训练，得到情报实体关系分类模型；该模型是基于CNN网络训练得到，功能上依然保留CNN网络的功能。其次张三李四两个实体的编码信息，以及实体间文本(从小一起长大)的编码信息作为输入，输入到情报实体关系分类模型中，得到情报实体之间的关系类别，最终输出张三和李四关系：协同，同理可以输出人员与地点关系，即：天安门与张三的关系为目的地。
通过定义协同和非协同的关系，经过情报实体关系分类模型处理后，协同的实体会分在同一类中，非协同的实体会分在不同类中。从而提升分类的效果。
另外，情报实体识别模型，该模型是基于LSTM网络训练得到，功能上依然保留LSTM网络的功能。包括：隐层、预测和softmax层。
隐层：主要作用是特征提取，学习文本的结构关系。
预测：用于学习实体预测标签的位置关系。
softmax层：用于计算实体标签对应分类的概率。
通过S2进行混合神经网络的训练过程包括三部分：Bi-LSTM网络训练、LSTM网络训练以及CNN网络训练，其中Bi-LSTM网络的输出作为LSTM网络和CNN网络的共同输入，其参数的更新过程由LSTM过程以及CNN过程共同决定，实现了两个过程的联合学习。
在一些说明性实施例中，在所述S3中，所述得到所述第二文本情报的情报实体间关系的分类的过程包括：
将处理所述第二文本情报的情报融合向量，输入到情报实体识别模型，得到情报实体标签；
将处理所述第二文本情报的情报融合向量，输入到情报实体关系类别模型，得到情报实体关系类别。
本发明的有益效果是：在充分利用大数据背景下多样化文本情报的同时，显著降低办案人员的时间成本。
相应地，本发明实施例还提供了一种基于联合学习的文本情报分类装置。具体如图3所示，该装置包括：
输入模块100：用于将第一文本情报输入双向长短期记忆循环神经网络Bi-LSTM；所述第一文本情报为训练分类网络所用的文本情报；
训练模块200：用于将经过所述双向长短期记忆循环神经网络Bi-LSTM处理后的输出，分别作为长短期记忆网络LSTM和协同卷积神经网络CNN的输入，共同进行混合神经网络训练，得到文本情报的分类网络；
分类模块300：用于将第二文本情报输入双向长短期记忆循环神经网络Bi-LSTM进行处理，将处理的结果输入到所述分类网络，得到所述第二文本情报的情报实体间关系的分类；所述第二文本情报为待分类的文本情报。
优选地，所述输入模块100的所述处理过程包括：通过双向长短期记忆循环神经网络Bi-LSTM对输入的第一/第二文本情报进行编码，得到情报融合向量。
优选地，所述训练模块200的所述作为LSTM的输入和协同卷积神经网络CNN的输入，共同进行混合神经网络训练的过程包括：对编码后得到的所述融合向量通过长短期记忆循环神经网络LSTM进行情报实体识别，得到情报实体识别模型；
对编码后得到的所述融合向量通过协同卷积神经网络CNN进行情报实体识别，得到情报实体关系类别模型；
将所述情报实体识别模型、和所述情报实体关系类别模型作为所述分类网络。
优选地，所述分类模块300的所述得到所述第二文本情报的情报实体间关系的分类的过程包括：
将处理所述第二文本情报的情报融合向量，输入到情报实体识别模型，得到情报实体标签；
将处理所述第二文本情报的情报融合向量，输入到情报实体关系类别模型，得到情报实体关系类别。
该装置中的各部件所执行的功能均已经在上述实施例一种基于联合学习的文本情报分类方法中做了详细的介绍，这里不再赘述。
本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于联合学习的文本情报分类方法，其特征在于，包括：
S1：将第一文本情报输入双向长短期记忆循环神经网络Bi-LSTM进行处理；所述第一文本情报为训练分类网络所用的文本情报；
S2：将经过所述双向长短期记忆循环神经网络Bi-LSTM处理后的输出，分别作为长短期记忆网络LSTM和协同卷积神经网络CNN的输入，共同进行混合神经网络训练，得到文本情报的分类网络；
S3：将第二文本情报输入双向长短期记忆循环神经网络Bi-LSTM进行处理，将处理的结果输入到所述分类网络，得到所述第二文本情报的情报实体间关系的分类；所述第二文本情报为待分类的文本情报。
2.根据权利要求1所述的方法，其特征在于，在所述S1和S3中，所述处理过程包括：通过双向长短期记忆循环神经网络Bi-LSTM对输入的第一/第二文本情报进行编码，得到情报融合向量。
3.根据权利要求2所述的方法，其特征在于，在所述S2中，所述作为LSTM的输入和协同卷积神经网络CNN的输入，共同进行混合神经网络训练的过程包括：
对编码后得到的所述融合向量通过长短期记忆循环神经网络LSTM进行情报实体识别，得到情报实体识别模型；
对编码后得到的所述融合向量通过协同卷积神经网络CNN进行情报实体识别，得到情报实体关系类别模型；
将所述情报实体识别模型、和所述情报实体关系类别模型作为所述分类网络。
4.根据权利要求3所述的方法，其特征在于，在所述S3中，所述得到所述第二文本情报的情报实体间关系的分类的过程包括：
将处理所述第二文本情报的情报融合向量，输入到情报实体识别模型，得到情报实体标签；
将处理所述第二文本情报的情报融合向量，输入到情报实体关系类别模型，得到情报实体关系类别。
5.根据权利要求1或4所述的方法，其特征在于，所述S2中使用的所述卷积神经网络CNN为5层卷积层，5层池化层，卷积核大小为5×5，每层卷积层的卷积核为6个，激活函数为线性整流函数ReLU函数。
6.一种基于联合学习的文本情报提取装置，其特征在于，包括：
输入模块：用于将第一文本情报输入双向长短期记忆循环神经网络Bi-LSTM；所述第一文本情报为训练分类网络所用的文本情报；
训练模块：用于将经过所述双向长短期记忆循环神经网络Bi-LSTM处理后的输出，分别作为长短期记忆网络LSTM和协同卷积神经网络CNN的输入，共同进行混合神经网络训练，得到文本情报的分类网络；
分类模块：用于将第二文本情报输入双向长短期记忆循环神经网络Bi-LSTM进行处理，将处理的结果输入到所述分类网络，得到所述第二文本情报的情报实体间关系的分类；所述第二文本情报为待分类的文本情报。
7.根据权利要求6所述的装置，其特征在于，所述输入模块的所述处理过程包括：通过双向长短期记忆循环神经网络Bi-LSTM对输入的第一/第二文本情报进行编码，得到情报融合向量。
8.根据权利要求7所述的装置，其特征在于，所述训练模块的所述作为LSTM的输入和协同卷积神经网络CNN的输入，共同进行混合神经网络训练的过程包括：对编码后得到的所述融合向量通过长短期记忆循环神经网络LSTM进行情报实体识别，得到情报实体识别模型；
对编码后得到的所述融合向量通过协同卷积神经网络CNN进行情报实体识别，得到情报实体关系类别模型；
将所述情报实体识别模型、和所述情报实体关系类别模型作为所述分类网络。
9.根据权利要求8所述的装置，其特征在于，所述分类模块的所述得到所述第二文本情报的情报实体间关系的分类的过程包括：
将处理所述第二文本情报的情报融合向量，输入到情报实体识别模型，得到情报实体标签；
将处理所述第二文本情报的情报融合向量，输入到情报实体关系类别模型，得到情报实体关系类别。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-5任一项中所述方法的步骤。
CN201810552043.9A 2018-05-31 2018-05-31 一种基于联合学习的文本情报分类方法、装置及计算机设备 Withdrawn CN108763542A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810552043.9A CN108763542A (zh) 2018-05-31 2018-05-31 一种基于联合学习的文本情报分类方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810552043.9A CN108763542A (zh) 2018-05-31 2018-05-31 一种基于联合学习的文本情报分类方法、装置及计算机设备

Publications (1)

Publication Number Publication Date
CN108763542A true CN108763542A (zh) 2018-11-06

Family

ID=64001385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810552043.9A Withdrawn CN108763542A (zh) 2018-05-31 2018-05-31 一种基于联合学习的文本情报分类方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN108763542A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110095A (zh) * 2019-04-29 2019-08-09 国网上海市电力公司 一种基于长短期记忆循环神经网络的电力指令文本匹配方法
CN110321554A (zh) * 2019-06-03 2019-10-11 任子行网络技术股份有限公司 基于Bi-LSTM的不良文本检测方法及装置
CN111241274A (zh) * 2019-12-31 2020-06-05 航天信息股份有限公司 刑事法律文书处理方法和装置、存储介质和电子设备
CN111611218A (zh) * 2020-04-24 2020-09-01 武汉大学 一种基于深度学习的分布式异常日志自动识别方法
CN111967494A (zh) * 2020-07-01 2020-11-20 北京工业大学 一种面向大型活动公安系统警卫安保的多源异构数据分析方法
WO2020232882A1 (zh) * 2019-05-20 2020-11-26 平安科技（深圳）有限公司 命名实体识别方法、装置、设备及计算机可读存储介质
CN113297364A (zh) * 2021-06-07 2021-08-24 吉林大学 一种面向对话系统中的自然语言理解方法及装置
CN113505598A (zh) * 2021-08-06 2021-10-15 贵州江南航天信息网络通信有限公司 一种基于混合神经网络的网络文本实体关系抽取算法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239446A (zh) * 2017-05-27 2017-10-10 中国矿业大学 一种基于神经网络与注意力机制的情报关系提取方法
CN107291699A (zh) * 2017-07-04 2017-10-24 湖南星汉数智科技有限公司 一种句子语义相似度计算方法
CN107291795A (zh) * 2017-05-03 2017-10-24 华南理工大学 一种结合动态词嵌入和词性标注的文本分类方法
CN107832400A (zh) * 2017-11-01 2018-03-23 山东大学 一种基于位置的lstm和cnn联合模型进行关系分类的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291795A (zh) * 2017-05-03 2017-10-24 华南理工大学 一种结合动态词嵌入和词性标注的文本分类方法
CN107239446A (zh) * 2017-05-27 2017-10-10 中国矿业大学 一种基于神经网络与注意力机制的情报关系提取方法
CN107291699A (zh) * 2017-07-04 2017-10-24 湖南星汉数智科技有限公司 一种句子语义相似度计算方法
CN107832400A (zh) * 2017-11-01 2018-03-23 山东大学 一种基于位置的lstm和cnn联合模型进行关系分类的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SUNCONG ZHENG 等: "Joint Entity and Relation Extraction Based on A Hybrid Neural Network", 《NEUROCOMPUTING》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110095A (zh) * 2019-04-29 2019-08-09 国网上海市电力公司 一种基于长短期记忆循环神经网络的电力指令文本匹配方法
WO2020232882A1 (zh) * 2019-05-20 2020-11-26 平安科技（深圳）有限公司 命名实体识别方法、装置、设备及计算机可读存储介质
CN110321554A (zh) * 2019-06-03 2019-10-11 任子行网络技术股份有限公司 基于Bi-LSTM的不良文本检测方法及装置
CN111241274A (zh) * 2019-12-31 2020-06-05 航天信息股份有限公司 刑事法律文书处理方法和装置、存储介质和电子设备
CN111241274B (zh) * 2019-12-31 2023-11-28 航天信息股份有限公司 刑事法律文书处理方法和装置、存储介质和电子设备
CN111611218A (zh) * 2020-04-24 2020-09-01 武汉大学 一种基于深度学习的分布式异常日志自动识别方法
CN111967494A (zh) * 2020-07-01 2020-11-20 北京工业大学 一种面向大型活动公安系统警卫安保的多源异构数据分析方法
CN111967494B (zh) * 2020-07-01 2024-03-26 北京工业大学 一种面向大型活动公安系统警卫安保的多源异构数据分析方法
CN113297364A (zh) * 2021-06-07 2021-08-24 吉林大学 一种面向对话系统中的自然语言理解方法及装置
CN113505598A (zh) * 2021-08-06 2021-10-15 贵州江南航天信息网络通信有限公司 一种基于混合神经网络的网络文本实体关系抽取算法

Similar Documents

Publication Publication Date Title
CN108763542A (zh) 一种基于联合学习的文本情报分类方法、装置及计算机设备
CN108874782B (zh) 一种层次注意力lstm和知识图谱的多轮对话管理方法
CN108984745B (zh) 一种融合多知识图谱的神经网络文本分类方法
CN107239446B (zh) 一种基于神经网络与注意力机制的情报关系提取方法
CN107918782A (zh) 一种生成描述图像内容的自然语言的方法与系统
CN110083700A (zh) 一种基于卷积神经网络的企业舆情情感分类方法及系统
CN110134771A (zh) 一种基于多注意力机制融合网络问答系统的实现方法
CN111581385B (zh) 一种不平衡数据采样的中文文本类别识别系统及方法
CN107832400A (zh) 一种基于位置的lstm和cnn联合模型进行关系分类的方法
CN108763216A (zh) 一种基于中文数据集的文本情感分析方法
CN109241255A (zh) 一种基于深度学习的意图识别方法
CN106960206A (zh) 字符识别方法和字符识别系统
CN109522548A (zh) 一种基于双向交互神经网络的文本情感分析方法
CN106503055A (zh) 一种从结构化文本到图像描述的生成方法
CN110502753A (zh) 一种基于语义增强的深度学习情感分析模型及其分析方法
CN110442707A (zh) 一种基于seq2seq的多标签文本分类方法
CN107577662A (zh) 面向中文文本的语义理解系统及方法
CN111160350B (zh) 人像分割方法、模型训练方法、装置、介质及电子设备
CN108549658A (zh) 一种基于语法分析树上注意力机制的深度学习视频问答方法及系统
CN106407874A (zh) 基于笔迹坐标序列的手写识别方法
CN109614487A (zh) 一种基于张量融合方式的情感分类的方法
CN109840322A (zh) 一种基于强化学习的完形填空型阅读理解分析模型及方法
CN109101584A (zh) 一种将深度学习与数学分析相结合的句子分类改进方法
CN111522908A (zh) 一种基于BiGRU和注意力机制的多标签文本分类方法
CN112182249B (zh) 针对航空安全报告的自动分类方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20181106