CN113076483A - 基于案件要素异构图的舆情新闻抽取式摘要方法 - Google Patents
基于案件要素异构图的舆情新闻抽取式摘要方法 Download PDFInfo
- Publication number
- CN113076483A CN113076483A CN202110458891.5A CN202110458891A CN113076483A CN 113076483 A CN113076483 A CN 113076483A CN 202110458891 A CN202110458891 A CN 202110458891A CN 113076483 A CN113076483 A CN 113076483A
- Authority
- CN
- China
- Prior art keywords
- sentence
- nodes
- case
- node
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000000605 extraction Methods 0.000 title claims abstract description 17
- 239000000284 extract Substances 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 33
- 239000013598 vector Substances 0.000 claims description 27
- 230000007246 mechanism Effects 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 12
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 230000009193 crawling Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 230000002457 bidirectional effect Effects 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000012938 design process Methods 0.000 claims description 3
- 230000008034 disappearance Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims 1
- 238000011161 development Methods 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 238000002474 experimental method Methods 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 238000013459 approach Methods 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/34—Browsing; Visualisation therefor
- G06F16/345—Summarisation for human users
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明基于案件要素异构图的舆情新闻抽取式摘要方法，属于自然语言处理领域。本发明包括：构建案件舆情新闻数据集；首先通过基于图注意力机制融入案件要素的方法，构建一个由句子节点、词节点以及案件要素节点组成的异构图，来捕捉句子间的关联关系，最后对句子进行分类，生成摘要。本发明采用异构图表示不同节点的方式，通过对句子节点与案件要素节点之间的关联性，采用图注意力机制和更新主任务模型和辅助模型的参数。本发明通过融合案件要素进行有效筛选包含较多关键词的句子，实现了舆情摘要的抽取式工作，从获取的案件舆情数据中抽取出摘要，为后续快速了解案情、掌握和监控舆情的发展态势起到重要支撑作用。
Description
技术领域
本发明涉及基于案件要素异构图的舆情新闻抽取式摘要方法，属于自然语言处理领域。
背景技术
案件舆情摘要可以看做一个面向特定领域的摘要，目前针对该任务主要有抽取式和生成式两类方法。其中抽取式摘要直接从原文中抽取重要的句子作为摘要句，因为句子来自于原文，流畅度和忠实度较好，在实际场景下取得了很好的效果。
传统的抽取式摘要方法包括基于主题模型的方法，基于图排序的方法。(1)基于主题模型的方法是通过狄利克雷分布(LDA)模型得到文本主题，然后采用不同的算法计算句子和主题的相似度来得到摘要句，例如Liu将LDA建立的主题分成重要和非重要两类，并使用词频、位置等统计特征和LDA特征一起计算句子权重。Wu提出一种方法考虑时间演化的基础上同时考虑主题的演化，最后将标题作为摘要输出。(2)基于图排序的方法是将句子作为顶点，句子之间的相似度作为边的权重，根据顶点的权重的分数来确定关键句，例如Mihalcea等通过TextRank图排序算法抽取文本中重要度较高的句子形成摘要。另一类抽取式摘要方法主要是基于深度神经网络，其基本思想是把抽取式摘要任务看作句子分类任务，通过给每个句子打标签确定某一句子是否属于摘要，其核心在于如何更好的生成句子的表征。Nallapati等首次提出将抽取式摘要看作序列分类问题，构建SummaRuNNer文本分类模型，采用GRU作为基本序列分类器的基本模块，结合词和句子两层编码特征来判断句子是否是摘要句。Fattah等采用人工设计的统计特征训练分类器对文本中的句子依据重要程度进行分类。zhang提出抽取的句子标签作为隐藏变量的抽取式摘要模型，将句子和原始摘要进行对比来对句子进行分类。
在案件舆情摘要领域韩等人提出一种案件要素增强的案件舆情文本摘要方法，通过对案件要素进行独立编码，然后基于注意力机制融入到词和句子的编码层中，取得了很好的效果。基于图结构的方法能够更直接的表达不同节点之间的关联关系，近年来在文本分类、阅读理解、文本摘要等任务上取得了很好的效果。如Linmei等针对短文本分类任务，提出一种主题-实体异构神经图，通过融入额外的主题、实体信息捕捉文本与这些信息之间丰富的关系信息，取得了很好的效果。Tu等针对阅读理解任务，引入了异构图网络，将文档、实体和候选对象一起编码，实现跨文档的多跳阅读理解任务。
在文本摘要任务方面，Tan提出一种基于句子注意力机制的摘要方法，引入基于序列到序列框架的图注意力机制对句子进行编码，基于分层解码参考机制，提高了摘要质量。Feng针对对话摘要任务，提出一种新颖的多对话摘要任务来演示大规模常识知识，以及如何促进对话理解的摘要生成任务。与本发明比较相近的是Wang等人的工作，他们提出一种基于异构图神经网络的抽取式摘要方法，通过构建词、句子不同粒度的异构图，基于异构图注意力网络对其进行编码，生成句子表示。
发明内容
本发明提供基于案件要素异构图的舆情新闻抽取式摘要方法，通过基于图注意力机制融入案件要素的方法，有效筛选包含案件要素的句子，提升抽取式摘要任务的性能。
本发明的技术方案是：基于案件要素异构图的舆情新闻抽取式摘要方法，所述方法首先构建案件舆情新闻数据集；通过基于图注意力机制融入案件要素的方法，构建一个由句子节点、词节点以及案件要素节点组成的异构图，来捕捉句子间的关联关系；最后对句子进行分类，生成摘要。
作为本发明的进一步方案，所述构建案件舆情新闻数据集包括：
通过爬虫技术爬取基于百度百科案件舆情文本；
首先构造一个包含案件名称的案件库，根据案件名称在百度百科词条中去搜索，搜索结果以网页的形式展现，以网页内容第一条为摘要；把网页第二条描述案件相关的内容定义为案件要素，其数量平均为5个，经过筛选与预处理形成json格式文件，通过人工对数据集进行清洗、标注得到案件舆情新闻数据集。
作为本发明的进一步方案，所述通过基于图注意力机制融入案件要素的方法，构建一个由句子节点、词节点以及案件要素节点组成的异构图包括：
通过词嵌入和位置嵌入分别对案件舆情新闻正文和案件要素进行特征编码，利用CNN与BiLSTM编码器提取句子特征，将获得的句子特征和案件要素特征构建异构图提取文档特征，再对文档特征采用基于图注意力机制融入案件要素的方法对句子进行有效地过滤筛选，采用图注意力同时学习和更新主任务模型和辅助模型的参数。
作为本发明的进一步方案，所述构建案件舆情新闻数据集的具体步骤如下：
Step1.1、通过爬虫技术爬取案件舆情新闻文本，共爬取14214篇文档，每一篇爬取的文档包含着摘要、案件要素以及对于案件描述的正文；
Step1.2、对案件舆情新闻数据集中的正文及案件要素进行过滤筛选，过滤筛选的方式如下所示：(1)去除文本内容中的多余符号、超链接和特殊字符；(2)去除正文中相同的案件要素信息；
Step1.3、采用人工标注，获得案件舆情数据集；首先对正文中的每一句话打上标签，1为候选摘要，0则不是候选摘要。
作为本发明的进一步方案，所述通过基于图注意力机制融入案件要素的方法，构建一个由句子节点、词节点以及案件要素节点组成的异构图的具体步骤如下：
Step2.1、使用卷积神经网络CNN得到词局部特征，同时用双向长短期记忆网络BiLSTM获得句子全局特征，最后拼接词局部特征和句子全局特征，得到句子特征表示；
Step2.2、案件要素的编码，采用Word2Vec编码模块对案件要素特征、词特征进行编码，得到案件要素特征表示、词特征表示；
Step2.3、引入在句子中的词来连接句子，计算TF-IDF值作为案件要素节点与句子节点之间的边权重，同理计算词节点与句子节点之间的TF-IDF值作为它们之间边的权重；利用得到的句子特征表示、案件要素特征表示、词特征表示、案件要素节点与句子节点之间的边权重、词节点与句子节点之间的边权重来构建异构图；
Step2.4、在构建异构图中，已经对案件要素节点与句子节点之间边的权重通过TF-IDF初始化得到，通过注意力层更新权重值，得到权重值高的句子，通过词节点再建立句子间的联系，得到句子间的权重，最后通过两个注意力拼接就得到文档中的与案件相关的句子排序。
作为本发明的进一步方案，所述Step2.1的具体步骤如下：
Step2.1.1、在句子编码层，首先将句子分词获得词级信息进行词嵌入表示，转换成句子向量，作为输入；
编码器读取输入序列D＝{s1,s2,…,sn}，是含有n个句子的文档，上下文的表征向量是H＝{h1,h2,…,hn}，表示有n个句子节点的向量表示，即也表示正文中句子的数目；s＝{w1,w2,…,wm}是含有m个词的句子，卷积层窗口内的m个词s＝{wi,wi+1,wi+2,…,wi+m-1}采用xi；i+m-1表示，m个词局部特征用ls表示，具体如下：
ls＝g(Wxi:i+m-1+b) (1)
其中b是一个偏置项，g是一个非线性的激活函数，w是卷积运算中的滤波器，能提取卷积窗口内的连续词之间的特征；获得词局部特征，便于与词节点和案件要素节点建立联系，局部特征也便于增强句子节点间的联系；
Step2.1.2、句子全局特征用gs表示，采用BiLSTM，作为一种序列化模型，对输入的句子进行逐词编码，BiLSTM包含前向和后向LSTM，
其中，
和
分别表示前向LSTM和后向LSTM网络，hsi表示i时刻的输入，将前向和后向编码向量拼接得到输入序列句子节点s的全局向量表征
最后，通过CNN得到的词局部特征和BiLSTM得到的句子全局特征的拼接作为句子节点s矩阵表示：
式(4)中n表示正文中句子的数目，ds是每个句子输入时的特征矩阵的维数。
作为本发明的进一步方案，所述Step2.2的具体步骤如下：
Step2.2.1、在异构图中节点包含句子节点集合S、词节点集合W、案件要素节点集合C；句子节点集合S＝{s1,s2,…,sn}，其中s2表示第2个句子，n表示句子集合的大小，即也表示正文中句子的数目；词节点集合W＝{w1,w2,…,wm}，由一个案件文档中的词构成，其中m表示句子经过分词后词的总数；案件要素节点集合C＝{c1,c2,…,cp}，其中c2表示第2个案件要素，p表示共有p个案件要素。
Step2.2.2、在案件要素编码中，将文档中的案件要素使用Word2Vec得到每一个案件要素节点矩阵表示：
其中p表示案件要素的总数，dc是案件要素c输入的特征矩阵的维数；
同理将文档中的每一个句子通过分词后使用Word2Vec得到每一个词的矩阵表示可得到词节点矩阵表示：
其中m表示句子经过分词后词的总数，dω表示词w输入的特征矩阵的维数。
作为本发明的进一步方案，所述Step2.3包括：
引入在句子中的词来连接句子，计算TF-IDF值作为案件要素节点与句子节点之间的边权重cc,s，同理计算词节点与句子节点之间的TF-IDF值作为它们之间边的权重ww,s；利用得到的词节点矩阵Xw、案件要素节点矩阵XC、句子节点矩阵XS、边权重ww,s，cc,s最终得到异构图G＝{V,E}，V＝Xw∪XC∪XS，E＝ww,s∪cc,s。
作为本发明的进一步方案，所述Step2.4的具体步骤如下：
zic＝LeakyReLU(Wa[Wqhi；Wkhc]) (7)
式(7)其中Wa,Wq,Wk是可训练参数，hc是案件要素节点c的特征表示，hc通过可学习的参数Wk转换与hi向量通过Wq参数转换，拼接后再经过一个可学习参数Wa，然后通过LeakyReLU激活函数，就得到句子节点i与案件要素节点c的之间的注意力相似系数zic；
式(8)是通过式(7)得到的zic进行归一化操作，加权求和后经过一个激活函数，就得到句子节点i和案件要素节点c的注意力系数，αic是输入特征向量hi和案件要素节点hc之间的注意力权重，Ni是指句子节点i的案件要素节点集合，c∈Ni是指句子节点i的案件要素节点，包含在节点i的所有要素节点域N邻接矩阵中，句子节点与案件要素节点通过注意力计算权重，
式(9)是把i节点相连的案件要素节点c的表征表示hc经过WV可训练参数，然后与注意力权重系数αic聚合后就得到i节点与周围邻居节点的注意力特征ci，σ是sigmoid激活函数。
引入多头注意力机制后，句子节点与案件要素节点通过注意力计算权重；
式(10)中K是引入的多头注意力机制的数目，||表示多个头注意力的拼接，
表示由第k个注意力值αk经过归一化计算得到的注意系数，Wk是相应的句子节点线性变换的权重矩阵；
首先计算每一层单头消息传递得到的向量，然后每一个注意力都学习到特征，最后把多个特征拼接在一起，uc就是节点i对于案件要素节点之间的一个特征表示；
再计算句子节点与词节点之间的注意力权重，通过多头注意力后，得到基于词节点的注意力权重：
式(11)中uw是与句子节点相连的词节点，经过多头注意力机制后得到的注意力权重，最后把经过多头注意力得到的要素节点注意力权重值uc和词节点注意力权重值uw拼接，
ui＝[uc；uw] (12)
ui就是经过案件要素节点和词节点注意力后的权重；
此外，还添加了一个残差连接，以避免多次迭代后梯度消失；因此，最终输出节点i的特征表示为:
h′i＝ui+hi (13)
式(13)中ui是式(12)得到的句子节点i的学习到的特征，hi表示节点i输入的特征表示，h′i就是经过GAT输出的对于句子节点i融合了要素节点信息后学到的特征。
作为本发明的进一步方案，所述对句子进行分类，生成摘要具体包括：
经过GAT输出的对于句子节点i融合了要素节点信息后学到的特征h′i，如果句子包含重复出现的词多和案件要素权重值高的句子就选择成为摘要句，为句子打上候选摘要标签，因此，对句子节点进行分类，提取包含候选摘要标签的句子节点，生成摘要；通过输出h′i判断当前句子是否要被标记为摘要句表示为：
yp＝softmax(hi′) (14)
式(14)中yp表示输句子节点经过图注意力学习后被标注为候选摘要的概率；
输入文档样本D＝{s1,s2,…,sn}中对应的真实标签y＝{y1,y2,…,yn}(ys∈[0,1])表示句子标签，ys＝1，表示第s个句子应该包含在摘要中；最终的句子被分为两种标签，是摘要句和不是摘要句，样本点取ys＝1的概率是yp，采用交叉熵作为损失函数：
S是训练集中所有句子集合，ys表示句子s的标签，yp表示对应句子ys＝1时的概率取值。
最后选择Adam优化器，它收敛速度较快且收敛过程较稳定，能基于训练数据迭代地更新神经网络权重。学习率(步长)设置为5e-4，决定了在梯度下降迭代的过程中，每一步沿梯度负方向前进的长度。步长太小，收敛慢，步长太大，会远离最优解。所以从小到大，分别测试，选出一个最优解5e-4。
本发明的有益效果是：
(1)针对案件舆情中文抽取式摘要，如何既考虑案件舆情中文正文与案件要素之间的差别，又考虑它们之间的联系，同时如何过滤和选择案件要素中关键的特征提高摘要抽取准确率。提出一种图注意力机制实现句子与案件要素的融合，设计了一个融合案件要素异构图模型来促进对摘要的生成，引入案件要素作为辅助任务改善其预测性能。
(2)提出的模型通过图注意力机制来过滤和选择句子特征流来对句子节点进行有效的筛选，从而提升模型的预测效果。
(3)在图注意力机制的编码器结构中使用多头注意力(Multi-Head attention)能够捕获更加丰富的字符特征和字符类别特征，具有很好的并行性；
(4)本发明采用异构图表示不同节点的方式，通过对句子节点与案件要素节点之间的关联性，采用图注意力机制和更新主任务模型和辅助模型的参数。本发明通过融合案件要素进行有效筛选包含较多关键词的句子，实现了舆情摘要的抽取式工作，从获取的案件舆情数据中抽取出摘要，为后续快速了解案情、掌握和监控舆情的发展态势起到重要支撑作用。
附图说明
图1是本发明提出的融合案件要素的舆情新闻抽取式摘要方法的具体结构示意图。
具体实施方式
实施例1：如图1所示，基于融合案件要素的舆情新闻抽取式摘要方法，所述方法的具体步骤如下：
Step1、首先构建案件舆情新闻数据集；
Step1.1、通过爬虫技术爬取案件舆情新闻文本，共爬取14214篇文档，每一篇爬取的文档包含着摘要、案件要素以及对于案件描述的正文；
Step1.2、对案件舆情新闻数据集中的正文及案件要素进行过滤筛选，过滤筛选的方式如下所示：(1)去除文本内容中的多余符号、超链接和特殊字符；(2)去除正文中相同的案件要素信息；
Step1.3、采用人工标注，获得案件舆情数据集；首先对正文中的每一句话打上标签，1为候选摘要，0则不是候选摘要。实验数据规模如表1所示：
表1数据集统计
作为本发明的进一步方案，所述构建案件舆情新闻数据集包括：
通过爬虫技术爬取基于百度百科案件舆情文本；
首先构造一个包含案件名称的案件库，根据案件名称在百度百科词条中去搜索，搜索结果以网页的形式展现，以网页内容第一条为摘要；把网页第二条描述案件相关的内容定义为案件要素，其数量平均为5个，经过筛选与预处理形成json格式文件，通过人工对数据集进行清洗、标注得到案件舆情新闻数据集。
Step2、通过基于图注意力机制融入案件要素的方法，构建一个由句子节点、词节点以及案件要素节点组成的异构图，来捕捉句子间的关联关系；
作为本发明的进一步方案，所述通过基于图注意力机制融入案件要素的方法，构建一个由句子节点、词节点以及案件要素节点组成的异构图包括：
通过词嵌入和位置嵌入分别对案件舆情新闻正文和案件要素进行特征编码，利用CNN与BiLSTM编码器提取句子特征，将获得的句子特征和案件要素特征构建异构图提取文档特征，再对文档特征采用基于图注意力机制融入案件要素的方法对句子进行有效地过滤筛选，采用图注意力同时学习和更新主任务模型和辅助模型的参数。
作为本发明的进一步方案，所述通过基于图注意力机制融入案件要素的方法，构建一个由句子节点、词节点以及案件要素节点组成的异构图的具体步骤如下：
Step2.1、为了更好的获得句子之间的关联关系，使用卷积神经网络CNN得到词局部特征，同时用双向长短期记忆网络BiLSTM获得句子全局特征，最后拼接词局部特征和句子全局特征，得到句子特征表示；
作为本发明的进一步方案，所述Step2.1的具体步骤如下：
Step2.1.1、在句子编码层，首先将句子分词获得词级信息进行词嵌入表示，转换成句子向量，作为输入；
编码器读取输入序列D＝{s1,s2,…,sn}，是含有n个句子的文档，上下文的表征向量是H＝{h1,h2,…,hn}，表示有n个句子节点的向量表示，即也表示正文中句子的数目；s＝{w1,w2,…,wm}是含有m个词的句子，卷积层窗口内的m个词s＝{wi,wi+1,wi+2,…,wi+m-1}采用xi；i+m-1表示，m个词局部特征用ls表示，具体如下：
ls＝g(Wxi:i+m-1+b) (1)
其中b是一个偏置项，g是一个非线性的激活函数，w是卷积运算中的滤波器，能提取卷积窗口内的连续词之间的特征；获得词局部特征，便于与词节点和案件要素节点建立联系，局部特征也便于增强句子节点间的联系；
Step2.1.2、句子全局特征用gs表示，采用BiLSTM，作为一种序列化模型，对输入的句子进行逐词编码，BiLSTM包含前向和后向LSTM，
其中，
和
分别表示前向LSTM和后向LSTM网络，hsi表示i时刻的输入，将前向和后向编码向量拼接得到输入序列句子节点s的全局向量表征
最后，通过CNN得到的词局部特征和BiLSTM得到的句子全局特征的拼接作为句子节点s矩阵表示：
式(4)中n表示正文中句子的数目，ds是每个句子输入时的特征矩阵的维数。
Step2.2、案件要素的编码，采用Word2Vec编码模块对案件要素特征、词特征进行编码，得到案件要素特征表示、词特征表示；
作为本发明的进一步方案，所述Step2.2的具体步骤如下：
Step2.2.1、在异构图中节点包含句子节点集合S、词节点集合W、案件要素节点集合C；句子节点集合S＝{s1,s2,…,sn}，其中s2表示第2个句子，n表示句子集合的大小，即也表示正文中句子的数目；词节点集合W＝{w1,w2,…,wm}，由一个案件文档中的词构成，其中m表示句子经过分词后词的总数；案件要素节点集合C＝{c1,c2,…,cp}，其中c2表示第2个案件要素，p表示共有p个案件要素。
Step2.2.2、在案件要素编码中，将文档中的案件要素使用Word2Vec得到每一个案件要素节点矩阵表示：
其中p表示案件要素的总数，dc是案件要素c输入的特征矩阵的维数；
同理将文档中的每一个句子通过分词后使用Word2Vec得到每一个词的矩阵表示可得到词节点矩阵表示：
其中m表示句子经过分词后词的总数，dω表示词w输入的特征矩阵的维数。
Step2.3、在句子节点特征提取之后，为了增强句子之间的联系性，引入在句子中的词来连接句子，计算TF-IDF值作为案件要素节点与句子节点之间的边权重，同理计算词节点与句子节点之间的TF-IDF值作为它们之间边的权重；利用得到的句子特征表示、案件要素特征表示、词特征表示、案件要素节点与句子节点之间的边权重、词节点与句子节点之间的边权重来构建异构图；
作为本发明的进一步方案，所述Step2.3包括：
引入在句子中的词来连接句子，计算TF-IDF值作为案件要素节点与句子节点之间的边权重cc,s，同理计算词节点与句子节点之间的TF-IDF值作为它们之间边的权重ww,s；利用得到的词节点矩阵Xw、案件要素节点矩阵XC、句子节点矩阵XS、边权重ww,s，cc,s最终得到异构图G＝{V,E}，V＝Xw∪XC∪XS，E＝ww,s∪cc,s。
Step2.4、案件要素是根据案件舆情与中文所陈述的事件而产生的，案件舆情摘要是指从与司法案件相关的网络舆情信息中抽取与案件相关的句子作为摘要。为了根据特定任务选择有价值和合适的特征，本发明在共享层之后设计了一个融合案件要素的图注意力模块。在构建异构图中，已经对案件要素节点与句子节点之间边的权重通过TF-IDF初始化得到，通过注意力层更新权重值，得到权重值高的句子，通过词节点再建立句子间的联系，得到句子间的权重，最后通过两个注意力拼接就得到文档中的与案件相关的句子排序。
作为本发明的进一步方案，所述Step2.4的具体步骤如下：
zic＝LeakyReLU(Wa[Wqhi；Wkhc]) (7)
式(7)其中Wa,Wq,Wk是可训练参数，hc是案件要素节点c的特征表示，hc通过可学习的参数Wk转换与hi向量通过Wq参数转换，拼接后再经过一个可学习参数Wa，然后通过LeakyReLU激活函数，就得到句子节点i与案件要素节点c的之间的注意力相似系数zic；
式(8)是通过式(7)得到的zic进行归一化操作，加权求和后经过一个激活函数，就得到句子节点i和案件要素节点c的注意力系数，αic是输入特征向量hi和案件要素节点hc之间的注意力权重，Ni是指句子节点i的案件要素节点集合，c∈Ni是指句子节点i的案件要素节点，包含在节点i的所有要素节点域N邻接矩阵中，句子节点与案件要素节点通过注意力计算权重，
式(9)是把i节点相连的案件要素节点c的表征表示hc经过WV可训练参数，然后与注意力权重系数αic聚合后就得到i节点与周围邻居节点的注意力特征ci，σ是sigmoid激活函数。
引入多头注意力机制后，句子节点与案件要素节点通过注意力计算权重；
式(10)中K是引入的多头注意力机制的数目，||表示多个头注意力的拼接，
表示由第k个注意力值αk经过归一化计算得到的注意系数，Wk是相应的句子节点线性变换的权重矩阵；
首先计算每一层单头消息传递得到的向量，然后每一个注意力都学习到特征，最后把多个特征拼接在一起，uc就是节点i对于案件要素节点之间的一个特征表示；
再计算句子节点与词节点之间的注意力权重，通过多头注意力后，得到基于词节点的注意力权重：
式(11)中uw是与句子节点相连的词节点，经过多头注意力机制后得到的注意力权重，最后把经过多头注意力得到的要素节点注意力权重值uc和词节点注意力权重值uw拼接，
ui＝[uc；uw] (12)
ui就是经过案件要素节点和词节点注意力后的权重；
此外，还添加了一个残差连接，以避免多次迭代后梯度消失；因此，最终输出节点i的特征表示为:
h′i＝ui+hi (13)
式(13)中ui是式(12)得到的句子节点i的学习到的特征，hi表示节点i输入的特征表示，h′i就是经过GAT输出的对于句子节点i融合了要素节点信息后学到的特征。
Step3、最后对句子进行分类，生成摘要。所述对句子进行分类，生成摘要具体包括：
经过GAT输出的对于句子节点i融合了要素节点信息后学到的特征hi′，如果句子包含重复出现的词多和案件要素权重值高的句子就选择成为摘要句，为句子打上候选摘要标签，因此，对句子节点进行分类，提取包含候选摘要标签的句子节点，生成摘要；通过输出h′i判断当前句子是否要被标记为摘要句表示为：
yp＝softmax(h′i) (14)
式(14)中yp表示输句子节点经过图注意力学习后被标注为候选摘要的概率；
输入文档样本D＝{s1,s2,…,sn}中对应的真实标签y＝{y1,y2,…,yn}(ys∈[0,1])表示句子标签，ys＝1，表示第s个句子应该包含在摘要中；最终的句子被分为两种标签，是摘要句和不是摘要句，样本点取ys＝1的概率是yp，采用交叉熵作为损失函数：
S是训练集中所有句子集合，ys表示句子s的标签，yp表示对应句子ys＝1时的概率取值。
最后选择Adam优化器，它收敛速度较快且收敛过程较稳定，能基于训练数据迭代地更新神经网络权重。学习率(步长)设置为5e-4，决定了在梯度下降迭代的过程中，每一步沿梯度负方向前进的长度。步长太小，收敛慢，步长太大，会远离最优解。所以从小到大，分别测试，选出一个最优解5e-4。
为了说明本发明的效果，设置了3组对比实验。第一组实验验证抽取式摘要性能的提升，第二组实验验证不同案件要素抽取方法的实验，第三组实验验证不同融入案件要素方法对比。本发明采用自动摘要任务中常用的一种内部评价指标ROUGE(recall-orientedunderstudy for gisting evaluation)值作为模型的评价指标，分别用Rouge-1(RG-1)、Rouge-2(RG-2)和Rouge-L(RG-L)的F1值计算摘要生成结果，Rouge值越高说明效果越好。
(1)抽取式摘要性能提升验证
本节选择了4个模型作为基准模型,在案件舆情摘要数据集上进行实验，所有基准模型的训练集、测试集和验证集划分与本发明相同，其基准模型包括分别为：LEAD-3，MMR，TextRank，SuMMaRuNNer。
基于位置信息的方法：LEAD-3是一种依靠句子在文章中的位置来抽取摘要的方法，一般来说，文章的重要信息易出现在文章开头的部分,抽取文章前三句作为摘要。
基于统计的方法：TextRank是一种基于图的摘要提取算法，将句子视为节点，通过计算图中每个节点的得分，来选择得分最高的几个句子作为摘要。
基于排序的方法：MMR(Maximal Marginal Relevance)最大边界相关算法，是用来计算查询文本与被搜索文档之间的相似度，然后对文档进行排序,最后选取句子的算法。
基于神经网络的方法：SummaRuNNer是基于序列分类器的循环神经网络对句子分类训练模型，采用两层双向GRU(Gate Recurrent Unit)和RNN(Recurrent NeuralNetwork)来编码。
本发明方法：“句子+词+GAT”表示未融入案件要素的异构图注意力方法，基于图注意力来编码实现中文单文档抽取式摘要的，本发明模型表示“句子+词+(案件要素+GAT)”，在前者基础上融入了案件要素图注意力。结果如表2所示
表2基准模型实验对比实验(％)
根据上表的实验结果可以看出：(1)基于位置信息的方法：实验结果较差，因为在案件舆情文本中，前几句话中不全是对案件的描述，而是描述文本的发布来源、时间等与案件无关信息，这样的句子不能表达文本主题，抽取文档中的前一句或者前三句话不能作为摘要；(2)基于统计的方法：本发明模型与TextRank模型相比，RG-1和RG-2值有3.19和3.06的提升，可能是因为本发明的模型融入案件要素抽取更加重要的句子，这些句子与主题语义相关，而TextRank的方法没有考虑文本之间的语义问题，生成的摘要不能包含文章的主题信息；(3)基于排序的方法：本发明模型与MMR模型相比，RG-1和RG-2值有2.87和3.62的提升，可能的原因是本发明模型引入基于案件要素异构图能很好的表征句子之间的关联关系，这种方法要比仅考虑句子相似度的MMR方法更全面的捕捉到文档中的句子信息，有利于生成结构清晰、语义完整的摘要；(4)基于神经网络的方法：本发明模型与SuMMaRuNNer相比，RG-1和RG-2分别提升了6.26和1.8，并未在本数据集上取得很好的效果，结果表明本发明提出将案件要素作为外部知识融入的异构图摘要模型可以较好的提高模型的摘要性能，抽取出的摘要能贴近案件舆情文本主题，相关性更高；(5)本发明方法：来验证本发明模型中融入案件要素的有效性，本发明模型与“句子+词+GAT”模型相比，RG-1和RG-2提升1.35和1.68个百分点，说明在案件舆情领域，基于图注意力机制融入案件要素构建异构图的方法是有效的，能够很好地表征文档跨句子之间的关联关系，对于抽取出更贴近文档主题的句子有着重要指导作用。
(2)不同案件要素抽取方法的对比
本实验主要是验证不同方法获取案件要素对于摘要生成的影响，分别用TF-IDF和TextRank两种算法抽取关键词充当案件要素，融入到本发明模型中生成摘要，结果如表3所示：
表3不同案件要素抽取方法的对比分析(％)
从上表实验结果可以看出，本发明模型与TF-IDF和TextRank相比，在RG-1值上分别有0.57和0.66的提升，结果说明：(1)本发明数据集中案件要素能全面地概括文档的主题信息，包含的案件信息更全面。(2)在句子抽取层中使用案件要素信息对句子信息进行处理，抽取包含更多案件要素的句子，得到更加接近案件主题的摘要。(3)证明在本数据集上基于案件要素、词和句子构建异构图，利用图注意力融入案件要素的模型的有效性。
(3)不同融入案件要素方法对比
本实验与韩等人提出的基于案件要素指导的涉案舆情新闻文本模型进行对比，韩等人模型分别在词、句子编码层都融入案件要素注意力机制。把本发明数据集放在韩等人模型上进行对比实验，来验证本发明引入异构图构建节点与边之间关系的有效性。GRU表示不引入任何案件要素和关键词信息的注意力机制实验，GRUcase_Attnall表示使用案件要素和关键词一起作注意力机制的实验。结果如表4所示：
表4不同融入案件要素的方法对比实验分析(％)
从上表可以看出，本发明模型与GRU和GRUcase_Attnall模型相比，RG-1值分别有8.52和8.1的提升，结果表明：(1)韩等人对裁判文书网中案件要素构成进行分析，定义“案件名、案发地、涉案人员、案件描述”四个案件要素，来源是从文本中抽取得到，通过注意力机制将案件要素信息融入文本的词、句子双层编码中。这种方法把每个句子看作是相互独立，侧重于关注句子、词和句子、案件要素之间的关系。对于案件领域长文本还应该考虑句子之间的关联关系。(2)在本发明模型中，基于案件要素异构图的方法能有效地表示句子间的关联关系，融入案件要素的图注意力机制，能捕捉与案件要素相关的句子，生成意思更加凝练、简洁的摘要。(3)本发明模型引入异构图能包含更多丰富的节点信息和语义信息，将多种类型的节点和边的信息整合，突出与每个句子节点相关联的异构属性、异构内容，包含的节点类型更广，语义更丰富。
本发明针对案件舆情抽取式摘要，在基于图注意力融入案件要素的模型框架下，提出融入案件要素异构图的抽取式摘要方法。通过图注意力机制关注包含关键词的句子，对句子分类，从而提高了抽取式文本摘要的质量。在案件舆情摘要数据集上的实验结果表明该方法能够有效的改善引入外部知识特定领域案件摘要的性能。融入案件要素的图注意力机制能很好的表征句子之间的关联关系，对于摘要句的提取有很好的指导作用，本发明模型和基准模型相比取得了一定的进步。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (10)
1.基于案件要素异构图的舆情新闻抽取式摘要方法，其特征在于，首先构建案件舆情新闻数据集；通过基于图注意力机制融入案件要素的方法，构建一个由句子节点、词节点以及案件要素节点组成的异构图，来捕捉句子间的关联关系；最后对句子进行分类，生成摘要。
2.根据权利要求1所述的基于案件要素异构图的舆情新闻抽取式摘要方法，其特征在于，所述构建案件舆情新闻数据集包括：
通过爬虫技术爬取基于百度百科案件舆情文本；
首先构造一个包含案件名称的案件库，根据案件名称在百度百科词条中去搜索，搜索结果以网页的形式展现，以网页内容第一条为摘要；把网页第二条描述案件相关的内容定义为案件要素，其数量平均为5个，经过筛选与预处理形成json格式文件，通过人工对数据集进行清洗、标注得到案件舆情新闻数据集。
3.根据权利要求1所述的基于案件要素异构图的舆情新闻抽取式摘要方法，其特征在于，所述通过基于图注意力机制融入案件要素的方法，构建一个由句子节点、词节点以及案件要素节点组成的异构图包括：
通过词嵌入和位置嵌入分别对案件舆情新闻正文和案件要素进行特征编码，利用CNN与BiLSTM编码器提取句子特征，将获得的句子特征和案件要素特征构建异构图提取文档特征，再对文档特征采用基于图注意力机制融入案件要素的方法对句子进行有效地过滤筛选，采用图注意力同时学习和更新主任务模型和辅助模型的参数。
4.根据权利要求1所述的基于案件要素异构图的舆情新闻抽取式摘要方法，其特征在于，所述构建案件舆情新闻数据集的具体步骤如下：
Step1.1、通过爬虫技术爬取案件舆情新闻文本，共爬取14214篇文档，每一篇爬取的文档包含着摘要、案件要素以及对于案件描述的正文；
Step1.2、对案件舆情新闻数据集中的正文及案件要素进行过滤筛选，过滤筛选的方式如下所示：(1)去除文本内容中的多余符号、超链接和特殊字符；(2)去除正文中相同的案件要素信息；
Step1.3、采用人工标注，获得案件舆情数据集；首先对正文中的每一句话打上标签，1为候选摘要，0则不是候选摘要。
5.根据权利要求1所述的基于案件要素异构图的舆情新闻抽取式摘要方法，其特征在于，所述通过基于图注意力机制融入案件要素的方法，构建一个由句子节点、词节点以及案件要素节点组成的异构图的具体步骤如下：
Step2.1、使用卷积神经网络CNN得到词局部特征，同时用双向长短期记忆网络BiLSTM获得句子全局特征，最后拼接词局部特征和句子全局特征，得到句子特征表示；
Step2.2、案件要素的编码，采用Word2Vec编码模块对案件要素特征、词特征进行编码，得到案件要素特征表示、词特征表示；
Step2.3、引入在句子中的词来连接句子，计算TF-IDF值作为案件要素节点与句子节点之间的边权重，同理计算词节点与句子节点之间的TF-IDF值作为它们之间边的权重；利用得到的句子特征表示、案件要素特征表示、词特征表示、案件要素节点与句子节点之间的边权重、词节点与句子节点之间的边权重来构建异构图；
Step2.4、在构建异构图中，已经对案件要素节点与句子节点之间边的权重通过TF-IDF初始化得到，通过注意力层更新权重值，得到权重值高的句子，通过词节点再建立句子间的联系，得到句子间的权重，最后通过两个注意力拼接就得到文档中的与案件相关的句子排序。
6.根据权利要求5所述的基于案件要素异构图的舆情新闻抽取式摘要方法，其特征在于，所述Step2.1的具体步骤如下：
Step2.1.1、在句子编码层，首先将句子分词获得词级信息进行词嵌入表示，转换成句子向量，作为输入；
编码器读取输入序列D＝{s1,s2,…,sn}，是含有n个句子的文档，上下文的表征向量是H＝{h1,h2,…,hn}，表示有n个句子节点的向量表示，即也表示正文中句子的数目；s＝{w1,w2,…,wm}是含有m个词的句子，卷积层窗口内的m个词s＝{wi,wi+1,wi+2,…,wi+m-1}采用xi；i+m-1表示，m个词局部特征用ls表示，具体如下：
ls＝g(Wxi:i+m-1+b) (1)
其中b是一个偏置项，g是一个非线性的激活函数，w是卷积运算中的滤波器，能提取卷积窗口内的连续词之间的特征；获得词局部特征，便于与词节点和案件要素节点建立联系，局部特征也便于增强句子节点间的联系；
Step2.1.2、句子全局特征用gs表示，采用BiLSTM，作为一种序列化模型，对输入的句子进行逐词编码，BiLSTM包含前向和后向LSTM，
其中，
和
分别表示前向LSTM和后向LSTM网络，hsi表示i时刻的输入，将前向和后向编码向量拼接得到输入序列句子节点s的全局向量表征
最后，通过CNN得到的词局部特征和BiLSTM得到的句子全局特征的拼接作为句子节点s矩阵表示：
式(4)中n表示正文中句子的数目，ds是每个句子输入时的特征矩阵的维数。
7.根据权利要求5所述的基于案件要素异构图的舆情新闻抽取式摘要方法，其特征在于，所述Step2.2的具体步骤如下：
Step2.2.1、在异构图中节点包含句子节点集合S、词节点集合W、案件要素节点集合C；句子节点集合S＝{s1,s2,…,sn}，其中s2表示第2个句子，n表示句子集合的大小，即也表示正文中句子的数目；词节点集合W＝{w1,w2,…,wm}，由一个案件文档中的词构成，其中m表示句子经过分词后词的总数；案件要素节点集合C＝{c1,c2,…,cp}，其中c2表示第2个案件要素，p表示共有p个案件要素；
Step2.2.2、在案件要素编码中，将文档中的案件要素使用Word2Vec得到每一个案件要素节点矩阵表示：
其中p表示案件要素的总数，dc是案件要素c输入的特征矩阵的维数；
同理将文档中的每一个句子通过分词后使用Word2Vec得到每一个词的矩阵表示可得到词节点矩阵表示：
其中m表示句子经过分词后词的总数，dω表示词w输入的特征矩阵的维数。
8.根据权利要求5所述的基于案件要素异构图的舆情新闻抽取式摘要方法，其特征在于，所述Step2.3包括：
引入在句子中的词来连接句子，计算TF-IDF值作为案件要素节点与句子节点之间的边权重cc,s，同理计算词节点与句子节点之间的TF-IDF值作为它们之间边的权重ww,s；利用得到的词节点矩阵Xw、案件要素节点矩阵XC、句子节点矩阵XS、边权重ww,s，cc,s最终得到异构图G＝{V,E}，V＝Xw∪XC∪XS，E＝ww,s∪cc,s。
9.根据权利要求5所述的基于案件要素异构图的舆情新闻抽取式摘要方法，其特征在于，所述Step2.4的具体步骤如下：
zic＝LeakyReLU(Wa[Wqhi；Wkhc]) (7)
式(7)其中Wa,Wq,Wk是可训练参数，hc是案件要素节点c的特征表示，hc通过可学习的参数Wk转换与hi向量通过Wq参数转换，拼接后再经过一个可学习参数Wa，然后通过LeakyReLU激活函数，就得到句子节点i与案件要素节点c的之间的注意力相似系数zic；
式(8)是通过式(7)得到的zic进行归一化操作，加权求和后经过一个激活函数，就得到句子节点i和案件要素节点c的注意力系数，αic是输入特征向量hi和案件要素节点hc之间的注意力权重，Ni是指句子节点i的案件要素节点集合，c∈Ni是指句子节点i的案件要素节点，包含在节点i的所有要素节点域N邻接矩阵中，句子节点与案件要素节点通过注意力计算权重，
式(9)是把i节点相连的案件要素节点c的表征表示hc经过WV可训练参数，然后与注意力权重系数αic聚合后就得到i节点与周围邻居节点的注意力特征ci，σ是sigmoid激活函数；
引入多头注意力机制后，句子节点与案件要素节点通过注意力计算权重；
式(10)中K是引入的多头注意力机制的数目，||表示多个头注意力的拼接，
表示由第k个注意力值αk经过归一化计算得到的注意系数，Wk是相应的句子节点线性变换的权重矩阵；
首先计算每一层单头消息传递得到的向量，然后每一个注意力都学习到特征，最后把多个特征拼接在一起，uc就是节点i对于案件要素节点之间的一个特征表示；
再计算句子节点与词节点之间的注意力权重，通过多头注意力后，得到基于词节点的注意力权重：
式(11)中uw是与句子节点相连的词节点，经过多头注意力机制后得到的注意力权重，最后把经过多头注意力得到的要素节点注意力权重值uc和词节点注意力权重值uw拼接，
ui＝[uc；uw] (12)
ui就是经过案件要素节点和词节点注意力后的权重；
此外，还添加了一个残差连接，以避免多次迭代后梯度消失；因此，最终输出节点i的特征表示为:
h′i＝ui+hi (13)
式(13)中ui是式(12)得到的句子节点i的学习到的特征，hi表示节点i输入的特征表示，h′i就是经过GAT输出的对于句子节点i融合了要素节点信息后学到的特征。
10.根据权利要求5所述的基于案件要素异构图的舆情新闻抽取式摘要方法，其特征在于，所述对句子进行分类，生成摘要具体包括：
经过GAT输出的对于句子节点i融合了要素节点信息后学到的特征h′i，如果句子包含重复出现的词多和案件要素权重值高的句子就选择成为摘要句，为句子打上候选摘要标签，因此，对句子节点进行分类，提取包含候选摘要标签的句子节点，生成摘要；通过输出h′i判断当前句子是否要被标记为摘要句表示为：
yp＝softmax(h′i) (14)
式(14)中yp表示输句子节点经过图注意力学习后被标注为候选摘要的概率；
输入文档样本D＝{s1,s2,…,sn}中对应的真实标签y＝{y1,y2,…,yn}(ys∈[0,1])表示句子标签，ys＝1，表示第s个句子应该包含在摘要中；最终的句子被分为两种标签，是摘要句和不是摘要句，样本点取ys＝1的概率是yp，采用交叉熵作为损失函数：
S是训练集中所有句子集合，ys表示句子s的标签，yp表示对应句子ys＝1时的概率取值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110458891.5A CN113076483A (zh) | 2021-04-27 | 2021-04-27 | 基于案件要素异构图的舆情新闻抽取式摘要方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110458891.5A CN113076483A (zh) | 2021-04-27 | 2021-04-27 | 基于案件要素异构图的舆情新闻抽取式摘要方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113076483A true CN113076483A (zh) | 2021-07-06 |
Family
ID=76618867
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110458891.5A Pending CN113076483A (zh) | 2021-04-27 | 2021-04-27 | 基于案件要素异构图的舆情新闻抽取式摘要方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113076483A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113553402A (zh) * | 2021-07-28 | 2021-10-26 | 山西大学 | 一种基于图神经网络的考试阅读理解自动问答方法 |
| CN113849599A (zh) * | 2021-09-03 | 2021-12-28 | 北京中科睿鉴科技有限公司 | 基于模式信息和事实信息的联合虚假新闻检测方法 |
| CN114020900A (zh) * | 2021-11-16 | 2022-02-08 | 桂林电子科技大学 | 基于融合空间位置注意力机制的图表英语摘要生成方法 |
| CN117725928A (zh) * | 2024-02-18 | 2024-03-19 | 西南石油大学 | 基于关键词异构图和语义匹配的金融文本摘要方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110348016A (zh) * | 2019-07-15 | 2019-10-18 | 昆明理工大学 | 基于句子关联注意力机制的文本摘要生成方法 |
| CN110489541A (zh) * | 2019-07-26 | 2019-11-22 | 昆明理工大学 | 基于案件要素及BiGRU的涉案舆情新闻文本摘要方法 |
| CN111339754A (zh) * | 2020-03-04 | 2020-06-26 | 昆明理工大学 | 基于案件要素句子关联图卷积的案件舆情摘要生成方法 |
| CN111401061A (zh) * | 2020-03-19 | 2020-07-10 | 昆明理工大学 | 基于BERT及BiLSTM-Attention的涉案新闻观点句识别方法 |
| CN111724072A (zh) * | 2020-01-20 | 2020-09-29 | 山东佳联电子商务有限公司 | 一种点拍网的基于图神经网络gat的专利估值方法及系统 |
| CN112364225A (zh) * | 2020-09-30 | 2021-02-12 | 昆明理工大学 | 一种结合用户评论的司法舆情文本摘要方法 |
| CN112560479A (zh) * | 2020-12-24 | 2021-03-26 | 北京百度网讯科技有限公司 | 摘要抽取模型训练方法、摘要抽取方法、装置和电子设备 |
| CN112597296A (zh) * | 2020-12-17 | 2021-04-02 | 中山大学 | 一种基于计划机制和知识图谱引导的摘要生成方法 |
-
2021
- 2021-04-27 CN CN202110458891.5A patent/CN113076483A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110348016A (zh) * | 2019-07-15 | 2019-10-18 | 昆明理工大学 | 基于句子关联注意力机制的文本摘要生成方法 |
| CN110489541A (zh) * | 2019-07-26 | 2019-11-22 | 昆明理工大学 | 基于案件要素及BiGRU的涉案舆情新闻文本摘要方法 |
| CN111724072A (zh) * | 2020-01-20 | 2020-09-29 | 山东佳联电子商务有限公司 | 一种点拍网的基于图神经网络gat的专利估值方法及系统 |
| CN111339754A (zh) * | 2020-03-04 | 2020-06-26 | 昆明理工大学 | 基于案件要素句子关联图卷积的案件舆情摘要生成方法 |
| CN111401061A (zh) * | 2020-03-19 | 2020-07-10 | 昆明理工大学 | 基于BERT及BiLSTM-Attention的涉案新闻观点句识别方法 |
| CN112364225A (zh) * | 2020-09-30 | 2021-02-12 | 昆明理工大学 | 一种结合用户评论的司法舆情文本摘要方法 |
| CN112597296A (zh) * | 2020-12-17 | 2021-04-02 | 中山大学 | 一种基于计划机制和知识图谱引导的摘要生成方法 |
| CN112560479A (zh) * | 2020-12-24 | 2021-03-26 | 北京百度网讯科技有限公司 | 摘要抽取模型训练方法、摘要抽取方法、装置和电子设备 |
Non-Patent Citations (3)
| Title |
|---|
| DANQING WANG等: ""Heterogeneous Graph Neural Networks for Extractive Document Summarization"", 《ARXIV：COMPUTER SCIENCE-COMPUTATION AND LANGUAGE》 * |
| 孙月伟: ""基于事件要素网络的多主题文本自动文摘方法研究"", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
| 韩鹏宇等: ""基于案件要素指导的涉案舆情新闻文本摘要方法"", 《中文信息学报》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113553402A (zh) * | 2021-07-28 | 2021-10-26 | 山西大学 | 一种基于图神经网络的考试阅读理解自动问答方法 |
| CN113553402B (zh) * | 2021-07-28 | 2022-09-20 | 山西大学 | 一种基于图神经网络的考试阅读理解自动问答方法 |
| CN113849599A (zh) * | 2021-09-03 | 2021-12-28 | 北京中科睿鉴科技有限公司 | 基于模式信息和事实信息的联合虚假新闻检测方法 |
| CN113849599B (zh) * | 2021-09-03 | 2023-01-24 | 北京中科睿鉴科技有限公司 | 基于模式信息和事实信息的联合虚假新闻检测方法 |
| CN114020900A (zh) * | 2021-11-16 | 2022-02-08 | 桂林电子科技大学 | 基于融合空间位置注意力机制的图表英语摘要生成方法 |
| CN114020900B (zh) * | 2021-11-16 | 2024-03-26 | 桂林电子科技大学 | 基于融合空间位置注意力机制的图表英语摘要生成方法 |
| CN117725928A (zh) * | 2024-02-18 | 2024-03-19 | 西南石油大学 | 基于关键词异构图和语义匹配的金融文本摘要方法 |
| CN117725928B (zh) * | 2024-02-18 | 2024-04-30 | 西南石油大学 | 基于关键词异构图和语义匹配的金融文本摘要方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Panda et al. | Contemplating visual emotions: Understanding and overcoming dataset bias | |
| CN106484674B (zh) | 一种基于深度学习的中文电子病历概念抽取方法 | |
| CN113076483A (zh) | 基于案件要素异构图的舆情新闻抽取式摘要方法 | |
| CN112256939B (zh) | 一种针对化工领域的文本实体关系抽取方法 | |
| CN107818084B (zh) | 一种融合点评配图的情感分析方法 | |
| CN110807324A (zh) | 一种基于IDCNN-crf与知识图谱的影视实体识别方法 | |
| CN110826639B (zh) | 一种利用全量数据训练零样本图像分类方法 | |
| CN112131347A (zh) | 一种基于多模态融合的假新闻检测方法 | |
| CN112633431B (zh) | 一种基于crnn和ctc的藏汉双语场景文字识别方法 | |
| CN111814477B (zh) | 一种基于争议焦点实体的争议焦点发现方法、装置及终端 | |
| CN114969304A (zh) | 基于要素图注意力的案件舆情多文档生成式摘要方法 | |
| CN111444367A (zh) | 一种基于全局与局部注意力机制的图像标题生成方法 | |
| CN110188195A (zh) | 一种基于深度学习的文本意图识别方法、装置及设备 | |
| CN114756681B (zh) | 一种基于多注意力融合的评教文本细粒度建议挖掘方法 | |
| CN114461890A (zh) | 分层多模态的知识产权搜索引擎方法与系统 | |
| CN116975615A (zh) | 基于视频多模态信息的任务预测方法和装置 | |
| CN116610778A (zh) | 基于跨模态全局与局部注意力机制的双向图文匹配方法 | |
| CN114742071B (zh) | 基于图神经网络的汉越跨语言观点对象识别分析方法 | |
| CN113806547A (zh) | 一种基于图模型的深度学习多标签文本分类方法 | |
| CN115115049A (zh) | 神经网络模型的训练方法、装置、设备、介质及程序产品 | |
| CN114661951A (zh) | 一种视频处理方法、装置、计算机设备以及存储介质 | |
| CN113807307A (zh) | 一种用于视频多行为识别的多模态联合学习方法 | |
| CN111680190B (zh) | 一种融合视觉语义信息的视频缩略图推荐方法 | |
| CN117033558A (zh) | 一种融合bert-wwm与多特征的影评情感分析方法 | |
| CN116843175A (zh) | 一种合同条款风险检查方法、系统、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210706 |