CN106980683A - 基于深度学习的博客文本摘要生成方法 - Google Patents
基于深度学习的博客文本摘要生成方法 Download PDFInfo
- Publication number
- CN106980683A CN106980683A CN201710204696.3A CN201710204696A CN106980683A CN 106980683 A CN106980683 A CN 106980683A CN 201710204696 A CN201710204696 A CN 201710204696A CN 106980683 A CN106980683 A CN 106980683A
- Authority
- CN
- China
- Prior art keywords
- blog
- data
- representing
- text
- abstract
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 58
- 239000013598 vector Substances 0.000 claims abstract description 54
- 239000011159 matrix material Substances 0.000 claims abstract description 22
- 238000013528 artificial neural network Methods 0.000 claims description 35
- 230000000306 recurrent effect Effects 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 8
- 210000002569 neuron Anatomy 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000009193 crawling Effects 0.000 claims description 5
- 230000015654 memory Effects 0.000 claims description 4
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 238000013519 translation Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000003058 natural language processing Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000013136 deep learning model Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/3332—Query translation
- G06F16/3335—Syntactic pre-processing, e.g. stopword elimination, stemming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/34—Browsing; Visualisation therefor
- G06F16/345—Summarisation for human users
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于深度学习的博客文本摘要生成方法,包括以下步骤:爬取博客数据;对爬取的博客数据进行预处理,选取博客文本数据;将选取的博客文本数据根据中文词向量词典转换成向量矩阵数据;构建深度学习encoder‑decoder(编码器‑解码器)模型,并对该模型的encoder编码器和decoder解码器分开训练,训练完成后连接使用;重复步骤S01‑S03得到生成数据,将生成数据通过训练完成的模型生成预测摘要。本发明基于深度学习框架encoder‑decoder自动生成博客的文本摘要,同时可以获取博客更深层次的语义联系。生成的文本摘要可以直观的显示当前博客的主要内容,具有广泛的应用前景。
Description
技术领域
本发明涉及一种文本摘要生成方法,具体地涉及一种基于深度学习的博客文本摘要生成方法。
背景技术
自然语言处理(Natural Language Processing)是当前人工智能特别重要的一部分,它包括文本分类、情感分析、机器翻译、阅读理解等多个子任务,几乎一个子任务就是一个相当重要的专业研究领域,它们之间相互独立又相互联系。
深度学习是在近年来提出的一种新型的端到端的学习方式,在普通的处理任务中比如分类也许与普通神经网络的效果相差无几,但是在高维数据的计算以及特征提取的过程中深度学习使用深度网络来拟合,显示了其强大的计算能力。目前深度学习已经运用到了多个领域--图像处理、音频处理、视频处理、自然语言处理,自从2006年由hinton提出以来,它使得众多智能摆脱了繁琐复杂的特征工程过程,比如数据预处理标注等,通过选择不同的模型组合直接由输入数据经过训练便可得到想要的输出形式。
将深度学习运用到自然语言处理上的想法由来已久,但是从英文和中文的语言差别性我们可以看到目前深度学习在中文语言上的处理还不尽如意。2014年,”encoder-decoder”深度学习的机器翻译框架被提出,使得深度学习在机器翻译、摘要生成、阅读理解方面有了很大的突破,获得更深层次的文本语义联系。
自然语言中文本摘要生成方式主要分成两个方式:第一抽取型,基于规则和统计的文摘要生成,目前已有大量的运用实践证明;第二是抽象型,基于深度学习模型的摘要生成,2014年得到巨大改进,从机械型文本摘要生成跨向理解型文本摘要生成,当前使用encoder-decoder框架,嵌入递归神经网络来实现,在中文方面运用还不明显。
随着互联网影响力的扩大,人们使用互联网来相互交流学习愈加频繁,从海量的互联网数据中迅速获取我们所需要的信息,解决信息过载是当前重要的自然语言任务之一,特别是针对于博客一类的数据更是重要,博客往往属于中长型的文本,所表达的信息包含了专业、娱乐、生活等方面,在专业方面的博客往往被大量浏览学习收藏。在信息快速更替的时代,为了方便用户有效率地浏览相应博客,可以快速地获取博客摘要主要内容是必须的。
发明内容
针对上述存在的技术问题,本发明目的是:提供了一种基于深度学习的博客文本摘要生成方法,基于深度学习框架encoder-decoder(编码器-解码器)自动生成博客的文本摘要,同时可以获取博客更深层次的语义联系。生成的文本摘要可以直观的显示当前博客的主要内容,具有广泛的应用前景。
本发明的技术方案是:
一种基于深度学习的博客文本摘要生成方法,包括以下步骤:
S01:爬取博客数据;
S02:对爬取的博客数据进行预处理,选取博客文本数据;
S03:将选取的博客文本数据根据中文词向量词典转换成向量矩阵数据;
S04:构建深度学习encoder-decoder(编码器-解码器)模型,并对该模型的encoder编码器和decoder解码器分开训练,训练完成后连接使用;
S05:重复步骤S01-S03得到生成数据,将生成数据通过训练完成的模型生成预测摘要。
优选的,所述步骤S01包括:
S11:爬取csdn的多个专家博客,多个主题;
S12:选取专家博客网页标签中的摘要部分作为实际摘要,如果该博客没有摘要,则将专家博客的标题以及通过传统文本摘要生成算法选取的权值最大语句联合作为该博客实际摘要,用于在训练时使用。
优选的,所述步骤S02具体包括以下步骤:
S21:滤除博客数据中的视频元素、图片元素、数学计算公式元素,只保留博客数据的文本部分;
S22:将博客文本数据分段,提取分段文本数据的第一段,随机选择其余文本数据的任意一段,组成初始文本数据;
S23:对初始文本数据进行分句,设定每一分句的词数A;
S24:如果每一分句的词数超过A,根据词频大小选择词频最高的A个词,按照原先的顺序连接起来;如果词数少于A,使用0向量填充,对初始文本数据句对齐。
优选的,所述步骤S03中,在中文词向量词典中没有查询到的词使用近似词替换。
优选的,所述步骤S04具体包括:
S41:训练模型encoder编码器中的卷积神经网络,将向量矩阵数据转换成句向量,将训练数据与卷积神经网络中的卷积核相互运算,运算公式如下:
其中,fij表示第i个神经网络的第j个元素,K表示该卷积神经网络的卷积核,wj:j+c-1表示网络输入选取第j到j+c-1行,b表示偏置量;
从当前每个神经网络中选取最大值将所有的最大值连接组成句向量,siK表示第i个神经网络在K这个卷积核的作用经过最大池化最终的值;
S42:训练模型encoder编码器中的递归神经网络,将生成的句向量转换成文本向量,计算公式如下:
其中,表示t时刻递归神经网络的输入,表示t时刻递归神经网络的隐藏层的输出状态,wih表示输入层和隐藏层的权值矩阵i*h,wh′h表示上一时刻隐藏层与当前时刻隐藏层的权值矩阵h‘*h,表示递归神经网络中t时刻隐藏层第h个神经元的中间值,tanh表示隐藏层激活函数是双曲正切函数,whk表示递归神经网络中隐藏层和输出层的权值矩阵,表示递归神经网络中t时刻输出层第k个神经元的中间值,ex表示输出层激活函数是softmax的指数函数形式,表示最终输出层的输出;将最后序列生成的传递给解码器;
S43:训练模型decoder解码器中的长短期记忆网络LSTM,将编码器中递归神经网络生成的隐藏状态作为输入,在LSTM中结合上一时刻隐藏层的状态和当前时刻的输入决定当前时刻隐藏层的状态ht,通过输出层得到预测摘要,计算公式如下:
ft=σ(Wf·[ht-1,xt]+bf)
it=σ(Wi·[ht-1,xt]+bi)
C′t=tanh(WC·[ht-1,xt]+bC)
Ct=ft*Ct-1+it*C′t
ot=σ(Wo·[ht-1,xt]+bo)
ht=ot*tanh(Ct)
其中,Ct表示t时刻当前LSTM中的状态,C′t表示t时刻LSTM中神经元新的状态候选值,ft表示t时刻LSTM中忘记门层的输出,it表示t时刻LSTM中输入门层的输出,ot表示t时刻输出层的输出,ht表示t时刻当前网络隐藏层状态,xt表示t时刻网络的输入,即摘要训练数据的向量,bf表示忘记门层的偏置值,bi表示输入门层的偏置值,bc表示神经元新旧状态之间的偏置值,bo表示输出层的偏置值,σ表示激活函数sigmoid,wf表示忘记门层与输入层的权值矩阵,wi表示输入门层与输入层的权值矩阵,wc表示神经元新旧状态的权值矩阵,wo表示输出层的权值矩阵,tanh表示激活函数双曲正切函数;公式3-1到公式3-6表示在LSTM中结合上一时刻隐藏层的状态和当前时刻的输入决定当前时刻隐藏层的状态,得到ht之后,会通过同递归神经网络相似的输出层softmax得到预测摘要,softmax的输出层是300维大小同词向量。
优选的,对训练完成的模型进行评估,具体包括:
步骤一、采用ROUGE指标,通过比较预测摘要和实际摘要的重合程度进行评估;
步骤二、使用博客数据进行训练,使用DUC-200数据集用于模型测评;
步骤三、将该模型与当前已存在的其他摘要生成模型对比。
与现有技术相比,本发明的优点是:
(1)利用深度学习技术生成文本摘要,可以直观有效的了解博客文本的主要内容,同时此技术可以扩展向其他类型文本的摘要生成或者文本总结领域,在中英文语料均可,具有广泛的应用前景。
(2)通过深度学习模型自动生成摘要,研究了语义更深层的联系,建立了完善的语言模型,生成的多种语言副产品包括句向量、文本向量,可以用于语言情感分析以及文本分类等语言任务中。
(3)与基于统计与规则的摘要生成方式相比,更佳端到端,省略了以往自然语言处理中繁琐的流程,比如分词、标注等。
(4)使用深度学习机器翻译框架,可使得运用领域扩展至其他,比如阅读理解、故事生成等。
附图说明
下面结合附图及实施例对本发明作进一步描述:
图1为本发明用户使用的整体流程图;
图2为本发明文本预选择方法的流程图;
图3为本发明博客数据生成词典的流程图;
图4为本发明文本到向量转换的流程图;
图5为本发明基于深度学习的摘要生成模型训练的流程图。
具体实施方式
以下结合具体实施例对上述方案做进一步说明。应理解,这些实施例是用于说明本发明而不限于限制本发明的范围。实施例中采用的实施条件可以根据具体厂家的条件做进一步调整,未注明的实施条件通常为常规实验中的条件。
实施例:
一种基于深度学习的中文博客摘要生成方法,具体步骤包含:
步骤一、博客训练数据爬取和整理
博客训练数据爬取自csdn网站的人气博客,得到的博客内容多样,但都是专业性较强的文本,同时博客训练数据中也有些数据存在缺陷,比如博客过于短小,博客中没有文本,只包含了视频和图片,对于这种文本我们会丢弃。
使用beautifulsoup中的find和get_text得到最终的博客文本并且选取网页标签类别为article_description的文本内容作为博客实际摘要。如果该博客没有摘要,则将专家博客的标题以及通过textRank选取的权值最大语句联合作为该博客实际摘要,在训练时使用。
textRank方法是一种基于统计和规则的文本摘要生成算法,用于通过权值大小提取关键字和关键句,目前被封装在多种语言平台包括java、python、c++的类库中,可以直接调用。
步骤二、文本预选择及文本到向量转换
1)将博客文本训练数据,通过‘\n’标识分段;
2)选取博客数据的首段,通过多篇论文得出的结论即一篇文章大多时候会在开头和结尾体现出要表达的主要思想,此外再结合通过random函数随机选取的其他任意一段,作为最终训练的博客文本数据,其中这里处理的是训练数据中博客文本部分,训练数据中的博客摘要部分不需要选择;
3)将初步选择的博客文本摘要数据,以‘,’和‘。’为标识分句,使用nltk工具进行分词,并且统计各词词频,词频的统计是在全文中进行的;将每一句的词量控制在20词(词数还可以为其他值)以内,如果超过20词即通过词频大小选择出该剧中词频最高的20个词,按照顺序连接起来,组成句子代替原来的句子;如果该句包含词语少于20,即使用0来代替padding来完成对初步选择的博客文本数据的句对齐;
4)从已经完成句对齐的文本当中,随机选择10个句子,来表示成我们最终将放入学习模型的训练数据;
5)使用word2vec对收集的博客训练数据生成词向量词典,生成的词向量为300维,训练参数设置如表1;
Cbow | Size | Window | Negative | Binary | Iter |
0 | 300 | 5 | 0 | 1 | 15 |
6)对已经整理好的文均200词的博客摘要数据进行文本到向量的转换,遍历文中各词在生成的词典中进行查找,将查找到的词向量按照原来文本的顺序连接起来,即每篇博客数据的句子用20*300的矩阵表示,最终会有10个这样的矩阵。
步骤三、基于深度学习的摘要生成模型训练
该步骤关键在于模型的构建以及训练,深度学习模型有多层网络,这里使用encoder-decoder(编码器解码器)框架,在编码器中嵌入卷积神经网络CNN和递归神经网络RNN对初始文本进行编码,在解码器中嵌入长短期记忆神经网络LSTM对训练数据进行预测。
训练模型encoder编码器中的卷积神经网络,将文本选择生成的向量数据转换成句向量,其中的卷积神经网络featuremap大小为300,卷积核为(3,300),池化方式为max-pooling即最大池化方式,相关公式如下:
公式1-1表示训练数据与卷积神经网络中的卷积核相互运算,fij表示第i个feature map的第j个元素,K表示该卷积神经网络的卷积核,这里卷积核的大小是3*300,wj:j+c-1表示网络输入选取第j到j+c-1行,这里的c值为3,b表示偏置量;公式1-2是经过从当前每个feature map中选取最大值,最终300个最大值连接组成句向量,siK表示第i个feature map在K这个卷积核的作用经过最大池化最终的值。
步骤二、训练模型encoder编码器中的递归神经网络,将生成的300维句向量转换成文本向量,相关公式如下:
在上述公式中,表示t时刻递归神经网络的输入,表示t时刻递归神经网络的隐藏层的输出状态,Wih表示输入层和隐藏层的权值矩阵i*h,Wh′h表示上一时刻隐藏层与当前时刻隐藏层的权值矩阵h‘*h,表示最终输出层的输出,这里是softmax生成的750维向量,最后一个句子输入完成后的表示生成的文本向量共750维;公式2-1表示,输入句向量和上一层隐藏状态在隐藏层中的计算结果;公式2-2表示隐藏层的输出,即隐藏层的状态;公式2-3表示隐藏层到输出层的计算结果;公式2-4表示输出层最终的结果。之后会将最后序列生成的传递给解码器。
步骤三、训练模型decoder解码器中的长短期记忆网络LSTM,将编码器中递归神经网络生成的隐藏状态作为输入,结合摘要训练数据(在之前转换成向量的形式)放入网络中,生成预测摘要,相关公式如下:
ft=σ(Wf·[ht-1,xt]+bf) 3-1
it=σ(Wi·[ht-1,xt]+bi) 3-2
C′t=tanh(WC·[ht-1,xt]+bC) 3-3
Ct=ft*Ct-1+it*C′t 3-4
ot=σ(Wo·[ht-1,xt]+bo) 3-5
ht=ot*tanh(Ct) 3-6
在上述公式中,Ct表示当前LSTM中的状态,ht表示当前网络隐藏层状态,xt表示网络的输入,即摘要训练数据的向量;公式3-1到公式3-6表示在LSTM中结合上一时刻隐藏层的状态和当前时刻的输入决定当前时刻隐藏层的状态,得到ht之后,会通过同递归神经网络相似的输出层softmax得到预测摘要,softmax的输出层是300维大小同词向量。
整个网络的训练是分层训练,原始训练数据80%用于训练,20%用于微调。
1)进入编码器第一步生成句向量,将传入的文本词向量数据中的每句所有的词向量作为卷积神经网络的输入,经过卷积核(3,300),以及max-pooling的池化方式,最终生成300维的句向量;
2)将生成的句向量,一共10句传入递归神经网络中,生成初始参数设置在[-1,1],满足高斯分布,其中递归神经网络第一步的隐藏状态设置为0,最终生成750维的句向量,以及最后一步的隐藏状态;
3)将编码器生成的最后一步隐藏状态传入解码器作为长短期记忆神经网络的第一步的隐藏状态输入,第一步输入层的输入数据是文本结束标志<EOS>,后面步的输入是训练数据中的摘要数据部分,摘要数据被转换成词向量形式同文本。
4)对模型进行评估,这里用到DUC-200数据。
模型评估指标是ROUGE,主要是比较实际摘要和预测摘要重合程度,ROUGE-1表示就单个词的重复程度,ROUGE-2表示就两个词相连的重复程度。
模型的训练使用hinton提出的分层训练方式,梯度参数的调整是反向传播方式,训练数据是收集的博客摘要数据,运用80%的数据进行训练,20%的数据进行测试。
整个模型构建训练将在谷歌深度学习平台tensorflow上进行,训练将调用GPU,GPU在处理高维数据计算上效果明显,是调用CPU的5到8倍。
步骤四、使用摘要生成模型生成预测摘要
1)将要预测的数据进行文本预选择及向量的转换;
2)将生成的向量数据放入训练好的深度学习摘要生成模型中,生成预测摘要。
下面以具体实施案例对本发明进行进一步的详细说明。
1)博客训练数据爬取自csdn网站的人气博客,内容包括移动开发、web前端、架构设计、编程语言、互联网、数据库、系统运维、云计算、研发管理9个专业方向,共21600篇博客,命名格式为姓名_索引号。得到的博客内容包括了多种元素,文本、图片链接、计算公式、代码等,由于图片、计算公式、代码元素在文本摘要生成的过程中并没有帮助,因此过滤掉这些元素,只留下文本;
2)对博客数据进行预选择,选择首段加上其他任意一段,可以更加有效地生成摘要;将数据限制在每篇博客20*10的词量,是为了方便在模型中运用,深度学习训练复杂,大量的参数调整会耗费时间,将数据尽可能精简、提取文本特征是必要的,同时这样也对变长文本的问题进行了,将变长文本转换成定长文本,可以拥有更多的训练数据;
3)通过word2vec生成的词典将文本训练数据转换成向量;
4)构建深度学习摘要生成模型,使用数据进行训练,数据中的80%进行训练,20%进行测试。
5)使用DUC-200评估模型,评估指标是ROUGE-1、ROUGE-2、ROUGE-L,ROUGE指标和BLEU指标都是用来针对机器翻译等系列自然语言处理任务进行评估的,它们的核心都是分析候选译文和参考译文n元组共同出现的程度,这里的1、2表示1元组、2元组,L表示最长子序列共同出现的程度相关公式如下:
6)为比较本发明的技术优势,设置对比试验,对比本发明使用的模型和当前已有摘要生成模型的效果。
深度学习模型间摘要生成对比实验结果如表2所示
在上表中,CRL是本发明使用的深度学习模型,ILP、LEAD、URANK、TGRAPH是已经存在的另外四种摘要生成模型。
表2实验结果比较
通过上述分析可见,本发明使用的模型在当前已有模型中的总体效果是最优的,虽然URANK、TGRAPH在ROUGE-1、ROUGE-2指标上的表现稍好,但是在ROUGE-L上基本不能表现出来。因此,本模型适合用来实现摘要生成任务,同时对机器翻译、阅读理解等自然语言处理方面的效果也较理想。由此可见,本发明具有实质性技术特点,其应用前景非常广阔。
7)将想要进行摘要预测的博客,如果该博客只有图片、视频之类的,判定博客无效无法生成摘要;传入该深度学习摘要生成系统中,系统对其进行文本预选择和向量转换,传入训练的模型中,最终系统将模型预测的摘要返回给用户,效果如表3所示。
注:由于博客过长,因此不全部显示,只展示最终结果,原博链接如下:
http://blog.csdn.net/yuanmeng001/article/details/58871130
上述实例只为说明本发明的技术构思及特点,其目的在于让熟悉此项技术的人是能够了解本发明的内容并据以实施,并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰,都应涵盖在本发明的保护范围之内。
Claims (6)
1.一种基于深度学习的博客文本摘要生成方法,其特征在于,包括以下步骤:
S01:爬取博客数据;
S02:对爬取的博客数据进行预处理,选取博客文本数据;
S03:将选取的博客文本数据根据中文词向量词典转换成向量矩阵数据;
S04:构建深度学习encoder-decoder(编码器-解码器)模型,并对该模型的encoder编码器和decoder解码器分开训练,训练完成后连接使用;
S05:重复步骤S01-S03得到生成数据,将生成数据通过训练完成的模型生成预测摘要。
2.根据权利要求1所述的基于深度学习的博客文本摘要生成方法,其特征在于,所述步骤S01包括:
S11:爬取csdn的多个专家博客,多个主题;
S12:选取专家博客网页标签中的摘要部分作为实际摘要,如果该博客没有摘要,则将专家博客的标题以及通过传统文本摘要生成算法选取的权值最大语句联合作为该博客实际摘要,用于在训练时使用。
3.根据权利要求1所述的基于深度学习的博客文本摘要生成方法,其特征在于,所述步骤S02具体包括以下步骤:
S21:滤除博客数据中的视频元素、图片元素、数学计算公式元素,只保留博客数据的文本部分;
S22:将博客文本数据分段,提取分段文本数据的第一段,随机选择其余文本数据的任意一段,组成初始文本数据;
S23:对初始文本数据进行分句,设定每一分句的词数A;
S24:如果每一分句的词数超过A,根据词频大小选择词频最高的A个词,按照原先的顺序连接起来;如果词数少于A,使用0向量填充,对初始文本数据句对齐。
4.根据权利要求3所述的基于深度学习的博客文本摘要生成方法,其特征在于,所述步骤S03中,在中文词向量词典中没有查询到的词使用近似词替换。
5.根据权利要求1所述的基于深度学习的博客文本摘要生成方法,其特征在于,所述步骤S04具体包括:
S41:训练模型encoder编码器中的卷积神经网络,将向量矩阵数据转换成句向量,将训练数据与卷积神经网络中的卷积核相互运算,运算公式如下:
其中,fij表示第i个神经网络的第j个元素,K表示该卷积神经网络的卷积核,wj:j+c-1表示网络输入选取第j到j+c-1行,b表示偏置量;
从当前每个神经网络中选取最大值将所有的最大值连接组成句向量,siK表示第i个神经网络在K这个卷积核的作用经过最大池化最终的值;
S42:训练模型encoder编码器中的递归神经网络,将生成的句向量转换成文本向量,计算公式如下:
其中,表示t时刻递归神经网络的输入,表示t时刻递归神经网络的隐藏层的输出状态,Wih表示输入层和隐藏层的权值矩阵i*h,Wh′h表示上一时刻隐藏层与当前时刻隐藏层的权值矩阵h‘*h,表示递归神经网络中t时刻隐藏层第h个神经元的中间值,tanh表示隐藏层激活函数是双曲正切函数,whk表示递归神经网络中隐藏层和输出层的权值矩阵,表示递归神经网络中t时刻输出层第k个神经元的中间值,ex表示输出层激活函数是softmax的指数函数形式,表示最终输出层的输出;将最后序列生成的传递给解码器;
S43:训练模型decoder解码器中的长短期记忆网络LSTM,将编码器中递归神经网络生成的隐藏状态作为输入,在LSTM中结合上一时刻隐藏层的状态和当前时刻的输入决定当前时刻隐藏层的状态ht,通过输出层得到预测摘要,计算公式如下:
ft=σ(Wf·[ht-1,xt]+bf)
it=σ(Wi·[ht-1,xt]+bi)
C′t=tanh(WC·[ht-1,xt]+bC)
Ct=ft*Ct-1+it*C′tot=σ(Wo·[ht-1,xt]+bo)
ht=ot*tanh(Ct)
其中,Ct表示t时刻当前LSTM中的状态,C′t表示t时刻LSTM中神经元新的状态候选值,ft表示t时刻LSTM中忘记门层的输出,it表示t时刻LSTM中输入门层的输出,ot表示t时刻输出层的输出,ht表示t时刻当前网络隐藏层状态,xt表示t时刻网络的输入,即摘要训练数据的向量,bf表示忘记门层的偏置值,bi表示输入门层的偏置值,bc表示神经元新旧状态之间的偏置值,bo表示输出层的偏置值,σ表示激活函数sigmoid,wf表示忘记门层与输入层的权值矩阵,wi表示输入门层与输入层的权值矩阵,wc表示神经元新旧状态的权值矩阵,wo表示输出层的权值矩阵,tanh表示激活函数双曲正切函数;公式3-1到公式3-6表示在LSTM中结合上一时刻隐藏层的状态和当前时刻的输入决定当前时刻隐藏层的状态,得到ht之后,会通过同递归神经网络相似的输出层softmax得到预测摘要,softmax的输出层是300维大小同词向量。
6.根据权利要求5所述的基于深度学习的博客文本摘要生成方法,其特征在于,对训练完成的模型进行评估,具体包括:
步骤一、采用ROUGE指标,通过比较预测摘要和实际摘要的重合程度进行评估;
步骤二、使用博客数据进行训练,使用DUC-200数据集用于模型测评;
步骤三、将该模型与当前已存在的其他摘要生成模型对比。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710204696.3A CN106980683B (zh) | 2017-03-30 | 2017-03-30 | 基于深度学习的博客文本摘要生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710204696.3A CN106980683B (zh) | 2017-03-30 | 2017-03-30 | 基于深度学习的博客文本摘要生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106980683A true CN106980683A (zh) | 2017-07-25 |
CN106980683B CN106980683B (zh) | 2021-02-12 |
Family
ID=59339599
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710204696.3A Expired - Fee Related CN106980683B (zh) | 2017-03-30 | 2017-03-30 | 基于深度学习的博客文本摘要生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106980683B (zh) |
Cited By (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107506414A (zh) * | 2017-08-11 | 2017-12-22 | 武汉大学 | 一种基于长短期记忆网络的代码推荐方法 |
CN107526725A (zh) * | 2017-09-04 | 2017-12-29 | 北京百度网讯科技有限公司 | 基于人工智能的用于生成文本的方法和装置 |
CN107657313A (zh) * | 2017-09-26 | 2018-02-02 | 上海数眼科技发展有限公司 | 基于领域适应的自然语言处理任务的迁移学习系统和方法 |
CN107832300A (zh) * | 2017-11-17 | 2018-03-23 | 合肥工业大学 | 面向微创医疗领域文本摘要生成方法及装置 |
CN107861938A (zh) * | 2017-09-21 | 2018-03-30 | 北京三快在线科技有限公司 | 一种poi文案生成方法及装置,电子设备 |
CN107943788A (zh) * | 2017-11-17 | 2018-04-20 | 平安科技(深圳)有限公司 | 企业简称生成方法、装置及存储介质 |
CN107944027A (zh) * | 2017-12-12 | 2018-04-20 | 苏州思必驰信息科技有限公司 | 创建语义键索引的方法及系统 |
CN107977472A (zh) * | 2017-12-27 | 2018-05-01 | 北京诸葛找房信息技术有限公司 | 房产类新闻文章自动生成的方法 |
CN108024158A (zh) * | 2017-11-30 | 2018-05-11 | 天津大学 | 利用视觉注意力机制的有监督视频摘要提取方法 |
CN108197294A (zh) * | 2018-01-22 | 2018-06-22 | 桂林电子科技大学 | 一种基于深度学习的文本自动生成方法 |
CN108197657A (zh) * | 2018-01-04 | 2018-06-22 | 成都寻道科技有限公司 | 一种基于校园数据的学生经济状况预测方法 |
CN108319668A (zh) * | 2018-01-23 | 2018-07-24 | 义语智能科技(上海)有限公司 | 生成文本摘要的方法及设备 |
CN108334497A (zh) * | 2018-02-06 | 2018-07-27 | 北京航空航天大学 | 自动生成文本的方法和装置 |
CN108416535A (zh) * | 2018-03-27 | 2018-08-17 | 中国科学技术大学 | 基于深度学习的专利价值评估的方法 |
CN108427771A (zh) * | 2018-04-09 | 2018-08-21 | 腾讯科技(深圳)有限公司 | 摘要文本生成方法、装置和计算机设备 |
CN108509413A (zh) * | 2018-03-08 | 2018-09-07 | 平安科技(深圳)有限公司 | 文摘自动提取方法、装置、计算机设备及存储介质 |
CN108549850A (zh) * | 2018-03-27 | 2018-09-18 | 联想(北京)有限公司 | 一种图像识别方法及电子设备 |
CN108563731A (zh) * | 2018-04-08 | 2018-09-21 | 北京奇艺世纪科技有限公司 | 一种情感分类方法及装置 |
CN108595632A (zh) * | 2018-04-24 | 2018-09-28 | 福州大学 | 一种融合摘要与主体特征的混合神经网络文本分类方法 |
CN108763211A (zh) * | 2018-05-23 | 2018-11-06 | 中国科学院自动化研究所 | 融合蕴含知识的自动文摘方法及系统 |
CN108810446A (zh) * | 2018-06-07 | 2018-11-13 | 北京智能管家科技有限公司 | 一种视频会议的标签生成方法、装置、设备和介质 |
CN108881950A (zh) * | 2018-05-30 | 2018-11-23 | 北京奇艺世纪科技有限公司 | 一种视频处理的方法和装置 |
CN108984524A (zh) * | 2018-07-05 | 2018-12-11 | 北京理工大学 | 一种基于变分神经网络主题模型的标题生成方法 |
CN109101584A (zh) * | 2018-07-23 | 2018-12-28 | 湖南大学 | 一种将深度学习与数学分析相结合的句子分类改进方法 |
CN109145105A (zh) * | 2018-07-26 | 2019-01-04 | 福州大学 | 一种融合信息选择与语义关联的文本摘要模型生成算法 |
CN109271629A (zh) * | 2018-09-07 | 2019-01-25 | 中山大学 | 基于强化学习的生成式文本摘要方法 |
CN109299257A (zh) * | 2018-09-18 | 2019-02-01 | 杭州科以才成科技有限公司 | 一种基于lstm和知识图谱的英文期刊推荐方法 |
CN109344391A (zh) * | 2018-08-23 | 2019-02-15 | 昆明理工大学 | 基于神经网络的多特征融合中文新闻文本摘要生成方法 |
CN109472021A (zh) * | 2018-10-12 | 2019-03-15 | 北京诺道认知医学科技有限公司 | 基于深度学习的医学文献中关键句筛选方法及装置 |
CN109523021A (zh) * | 2018-09-28 | 2019-03-26 | 浙江工业大学 | 一种基于长短时记忆网络的动态网络结构预测方法 |
CN109543512A (zh) * | 2018-10-09 | 2019-03-29 | 中国科学院自动化研究所 | 图文摘要的评价方法 |
CN109614111A (zh) * | 2018-12-28 | 2019-04-12 | 北京百度网讯科技有限公司 | 用于生成代码的方法和装置 |
WO2019072166A1 (zh) * | 2017-10-10 | 2019-04-18 | 腾讯科技(深圳)有限公司 | 语义分析方法、装置和存储介质 |
CN109657051A (zh) * | 2018-11-30 | 2019-04-19 | 平安科技(深圳)有限公司 | 文本摘要生成方法、装置、计算机设备及存储介质 |
CN109657054A (zh) * | 2018-12-13 | 2019-04-19 | 北京百度网讯科技有限公司 | 摘要生成方法、装置、服务器及存储介质 |
CN109670186A (zh) * | 2018-12-27 | 2019-04-23 | 六度云计算有限公司 | 基于机器学习的生成式摘要方法和装置 |
WO2019080864A1 (zh) * | 2017-10-27 | 2019-05-02 | 阿里巴巴集团控股有限公司 | 一种文本语义编码方法及装置 |
CN109743642A (zh) * | 2018-12-21 | 2019-05-10 | 西北工业大学 | 基于分层循环神经网络的视频摘要生成方法 |
CN109783795A (zh) * | 2017-11-14 | 2019-05-21 | 深圳市腾讯计算机系统有限公司 | 一种摘要获取的方法、装置、设备及计算机可读存储介质 |
CN109858008A (zh) * | 2017-11-30 | 2019-06-07 | 南京大学 | 基于深度学习的文书判决结果倾向性的方法及装置 |
CN109947930A (zh) * | 2019-03-12 | 2019-06-28 | 上海秘塔网络科技有限公司 | 摘要生成方法、装置、终端及计算机可读存储介质 |
CN109960804A (zh) * | 2019-03-21 | 2019-07-02 | 江西风向标教育科技有限公司 | 一种题目文本句子向量生成方法及装置 |
CN110019715A (zh) * | 2017-12-08 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 应答确定方法、装置、设备、介质和系统 |
CN110032729A (zh) * | 2019-02-13 | 2019-07-19 | 北京航空航天大学 | 一种基于神经图灵机的自动摘要生成方法 |
CN110275936A (zh) * | 2019-05-09 | 2019-09-24 | 浙江工业大学 | 一种基于自编码神经网络的相似法律案例检索方法 |
CN110309299A (zh) * | 2018-04-12 | 2019-10-08 | 腾讯科技(深圳)有限公司 | 通信防诈骗方法、装置、计算机可读介质及电子设备 |
CN110489765A (zh) * | 2019-07-19 | 2019-11-22 | 平安科技(深圳)有限公司 | 机器翻译方法、装置及计算机可读存储介质 |
GB2574031A (en) * | 2018-05-23 | 2019-11-27 | Ginie Al Ltd | Document analysis |
CN110598779A (zh) * | 2017-11-30 | 2019-12-20 | 腾讯科技(深圳)有限公司 | 摘要描述生成方法、装置、计算机设备和存储介质 |
CN110705310A (zh) * | 2019-09-20 | 2020-01-17 | 北京金山数字娱乐科技有限公司 | 一种文章生成的方法和装置 |
CN110705287A (zh) * | 2019-09-27 | 2020-01-17 | 北京妙笔智能科技有限公司 | 一种用于文本摘要的生成方法和系统 |
CN110765785A (zh) * | 2019-09-19 | 2020-02-07 | 平安科技(深圳)有限公司 | 基于神经网络的中英翻译方法、及其相关设备 |
CN110933518A (zh) * | 2019-12-11 | 2020-03-27 | 浙江大学 | 一种利用卷积多层注意力网络机制生成面向查询的视频摘要的方法 |
CN111008277A (zh) * | 2019-10-30 | 2020-04-14 | 创意信息技术股份有限公司 | 一种自动文本摘要方法 |
CN111159394A (zh) * | 2019-12-31 | 2020-05-15 | 重庆觉晓教育科技有限公司 | 一种文本摘要生成方法和装置 |
CN111666756A (zh) * | 2020-05-26 | 2020-09-15 | 湖北工业大学 | 一种基于主题融合的序列模型文本摘要生成方法 |
WO2020199947A1 (zh) * | 2019-04-03 | 2020-10-08 | 阿里巴巴集团控股有限公司 | 摘要生成方法、装置和设备以及项目管理方法 |
CN111857728A (zh) * | 2020-07-22 | 2020-10-30 | 中山大学 | 一种代码摘要生成方法和装置 |
CN111914547A (zh) * | 2020-07-17 | 2020-11-10 | 深圳宜搜天下科技股份有限公司 | 一种改进的语义意图识别方法以及lstm构架系统 |
CN112347775A (zh) * | 2019-08-08 | 2021-02-09 | 北京搜狗科技发展有限公司 | 一种数据处理方法、装置和用于数据处理的装置 |
US10997374B2 (en) * | 2019-03-22 | 2021-05-04 | Fortia Financial Solutions | Generation of natural language text from structured data using a fusion model |
CN113344214A (zh) * | 2021-05-31 | 2021-09-03 | 北京百度网讯科技有限公司 | 数据处理模型的训练方法、装置、电子设备及存储介质 |
CN113342968A (zh) * | 2021-05-21 | 2021-09-03 | 中国石油天然气股份有限公司 | 文本摘要提取方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8036415B2 (en) * | 2007-01-03 | 2011-10-11 | International Business Machines Corporation | Method and system for nano-encoding and decoding information related to printed texts and images on paper and other surfaces |
CN103646094A (zh) * | 2013-12-18 | 2014-03-19 | 上海紫竹数字创意港有限公司 | 实现视听类产品内容摘要自动提取生成的系统及方法 |
CN105930314A (zh) * | 2016-04-14 | 2016-09-07 | 清华大学 | 基于编码-解码深度神经网络的文本摘要生成系统及方法 |
-
2017
- 2017-03-30 CN CN201710204696.3A patent/CN106980683B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8036415B2 (en) * | 2007-01-03 | 2011-10-11 | International Business Machines Corporation | Method and system for nano-encoding and decoding information related to printed texts and images on paper and other surfaces |
CN103646094A (zh) * | 2013-12-18 | 2014-03-19 | 上海紫竹数字创意港有限公司 | 实现视听类产品内容摘要自动提取生成的系统及方法 |
CN105930314A (zh) * | 2016-04-14 | 2016-09-07 | 清华大学 | 基于编码-解码深度神经网络的文本摘要生成系统及方法 |
Non-Patent Citations (2)
Title |
---|
ALEXANDER M. RUSH: "A Neural Attention Model for Abstractive Sentence Summarization", 《URL:HTTPS://ARXIV.ORG/ABS /1509.00685》 * |
BAOTIAN HU: "LCSTS: A Large Scale Chinese Short Text Summarization Dataset", 《URL:HTTPS://ARXIV.ORG/ABS /1506.05865》 * |
Cited By (105)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107506414A (zh) * | 2017-08-11 | 2017-12-22 | 武汉大学 | 一种基于长短期记忆网络的代码推荐方法 |
CN107506414B (zh) * | 2017-08-11 | 2020-01-07 | 武汉大学 | 一种基于长短期记忆网络的代码推荐方法 |
CN107526725A (zh) * | 2017-09-04 | 2017-12-29 | 北京百度网讯科技有限公司 | 基于人工智能的用于生成文本的方法和装置 |
CN107861938A (zh) * | 2017-09-21 | 2018-03-30 | 北京三快在线科技有限公司 | 一种poi文案生成方法及装置,电子设备 |
CN107861938B (zh) * | 2017-09-21 | 2020-09-25 | 北京三快在线科技有限公司 | 一种poi文案生成方法及装置,电子设备 |
CN107657313A (zh) * | 2017-09-26 | 2018-02-02 | 上海数眼科技发展有限公司 | 基于领域适应的自然语言处理任务的迁移学习系统和方法 |
CN107657313B (zh) * | 2017-09-26 | 2021-05-18 | 上海数眼科技发展有限公司 | 基于领域适应的自然语言处理任务的迁移学习系统和方法 |
JP7276712B2 (ja) | 2017-10-10 | 2023-05-18 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | 意味分析方法、装置、および記憶媒体 |
US11366970B2 (en) | 2017-10-10 | 2022-06-21 | Tencent Technology (Shenzhen) Company Limited | Semantic analysis method and apparatus, and storage medium |
WO2019072166A1 (zh) * | 2017-10-10 | 2019-04-18 | 腾讯科技(深圳)有限公司 | 语义分析方法、装置和存储介质 |
JP2020522817A (ja) * | 2017-10-10 | 2020-07-30 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | 意味分析方法、装置、および記憶媒体 |
JP2021501390A (ja) * | 2017-10-27 | 2021-01-14 | アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited | テキスト意味論的コード化の方法および装置 |
WO2019080864A1 (zh) * | 2017-10-27 | 2019-05-02 | 阿里巴巴集团控股有限公司 | 一种文本语义编码方法及装置 |
CN109783795B (zh) * | 2017-11-14 | 2022-05-06 | 深圳市腾讯计算机系统有限公司 | 一种摘要获取的方法、装置、设备及计算机可读存储介质 |
CN109783795A (zh) * | 2017-11-14 | 2019-05-21 | 深圳市腾讯计算机系统有限公司 | 一种摘要获取的方法、装置、设备及计算机可读存储介质 |
CN107943788B (zh) * | 2017-11-17 | 2021-04-06 | 平安科技(深圳)有限公司 | 企业简称生成方法、装置及存储介质 |
CN107943788A (zh) * | 2017-11-17 | 2018-04-20 | 平安科技(深圳)有限公司 | 企业简称生成方法、装置及存储介质 |
CN107832300A (zh) * | 2017-11-17 | 2018-03-23 | 合肥工业大学 | 面向微创医疗领域文本摘要生成方法及装置 |
CN110598779B (zh) * | 2017-11-30 | 2022-04-08 | 腾讯科技(深圳)有限公司 | 摘要描述生成方法、装置、计算机设备和存储介质 |
CN109858008A (zh) * | 2017-11-30 | 2019-06-07 | 南京大学 | 基于深度学习的文书判决结果倾向性的方法及装置 |
CN108024158A (zh) * | 2017-11-30 | 2018-05-11 | 天津大学 | 利用视觉注意力机制的有监督视频摘要提取方法 |
CN110598779A (zh) * | 2017-11-30 | 2019-12-20 | 腾讯科技(深圳)有限公司 | 摘要描述生成方法、装置、计算机设备和存储介质 |
CN110019715B (zh) * | 2017-12-08 | 2023-07-14 | 阿里巴巴集团控股有限公司 | 应答确定方法、装置、设备、介质和系统 |
CN110019715A (zh) * | 2017-12-08 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 应答确定方法、装置、设备、介质和系统 |
CN107944027B (zh) * | 2017-12-12 | 2020-03-31 | 苏州思必驰信息科技有限公司 | 创建语义键索引的方法及系统 |
CN107944027A (zh) * | 2017-12-12 | 2018-04-20 | 苏州思必驰信息科技有限公司 | 创建语义键索引的方法及系统 |
CN107977472B (zh) * | 2017-12-27 | 2021-11-05 | 北京诸葛找房信息技术有限公司 | 房产类新闻文章自动生成的方法 |
CN107977472A (zh) * | 2017-12-27 | 2018-05-01 | 北京诸葛找房信息技术有限公司 | 房产类新闻文章自动生成的方法 |
CN108197657A (zh) * | 2018-01-04 | 2018-06-22 | 成都寻道科技有限公司 | 一种基于校园数据的学生经济状况预测方法 |
CN108197294A (zh) * | 2018-01-22 | 2018-06-22 | 桂林电子科技大学 | 一种基于深度学习的文本自动生成方法 |
CN108197294B (zh) * | 2018-01-22 | 2021-10-22 | 桂林电子科技大学 | 一种基于深度学习的文本自动生成方法 |
CN108319668B (zh) * | 2018-01-23 | 2021-04-20 | 义语智能科技(上海)有限公司 | 生成文本摘要的方法及设备 |
CN108319668A (zh) * | 2018-01-23 | 2018-07-24 | 义语智能科技(上海)有限公司 | 生成文本摘要的方法及设备 |
CN108334497A (zh) * | 2018-02-06 | 2018-07-27 | 北京航空航天大学 | 自动生成文本的方法和装置 |
WO2019169719A1 (zh) * | 2018-03-08 | 2019-09-12 | 平安科技(深圳)有限公司 | 文摘自动提取方法、装置、计算机设备及存储介质 |
CN108509413A (zh) * | 2018-03-08 | 2018-09-07 | 平安科技(深圳)有限公司 | 文摘自动提取方法、装置、计算机设备及存储介质 |
CN108416535B (zh) * | 2018-03-27 | 2021-08-13 | 中国科学技术大学 | 基于深度学习的专利价值评估的方法 |
CN108549850B (zh) * | 2018-03-27 | 2021-07-16 | 联想(北京)有限公司 | 一种图像识别方法及电子设备 |
CN108549850A (zh) * | 2018-03-27 | 2018-09-18 | 联想(北京)有限公司 | 一种图像识别方法及电子设备 |
CN108416535A (zh) * | 2018-03-27 | 2018-08-17 | 中国科学技术大学 | 基于深度学习的专利价值评估的方法 |
CN108563731A (zh) * | 2018-04-08 | 2018-09-21 | 北京奇艺世纪科技有限公司 | 一种情感分类方法及装置 |
CN108427771A (zh) * | 2018-04-09 | 2018-08-21 | 腾讯科技(深圳)有限公司 | 摘要文本生成方法、装置和计算机设备 |
CN108427771B (zh) * | 2018-04-09 | 2020-11-10 | 腾讯科技(深圳)有限公司 | 摘要文本生成方法、装置和计算机设备 |
CN110309299A (zh) * | 2018-04-12 | 2019-10-08 | 腾讯科技(深圳)有限公司 | 通信防诈骗方法、装置、计算机可读介质及电子设备 |
CN108595632A (zh) * | 2018-04-24 | 2018-09-28 | 福州大学 | 一种融合摘要与主体特征的混合神经网络文本分类方法 |
CN108595632B (zh) * | 2018-04-24 | 2022-05-24 | 福州大学 | 一种融合摘要与主体特征的混合神经网络文本分类方法 |
CN108763211B (zh) * | 2018-05-23 | 2020-07-31 | 中国科学院自动化研究所 | 融合蕴含知识的自动文摘方法及系统 |
GB2574031A (en) * | 2018-05-23 | 2019-11-27 | Ginie Al Ltd | Document analysis |
CN108763211A (zh) * | 2018-05-23 | 2018-11-06 | 中国科学院自动化研究所 | 融合蕴含知识的自动文摘方法及系统 |
CN108881950A (zh) * | 2018-05-30 | 2018-11-23 | 北京奇艺世纪科技有限公司 | 一种视频处理的方法和装置 |
CN108810446A (zh) * | 2018-06-07 | 2018-11-13 | 北京智能管家科技有限公司 | 一种视频会议的标签生成方法、装置、设备和介质 |
CN108984524A (zh) * | 2018-07-05 | 2018-12-11 | 北京理工大学 | 一种基于变分神经网络主题模型的标题生成方法 |
CN109101584A (zh) * | 2018-07-23 | 2018-12-28 | 湖南大学 | 一种将深度学习与数学分析相结合的句子分类改进方法 |
CN109101584B (zh) * | 2018-07-23 | 2020-11-03 | 湖南大学 | 一种将深度学习与数学分析相结合的句子分类改进方法 |
CN109145105B (zh) * | 2018-07-26 | 2021-11-30 | 福州大学 | 一种融合信息选择与语义关联的文本摘要模型生成算法 |
CN109145105A (zh) * | 2018-07-26 | 2019-01-04 | 福州大学 | 一种融合信息选择与语义关联的文本摘要模型生成算法 |
CN109344391A (zh) * | 2018-08-23 | 2019-02-15 | 昆明理工大学 | 基于神经网络的多特征融合中文新闻文本摘要生成方法 |
CN109344391B (zh) * | 2018-08-23 | 2022-10-21 | 昆明理工大学 | 基于神经网络的多特征融合中文新闻文本摘要生成方法 |
CN109271629A (zh) * | 2018-09-07 | 2019-01-25 | 中山大学 | 基于强化学习的生成式文本摘要方法 |
CN109271629B (zh) * | 2018-09-07 | 2023-07-14 | 中山大学 | 基于强化学习的生成式文本摘要方法 |
CN109299257A (zh) * | 2018-09-18 | 2019-02-01 | 杭州科以才成科技有限公司 | 一种基于lstm和知识图谱的英文期刊推荐方法 |
CN109299257B (zh) * | 2018-09-18 | 2020-09-15 | 杭州科以才成科技有限公司 | 一种基于lstm和知识图谱的英文期刊推荐方法 |
CN109523021A (zh) * | 2018-09-28 | 2019-03-26 | 浙江工业大学 | 一种基于长短时记忆网络的动态网络结构预测方法 |
CN109543512A (zh) * | 2018-10-09 | 2019-03-29 | 中国科学院自动化研究所 | 图文摘要的评价方法 |
CN109472021A (zh) * | 2018-10-12 | 2019-03-15 | 北京诺道认知医学科技有限公司 | 基于深度学习的医学文献中关键句筛选方法及装置 |
WO2020074023A1 (zh) * | 2018-10-12 | 2020-04-16 | 北京大学第三医院 | 基于深度学习的医学文献中关键句筛选方法及装置 |
CN109657051A (zh) * | 2018-11-30 | 2019-04-19 | 平安科技(深圳)有限公司 | 文本摘要生成方法、装置、计算机设备及存储介质 |
WO2020107878A1 (zh) * | 2018-11-30 | 2020-06-04 | 平安科技(深圳)有限公司 | 文本摘要生成方法、装置、计算机设备及存储介质 |
CN109657054A (zh) * | 2018-12-13 | 2019-04-19 | 北京百度网讯科技有限公司 | 摘要生成方法、装置、服务器及存储介质 |
CN109743642A (zh) * | 2018-12-21 | 2019-05-10 | 西北工业大学 | 基于分层循环神经网络的视频摘要生成方法 |
CN109743642B (zh) * | 2018-12-21 | 2020-07-03 | 西北工业大学 | 基于分层循环神经网络的视频摘要生成方法 |
CN109670186A (zh) * | 2018-12-27 | 2019-04-23 | 六度云计算有限公司 | 基于机器学习的生成式摘要方法和装置 |
CN109614111B (zh) * | 2018-12-28 | 2022-02-01 | 北京百度网讯科技有限公司 | 用于生成代码的方法和装置 |
CN109614111A (zh) * | 2018-12-28 | 2019-04-12 | 北京百度网讯科技有限公司 | 用于生成代码的方法和装置 |
CN110032729A (zh) * | 2019-02-13 | 2019-07-19 | 北京航空航天大学 | 一种基于神经图灵机的自动摘要生成方法 |
CN109947930A (zh) * | 2019-03-12 | 2019-06-28 | 上海秘塔网络科技有限公司 | 摘要生成方法、装置、终端及计算机可读存储介质 |
CN109960804A (zh) * | 2019-03-21 | 2019-07-02 | 江西风向标教育科技有限公司 | 一种题目文本句子向量生成方法及装置 |
CN109960804B (zh) * | 2019-03-21 | 2023-05-02 | 江西风向标教育科技有限公司 | 一种题目文本句子向量生成方法及装置 |
US10997374B2 (en) * | 2019-03-22 | 2021-05-04 | Fortia Financial Solutions | Generation of natural language text from structured data using a fusion model |
CN111782798B (zh) * | 2019-04-03 | 2024-01-12 | 阿里巴巴集团控股有限公司 | 摘要生成方法、装置和设备以及项目管理方法 |
CN111782798A (zh) * | 2019-04-03 | 2020-10-16 | 阿里巴巴集团控股有限公司 | 摘要生成方法、装置和设备以及项目管理方法 |
WO2020199947A1 (zh) * | 2019-04-03 | 2020-10-08 | 阿里巴巴集团控股有限公司 | 摘要生成方法、装置和设备以及项目管理方法 |
CN110275936A (zh) * | 2019-05-09 | 2019-09-24 | 浙江工业大学 | 一种基于自编码神经网络的相似法律案例检索方法 |
CN110275936B (zh) * | 2019-05-09 | 2021-11-23 | 浙江工业大学 | 一种基于自编码神经网络的相似法律案例检索方法 |
CN110489765A (zh) * | 2019-07-19 | 2019-11-22 | 平安科技(深圳)有限公司 | 机器翻译方法、装置及计算机可读存储介质 |
CN110489765B (zh) * | 2019-07-19 | 2024-05-10 | 平安科技(深圳)有限公司 | 机器翻译方法、装置及计算机可读存储介质 |
CN112347775A (zh) * | 2019-08-08 | 2021-02-09 | 北京搜狗科技发展有限公司 | 一种数据处理方法、装置和用于数据处理的装置 |
CN110765785A (zh) * | 2019-09-19 | 2020-02-07 | 平安科技(深圳)有限公司 | 基于神经网络的中英翻译方法、及其相关设备 |
CN110765785B (zh) * | 2019-09-19 | 2024-03-22 | 平安科技(深圳)有限公司 | 基于神经网络的中英翻译方法、及其相关设备 |
CN110705310A (zh) * | 2019-09-20 | 2020-01-17 | 北京金山数字娱乐科技有限公司 | 一种文章生成的方法和装置 |
CN110705310B (zh) * | 2019-09-20 | 2023-07-18 | 北京金山数字娱乐科技有限公司 | 一种文章生成的方法和装置 |
CN110705287B (zh) * | 2019-09-27 | 2023-06-30 | 北京妙笔智能科技有限公司 | 一种用于文本摘要的生成方法和系统 |
CN110705287A (zh) * | 2019-09-27 | 2020-01-17 | 北京妙笔智能科技有限公司 | 一种用于文本摘要的生成方法和系统 |
CN111008277A (zh) * | 2019-10-30 | 2020-04-14 | 创意信息技术股份有限公司 | 一种自动文本摘要方法 |
CN111008277B (zh) * | 2019-10-30 | 2020-11-03 | 创意信息技术股份有限公司 | 一种自动文本摘要方法 |
CN110933518A (zh) * | 2019-12-11 | 2020-03-27 | 浙江大学 | 一种利用卷积多层注意力网络机制生成面向查询的视频摘要的方法 |
CN111159394B (zh) * | 2019-12-31 | 2023-04-28 | 重庆觉晓科技有限公司 | 一种文本摘要生成方法和装置 |
CN111159394A (zh) * | 2019-12-31 | 2020-05-15 | 重庆觉晓教育科技有限公司 | 一种文本摘要生成方法和装置 |
CN111666756B (zh) * | 2020-05-26 | 2023-12-05 | 湖北工业大学 | 一种基于主题融合的序列模型文本摘要生成方法 |
CN111666756A (zh) * | 2020-05-26 | 2020-09-15 | 湖北工业大学 | 一种基于主题融合的序列模型文本摘要生成方法 |
CN111914547A (zh) * | 2020-07-17 | 2020-11-10 | 深圳宜搜天下科技股份有限公司 | 一种改进的语义意图识别方法以及lstm构架系统 |
CN111857728A (zh) * | 2020-07-22 | 2020-10-30 | 中山大学 | 一种代码摘要生成方法和装置 |
CN113342968A (zh) * | 2021-05-21 | 2021-09-03 | 中国石油天然气股份有限公司 | 文本摘要提取方法及装置 |
CN113344214B (zh) * | 2021-05-31 | 2022-06-14 | 北京百度网讯科技有限公司 | 数据处理模型的训练方法、装置、电子设备及存储介质 |
CN113344214A (zh) * | 2021-05-31 | 2021-09-03 | 北京百度网讯科技有限公司 | 数据处理模型的训练方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN106980683B (zh) | 2021-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106980683B (zh) | 基于深度学习的博客文本摘要生成方法 | |
CN108021616B (zh) | 一种基于循环神经网络的社区问答专家推荐方法 | |
CN113641820B (zh) | 基于图卷积神经网络的视角级文本情感分类方法及系统 | |
CN106202010B (zh) | 基于深度神经网络构建法律文本语法树的方法和装置 | |
CN104834747B (zh) | 基于卷积神经网络的短文本分类方法 | |
CN113642330A (zh) | 基于目录主题分类的轨道交通规范实体识别方法 | |
CN108229582A (zh) | 一种面向医学领域的多任务命名实体识别对抗训练方法 | |
CN111858944A (zh) | 一种基于注意力机制的实体方面级情感分析方法 | |
CN113987187B (zh) | 基于多标签嵌入的舆情文本分类方法、系统、终端及介质 | |
CN113569001A (zh) | 文本处理方法、装置、计算机设备及计算机可读存储介质 | |
CN110263174B (zh) | —基于焦点关注的主题类别分析方法 | |
CN109711465A (zh) | 基于mll和asca-fr的图像字幕生成方法 | |
CN113343690B (zh) | 一种文本可读性自动评估方法及装置 | |
CN111274790A (zh) | 基于句法依存图的篇章级事件嵌入方法及装置 | |
CN113946677B (zh) | 基于双向循环神经网络和注意力机制的事件识别分类方法 | |
CN110276396B (zh) | 基于物体显著性和跨模态融合特征的图片描述生成方法 | |
CN112071429A (zh) | 一种基于知识图谱的医疗自动问答系统构建方法 | |
CN113704416A (zh) | 词义消歧方法、装置、电子设备及计算机可读存储介质 | |
CN111145914B (zh) | 一种确定肺癌临床病种库文本实体的方法及装置 | |
CN114676260A (zh) | 基于知识图谱的人体骨骼运动康复模型构建方法 | |
CN108875024B (zh) | 文本分类方法、系统、可读存储介质及电子设备 | |
CN110852071A (zh) | 知识点检测方法、装置、设备及可读存储介质 | |
CN111767720B (zh) | 一种标题生成方法、计算机及可读存储介质 | |
CN117436451A (zh) | 基于IDCNN-Attention的农业病虫害命名实体识别方法 | |
CN111445545B (zh) | 一种文本转贴图方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210212 |