CN110532452A - 一种基于gru神经网络的新闻网站通用爬虫设计方法 - Google Patents
一种基于gru神经网络的新闻网站通用爬虫设计方法 Download PDFInfo
- Publication number
- CN110532452A CN110532452A CN201910630664.9A CN201910630664A CN110532452A CN 110532452 A CN110532452 A CN 110532452A CN 201910630664 A CN201910630664 A CN 201910630664A CN 110532452 A CN110532452 A CN 110532452A
- Authority
- CN
- China
- Prior art keywords
- character
- neural network
- layers
- gru neural
- gru
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/374—Thesaurus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
- G06F16/972—Access to data in other repository systems, e.g. legacy data or dynamic Web page generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Machine Translation (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种基于GRU神经网络的新闻网站通用爬虫设计方法,对HTML页面内容进行HTML数据预处理,构建目标数据并标记字符,构建字符字典,HTML内容转换为数字向量,最后填充batch;搭建GRU神经网络,使用Cross Entropy作为损失函数,Embedding层使用预训练的字符向量,对GRU神经网络进行训练和预测;基于Scrapy爬虫框架,构建全站爬取爬虫。本发明在爬虫爬取任意新闻页面的HTML内容后,将其传入使用本发明设计的神经网络算法训练好的模型中,能自动提取新闻正文,节省定制的时间与人力。
Description
技术领域
本发明属于计算机技术领域,具体涉及一种基于GRU神经网络的新闻网站通用爬虫设计方法。
背景技术
已经有一些舆情系统的实现,但是这些舆情系统都是只针对固定几个新闻网站进行监控,难以做到真正的舆情实时掌控,而且这些系统若要增大监控的范围,需要对新增的网站定制爬虫,花费不少人力与时间。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种基于 GRU神经网络的新闻网站通用爬虫设计方法,对不同样式的网页自动提取正文内容,有效节省人力和时间。
本发明采用以下技术方案:
一种基于GRU神经网络的新闻网站通用爬虫设计方法,包括以下步骤:
S1、对HTML页面内容进行HTML数据预处理,构建目标数据并标记字符,构建字符字典,HTML内容转换为数字向量,最后填充batch;
S2、搭建GRU神经网络,GRU神经网络框架为:Embedding层->Droupout 层->MaxPool层-GRU层->全连接层->Softmax层,使用Cross Entropy作为损失函数,Embedding层使用预训练的字符向量,对GRU神经网络进行训练和预测;
S3、基于Scrapy爬虫框架,构建全站爬取爬虫。
具体的,步骤S1中,HTML数据预处理具体为:去除无意义或者有噪音的标签;去除所有标签的属性;去掉标签内的纯空格内容。
具体的,步骤S1中,构建目标数据并标记字符具体为:构建与样本长度相同的字符串,根据爬取的对应正文内容,将HTML内容中,对应的正文内容字符位置的字符值设为1,其余字符设为2,将整个提取任务转化为对单个字符级的三分类任务。
具体的,步骤S1中,构建字符字典具体为:对训练集的字符构建字符级字典,每个字符的value从0开始依次递增,字符字典默认包含四个特殊符号{~}、{^}、 {$}和{#},分别代表填充符号、开始符号、结束符号和未知词符号;再将key-value 对反转获得反转字符字典。
具体的,步骤S1中,HTML内容转换为数字向量具体为:将每条样本数据中的每个字符和特殊字符,根据字符字典,转化为一条数字向量。
具体的具体的,步骤S1中,填充batch具体为:先获得batch中最长数据的长度,然后使用填充符号“{~}”对该batch中长度小于最长长度的数据填充至最长长度,并将一个batch中的数据按照真实长度从大到下排列。
具体的,步骤S2中,Embedding层加载预训练好的300维字符向量,Droupout 层中droupout比例为0.5;GRU层中隐向量维度为300维;层数为10层;全连接层中的节点数为3,代表三分类任务;MaxPool层使用一维MaxPool池化, kenerl_size为4。
进一步的,在进入GRU层前,使用Xavier初始化隐向量h0,其目标是每一层输出的方差相等,把参数初始化成如下均匀分布:
交叉熵描述了两个概率分布之间的距离如下:
其中,概率分布p为期望输出,概率分布q为实际输出。
具体的,步骤S2中,在时间t时的隐状态ht计算如下:
其中,zt为更新门,rt为重置门:
zt=σ(Wzxt+Uzht-1+bz)
rt=σ(Wrxt+Urht-1+br)
其中,g为激活函数tanh,W为输入xt的权重矩阵,U为隐状态ht-1的权重矩阵,b为偏置项,σ为激活函数sigmod;
当重置门的结果趋近于0时,隐状态忽略前一个隐状态,只用当前输入的值来重置;更新门控制前一个隐状态中的信息有多少能传递给当前隐状态;每个隐层神经元都有独立的重置门和更新门,学习捕捉短期依赖的单元会频繁激活重置门;学习捕捉长期依赖的单元会频繁激活更新门。
具体的,步骤S3具体为:
S301、使用正则判断网页是否为正文页,正则表达式为:[_-][0-9]{4,};
S302、将需要的信息存入数据库,然后将本页HTML内容写入文件,全部数据爬取完成后,读取HTML内容文件,使用步骤S2搭建的GRU神经网络模型批量提取正文;
S303、爬取时使用Scrapy提供的URL指纹函数对URL进行去重。
与现有技术相比,本发明至少具有以下有益效果:
本发明一种基于GRU神经网络的新闻网站通用爬虫设计方法,通过使用整个方法,可以训练出一个适用于HTML内容正文提取任务的神经网络模型,该模型输入为新闻网页HTML内容,输出为正文提取的结果,不需要对每个新闻网站定制单独的爬虫,只需要更改初始url,即可在任意新闻网站爬取其中新闻的正文内容。
进一步的,通过对爬取的HTML数据进行数据预处理,去除包含汉字的无用标签如<script>、<style>等,既能减少噪音提升正文提取效果,又能减少正文长度加快模型训练速度。
进一步的,通过构建目标数据并标记字符,将正文提取任务转化为了针对数据中每个字符的三分类任务,简化了算法目标的复杂度。
进一步的,通过构建字符字典,可以根据字符字典将每条HTML内容数据转化为数字向量,也能将模型预测的向量结果转回字符形式便于人工读取。
进一步的,通过将HTML内容转化为数字向量形式,使得数据能够传入神经网络模型,且使得计算机能够识别字符和字符间的联系与区别。
进一步的,通过设置batch中数据按照真实长度从大到小排列,便于后续一个batch传入网络后,进行训练时忽略填充字符对模型参数的影响,提升模型准确度。
进一步的,设置Embedding层能够将不同的字符映射到多维空间中,使得计算机能够发现字符和字符间的区别与联系;设置Droupout层的好处是有部分数据的隐层节点不激活,防止过拟合;设置MaxPool层对数据进行采样,降低数据长度,能加快模型训练速度,同时由于数据占用空间变少,能增加一个bacth中数据的数量,提升bacth设置的效果;设置10层GRU层使模型能更好的发现数据中的潜在模式;设置全连接层使模型综合模型发现的各种特征,对输入的字符数据属于每类的可能性进行打分;设置Softmax层将输入的字符数据属于每类的可能性得分转化为样本属于各个类的概率。
进一步的,引入更新门和重置门以解决标准RNN网络中无法捕捉序列中长期依赖的问题。
进一步的,通过使用URL指纹,可以防止爬虫在多次运行中,对已经爬取过的页面进行重复爬取。
综上所述,本发明在爬虫爬取任意新闻页面的HTML内容后,将其传入使用本发明设计的神经网络算法训练好的模型中,能自动提取新闻正文,节省定制的时间与人力。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为神经网络架构图;
图2为GRU神经单元结构图;
图3为通用爬虫流程;
图4为未使用MaxPool采样的模型训练的Loss变化图;
图5为使用MaxPool采样的模型训练的Loss变化图。
具体实施方式
本发明提供了一种基于GRU神经网络的新闻网站通用爬虫设计方法,基于 GRU神经网络算法针对不同样式HTML页面提取其正文,然后构建全站爬取爬虫,爬取网页内容并使用设计的神经网络提取正文。
本发明一种基于GRU神经网络的新闻网站通用爬虫设计方法,包括以下步骤:
S1、对HTML页面内容进行预处理,依次进行HTML数据预处理,构建目标数据并标记字符,构建字符字典,HTML内容转换为数字向量,最后填充batch;
HTML数据预处理
去除一些无意义或者可能有噪音的标签,如<SCRIPT>、<style>等;去除所有标签的属性;去掉标签内的纯空格内容如“<p></p>”
构建目标数据并标记字符
构建与样本长度相同的字符串,根据爬取的对应正文内容,将HTML内容中,对应的正文内容字符位置的字符值设为“1”,其余字符设为“2”,这样将整个提取任务转化为对单个字符级的三分类任务(还有一类为后面的填充字符)。
构建字符字典
对训练集的字符构建字符级字典,每个字符的value从0开始依次递增。字符字典默认包含四个特殊符号“{~}”、“{^}”、“{$}”和“{#}”,分别代表填充符号、开始符号、结束符号和未知词符号;再将key-value对反转获得反转字符字典。
HTML内容转换为数字向量
将每条样本数据(即HTML内容)中的每个字符和特殊字符,根据字符字典,转化为一条数字向量。
填充batch
由于数据是以mini-batch形式喂入神经网络的,而每条数据的长度都不同,因此需要先获得该batch中最长数据的长度,然后使用填充符号“{~}”对该batch 中长度小于最长长度的数据填充至最长长度,并将一个batch中的数据按照真实长度从大到下排列。
S2、建立GRU神经网络,使用Cross Entropy作为其损失函数,Embedding 层使用预训练的字符向量;
请参阅图2,GRU神经网络单元具体为:
GRU神经网络是RNN的改进方案,RNN是一种用于处理序列数据的神经网络,它能够捕捉并记录序列内数据间的依赖关系,RNN是通过隐状态传递之前的信息的:
ht=g(Wxt+Uht-1+b)
其中,xt为在时间t时的输入向量(假设该向量大小为m×1),ht为在时间t 时的隐状态(假设该向量大小为n×1),g为非线性激活函数,W(大小为n×m)、U(大小为n×n)和b(大小为n×1)为权重向量。从公式中可以看出,每个隐状态由本次时间步的输入和上一时间步的隐状态决定。
GRU神经网络引入两种门信号,更新门和重置门;由于RNN会遭遇梯度消失或梯度爆炸的问题,无法捕捉序列内的长期依赖关系。GRU是解决该问题的方案之一。
ht的计算如下:
其中,zt为更新门,rt为重置门:
zt=σ(Wzxt+Uzht-1+bz)
rt=σ(Wrxt+Urht-1+br)
其中,g为激活函数tanh,W为输入xt的权重矩阵,U为隐状态ht-1的权重矩阵,b为偏置项,σ为激活函数sigmod。
当重置门rt的结果趋近于0时,隐状态忽略前一个隐状态,只用当前输入的值来重置;更新门控制前一个隐状态中的信息有多少能传递给当前隐状态。每个隐层神经元都有独立的重置门和更新门,要学习捕捉短期依赖的单元,会频繁激活重置门;要学习捕捉长期依赖的单元,会频繁激活更新门。
请参阅图1,GRU神经网络框架为:Embedding层->Droupout层->MaxPool 层->GRU层->全连接层->Softmax层,Embedding层加载预训练好的300维字符向量,Droupout层中droupout比例为0.5;GRU层中隐向量维度为300维;层数为10层;全连接层中的节点数为3,代表三分类任务;MaxPool层使用一维 MaxPool池化,kenerl_size为4。
在进入GRU层前,使用Xavier初始化隐向量h0,其目标是使得每一层输出的方差应该尽量相等,具体方法为把参数初始化成下面范围内的均匀分布:
使用的损失函数为交叉熵Cross Entropy,交叉熵描述了两个概率分布之间的距离,当交叉熵越小说明二者之间越接近:
其中,概率分布p为期望输出,概率分布q为实际输出。
S3、基于Scrapy爬虫框架,构建全站爬取爬虫,如图3所示。
S301、爬取时先使用正则判断网页是否为正文页,由于大部分新闻网站新闻页面的URL中以两个时间戳相连形式命名,因此使用正则表达式“[_-][0-9]{4,}”判断页面是否为新闻页面;
S302、将需要的其他信息先存入数据库,然后将本页HTML内容写入文件,全部数据爬取完成后,读取HTML内容文件,使用训练的神经网络模型批量提取正文;
S303、爬取时使用Scrapy提供的URL指纹函数对URL进行去重。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
神经网络算法具体实现
(1)、数据准备
对40个主流新闻及政府网站,爬取网页HTML数据和新闻正文数据,大约有4000条新闻数据,其中训练集3000条,测试集1000条。
(2)、经过一些列数据预处理,获得字符字典和反向字符字典,将样本数据转换为数字向量同时构建了目标数据,将任务转化为三分类任务。
(3)、神经网络搭建,包括训练过程和预测过程
训练过程
经过数据预处理后,取一个batch size为16的mini-batch输入数据input,input为max_len×4的矩阵向量;先经过Embedding层,获得每个字符对应的字符向量,input变为max_len×4×300的矩阵向量;经过Droupout层后,有50%的数据的隐层节点不激活,防止过拟合;经过MaxPool层后,数据每4位进行一次采样,input变为max_len×4×75的矩阵向量;在进入GRU层前,使用Xavier初始化隐向量h0。
将input和h0同时传入GRU层,经过10层GRU层,获得输出向量output和最终时刻隐向量ht;output经过全连接层,根据之前网络学习到的每维特征的重要程度、对最终分数的影响程度,通过对特征加权打分,得到该样本属于每个分类的分数,通过Softmax层后将分数映射为概率值。
计算出Cross Entropy损失值,将其沿网络反向传播,网络调整各参数值。
重复上述过程,直到网络收敛。
请参阅图4和图5,展示了未使用MaxPool采样的训练集和测试集随epoch 增加,loss的变化趋势。图5展示了使用MaxPool采样的训练集和测试集随epoch 增加,loss的变化趋势,其中,虚线代表训练集,实线代表测试集。比较两图可以看出,未使用MaxPool采样的模型大约在8个epoch后达到收敛,而使用 MaxPool采用的模型在2个epoch后就已经收敛,收敛速度远快于未使用MaxPool 采样的模型。且由于使用MaxPool采样的模型中一个batch的样本数更多,所需的训练时间也更短。
预测过程
重复训练过程前几步到获得输出向量output后,output大小为 max_len×batch_size×2,将其转变成大小为max_len×batch_size的矩阵向量,即保留最后的2维中数值较大的index(0、1、2分别代表填充字符、正文字符和非正文字符),再进行转置变为大小为batch_size×max_len的矩阵向量。将中值为1 的字符,根据其行index和反向字符字典,变为对应的字符,并连接成正文,获得预测结果。
整个过程使用Pytorch框架搭建神经网络,使用GPU加速训练。经试验,经过2个epoch后,Cross Entropy稳定在0.002左右,实际预测效果准确度很高,提取后缺失的字符最多在5个左右。
通用爬虫设计
基于Scrapy框架的CrawlSpider类爬虫,构建对于每个网站的全站爬虫:给定初始首页url后,将爬取过程中碰到的本站域名的url添加进任务队列,依次从任务队列中取url进行爬取任务;
获得页面响应后,需要先判断该页面是否为新闻页面;
若页面为新闻页面,获取需要的信息存入数据库,获取该页面的整个HTML 内容存入文件;
所有网站爬取完成后,读入存储的HTML内容文件,经过预处理后,使用 mini-batch传入神经网络进行正文提取,存入数据库;
为避免重复爬取,使用Scrapy中提供的URL指纹对爬取的URL进行过滤,每次爬取前先将该URL转换为URL指纹,在指纹文件中比对,若出现重复指纹,则跳过该页面。
通过使用本发明设计的爬虫,不需要对每个新闻网站定制单独的爬虫,只需要更改初始url,在爬虫爬取任意新闻页面的HTML内容后,只需要将其传入使用上述神经网络算法训练好的模型中,就能自动提取新闻正文,节省定制的时间与人力。
以上内容仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明权利要求书的保护范围之内。
Claims (10)
1.一种基于GRU神经网络的新闻网站通用爬虫设计方法,其特征在于,包括以下步骤:
S1、对HTML页面内容进行HTML数据预处理,构建目标数据并标记字符,构建字符字典,HTML内容转换为数字向量,最后填充batch;
S2、搭建GRU神经网络,GRU神经网络框架为:Embedding层->Droupout层->MaxPool层-GRU层->全连接层->Softmax层,使用Cross Entropy作为损失函数,Embedding层使用预训练的字符向量,对GRU神经网络进行训练和预测;
S3、基于Scrapy爬虫框架,构建全站爬取爬虫。
2.根据权利要求1所述的基于GRU神经网络的新闻网站通用爬虫设计方法,其特征在于,步骤S1中,HTML数据预处理具体为:去除无意义或者有噪音的标签;去除所有标签的属性;去掉标签内的纯空格内容。
3.根据权利要求1所述的基于GRU神经网络的新闻网站通用爬虫设计方法,其特征在于,步骤S1中,构建目标数据并标记字符具体为:构建与样本长度相同的字符串,根据爬取的对应正文内容,将HTML内容中,对应的正文内容字符位置的字符值设为1,其余字符设为2,将整个提取任务转化为对单个字符级的三分类任务。
4.根据权利要求1所述的基于GRU神经网络的新闻网站通用爬虫设计方法,其特征在于,步骤S1中,构建字符字典具体为:对训练集的字符构建字符级字典,每个字符的value从0开始依次递增,字符字典默认包含四个特殊符号{~}、{^}、{$}和{#},分别代表填充符号、开始符号、结束符号和未知词符号;再将key-value对反转获得反转字符字典。
5.根据权利要求1所述的基于GRU神经网络的新闻网站通用爬虫设计方法,其特征在于,步骤S1中,HTML内容转换为数字向量具体为:将每条样本数据中的每个字符和特殊字符,根据字符字典,转化为一条数字向量。
6.根据权利要求1所述的基于GRU神经网络的新闻网站通用爬虫设计方法,其特征在于,步骤S1中,填充batch具体为:先获得batch中最长数据的长度,然后使用填充符号“{~}”对该batch中长度小于最长长度的数据填充至最长长度,并将一个batch中的数据按照真实长度从大到下排列。
7.根据权利要求1所述的基于GRU神经网络的新闻网站通用爬虫设计方法,其特征在于,步骤S2中,Embedding层加载预训练好的300维字符向量,Droupout层中droupout比例为0.5;GRU层中隐向量维度为300维;层数为10层;全连接层中的节点数为3,代表三分类任务;MaxPool层使用一维MaxPool池化,kenerl_size为4。
8.根据权利要求7所述的基于GRU神经网络的新闻网站通用爬虫设计方法,其特征在于,在进入GRU层前,使用Xavier初始化隐向量h0,其目标是每一层输出的方差相等,把参数初始化成如下均匀分布:
交叉熵描述了两个概率分布之间的距离如下:
其中,概率分布p为期望输出,概率分布q为实际输出。
9.根据权利要求1所述的基于GRU神经网络的新闻网站通用爬虫设计方法,其特征在于,步骤S2中,在时间t时的隐状态ht计算如下:
其中,zt为更新门,rt为重置门:
zt=σ(Wzxt+Uzht-1+bz)
rt=σ(Wrxt+Urht-1+br)
其中,g为激活函数tanh,W为输入xt的权重矩阵,U为隐状态ht-1的权重矩阵,b为偏置项,σ为激活函数sigmod;
当重置门的结果趋近于0时,隐状态忽略前一个隐状态,只用当前输入的值来重置;更新门控制前一个隐状态中的信息有多少能传递给当前隐状态;每个隐层神经元都有独立的重置门和更新门,学习捕捉短期依赖的单元会频繁激活重置门;学习捕捉长期依赖的单元会频繁激活更新门。
10.根据权利要求1所述的基于GRU神经网络的新闻网站通用爬虫设计方法,其特征在于,步骤S3具体为:
S301、使用正则判断网页是否为正文页,正则表达式为:[_-][0-9]{4,};
S302、将需要的信息存入数据库,然后将本页HTML内容写入文件,全部数据爬取完成后,读取HTML内容文件,使用步骤S2搭建的GRU神经网络模型批量提取正文;
S303、爬取时使用Scrapy提供的URL指纹函数对URL进行去重。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910630664.9A CN110532452B (zh) | 2019-07-12 | 2019-07-12 | 一种基于gru神经网络的新闻网站通用爬虫设计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910630664.9A CN110532452B (zh) | 2019-07-12 | 2019-07-12 | 一种基于gru神经网络的新闻网站通用爬虫设计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110532452A true CN110532452A (zh) | 2019-12-03 |
CN110532452B CN110532452B (zh) | 2022-04-22 |
Family
ID=68659768
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910630664.9A Active CN110532452B (zh) | 2019-07-12 | 2019-07-12 | 一种基于gru神经网络的新闻网站通用爬虫设计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110532452B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111538925A (zh) * | 2020-04-09 | 2020-08-14 | 支付宝(杭州)信息技术有限公司 | 统一资源定位符url指纹特征的提取方法及装置 |
CN111723265A (zh) * | 2020-07-01 | 2020-09-29 | 杭州叙简科技股份有限公司 | 一种可扩展的新闻网站通用爬虫方法及系统 |
CN111858929A (zh) * | 2020-06-22 | 2020-10-30 | 网宿科技股份有限公司 | 一种基于图神经网络的网络爬虫检测方法、系统及装置 |
CN112148956A (zh) * | 2020-09-30 | 2020-12-29 | 上海交通大学 | 一种基于机器学习的暗网威胁情报挖掘系统和方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160350655A1 (en) * | 2015-05-26 | 2016-12-01 | Evature Technologies (2009) Ltd. | Systems Methods Circuits and Associated Computer Executable Code for Deep Learning Based Natural Language Understanding |
CN109299253A (zh) * | 2018-09-03 | 2019-02-01 | 华南理工大学 | 一种基于深度融合神经网络的中文社交文本情绪识别模型构造方法 |
CN109508459A (zh) * | 2018-11-06 | 2019-03-22 | 杭州费尔斯通科技有限公司 | 一种从新闻中提取主题和关键信息的方法 |
CN109522454A (zh) * | 2018-11-20 | 2019-03-26 | 四川长虹电器股份有限公司 | 自动生成web样本数据的方法 |
CN109710919A (zh) * | 2018-11-27 | 2019-05-03 | 杭州电子科技大学 | 一种融合注意力机制的神经网络事件抽取方法 |
-
2019
- 2019-07-12 CN CN201910630664.9A patent/CN110532452B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160350655A1 (en) * | 2015-05-26 | 2016-12-01 | Evature Technologies (2009) Ltd. | Systems Methods Circuits and Associated Computer Executable Code for Deep Learning Based Natural Language Understanding |
CN109299253A (zh) * | 2018-09-03 | 2019-02-01 | 华南理工大学 | 一种基于深度融合神经网络的中文社交文本情绪识别模型构造方法 |
CN109508459A (zh) * | 2018-11-06 | 2019-03-22 | 杭州费尔斯通科技有限公司 | 一种从新闻中提取主题和关键信息的方法 |
CN109522454A (zh) * | 2018-11-20 | 2019-03-26 | 四川长虹电器股份有限公司 | 自动生成web样本数据的方法 |
CN109710919A (zh) * | 2018-11-27 | 2019-05-03 | 杭州电子科技大学 | 一种融合注意力机制的神经网络事件抽取方法 |
Non-Patent Citations (6)
Title |
---|
喜欢爱喝矿泉水的男孩: "《GRU网络》", 《GRU网络》 * |
施恩,李骞,顾大权,赵章明: "《基于卷积神经网络的雷达回波外推方法》", 《计算机应用》 * |
杨文柱,刘晴,王思乐,崔振超,张宁雨: "《基于深度卷积神经网络的羽绒图像识别》", 《郑州大学学报工学版》 * |
范春晓: "《Web数据分析关键技术及解决方案》", 31 October 2017, 北京邮电大学出版社 * |
蔡立志,武星,刘振宇: "《大数据测评》", 31 January 2015 * |
陈畅,程少杰,李卫滨,陈敏: "《基于卷积神经网络的外周血白细胞分类》", 《中国生物医学工程学报》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111538925A (zh) * | 2020-04-09 | 2020-08-14 | 支付宝(杭州)信息技术有限公司 | 统一资源定位符url指纹特征的提取方法及装置 |
CN111538925B (zh) * | 2020-04-09 | 2023-05-02 | 支付宝(中国)网络技术有限公司 | 统一资源定位符url指纹特征的提取方法及装置 |
CN111858929A (zh) * | 2020-06-22 | 2020-10-30 | 网宿科技股份有限公司 | 一种基于图神经网络的网络爬虫检测方法、系统及装置 |
CN111723265A (zh) * | 2020-07-01 | 2020-09-29 | 杭州叙简科技股份有限公司 | 一种可扩展的新闻网站通用爬虫方法及系统 |
CN112148956A (zh) * | 2020-09-30 | 2020-12-29 | 上海交通大学 | 一种基于机器学习的暗网威胁情报挖掘系统和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110532452B (zh) | 2022-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111371806B (zh) | 一种Web攻击检测方法及装置 | |
CN110532452A (zh) | 一种基于gru神经网络的新闻网站通用爬虫设计方法 | |
CN109697232B (zh) | 一种基于深度学习的中文文本情感分析方法 | |
CN110347837B (zh) | 一种心血管疾病非计划再住院风险预测方法 | |
CN107145483B (zh) | 一种基于嵌入式表示的自适应中文分词方法 | |
CN111198995B (zh) | 一种恶意网页识别方法 | |
CN105631479B (zh) | 基于非平衡学习的深度卷积网络图像标注方法及装置 | |
CN105139237A (zh) | 信息推送的方法和装置 | |
CN107291795A (zh) | 一种结合动态词嵌入和词性标注的文本分类方法 | |
CN106033462B (zh) | 一种新词发现方法及系统 | |
CN106980683A (zh) | 基于深度学习的博客文本摘要生成方法 | |
CN109325112A (zh) | 一种基于emoji的跨语言情感分析方法和装置 | |
CN102214246B (zh) | 一种互联网上汉语电子文档阅读分级的方法 | |
CN110188195B (zh) | 一种基于深度学习的文本意图识别方法、装置及设备 | |
CN112329476B (zh) | 一种文本纠错方法及装置、设备、存储介质 | |
CN113535953B (zh) | 一种基于元学习的少样本分类方法 | |
Nurhadiyatna | Deep learning for handwritten Javanese character recognition | |
CN110223675A (zh) | 用于语音识别的训练文本数据的筛选方法及系统 | |
CN110826298B (zh) | 一种智能辅助定密系统中使用的语句编码方法 | |
CN111475622A (zh) | 一种文本分类方法、装置、终端及存储介质 | |
CN110110085A (zh) | 基于字符级神经网络与svm的交通事故文本分类方法和系统 | |
CN113160917B (zh) | 一种电子病历实体关系抽取方法 | |
CN108229557A (zh) | 一种具有标签的神经网络的加速训练方法及系统 | |
CN108985442A (zh) | 手写模型训练方法、手写字识别方法、装置、设备及介质 | |
CN111814453A (zh) | 基于BiLSTM-TextCNN的细粒度情感分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |