CN109543085A - 数据提取方法、装置及计算机可读存储介质 - Google Patents
数据提取方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN109543085A CN109543085A CN201811360836.7A CN201811360836A CN109543085A CN 109543085 A CN109543085 A CN 109543085A CN 201811360836 A CN201811360836 A CN 201811360836A CN 109543085 A CN109543085 A CN 109543085A
- Authority
- CN
- China
- Prior art keywords
- data
- crawled
- training
- layer
- rendering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例公开了一种数据提取方法、装置及计算机可读存储介质，方法包括：通过http方式请求多个待爬取页面的URL，并通过渲染服务器对多个待爬取页面进行渲染；下载渲染后的多个待爬取页面，以得到多个页面数据；对多个页面数据进行智能分析，以得到待爬取数据位置；根据待爬取数据位置提取目标数据。通过本发明实施例可以快速实现大量网页数据的爬取，解决了现有技术中需要手动为每个页面编写爬取规则的问题，降低了开发难度和开发时间，满足了大量数据爬取的需求。
Description
技术领域
本发明涉及大数据处理技术领域，具体涉及一种数据提取方法、装置及计算机可读存储介质。
背景技术
随着大数据技术的兴起，企业和个人对数据的需求越来越大。获取数据时，若是非专业人员，往往通过手动复制粘贴的方式。当数据量特别小时，手动操作是可以解决问题的，但当数据量变大时，手动操作是无法满足需求的。对于企业来说，通常采取爬虫技术进行数据获取。
目前，大部分爬虫技术与框架都需要开发者拥有较好的技术，对目标网站的每个页面都需要进行精准的分析，从而找到页面中每个数据所在的位置，再通过网页解析技术抽取数据。当企业所需数据仅限于几个页面时，上述传统爬虫是可以勉强满足的。但随着企业对数据需求的不断增大，例如需要在多个分散的网页或网站爬取数据时，传统爬虫是无法满足的。这时，需要针对性地为每个网页编写一套特性的爬虫规则，需要开发工程师花费大量时间，大大地增加了开发难度和开发时间，不能满足大量爬取数据的需求。
发明内容
本发明实施例的目的在于提供一种数据提取方法、装置及计算机可读存储介质，以快速实现大量网页数据的爬取，降低开发难度和开发时间，满足大量数据爬取的需求。
为实现上述目的，第一方面，本发明实施例提供了一种数据提取方法，包括：
通过http方式请求多个待爬取页面的URL，并通过渲染服务器对多个所述待爬取页面进行渲染；
下载渲染后的多个所述待爬取页面，以得到多个页面数据；
对多个页面数据进行智能分析，以得到待爬取数据位置；
根据所述待爬取数据位置提取目标数据。
作为本申请一种优选的实施方式，通过渲染服务器对多个所述待爬取页面进行渲染具体包括：
将js代码渲染至所述待爬取页面上，以及将通过ajax获取的数据渲染到所述待爬取页面上。
作为本申请一种优选的实施方式，对多个页面数据进行智能分析，以得到待爬取数据位置具体包括：
对多个页面数据进行分类，以得到训练数据和测试数据；
将所述训练数据输入卷积神经网络进行训练，以得到训练智能爬虫代码；
采用所述测试数据对所述训练智能爬虫代码进行测试，以得到目标智能爬虫代码；
将下载的多个页面数据输入所述目标智能爬虫代码中进行智能分析，以得到所述待爬取数据位置。
作为本申请一种优选的实施方式，所述卷积神经网络包括输入层、训练层和输出层，将所述训练数据输入卷积神经网络进行训练，以得到训练智能爬虫代码具体包括：
将所述训练数据输入所述输入层，对所述训练层进行调整，所述训练数据经过调整后的所述训练层以及输出层后以得到所述训练智能爬虫代码。
作为本申请一种优选的实施方式，对所述训练层进行调整具体包括：
调整所述卷积神经网络的参数、训练层的层数以及每一训练层的计算节点个数。
作为本申请一种优选的实施方式，根据所述待爬取数据位置提取目标数据之后，所述方法还包括：
通过清洗程序对所述目标数据进行格式化处理后存入数据库中。
第二方面，本发明实施例提供了一种数据提取装置，包括：
获取模块，用于通过http方式请求多个待爬取页面的URL；
渲染模块，用于通过渲染服务器对多个所述待爬取页面进行渲染；
下载模块，用于下载渲染后的多个所述待爬取页面，以得到多个页面数据；
分析模块，用于对多个页面数据进行智能分析，以得到待爬取数据位置；
提取模块，用于根据所述待爬取数据位置提取目标数据。
作为本申请一种优选的实施方式，所述数据提取装置还包括：
存储模块，用于通过清洗程序对所述目标数据进行格式化处理后存入数据库中。
第三方面，本发明实施例还提供了一种数据提取装置，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面所述的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面所述的方法。
实施本发明实施例，先通过http方式请求多个待爬取页面的URL，并通过渲染服务器对多个待爬取页面进行渲染，再下载渲染后的多个待爬取页面以得到多个页面数据，对多个页面数据进行智能分析以得到待爬取数据位置，最后根据待爬取数据位置提取目标数据；通过本发明实施例可以快速实现大量网页数据的爬取，解决了现有技术中需要手动为每个页面编写爬取规则的问题，降低了开发难度和开发时间，满足了大量数据爬取的需求。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1是本发明第一实施例提供的数据提取方法的示意流程图；
图2是本发明第二实施例提供的数据提取方法的示意流程图；
图3是多层神经网络的结构示意图一；
图4是多层神经网络的结构示意图二；
图5是多层神经网络的结构示意图三；
图6是本发明第一实施例提供的数据提取装置的结构示意图；
图7是本发明第二实施例提供的数据提取装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
需要说明的是，本发明实施例所提供的数据提取方法及其装置的基本思想是：首先将要网页通过HTTP方式请求并通过splash渲染，得到最终的页面代码，通过机器学习程序分析页面元素，得到页面所有数据的存储位置。然后通过页面解析技术，提取最终想要的数据，通过清洗程序将数据格式化。后期可以利用获取的数据进行数据分析，获取我们想要的结果。这里主要是增加了通过渲染服务器，将页面先渲染，然后机器学习程序分析页面元素并获得数据。
请参考图1，是本发明第一实施例所提供的数据提取方法的流程示意图，如图所示，该方法可以包括如下步骤：
S101，通过http请求获取多个待爬取页面的URL。
S102，通过渲染服务器对多个待爬取页面进行渲染。
具体地，先通过http请求获取多个待爬取页面的URL，以找到多个待爬取页面，再通过渲染服务器(splash服务器)对多个待爬取页面进行渲染，主要是将js代码渲染到待爬取页面上，以及将通过ajax获取的数据渲染到待爬取页面上。
S103，下载渲染后的多个待爬取页面，以得到多个页面数据。
S104，对多个页面数据进行智能分析，以得到待爬取数据位置。
S105，根据所述待爬取数据位置提取目标数据。
实施本发明实施例所提供的数据提取方法，先通过http方式请求多个待爬取页面的URL，并通过渲染服务器对多个待爬取页面进行渲染，再下载渲染后的多个待爬取页面以得到多个页面数据，对多个页面数据进行智能分析以得到待爬取数据位置，最后根据待爬取数据位置提取目标数据；通过本发明实施例可以快速实现大量网页数据的爬取，解决了现有技术中需要手动为每个页面编写爬取规则的问题，降低了开发难度和开发时间，满足了大量数据爬取的需求。
请参考图2，是本发明第二实施例所提供的数据提取方法的流程示意图，如图所示，该方法可以包括如下步骤：
S201，通过http请求获取多个待爬取页面的URL。
S202，通过渲染服务器对多个待爬取页面进行渲染。
具体地，通过渲染服务器(splash服务器)对多个待爬取页面进行渲染，主要是将js代码渲染到待爬取页面上，以及将通过ajax获取的数据渲染到待爬取页面上。
S203，下载渲染后的多个待爬取页面，以得到多个页面数据。
S204，对多个页面数据进行分类，以得到训练数据和测试数据。
S205，将训练数据输入卷积神经网络进行训练，以得到训练智能爬虫代码。
S206，采用测试数据对训练智能爬虫代码进行测试，以得到目标智能爬虫代码。
S207，将下载的多个页面数据输入目标智能爬虫代码中进行智能分析，以得到待爬取数据位置。
为更好地理解步骤S204至S207，对该部分所涉及的技术做如下说明：
如图3所示的多层卷积神经网络结构图中，a(1)是输入层，a(2)a(3)是训练层，Z是输出层，W(1)W(2)W(3)是参数，输出层Z的推到公式如下：
g(W(1)*a(1))＝a(2)；
g(W(2)*a(2))＝a(3)；
g(W(3)*a(3))＝Z；
在多层神经网络中，输出是按照一层一层的方式计算的。从最外面的层开始，算出所有单元的值以后，再继续计算更深一层。只有当前层所有单元的值都计算完毕以后，才会算下一层。有点像计算向前不断推进的感觉，所以这个过程叫做“正向传播”。
对于多层神经网络中的参数W，如图4所示，可以看出W(1)有6个参数，W(2)有4个参数，W(3)有6个参数，所以整个神经网络中的参数有16个。假设将中间层(即训练层)的节点数进行如图5所示的调整，即第一个中间层改为3个单元，第二个中间层改为4个单元，那么经过调整后，整个网络的参数变成了33个。
由图4及图5可以看出，虽然层数保持不变，但是第二个神经网络的参数数量却是第一个神经网络的接近两倍之多，从而带来了更好的表示(represention)能力。此外，在参数一致的情况下，我们也可以获得一个“更深”的网络。其中，更深入的表示特征可以这样理解：随着网络的层数增加，每一层对于前一层次的抽象表示更深入。在神经网络中，每一层神经元学习到的是前一层神经元值的更抽象的表示，通过抽取更抽象的特征来对事物进行区分，从而获得更好的区分与分类能力。
步骤S204至S207正是运用上述理论进行的。具体地，将多个页面数据分为训练数据和测试数据两类(80％作为训练数据，20％作为测试数据)，先将80％的训练数据输入到输入层中，对训练层进行调整(包括调整卷积神经网络的参数、训练层的层数以及每一训练层的计算节点个数等)，训练数据经过调整后的训练层以及输出层后以得到训练智能爬虫代码。需要说明的是，该训练智能爬虫代码即是经过调整后的卷积神经网络。得到训练智能爬虫代码之后，使用20％的测试数据对训练智能爬虫代码进行测试，以得到目标智能爬虫代码。简单地说，本实施例中，首先将一些页面(输入层)作为训练数据，输入到算法代码中，并设置参数W，经过几层抽象计算，得出计算结果。当训练结束后，再使用测试数据，对训练完的智能爬虫进行测试，得到一个正确智能爬取的成功率。在这个过程中，需要多次训练，来调整参数W、训练层数以及每层上的计算点个数和调整数量数据样本大小，最终得到一个比较满意成功率后，便可确定训练模型(该训练模型包括参数W、每层计算节点及层数)，即前述目标智能爬虫代码。
最后，将步骤S203中下载的多个页面输入到目标智能爬虫代码中，以对多个页面进行智能分析，得到待爬取数据位置。
S208，根据待爬取数据位置提取目标数据。
S209，通过清洗程序对目标数据进行格式化处理后存入数据库中。
实施本发明实施例所提供的数据提取方法，先通过http方式请求多个待爬取页面的URL，并通过渲染服务器对多个待爬取页面进行渲染，再下载渲染后的多个待爬取页面以得到多个页面数据，对多个页面数据进行智能分析以得到待爬取数据位置，最后根据待爬取数据位置提取目标数据；通过本发明实施例可以快速实现大量网页数据的爬取，解决了现有技术中需要手动为每个页面编写爬取规则的问题，降低了开发难度和开发时间，满足了大量数据爬取的需求。
相应地，在上述实施例所提供的数据提取方法的基础上，本发明实施例还提供了一种数据提取装置。请参考图6，该数据提取装置包括：
获取模块10，用于通过http方式请求多个待爬取页面的URL；
渲染模块11，用于通过渲染服务器对多个所述待爬取页面进行渲染；
下载模块12，用于下载渲染后的多个所述待爬取页面，以得到多个页面数据；
分析模块13，用于对多个页面数据进行智能分析，以得到待爬取数据位置；
提取模块14，用于根据所述待爬取数据位置提取目标数据。
具体地，渲染模块11具体用于：将js代码渲染至所述待爬取页面上，以及将通过ajax获取的数据渲染到所述待爬取页面上。
具体地，分析模块13具体用于：
对多个页面数据进行分类，以得到训练数据和测试数据；
将所述训练数据输入卷积神经网络进行训练，以得到训练智能爬虫代码；
采用所述测试数据对所述训练智能爬虫代码进行测试，以得到目标智能爬虫代码；
将下载的多个页面数据输入所述目标智能爬虫代码中进行智能分析，以得到所述待爬取数据位置。
其中，所述卷积神经网络包括输入层、训练层和输出层，将所述训练数据输入卷积神经网络进行训练，以得到训练智能爬虫代码具体包括：
将所述训练数据输入所述输入层，对所述训练层进行调整，所述训练数据经过调整后的所述训练层以及输出层后以得到所述训练智能爬虫代码。
进一步地，对所述训练层进行调整具体包括：
调整所述卷积神经网络的参数、训练层的层数以及每一训练层的计算节点个数。
在本发明另外的优选实施例中，所述数据提取装置还包括：
存储模块，用于通过清洗程序对所述目标数据进行格式化处理后存入数据库中。
需要说明的是，本实施例中数据提取装置的具体工作流程，请参考前述方法实施例部分的描述，在此不再赘述。
实施本发明实施例所提供的数据提取装置，先通过http方式请求多个待爬取页面的URL，并通过渲染服务器对多个待爬取页面进行渲染，再下载渲染后的多个待爬取页面以得到多个页面数据，对多个页面数据进行智能分析以得到待爬取数据位置，最后根据待爬取数据位置提取目标数据；通过本发明实施例可以快速实现大量网页数据的爬取，解决了现有技术中需要手动为每个页面编写爬取规则的问题，降低了开发难度和开发时间，满足了大量数据爬取的需求。
进一步地，在上述实施例所提供的数据提取方法及装置的基础上，本发明另一实施例还提供了另一种数据提取装置。如图7所示，该数据提取装置，可以包括：一个或多个处理器101、一个或多个输入设备102、一个或多个输出设备103和存储器104，上述处理器101、输入设备102、输出设备103和存储器104通过总线105相互连接。存储器104用于存储计算机程序，所述计算机程序包括程序指令，所述处理器101被配置用于调用所述程序指令执行：
通过http方式请求多个待爬取页面的URL，并通过渲染服务器对多个所述待爬取页面进行渲染；
下载渲染后的多个所述待爬取页面，以得到多个页面数据；
对多个页面数据进行智能分析，以得到待爬取数据位置；
根据所述待爬取数据位置提取目标数据。
进一步地，所述处理器101还被配置用于调用所述程序指令执行：
将js代码渲染至所述待爬取页面上，以及将通过ajax获取的数据渲染到所述待爬取页面上。
进一步地，所述处理器101还被配置用于调用所述程序指令执行：
对多个页面数据进行分类，以得到训练数据和测试数据；
将所述训练数据输入卷积神经网络进行训练，以得到训练智能爬虫代码；
采用所述测试数据对所述训练智能爬虫代码进行测试，以得到目标智能爬虫代码；
将下载的多个页面数据输入所述目标智能爬虫代码中进行智能分析，以得到所述待爬取数据位置。
进一步地，所述处理器101还被配置用于调用所述程序指令执行：
所述卷积神经网络包括输入层、训练层和输出层，将所述训练数据输入卷积神经网络进行训练，以得到训练智能爬虫代码具体包括：
将所述训练数据输入所述输入层，对所述训练层进行调整，所述训练数据经过调整后的所述训练层以及输出层后以得到所述训练智能爬虫代码。
进一步地，所述处理器101还被配置用于调用所述程序指令执行：
调整所述卷积神经网络的参数、训练层的层数以及每一训练层的计算节点个数。
进一步地，所述处理器101还被配置用于调用所述程序指令执行：
通过清洗程序对所述目标数据进行格式化处理后存入数据库中。
应当理解，在本发明实施例中，所称处理器101可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备102可以包括键盘等，输出设备103可以包括显示器、键盘及扬声器等。
该存储器104可以包括只读存储器和随机存取存储器，并向处理器101提供指令和数据。存储器104的一部分还可以包括非易失性随机存取存储器。例如，存储器104还可以存储设备类型的信息。
具体实现中，本发明实施例中所描述的处理器101、输入设备102、输出设备103可执行本发明实施例提供的数据提取方法的实施例中所描述的实现方式，在此不再赘述。
实施本发明实施例所提供的数据提取装置，先通过http方式请求多个待爬取页面的URL，并通过渲染服务器对多个待爬取页面进行渲染，再下载渲染后的多个待爬取页面以得到多个页面数据，对多个页面数据进行智能分析以得到待爬取数据位置，最后根据待爬取数据位置提取目标数据；通过本发明实施例可以快速实现大量网页数据的爬取，解决了现有技术中需要手动为每个页面编写爬取规则的问题，降低了开发难度和开发时间，满足了大量数据爬取的需求。
相应地，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现：上述数据提取方法。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种数据提取方法，其特征在于，包括：
通过http方式请求多个待爬取页面的URL，并通过渲染服务器对多个所述待爬取页面进行渲染；
下载渲染后的多个所述待爬取页面，以得到多个页面数据；
对多个页面数据进行智能分析，以得到待爬取数据位置；
根据所述待爬取数据位置提取目标数据。
2.如权利要求1所述的数据提取方法，其特征在于，通过渲染服务器对多个所述待爬取页面进行渲染具体包括：
将js代码渲染至所述待爬取页面上，以及将通过ajax获取的数据渲染到所述待爬取页面上。
3.如权利要求2所述的数据提取方法，其特征在于，对多个页面数据进行智能分析，以得到待爬取数据位置具体包括：
对多个页面数据进行分类，以得到训练数据和测试数据；
将所述训练数据输入卷积神经网络进行训练，以得到训练智能爬虫代码；
采用所述测试数据对所述训练智能爬虫代码进行测试，以得到目标智能爬虫代码；
将下载的多个页面数据输入所述目标智能爬虫代码中进行智能分析，以得到所述待爬取数据位置。
4.如权利要求3所述的数据提取方法，其特征在于，所述卷积神经网络包括输入层、训练层和输出层，将所述训练数据输入卷积神经网络进行训练，以得到训练智能爬虫代码具体包括：
将所述训练数据输入所述输入层，对所述训练层进行调整，所述训练数据经过调整后的所述训练层以及输出层后以得到所述训练智能爬虫代码。
5.如权利要求4所述的数据提取方法，其特征在于，对所述训练层进行调整具体包括：
调整所述卷积神经网络的参数、训练层的层数以及每一训练层的计算节点个数。
6.如权利要求1-5任一项所述的数据提取方法，其特征在于，根据所述待爬取数据位置提取目标数据之后，所述方法还包括：
通过清洗程序对所述目标数据进行格式化处理后存入数据库中。
7.一种数据提取装置，其特征在于，包括：
获取模块，用于通过http方式请求多个待爬取页面的URL；
渲染模块，用于通过渲染服务器对多个所述待爬取页面进行渲染；
下载模块，用于下载渲染后的多个所述待爬取页面，以得到多个页面数据；
分析模块，用于对多个页面数据进行智能分析，以得到待爬取数据位置；
提取模块，用于根据所述待爬取数据位置提取目标数据。
8.如权利要求7所述的数据提取装置，其特征在于，还包括：
存储模块，用于通过清洗程序对所述目标数据进行格式化处理后存入数据库中。
9.一种数据提取装置，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求6所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求6所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811360836.7A CN109543085A (zh) | 2018-11-15 | 2018-11-15 | 数据提取方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811360836.7A CN109543085A (zh) | 2018-11-15 | 2018-11-15 | 数据提取方法、装置及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109543085A true CN109543085A (zh) | 2019-03-29 |
Family
ID=65847453
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811360836.7A Pending CN109543085A (zh) | 2018-11-15 | 2018-11-15 | 数据提取方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109543085A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110489629A (zh) * | 2019-08-28 | 2019-11-22 | 云汉芯城（上海）互联网科技股份有限公司 | 数据爬取方法、数据爬取装置、数据爬取设备及存储介质 |
| CN111538550A (zh) * | 2020-04-17 | 2020-08-14 | 姜海强 | 一种基于图像检测算法的网页信息筛查方法 |
| CN112380415A (zh) * | 2020-11-25 | 2021-02-19 | 中科三清科技有限公司 | 空气质量信息的自动生成及发送方法、装置、设备及介质 |
| CN112667933A (zh) * | 2020-12-28 | 2021-04-16 | 上海蓝云网络科技有限公司 | 数据处理方法、装置、电子设备及计算机存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102054028A (zh) * | 2010-12-10 | 2011-05-11 | 黄斌 | 具备页面渲染功能的网络爬虫系统及其实现方法 |
| CN105512285A (zh) * | 2015-12-07 | 2016-04-20 | 南京大学 | 基于机器学习的自适应网络爬虫方法 |
| EP3107009A1 (en) * | 2015-06-19 | 2016-12-21 | Tata Consultancy Services Limited | Self-learning based crawling and rule-based data mining for automatic information extraction |
| CN106294884A (zh) * | 2016-08-31 | 2017-01-04 | 浪潮软件股份有限公司 | 一种数据采集的方法及装置 |
-
2018
- 2018-11-15 CN CN201811360836.7A patent/CN109543085A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102054028A (zh) * | 2010-12-10 | 2011-05-11 | 黄斌 | 具备页面渲染功能的网络爬虫系统及其实现方法 |
| EP3107009A1 (en) * | 2015-06-19 | 2016-12-21 | Tata Consultancy Services Limited | Self-learning based crawling and rule-based data mining for automatic information extraction |
| CN105512285A (zh) * | 2015-12-07 | 2016-04-20 | 南京大学 | 基于机器学习的自适应网络爬虫方法 |
| CN106294884A (zh) * | 2016-08-31 | 2017-01-04 | 浪潮软件股份有限公司 | 一种数据采集的方法及装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110489629A (zh) * | 2019-08-28 | 2019-11-22 | 云汉芯城（上海）互联网科技股份有限公司 | 数据爬取方法、数据爬取装置、数据爬取设备及存储介质 |
| CN111538550A (zh) * | 2020-04-17 | 2020-08-14 | 姜海强 | 一种基于图像检测算法的网页信息筛查方法 |
| CN112380415A (zh) * | 2020-11-25 | 2021-02-19 | 中科三清科技有限公司 | 空气质量信息的自动生成及发送方法、装置、设备及介质 |
| CN112667933A (zh) * | 2020-12-28 | 2021-04-16 | 上海蓝云网络科技有限公司 | 数据处理方法、装置、电子设备及计算机存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11675940B2 (en) | Generating integrated circuit floorplans using neural networks | |
| CN109543085A (zh) | 数据提取方法、装置及计算机可读存储介质 | |
| JP6790286B2 (ja) | 強化学習を用いたデバイス配置最適化 | |
| US11861474B2 (en) | Dynamic placement of computation sub-graphs | |
| JP6611053B2 (ja) | 主題推定システム、主題推定方法およびプログラム | |
| CN111046027B (zh) | 时间序列数据的缺失值填充方法和装置 | |
| CN110366734A (zh) | 优化神经网络架构 | |
| WO2017200597A1 (en) | Progressive neural networks | |
| CN107729532A (zh) | 一种简历匹配方法及计算设备 | |
| Jeon et al. | Artificial intelligence for traffic signal control based solely on video images | |
| CN111523640B (zh) | 神经网络模型的训练方法和装置 | |
| US10810018B2 (en) | Device with extensibility | |
| KR20190056940A (ko) | 멀티모달 데이터 학습 방법 및 장치 | |
| CN111989696A (zh) | 具有顺序学习任务的域中的可扩展持续学习的神经网络 | |
| CN110573837A (zh) | 导航方法、装置、存储介质以及服务器 | |
| CN110096617B (zh) | 视频分类方法、装置、电子设备及计算机可读存储介质 | |
| US10537801B2 (en) | System and method for decision making in strategic environments | |
| KR20200052446A (ko) | 딥러닝 모델 학습 장치 및 방법 | |
| CN113095129A (zh) | 姿态估计模型训练方法、姿态估计方法、装置和电子设备 | |
| US20170123765A1 (en) | Composable application session parameters | |
| WO2019035364A1 (ja) | プログラム、情報処理方法、および情報処理装置 | |
| Ben Mahfoudh et al. | Learning-based coordination model for spontaneous self-composition of reliable services in a distributed system | |
| CN116910567B (zh) | 推荐业务的在线训练样本构建方法及相关装置 | |
| CN115687764B (zh) | 车辆轨迹评估模型的训练方法、车辆轨迹评估方法和装置 | |
| KR102561799B1 (ko) | 디바이스에서 딥러닝 모델의 레이턴시를 예측하는 방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190329 |