CN107463669B - 解析爬虫爬取的网页数据的方法及装置 - Google Patents
解析爬虫爬取的网页数据的方法及装置 Download PDFInfo
- Publication number
- CN107463669B CN107463669B CN201710655795.3A CN201710655795A CN107463669B CN 107463669 B CN107463669 B CN 107463669B CN 201710655795 A CN201710655795 A CN 201710655795A CN 107463669 B CN107463669 B CN 107463669B
- Authority
- CN
- China
- Prior art keywords
- data
- class field
- webpage
- dimensional array
- title
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于数据处理技术领域，提供了一种解析爬虫爬取的网页数据的方法及装置。该方法包括：根据网页HTML结构中的table标签，提取网页数据；根据预定的类字段名称与网页数据的映射关系，将提取得到的网页数据解析映射到预定义的类字段中。本发明解析爬虫爬取的网页数据的方法及装置，能够提高爬虫爬取的网页数据的解析效率，无需重复编写解析代码。
Description
技术领域
本发明涉及数据处理技术领域，具体涉及一种解析爬虫爬取的网页数据的方法及装置。
背景技术
大部分网页的HTML结构是table标签。网络爬虫爬取到网页数据后，根据页面table标签遍历tr、td，一行一列逐个进行数据解析，解析效率低，且重复代码多。
并且，假若网页改版，则需要重新编写解析代码。例如，对于社保信息的网页，若改版后姓名选项由原来的第一列变成了第二列，则原来的爬虫解析代码失效，需要重新编写代码。
如何提高爬虫爬取的网页数据的解析效率，无需重复编写解析代码，是本领域技术人员亟需解决的问题。
发明内容
针对现有技术中的缺陷，本发明提供解析爬虫爬取的网页数据的方法及装置，能够提高爬虫爬取的网页数据的解析效率，无需重复编写解析代码。
第一方面，本发明提供一种解析爬虫爬取的网页数据的方法，该方法包括：
根据网页HTML结构中的table标签，提取网页数据；
根据预定的类字段名称与网页数据的映射关系，将提取得到的网页数据解析映射到预定义的类字段中。
进一步地，根据网页HTML结构中的table标签，提取网页数据，具体包括：
根据指定的网页HTML结构中的table标签，提取该指定的网页HTML结构中的数据，生成二维数组，二维数组包括表的标题和明细数据；
根据预定的类字段名称与网页数据的映射关系，将提取得到的网页数据解析映射到预定义的类字段中，具体包括：
根据预定的类字段名称与表的标题的映射关系，解析二维数组，并将相应的明细数据映射到对应的类字段中。
进一步地，生成二维数组之后，解析二维数组之前，该方法还包括：
对二维数组的数据进行清洗；
根据预定的类字段名称与表的标题的映射关系，解析二维数组，并将相应的明细数据映射到对应的类字段中，具体包括：
根据预定的类字段名称与表的标题的映射关系，对清洗后的二维数组进行解析，并将相应的明细数据映射到对应的类字段中。
进一步地，根据网页HTML结构中的table标签，提取网页数据之前，该方法还包括：爬取获得指定的网页HTML结构。
进一步地，根据预定的类字段名称与表的标题的映射关系，解析二维数组之前，该方法还包括：根据类字段名称和标题的语意，建立类字段名称与标题的映射关系。
第二方面，本发明提供一种解析爬虫爬取的网页数据的装置，该装置包括提取模块和解析模块，提取模块用于根据网页HTML结构中的table标签，提取网页数据；解析模块用于根据预定的类字段名称与网页数据的映射关系，将提取得到的网页数据解析映射到预定义的类字段中。
进一步地，提取模块根据网页HTML结构中的table标签，提取网页数据时，具体用于：根据指定的网页HTML结构中的table标签，提取该指定的网页HTML结构中的数据，生成二维数组，二维数组包括表的标题和明细数据；
解析模块根据预定的类字段名称与网页数据的映射关系，将提取得到的网页数据解析映射到预定义的类字段中时，具体用于：根据预定的类字段名称与表的标题的映射关系，解析二维数组，并将相应的明细数据映射到对应的类字段中。
进一步地，本实施例解析爬虫爬取的网页数据的装置还包括数据清洗模块：用于对二维数组的数据进行清洗；
解析模块根据预定的类字段名称与表的标题的映射关系，解析二维数组，并将相应的明细数据映射到对应的类字段中时，具体用于：根据预定的类字段名称与表的标题的映射关系，对清洗后的二维数组进行解析，并将相应的明细数据映射到对应的类字段中。
进一步地，本实施例解析爬虫爬取的网页数据的装置还包括网页爬取模块：用于爬取获得指定的网页HTML结构。
进一步地，本实施例解析爬虫爬取的网页数据的装置还包括映射关系建立模块：用于根据类字段名称和标题的语意，建立类字段名称与标题的映射关系。
由上述技术方案可知，本实施例提供的解析爬虫爬取的网页数据的方法及装置，通过table标签提取网页数据，采用预定的类字段名称与网页数据的映射关系，将网页数据映射至类字段中，完成对网页数据的解析，提高网页数据的解析效率。并且，即使网页改版，解析代码仍能够对网页数据进行解析，用户无需重新编写代码，避免解析代码失效的现象。
因此，本实施例解析爬虫爬取的网页数据的方法及装置，能够提高爬虫爬取的网页数据的解析效率，无需重复编写解析代码。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1示出了本发明所提供的一种解析爬虫爬取的网页数据的方法的方法流程图；
图2示出了本发明所提供的一种解析爬虫爬取的网页数据的装置的结构框图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
第一方面，本发明实施例所提供的一种解析爬虫爬取的网页数据的方法，结合图1，该方法包括：
步骤S1：根据网页HTML结构中的table标签，提取网页数据。
步骤S2：根据预定的类字段名称与网页数据的映射关系，将提取得到的网页数据解析映射到预定义的类字段中，即采用java反射机制，将网页数据映射到预定义的类字段中。
例如，爬取并解析社保公积金网页的数据时，假设社保公积金网页的表格如下：
| 姓名 | 社保号 | 缴费年限 | 缴费金额 |
| 小红 | 111111 | 3 | 55 |
| 小兰 | 222222 | 2 | 22 |
采用网页HTML结构中的table标签，提取网页数据，将表标题中“姓名”的数据，映射到字段名为“name”的字段中。
由上述技术方案可知，本实施例提供的解析爬虫爬取的网页数据的方法，通过table标签提取网页数据，采用预定的类字段名称与网页数据的映射关系，将网页数据映射至类字段中，完成对网页数据的解析，提高网页数据的解析效率。并且，即使网页改版，解析代码仍能够对网页数据进行解析，用户无需重新编写代码，避免解析代码失效的现象。
因此，本实施例解析爬虫爬取的网页数据的方法，能够提高爬虫爬取的网页数据的解析效率，无需重复编写解析代码。
为了进一步提高本实施例解析爬虫爬取的网页数据的方法的准确性，具体地，在网页数据的提取与解析方面，根据网页HTML结构中的table标签，提取网页数据时，具体实现过程为：
根据指定的网页HTML结构中的table标签，提取该指定的网页HTML结构中的数据，生成二维数组，二维数组包括表的标题和明细数据。其中，二维数组的基本信息包括表的标题和信息；二维数组的明细信息为表的标题和多条明细数据。
根据预定的类字段名称与网页数据的映射关系，将提取得到的网页数据解析映射到预定义的类字段中时，具体实现过程为：
根据预定的类字段名称与表的标题的映射关系，解析二维数组，并将相应的明细数据映射到对应的类字段中。
在此，本实施例解析爬虫爬取的网页数据的方法，能够采用table标签识别并提取网页数据，生成二维数组，并采用类字段名称与表的标题的映射关系，将二维数组中的明细数据映射至对应的类字段中，提高数据映射的灵活度，代码的可读性好，缩短开发时间。
并且，生成二维数组之后，解析二维数组之前，本实施例解析爬虫爬取的网页数据的方法还能够对二维数组的数据进行清洗，例如，清洗二维数组中的空格、冒号等特殊字符。
根据预定的类字段名称与表的标题的映射关系，解析二维数组，并将相应的明细数据映射到对应的类字段中时，具体实现过程为：根据预定的类字段名称与表的标题的映射关系，对清洗后的二维数组进行解析，并将相应的明细数据映射到对应的类字段中。
在此，本实施例解析爬虫爬取的网页数据的方法，能够对二维数组进行清洗，避免数据错误或数据冲突，避免在数据映射过程中出现错误，提高数据解析的准确度。
同时，根据网页HTML结构中的table标签，提取网页数据之前，本实施例解析爬虫爬取的网页数据的方法还能够爬取获得指定的网页HTML结构。如爬取获取社保公积金网页HTML结构。
在此，本实施例解析爬虫爬取的网页数据的方法能够爬取不同网页HTML结构，进而提取网页数据，实现对不同网页数据的解析。
具体地，在映射关系建立方面，在根据预定的类字段名称与表的标题的映射关系，解析二维数组之前，本实施例解析爬虫爬取的网页数据的方法还能够根据类字段名称和标题的语意，建立类字段名称与标题的映射关系。
在此，本实施例解析爬虫爬取的网页数据的方法能够根据类字段名称和标题的语意，建立相应的映射关系，便于对网页数据进行解析，提高数据解析的灵活度，避免页面改版导致解析代码失效的现象，无需重复编写解析代码。
本发明实施例所提供的另一种解析爬虫爬取的网页数据的方法，在此，以爬取并解析社保公积金网页数据为例，进行说明：
爬取获得社保公积金网页HTML结构。
根据table标签，提取HTML结构中的数据，如识别并提取基本信息及明细数据，生成二维数组。其中，二维数组的基本信息包括表的标题和信息；二维数组的明细信息为表的标题和多条明细数据。
假设社保公积金网页的表格如下：
| 姓名 | 社保号 | 缴费年限 | 缴费金额 |
| 小红 | 111111 | 3 | 55 |
| 小兰 | 222222 | 2 | 22 |
其中，第一行即为标题，第二、三行均为明细数据。
其中，HTML表结构如下：
对二维数组中的数据进行清洗，例如，对空格、冒号等特殊字符进行清洗。
利用java反射机制，根据预定的类字段名称与表的标题的映射关系，解析清洗后的二维数组，并将该标题相应的数据映射到对应的类字段中。例如，预先定义了表的标题“姓名”与类字段名“name”存在映射关系，则将标题为“姓名”的数据映射到字段名为“name”的字段中。
第二方面，本发明实施例提供一种解析爬虫爬取的网页数据的装置，结合图2，该装置包括提取模块1和解析模块2，提取模块1用于根据网页HTML结构中的table标签，提取网页数据。解析模块2用于根据预定的类字段名称与网页数据的映射关系，将提取得到的网页数据解析映射到预定义的类字段中。
由上述技术方案可知，本实施例提供的解析爬虫爬取的网页数据的装置，通过table标签提取网页数据，采用预定的类字段名称与网页数据的映射关系，将网页数据映射至类字段中，完成对网页数据的解析，提高网页数据的解析效率。并且，即使网页改版，解析代码仍能够对网页数据进行解析，用户无需重新编写代码，避免解析代码失效的现象。
因此，本实施例解析爬虫爬取的网页数据的装置，能够提高爬虫爬取的网页数据的解析效率，无需重复编写解析代码。
为了进一步提高本实施例解析爬虫爬取的网页数据的装置的准确性，具体地，在网页数据的提取与解析方面，提取模块1根据网页HTML结构中的table标签，提取网页数据时，具体用于：根据指定的网页HTML结构中的table标签，提取该指定的网页HTML结构中的数据，生成二维数组，二维数组包括表的标题和明细数据。
解析模块2根据预定的类字段名称与网页数据的映射关系，将提取得到的网页数据解析映射到预定义的类字段中时，具体用于：根据预定的类字段名称与表的标题的映射关系，解析二维数组，并将相应的明细数据映射到对应的类字段中。
在此，本实施例解析爬虫爬取的网页数据的装置，能够采用table标签识别并提取网页数据，生成二维数组，并采用类字段名称与表的标题的映射关系，将二维数组中的明细数据映射至对应的类字段中，提高数据映射的灵活度，代码的可读性好，缩短开发时间。
并且，本实施例解析爬虫爬取的网页数据的装置还包括数据清洗模块，数据清洗模块用于对二维数组的数据进行清洗。解析模块2根据预定的类字段名称与表的标题的映射关系，解析二维数组，并将相应的明细数据映射到对应的类字段中时，具体用于：根据预定的类字段名称与表的标题的映射关系，对清洗后的二维数组进行解析，并将相应的明细数据映射到对应的类字段中。
在此，本实施例解析爬虫爬取的网页数据的装置，能够对二维数组进行清洗，避免数据错误或数据冲突，避免在数据映射过程中出现错误，提高数据解析的准确度。
同时，本实施例解析爬虫爬取的网页数据的装置还包括网页爬取模块，网页爬取模块用于爬取获得指定的网页HTML结构。如爬取获取社保公积金网页HTML结构。
在此，本实施例解析爬虫爬取的网页数据的装置能够爬取不同网页HTML结构，进而提取网页数据，实现对不同网页数据的解析。
具体地，在映射关系建立方面，本实施例解析爬虫爬取的网页数据的装置还包括映射关系建立模块，映射关系建立模块用于根据类字段名称和标题的语意，建立类字段名称与标题的映射关系。
在此，本实施例解析爬虫爬取的网页数据的装置能够根据类字段名称和标题的语意，建立相应的映射关系，便于对网页数据进行解析，提高数据解析的灵活度，避免页面改版导致解析代码失效的现象，无需重复编写解析代码。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
需要说明的是，附图中的流程图和框图显示了根据本发明的多个实施例的服务器、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的服务器来实现，或者可以用专用硬件与计算机指令的组合来实现。
本发明实施例所提供的配置装置可以是计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的服务器、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的服务器、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个服务器，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以发布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (8)
1.一种解析爬虫爬取的网页数据的方法，其特征在于，包括：
根据网页HTML结构中的table标签，提取网页数据；
根据预定的类字段名称与网页数据的映射关系，将提取得到的网页数据解析映射到预定义的类字段中；
根据网页HTML结构中的table标签，提取网页数据，具体包括：
根据指定的网页HTML结构中的table标签，提取该指定的网页HTML结构中的数据，生成二维数组，所述二维数组包括表的标题和明细数据；其中，二维数组的基本信息包括表的标题和信息；二维数组的明细信息为表的标题和多条明细数据；
根据预定的类字段名称与网页数据的映射关系，将提取得到的网页数据解析映射到预定义的类字段中，具体包括：
根据预定的类字段名称与表的标题的映射关系，解析所述二维数组，并将相应的明细数据映射到对应的类字段中。
2.根据权利要求1所述解析爬虫爬取的网页数据的方法，其特征在于，
生成二维数组之后，解析二维数组之前，该方法还包括：
对所述二维数组的数据进行清洗；
根据预定的类字段名称与表的标题的映射关系，解析所述二维数组，并将相应的明细数据映射到对应的类字段中，具体包括：
根据预定的类字段名称与表的标题的映射关系，对清洗后的二维数组进行解析，并将相应的明细数据映射到对应的类字段中。
3.根据权利要求1所述解析爬虫爬取的网页数据的方法，其特征在于，
根据网页HTML结构中的table标签，提取网页数据之前，该方法还包括：爬取获得指定的网页HTML结构。
4.根据权利要求1所述解析爬虫爬取的网页数据的方法，其特征在于，
根据预定的类字段名称与表的标题的映射关系，解析所述二维数组之前，该方法还包括：根据类字段名称和标题的语意，建立类字段名称与标题的映射关系。
5.一种解析爬虫爬取的网页数据的装置，其特征在于，包括：
提取模块：用于根据网页HTML结构中的table标签，提取网页数据；
解析模块：用于根据预定的类字段名称与网页数据的映射关系，将提取得到的网页数据解析映射到预定义的类字段中；
所述提取模块，根据网页HTML结构中的table标签，提取网页数据时，具体用于：根据指定的网页HTML结构中的table标签，提取该指定的网页HTML结构中的数据，生成二维数组，所述二维数组包括表的标题和明细数据；其中，二维数组的基本信息包括表的标题和信息；二维数组的明细信息为表的标题和多条明细数据；
所述解析模块，根据预定的类字段名称与网页数据的映射关系，将提取得到的网页数据解析映射到预定义的类字段中时，具体用于：根据预定的类字段名称与表的标题的映射关系，解析所述二维数组，并将相应的明细数据映射到对应的类字段中。
6.根据权利要求5所述解析爬虫爬取的网页数据的装置，其特征在于，该装置还包括数据清洗模块：用于对所述二维数组的数据进行清洗；
所述解析模块，根据预定的类字段名称与表的标题的映射关系，解析所述二维数组，并将相应的明细数据映射到对应的类字段中时，具体用于：根据预定的类字段名称与表的标题的映射关系，对清洗后的二维数组进行解析，并将相应的明细数据映射到对应的类字段中。
7.根据权利要求5所述解析爬虫爬取的网页数据的装置，其特征在于，该装置还包括网页爬取模块：用于爬取获得指定的网页HTML结构。
8.根据权利要求5所述解析爬虫爬取的网页数据的装置，其特征在于，该装置还包括映射关系建立模块：用于根据类字段名称和标题的语意，建立类字段名称与标题的映射关系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710655795.3A CN107463669B (zh) | 2017-08-03 | 2017-08-03 | 解析爬虫爬取的网页数据的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710655795.3A CN107463669B (zh) | 2017-08-03 | 2017-08-03 | 解析爬虫爬取的网页数据的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107463669A CN107463669A (zh) | 2017-12-12 |
| CN107463669B true CN107463669B (zh) | 2020-05-05 |
Family
ID=60548395
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710655795.3A Active CN107463669B (zh) | 2017-08-03 | 2017-08-03 | 解析爬虫爬取的网页数据的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107463669B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112434491A (zh) * | 2020-11-27 | 2021-03-02 | 杭州信雅达泛泰科技有限公司 | Html表格解析为json解析系统及其解析方法 |
| CN113094382B (zh) * | 2021-04-02 | 2022-12-06 | 南开大学 | 一种面向多来源数据管理的半自动化数据采集更新方法 |
| CN113254749B (zh) * | 2021-06-10 | 2022-08-23 | 浪潮通用软件有限公司 | 一种基于http协议的数据爬取方法及装置 |
| CN113807829A (zh) * | 2021-11-19 | 2021-12-17 | 国能大渡河大数据服务有限公司 | 一种基于深度强化学习模型的信息管理方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102930059A (zh) * | 2012-11-26 | 2013-02-13 | 电子科技大学 | 一种聚焦爬虫的设计方法 |
| US8707313B1 (en) * | 2003-07-03 | 2014-04-22 | Google Inc. | Scheduler for search engine crawler |
| CN104899225A (zh) * | 2014-03-07 | 2015-09-09 | 北京四达时代软件技术股份有限公司 | 对象关系映射方法、装置及处理器 |
| CN106777281A (zh) * | 2016-12-29 | 2017-05-31 | 深圳市华傲数据技术有限公司 | 用于提高网络爬虫稳定性、可用性的数据处理方法及装置 |
-
2017
- 2017-08-03 CN CN201710655795.3A patent/CN107463669B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8707313B1 (en) * | 2003-07-03 | 2014-04-22 | Google Inc. | Scheduler for search engine crawler |
| CN102930059A (zh) * | 2012-11-26 | 2013-02-13 | 电子科技大学 | 一种聚焦爬虫的设计方法 |
| CN104899225A (zh) * | 2014-03-07 | 2015-09-09 | 北京四达时代软件技术股份有限公司 | 对象关系映射方法、装置及处理器 |
| CN106777281A (zh) * | 2016-12-29 | 2017-05-31 | 深圳市华傲数据技术有限公司 | 用于提高网络爬虫稳定性、可用性的数据处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107463669A (zh) | 2017-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107463669B (zh) | 解析爬虫爬取的网页数据的方法及装置 | |
| CN110472068B (zh) | 基于异构分布式知识图谱的大数据处理方法、设备及介质 | |
| CN107766309B (zh) | 数据表格生成方法、装置以及存储介质、电子装置 | |
| US9400733B2 (en) | Pattern matching framework for log analysis | |
| CN102314497B (zh) | 一种用于识别标记语言文件主体内容的方法和设备 | |
| CN102902693A (zh) | 检测在网页上的重复模式 | |
| CN109344193B (zh) | 一种将结构化数据转化为非结构化数据的方法及系统 | |
| CN109710224B (zh) | 页面处理方法、装置、设备及存储介质 | |
| CN113268500B (zh) | 业务处理方法、装置及电子设备 | |
| CN103049494B (zh) | 一种xml文档的表格存储方法及装置 | |
| CN105824647A (zh) | 一种表单页面生成方法和装置 | |
| CN106933903B (zh) | 应用于分布式存储的存储方法及装置 | |
| CN109145307A (zh) | 用户画像识别方法、推送方法、装置、设备和存储介质 | |
| CN111291547B (zh) | 模板生成方法、装置、设备及介质 | |
| CN112835901A (zh) | 文件存储方法及装置、计算机设备、计算机可读存储介质 | |
| JP2007304644A (ja) | 静的ウェブページ生成方法、プログラム、記録媒体及び静的ウェブページ生成管理システム | |
| CN113139145B (zh) | 页面生成方法、装置、电子设备及可读存储介质 | |
| CN106055572B (zh) | 页面转化参数的处理方法及装置 | |
| CN110737636B (zh) | 一种数据导入方法和装置以及设备 | |
| CN113051333A (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
| CN106933929B (zh) | 调整数据表连接的方法和装置 | |
| CN105677439A (zh) | 一种程序符号表的获取方法及系统 | |
| CN112966481A (zh) | 一种数据表格展示方法及装置 | |
| CN113076457B (zh) | 爬虫动作处理方法以及装置 | |
| CN108073588B (zh) | 栏目信息提取方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder |
Address after: 518000 2203/2204, Building 1, Huide Building, Beizhan Community, Minzhi Street, Longhua District, Shenzhen, Guangdong Patentee after: SHENZHEN AUDAQUE DATA TECHNOLOGY Ltd. Address before: 518000 units J and K, 12 / F, block B, building 7, Baoneng Science Park, Qinghu Industrial Zone, Qingxiang Road, Longhua New District, Shenzhen City, Guangdong Province Patentee before: SHENZHEN AUDAQUE DATA TECHNOLOGY Ltd. |
|
| CP02 | Change in the address of a patent holder |