CN112422707A - 域名数据挖掘方法、装置及Redis服务器 - Google Patents
域名数据挖掘方法、装置及Redis服务器 Download PDFInfo
- Publication number
- CN112422707A CN112422707A CN202011137142.4A CN202011137142A CN112422707A CN 112422707 A CN112422707 A CN 112422707A CN 202011137142 A CN202011137142 A CN 202011137142A CN 112422707 A CN112422707 A CN 112422707A
- Authority
- CN
- China
- Prior art keywords
- domain name
- target
- task
- module
- crawler
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000007418 data mining Methods 0.000 title claims abstract description 53
- 230000009193 crawling Effects 0.000 claims abstract description 120
- 230000004044 response Effects 0.000 claims abstract description 17
- 230000008030 elimination Effects 0.000 claims description 37
- 238000003379 elimination reaction Methods 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000007405 data analysis Methods 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L61/00—Network arrangements, protocols or services for addressing or naming
- H04L61/45—Network directories; Name-to-address mapping
- H04L61/4505—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
- H04L61/4511—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L61/00—Network arrangements, protocols or services for addressing or naming
- H04L61/09—Mapping addresses
- H04L61/10—Mapping addresses of different types
- H04L61/103—Mapping addresses of different types across network layers, e.g. resolution of network layer into physical layer addresses or address resolution protocol [ARP]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例公开了域名数据挖掘方法、装置及Redis服务器，该方法应用于任一台主机时包括：创建与Redis服务器之间的连接，运行多个爬虫线程，控制每个爬虫线程依次从任务分发模块中获取一个爬取任务并执行；对目标爬虫线程执行完目标爬取任务后所返回的响应数据进行解析，获取对应的目标域名信息发送至域名去重模块，判断目标域名信息是否与已完成爬取的域名发生重复；若重复，则将目标域名信息舍弃；若不重复，则将目标域名信息保存至本地存储模块。上述方法在保存之前就将重复收集的域名数据删除，有效解决了分布式的爬虫去重问题，避免后续出现任务堆积、数据冗余的情况。
Description
技术领域
本申请涉及网络安全技术领域，尤其涉及域名数据挖掘方法、装置及Redis服务器。
背景技术
目前主要通过网络爬虫的方式实现域名数据的挖掘。网络爬虫是指书写爬虫脚本来获取域名数据，基本工作流程包括：首先选取一些URL(Uniform Resource Locator，统一资源定位符)作为种子URL放入待爬取队列中，然后书写爬虫脚本，针对待爬取队列中的种子URL，模拟人工浏览的方式访问网站，将爬取到的网页HTML(Hyper Text MarkupLanguage，超文本标记语言)数据进行存储以及解析，并将解析所得的新链接作为下一层爬取的种子URL。
为了提高爬取效率，通常在多台主机上执行同一个爬虫程序，以进行域名数据的分布式爬取。在分布式爬取过程中，每台主机在将收集到的域名信息保存至本地存储模块，但是由于每台主机独立执行爬取任务，因此并不知道爬取到的数据是否与其余主机爬取的数据产生重复。为了解决这一问题，目前的处理方案是每台主机先将收集的所有域名数据保存在本地，后续统一采用解析程序对所有主机收集的域名数据进行去重处理。但是在爬取任务十分繁多的情况下，这样的处理方式将导致任务堆积，造成数据冗余。
发明内容
为了解决每台主机先将收集的所有域名数据保存在本地，后续统一采用解析程序对所有主机收集的域名数据进行去重处理，将在爬取任务十分繁多的情况下，导致任务堆积，造成数据冗余的问题，本申请通过以下实施例公开了域名数据挖掘方法、装置及Redis服务器。
本申请第一方面公开了一种域名数据挖掘方法，所述域名数据挖掘方法应用于任一台主机，所述域名数据挖掘方法包括：
创建与Redis服务器之间的连接，所述Redis服务器包括任务分发模块、任务标记模块及域名去重模块；
运行多个爬虫线程；
控制每个所述爬虫线程依次从所述任务分发模块中获取一个爬取任务并执行，所述爬虫线程用于在每执行完一个爬取任务后，将该爬取任务对应的域名写入所述任务标记模块中，以标记该域名已完成爬取；
对目标爬虫线程执行完目标爬取任务后所返回的响应数据进行解析，获取对应的目标域名信息，所述目标爬虫线程为任一爬虫线程，所述目标爬取任务为所述目标爬虫线程从所述任务分发模块中获取的任一爬取任务；
将所述目标域名信息发送至所述域名去重模块，以判断所述目标域名信息是否与已完成爬取的域名发生重复，其中，所述域名去重模块连接至所述任务标记模块，所述域名去重模块用于判断所述目标域名信息是否与所述任务标记模块中当前记载的其中一个域名发生重复；
获取所述域名去重模块返回的判断结果；
若所述判断结果为所述目标域名信息与所述已完成爬取的域名发生重复，则将所述目标域名信息舍弃，控制所述目标爬虫线程继续从所述任务分发模块中获取下一个爬取任务并执行；
若所述判断结果为所述目标域名信息未与所述已完成爬取的域名发生重复，则将所述目标域名信息保存至本地存储模块，控制所述目标爬虫线程继续从所述任务分发模块中获取下一个爬取任务并执行。
可选的，所述创建与Redis服务器之间的连接，包括：
创建与所述任务分发模块之间的读取连接；
创建与所述任务标记模块之间的标记连接；
创建与所述域名去重模块之间的去重连接。
可选的，在运行多个爬虫线程的同时，所述域名数据挖掘方法还包括：
运行保存线程，所述保存线程用于在所述判断结果为所述目标域名信息未与所述已完成爬取的域名发生重复时，执行将所述目标域名信息保存至本地存储模块的步骤。
本申请第二方面公开了一种域名数据挖掘装置，所述域名数据挖掘装置应用于如本申请第一方面所述的域名数据挖掘方法，所述域名数据挖掘装置包括：
创建连接模块，用于创建与Redis服务器之间的连接，所述Redis服务器包括任务分发模块、任务标记模块及域名去重模块；
线程运行模块，用于运行多个爬虫线程；
爬虫任务执行模块，用于控制每个所述爬虫线程依次从所述任务分发模块中获取一个爬取任务并执行，所述爬虫线程用于在每执行完一个爬取任务后，将该爬取任务对应的域名写入所述任务标记模块中，以标记该域名已完成爬取；
数据解析模块，用于对目标爬虫线程执行完目标爬取任务后所返回的响应数据进行解析，获取对应的目标域名信息，所述目标爬虫线程为任一爬虫线程，所述目标爬取任务为所述目标爬虫线程从所述任务分发模块中获取的任一爬取任务；
去重模块，用于将所述目标域名信息发送至所述域名去重模块，以判断所述目标域名信息是否与已完成爬取的域名发生重复，其中，所述域名去重模块连接至所述任务标记模块，所述域名去重模块用于判断所述目标域名信息是否与所述任务标记模块中当前记载的其中一个域名发生重复；
获取判断结果模块，用于获取所述域名去重模块返回的判断结果；
去重模块，用于在所述判断结果为所述目标域名信息与所述已完成爬取的域名发生重复时，将所述目标域名信息舍弃，控制所述目标爬虫线程继续从所述任务分发模块中获取下一个爬取任务并执行；
保存模块，用于在所述判断结果为所述目标域名信息未与所述已完成爬取的域名发生重复时，将所述目标域名信息保存至本地存储模块，控制所述目标爬虫线程继续从所述任务分发模块中获取下一个爬取任务并执行。
可选的，所述创建连接模块包括：
创建读取连接单元，用于创建与所述任务分发模块之间的读取连接；
创建标记连接单元，用于创建与所述任务标记模块之间的标记连接；
创建去重连接单元，用于创建与所述域名去重模块之间的去重连接。
本申请第三方面公开了一种域名数据挖掘方法，所述域名数据挖掘方法应用于Redis服务器，所述Redis服务器包括任务分发模块、任务标记模块及域名去重模块，所述域名数据挖掘方法包括：
所述任务分发模块、所述任务标记模块及所述域名去重模块分别建立与目标主机之间的连接，所述目标主机为任一台主机；
在所述目标主机运行多个爬虫线程后，所述任务分发模块依次向所述目标主机的每个爬虫线程分发爬取任务；
在所述爬虫线程每执行完一个爬取任务后，所述任务标记模块对该爬取任务对应的域名进行记载，以标记该域名已完成爬取；
在接收到所述目标主机发送的目标域名信息后，所述域名去重模块判断所述目标域名信息是否与所述任务标记模块中当前记载的其中一个域名发生重复，并将判断结果返回至所述目标主机，所述目标主机用于在所述判断结果为是时，将所述目标域名信息舍弃，控制所述目标爬虫线程继续从所述任务分发模块中获取下一个爬取任务并执行，在所述判断结果为否时，将所述目标域名信息保存至本地存储模块，控制所述目标爬虫线程继续从所述任务分发模块中获取下一个爬取任务并执行；所述目标域名信息为所述目标主机对目标爬虫线程执行完目标爬取任务后所返回的响应数据进行解析所得的域名信息，所述目标爬虫线程为所述目标主机中任一爬虫线程，所述目标爬取任务为所述任务分发模块向所述目标爬虫线程分发的任一爬取任务。
可选的，所述任务标记模块包括Redis位图，所述Redis位图中记载有所有已经完成爬取的域名。
可选的，所述在所述爬虫线程每执行完一个爬取任务后，所述任务标记模块对该爬取任务对应的域名进行记载，以标记该域名已完成爬取，包括：
获取待标记域名，所述待标记域名为所述爬虫线程在执行完一个爬取任务后，发送过来的域名；
获取所述待标记域名的MD5值；
针对所述待标记域名的MD5值，通过预设的多个哈希函数分别执行计算，得到所述待标记域名对应的多个标记位置数值；
在所述Redis位图中，将所述待标记域名对应的多个位置数值的所在位置索引置1，实现将所述待标记域名记入所述Redis位图中的目的。
可选的，所述在接收到所述目标主机发送的目标域名信息后，所述域名去重模块判断所述目标域名信息是否与所述任务标记模块中当前记载的其中一个域名发生重复，并将判断结果返回至所述目标主机，包括：
在接收到所述目标主机发送的目标域名信息后，获取所述目标域名信息的MD5值；
针对所述目标域名信息的MD5值，通过所述多个哈希函数分别执行计算，得到所述目标域名信息对应的多个标记位置数值；
判断所述目标域名信息对应的多个标记位置数值在所述Redis位图中的位置索引是否均为1，若是，则获取所述判断结果为所述目标域名信息与所述Redis位图中当前记载的其中一个域名发生重复；若否，则获取所述判断结果为所述目标域名信息未与所述Redis位图中当前记载的任一域名发生重复；
将所述判断结果返回至所述目标主机。
本申请第四方面公开了一种Redis服务器，所述Redis服务器用于执行如本申请第三方面所述的域名数据挖掘方法，所述Redis服务器包括：任务分发模块、任务标记模块及域名去重模块。
本申请实施例公开了域名数据挖掘方法、装置及Redis服务器，该方法应用于任一台主机时包括：创建与Redis服务器之间的连接，运行多个爬虫线程，控制每个爬虫线程依次从任务分发模块中获取一个爬取任务并执行；对目标爬虫线程执行完目标爬取任务后所返回的响应数据进行解析，获取对应的目标域名信息；将目标域名信息发送至域名去重模块，以判断目标域名信息是否与已完成爬取的域名发生重复；若重复，则将目标域名信息舍弃，控制目标爬虫线程继续从任务分发模块中获取下一个爬取任务并执行；若不重复，则将目标域名信息保存至本地存储模块，控制目标爬虫线程继续从所述任务分发模块中获取下一个爬取任务并执行。上述方法在保存之前就将重复收集的域名数据删除，有效解决了分布式的爬虫去重问题，避免后续出现任务堆积、数据冗余的情况。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种域名数据挖掘方法的场景示意图；
图2为本申请实施例公开的一种域名数据挖掘方法的工作流程示意图；
图3为本申请实施例公开的一种域名数据挖掘方法中，目标主机与Redis服务器之间的连接结构示意图；
图4为本申请实施例公开的一种域名数据挖掘方法中，目标主机与Redis服务器之间的交互流程示意图。
具体实施方式
为了解决每台主机先将收集的所有域名数据保存在本地，后续统一采用解析程序对所有主机收集的域名数据进行去重处理，将在爬取任务十分繁多的情况下，导致任务堆积，造成数据冗余的问题，本申请通过以下实施例公开了域名数据挖掘方法、装置及Redis服务器。
参见图1所示，本申请实施例公开的域名数据挖掘方法属于多台主机100与Redis服务器200之间的两端交互。
本申请第一实施例公开了一种域名数据挖掘方法，所述域名数据挖掘方法应用于任一台主机，参见图2所示的工作流程示意图，所述域名数据挖掘方法包括：
步骤S101,创建与Redis服务器之间的连接，所述Redis服务器包括任务分发模块、任务标记模块及域名去重模块。
具体的，所述创建与Redis服务器之间的连接，包括：
创建与所述任务分发模块之间的读取连接。
创建与所述任务标记模块之间的标记连接。
创建与所述域名去重模块之间的去重连接。
步骤S102,运行多个爬虫线程。
步骤S103,控制每个所述爬虫线程依次从所述任务分发模块中获取一个爬取任务并执行，所述爬虫线程用于在每执行完一个爬取任务后，将该爬取任务对应的域名写入所述任务标记模块中，以标记该域名已完成爬取。
其中，使用Redis封装的对象进行爬取任务读取，即对Redis封装对象加锁，由于爬虫线程的时间消耗主要在处理网络请求，因此对Redis封装对象加锁能够减少多个爬虫线程共同操作Redis服务器，避免同时从任务分发模块中获取爬取任务，减小对多个爬虫线程任务获取的影响。
实际操作中，如果爬虫线程读取到爬取任务，则执行该爬虫流程，完成域名爬取。如果爬虫线程获取任务为空，那么将等待一段时间之后再次获取，直到获取到任务；如果读取到任务为“-1”，代表所有爬虫任务全部结束，此时，控制当前爬虫线程退出流程，当前爬虫线程退出的同时，将再次写入“-1”到任务分发模块的任务队列，方便本机其它爬虫线程或者分布式的其它主机中爬虫线程依次退出任务处理流程。
步骤S104,对目标爬虫线程执行完目标爬取任务后所返回的响应数据进行解析，获取对应的目标域名信息，所述目标爬虫线程为任一爬虫线程，所述目标爬取任务为所述目标爬虫线程从所述任务分发模块中获取的任一爬取任务。
具体的，目标爬虫线程读取到爬取任务时，首先尝试HTTP协议访问，在网络出错的情况下切换为HTTPS协议再次尝试，并返回响应数据，如果响应数据不可处理，将继续读取下一个爬取任务。如果响应数据可处理，则针对该响应数据进行解析，获取对应的目标域名信息。
步骤S105,将所述目标域名信息发送至所述域名去重模块，以判断所述目标域名信息是否与已完成爬取的域名发生重复，其中，所述域名去重模块连接至所述任务标记模块，所述域名去重模块用于判断所述目标域名信息是否与所述任务标记模块中当前记载的其中一个域名发生重复。
本申请实施例中，采用布隆过滤器方法结合Redis位图方式，实现域名的分布式去重。在爬虫线程执行完爬取任务时，将该爬取任务对应的域名写入任务标记模块的Redis位图中，然后采用域名去重模块中的布隆过滤器判断目标域名信息是否存在Redis位图中。其中，布隆过滤器实际上是一个很长的二进制向量和一系列随机映射函数，可以用于检索一个元素是否在一个集合中，空间效率和查询时间都比一般的算法要好的多。
去重的流程分为两部分，第一部分在于将已完成爬取的域名写入Redis位图中，第二部分在于通过布隆过滤器判断目标域名信息是否存在Redis位图中。
首先针对第一部分进行说明：任务标记模块获取待标记域名，所述待标记域名为所述爬虫线程在执行完一个爬取任务后，发送过来的域名。获取所述待标记域名的MD5值。针对所述待标记域名的MD5值，通过预设的多个哈希函数分别执行计算，得到所述待标记域名对应的多个标记位置数值。在所述Redis位图中，将所述待标记域名对应的多个位置数值的所在位置索引置1，实现将所述待标记域名记入所述Redis位图中的目的。
其次针对第二部分进行说明：域名去重模块在接收到所述目标主机发送的目标域名信息后，获取所述目标域名信息的MD5值。针对所述目标域名信息的MD5值，通过所述多个哈希函数分别执行计算，得到所述目标域名信息对应的多个标记位置数值。判断所述目标域名信息对应的多个标记位置数值在所述Redis位图中的位置索引是否均为1，若是，则获取所述判断结果为所述目标域名信息与所述Redis位图中当前记载的其中一个域名发生重复。若否，则获取所述判断结果为所述目标域名信息未与所述Redis位图中当前记载的任一域名发生重复。
作为示例，本申请采用七个不同的哈希函数和Redis 512M大小的位图结合，可以在九千万数据上面去重有较好的效果，后续随着数据量增加可以更换逻辑，以适应更多数据去重要求。
步骤S106,获取所述域名去重模块返回的判断结果。
步骤S107,若所述判断结果为所述目标域名信息与所述已完成爬取的域名发生重复，则将所述目标域名信息舍弃，控制所述目标爬虫线程继续从所述任务分发模块中获取下一个爬取任务并执行。
步骤S108,若所述判断结果为所述目标域名信息未与所述已完成爬取的域名发生重复，则将所述目标域名信息保存至本地存储模块，控制所述目标爬虫线程继续从所述任务分发模块中获取下一个爬取任务并执行。
进一步的，在运行多个爬虫线程的同时，所述域名数据挖掘方法还包括：
运行保存线程，所述保存线程用于在所述判断结果为所述目标域名信息未与所述已完成爬取的域名发生重复时，执行将所述目标域名信息保存至本地存储模块的步骤。
实际应用中，爬虫程序是多线程开发，可以进行三个操作：①新建爬虫线程(根据配置文件指定线程数量)；②新建一个保存线程，用于保存结果数据；③在主线程循环监听爬虫线程和保存线程的工作情况，如果爬虫线程全部退出，那么将全局线程工作状态标记已完成，方便保存线程处理完成保存任务之后，退出任务。
上述实施例公开了域名数据挖掘方法，该方法应用于任一台主机，包括：创建与Redis服务器之间的连接，运行多个爬虫线程，控制每个爬虫线程依次从任务分发模块中获取一个爬取任务并执行；对目标爬虫线程执行完目标爬取任务后所返回的响应数据进行解析，获取对应的目标域名信息；将目标域名信息发送至域名去重模块，以判断目标域名信息是否与已完成爬取的域名发生重复；若重复，则将目标域名信息舍弃，控制目标爬虫线程继续从任务分发模块中获取下一个爬取任务并执行；若不重复，则将目标域名信息保存至本地存储模块，控制目标爬虫线程继续从所述任务分发模块中获取下一个爬取任务并执行。上述方法在获取海量URL数据时，将单机单线程爬虫转变为可拓展的分布式爬虫，解决了数据处理不及时的问题。并将结合布隆过滤器来解决分布式爬虫数据去重问题，在保存之前就将重复收集的域名数据删除，有效解决了分布式的爬虫去重问题，避免后续出现任务堆积、数据冗余的情况。而且也降低了对计算机内存的强依赖。通过官方数据，结合Redis每个Bitmap限制大小是512M，512M可以对9千万数据进行很好的重复判断。
Redis位图和布隆过滤器实现的去重方法可同时使用在任务分发和域名数据挖掘方面，解决了分布式爬虫上的任务处理完成标记，每台主机仅需要对Redis服务器进行较小的操作，并可完成标记，后续方便统计和过滤已经完成的爬虫任务，解决了分布式爬虫数据去重难的问题，多台主机仅需要将自己收集的数据通过Redis位图标记，完成已有数据标记，其它主机读取Redis服务器即可知道收集的域名是否重复。
下述为装置实施例，与本申请第一实施例公开的方法实施例相对应，对于下述装置实施例未公开的细节，请参照本申请第一实施例。
本申请第二实施例公开了一种域名数据挖掘装置，所述域名数据挖掘装置应用于如本申请第一实施例所述的域名数据挖掘方法，所述域名数据挖掘装置包括：
创建连接模块，用于创建与Redis服务器之间的连接，所述Redis服务器包括任务分发模块、任务标记模块及域名去重模块。
线程运行模块，用于运行多个爬虫线程。
爬虫任务执行模块，用于控制每个所述爬虫线程依次从所述任务分发模块中获取一个爬取任务并执行，所述爬虫线程用于在每执行完一个爬取任务后，将该爬取任务对应的域名写入所述任务标记模块中，以标记该域名已完成爬取。
数据解析模块，用于对目标爬虫线程执行完目标爬取任务后所返回的响应数据进行解析，获取对应的目标域名信息，所述目标爬虫线程为任一爬虫线程，所述目标爬取任务为所述目标爬虫线程从所述任务分发模块中获取的任一爬取任务。
去重模块，用于将所述目标域名信息发送至所述域名去重模块，以判断所述目标域名信息是否与已完成爬取的域名发生重复，其中，所述域名去重模块连接至所述任务标记模块，所述域名去重模块用于判断所述目标域名信息是否与所述任务标记模块中当前记载的其中一个域名发生重复。
获取判断结果模块，用于获取所述域名去重模块返回的判断结果。
去重模块，用于在所述判断结果为所述目标域名信息与所述已完成爬取的域名发生重复时，将所述目标域名信息舍弃，控制所述目标爬虫线程继续从所述任务分发模块中获取下一个爬取任务并执行。
保存模块，用于在所述判断结果为所述目标域名信息未与所述已完成爬取的域名发生重复时，将所述目标域名信息保存至本地存储模块，控制所述目标爬虫线程继续从所述任务分发模块中获取下一个爬取任务并执行。
进一步的，所述创建连接模块包括：
创建读取连接单元，用于创建与所述任务分发模块之间的读取连接。
创建标记连接单元，用于创建与所述任务标记模块之间的标记连接。
创建去重连接单元，用于创建与所述域名去重模块之间的去重连接。
本申请第三实施例公开了一种域名数据挖掘方法，所述域名数据挖掘方法应用于Redis服务器，所述Redis服务器包括任务分发模块、任务标记模块及域名去重模块，所述域名数据挖掘方法包括：
所述任务分发模块、所述任务标记模块及所述域名去重模块分别建立与目标主机之间的连接，所述目标主机为任一台主机。
在所述目标主机运行多个爬虫线程后，所述任务分发模块依次向所述目标主机的每个爬虫线程分发爬取任务。
在所述爬虫线程每执行完一个爬取任务后，所述任务标记模块对该爬取任务对应的域名进行记载，以标记该域名已完成爬取。
在接收到所述目标主机发送的目标域名信息后，所述域名去重模块判断所述目标域名信息是否与所述任务标记模块中当前记载的其中一个域名发生重复，并将判断结果返回至所述目标主机，所述目标主机用于在所述判断结果为是时，将所述目标域名信息舍弃，控制所述目标爬虫线程继续从所述任务分发模块中获取下一个爬取任务并执行，在所述判断结果为否时，将所述目标域名信息保存至本地存储模块，控制所述目标爬虫线程继续从所述任务分发模块中获取下一个爬取任务并执行。所述目标域名信息为所述目标主机对目标爬虫线程执行完目标爬取任务后所返回的响应数据进行解析所得的域名信息，所述目标爬虫线程为所述目标主机中任一爬虫线程，所述目标爬取任务为所述任务分发模块向所述目标爬虫线程分发的任一爬取任务。
进一步的，所述任务标记模块包括Redis位图，所述Redis位图中记载有所有已经完成爬取的域名。
进一步的，所述在所述爬虫线程每执行完一个爬取任务后，所述任务标记模块对该爬取任务对应的域名进行记载，以标记该域名已完成爬取，包括：
获取待标记域名，所述待标记域名为所述爬虫线程在执行完一个爬取任务后，发送过来的域名。
获取所述待标记域名的MD5值。
针对所述待标记域名的MD5值，通过预设的多个哈希函数分别执行计算，得到所述待标记域名对应的多个标记位置数值。
在所述Redis位图中，将所述待标记域名对应的多个位置数值的所在位置索引置1，实现将所述待标记域名记入所述Redis位图中的目的。
进一步的，所述在接收到所述目标主机发送的目标域名信息后，所述域名去重模块判断所述目标域名信息是否与所述任务标记模块中当前记载的其中一个域名发生重复，并将判断结果返回至所述目标主机，包括：
在接收到所述目标主机发送的目标域名信息后，获取所述目标域名信息的MD5值。
针对所述目标域名信息的MD5值，通过所述多个哈希函数分别执行计算，得到所述目标域名信息对应的多个标记位置数值。
判断所述目标域名信息对应的多个标记位置数值在所述Redis位图中的位置索引是否均为1，若是，则获取所述判断结果为所述目标域名信息与所述Redis位图中当前记载的其中一个域名发生重复。若否，则获取所述判断结果为所述目标域名信息未与所述Redis位图中当前记载的任一域名发生重复。
将所述判断结果返回至所述目标主机。
本申请第四实施例公开了一种Redis服务器，所述Redis服务器用于执行如本申请第三实施例所述的域名数据挖掘方法，参见图3所示，所述Redis服务器200包括：任务分发模块2001、任务标记模块2002及域名去重模块2003。
其中，任务分发模块2001、任务标记模块2002及域名去重模块2003分别接至目标主机100，域名去重模块2003与任务标记模块2002相连接。
图4为本申请实施例公开的域名数据挖掘过程中，目标主机与Redis服务器之间的交互流程，其中，目标主机为任一台主机：
步骤1001，目标主机分别创建与Redis服务器中任务分发模块、任务标记模块及域名去重模块的连接；
步骤1002，目标主机运行多个爬虫线程；
步骤1003，目标主机控制每个所述爬虫线程依次从所述任务分发模块中获取一个爬取任务；
步骤1004，目标主机控制每个爬虫线程执行获取到的爬取任务；
步骤1005，目标主机控制爬虫线程在每执行完一个爬取任务后，将该爬取任务对应的域名发送至所述任务标记模块中；
步骤1006，任务标记模块将接收到的域名写入Redis位图中，完成该域名的标记；
步骤1007，目标主机对目标爬虫线程执行完目标爬取任务后所返回的响应数据进行解析，获取对应的目标域名信息；
步骤1008，目标主机将所述目标域名信息发送至所述域名去重模块，以判断所述目标域名信息是否与已完成爬取的域名发生重复；
步骤1009，域名去重模块根据任务标记模块中的Redis位图，判断所述目标域名信息是否与所述任务标记模块中当前记载的其中一个域名发生重复；
步骤1010，域名去重模块将判断结果返回至目标主机；若所述判断结果为所述目标域名信息与所述已完成爬取的域名发生重复，目标主机执行步骤1011；若所述判断结果为所述目标域名信息未与所述已完成爬取的域名发生重复，目标主机执行步骤1012；
步骤1011，目标主机将所述目标域名信息舍弃，控制所述目标爬虫线程继续从所述任务分发模块中获取下一个爬取任务并执行；
步骤1012，目标主机将所述目标域名信息保存至本地存储模块，控制所述目标爬虫线程继续从所述任务分发模块中获取下一个爬取任务并执行。
上述实施例公开的域名数据挖掘方法，可以使得分布式爬虫更为简单，并把各个流程分离出来，简化程序，解决了分布式的爬虫去重问题，降低了域名去重的内存消耗，为更多数据去重提供了基础，分布式可以让任意可连接到分布式网络的主机，随意加入任务，退出任务，单节点出现问题，不影响整个流程。
以下结合具体示例，对本申请公开的域名数据挖掘方法进行说明：
一、爬虫程序
1.开启爬虫程序，在支持Python环境的计算机执行“python domain_spider_th.py”，程序运行并开始初始化工作，如下：
创建redis任务连接：用于任务读取，指定读队列url_task_queue key存储的内容；其中，url_task_queue用于程序使用读取redis对应的任务，如果这个为空，redis返回空，如果为负一代表没有更多的任务，结束；
创建redis位图连接：用于域名去重，包含两个，url_task_finished_map和url_unique_map；其中url_task_finished_map用于程序爬取到HTML数据，而解析HTML得到的的域名去重服务，url_unique_map用于程序对任务完成进行标记，功能和url_task_finished_map一样，但是是用于对任务进行去重的；
创建多个爬虫线程：根据配置文件配置的线程数量，创建一定数量的爬虫线程用于任务处理；
创建一个保存线程和消息队列对象：用于读取和保存解析到的域名，消息队列就是实现的按序存储，按序读取的一种数据结构，任务处理线程多线程同步写入消息队列，然后保存线程依次读取保存；
主线程启动任务线程监听：主线程按一定时间循环检查爬虫线程是否存活(当任务处理线程出现错误或读取到退出任务(负一)，线程将退出，不在存活)，方便整个程序退出。
2.爬虫线程在有锁的的情况下访问redis数据库读取任务(url_task_queue)并处理：
假设当前爬虫线程读取到任务：www.baidu.com，那么该爬虫线程将对其进行模型浏览器访问网页操作，将会获取到百度的网页HTML数据，爬虫到此完成，此时将www.baidu.com按照布隆过滤器方法写入redis的url_task_finished_map位图存储起来，然后对其HTML数据解析操作；
假设当前爬虫线程读取为空：那么爬虫线程将进入一定时间睡眠，然后重试；
假设当前爬虫线程读取到负一(-1)：那么当前爬虫线程将停止，停止同时将写入-1到url_task_queue，这样方便其他线程，甚至是其他机器的线程结束任务，释放计算机资源。
3.HTML解析：使用步骤2中获取的HTML数据进行，主要是针对海量数据收集所想的方案，网络数据都是存在联系的，比如很多网站都存在友情连接，所以对HTML标签进行解析操作，如下所示：
<html>
<a href＝”news.baidu.com”>百度新闻</a>
</html>
对上述的标签进行解析，以取到href里边的news.baidu.com，这就是海量数据收集的方案，以此获取更多的域名数据。
程序将收集的域名使用redis连接对url_unique_map进行判断重复操作，如果重复那么将剔除这个域名，然后将去重的域名写入消息队列，方便保存线程保存，此例中将写入news.baidu.com。
4.保存线程，主要读取上述写入消息队列的域名信息，然后做本地保存操作，线程循环读取消息队列，进行操作：
若读取到空：那么保存线程依然进入一定时间的睡眠，然后重新尝试读取；
若读取到news.baidu.com：保存线程将此域名写入本地硬盘指定文件；
若读取到负一(-1)：代表所有爬虫线程都结束，没有新的域名需要保存了，保存线程退出，然后整个程序退出；
保存线程运行过程中一直打开指定文件，降低文件频繁操作操作，保存线程作为所有爬虫线程结束标志，保证了收集的域名完全保存(如果全部线程一起结束，那么消息队列的域名还没有读取完就会丢失)。
二、任务分发程序
任务分发程序主要就是读取需要爬取的域名，然后判断是否已经爬取过了，写入redis的任务队列url_task_queue：
程序启动，读取本地服务器需要爬虫的域名，并同时启动redis连接，假设当前需要写入的任务是：www.baidu.com；
程序将使用redis的url_task_finished_map位图判断www.baidu.com是否存在主机标识其处理过了(机制和去重是一样的，即判断www.baidu.com计算的7个数值对应的位图位置值是否都为1，都为1代表处理过了，又一个不为1说明是全新的任务)，如果已经处理过了，那么将跳过进行下一个任务写入，反之将写入任务队列url_task_queue，以供任务处理程序中的任务处理线程读取处理，至此就是一个循环；
如果程序发现本地没有需要处理的任务了，那么将写入-1到url_task_queue，告知分布式程序结束任务。
三、去重程序
去重程序包含两个去重地方，其原理一样，此处就说明爬虫任务www.baidu.com处理完成之后如何写入redis进行分布式去重，结合布隆过滤器，降低内存占用。
布隆过滤器是公开的一个办法，目的是解决各种海量数据判断的，快捷并且占用内存较少。主要是使用一个长的字节数组(初始化数组内均为0)，通过几个不同的哈希(hash)函数将一个数据标记在这个长的数组中，比如使用7个hash函数，将www.baidu.com计算得到7个数值，然后将7个数值对应的数组的索引(位置)置位1，就将数据写入布隆数组了。最终按照相同的办法，计算www.baidu.com的7个hash，然后判断数组这7个位置都为1，说明该数据已经写过了，下面将详细说明：
(一)写入redis位图
1.首先将www.baidu.com计算MD5值：dab19e82e1f9a681ee73346d3e7a575e，MD5也是一种hash，目的是为了更好的处理去重。
2.由于redis位图大小限制为512，根据官方计算公式，可以对9千万有很好的去重效果，本例中直接使用这种方案，选择7个hash函数来实现，具体实现就是采用7个数值，对上述md5值单字节(d)获取ascii(ascii就是字符在计算机中的表示形式，计算机存储的是二进制数据，如何表示abcd，可以使用二进制比如01100001表示a。)数值(100)，数值*ascii值加上下一个字节(a)的ascii值，循环，得到一个数值(就是长数组的索引位置)，如下计算结果：
①：667219847
②：471206349
③：784538769
④：841098607
⑤：875258629
⑥：1592738343
⑦：1959775
3.然后通过redis连接将url_task_finished_map上述7个值的数组位置设置为1，至此标记完成。
(二)判断重复
判断重复和写入redis位图一样，只不过这次不在将位图设置为1了，而是判断计算的7个数组对应的位图位置是否都为1，如果都为1说明存在，如果有一个不为1说明不存在，以此判断是否重复。因为相同的字符，比如www.baidu.com计算md5每次都一样，按照相同的7个hash计算得出的7个数组也是不会变化的，所以相反就能判断是否已经写过了。
本申请实施例公开的域名数据挖掘方法将任务分发程序单独出来，方便任务分发流程修改，对任务处理程序影响较小，分布式任务处理只关心如何爬虫处理保存数据，而不用关注任务分发程序的详细流程，比如任务量多少，写入阈值等。使用Redis作为数据的中间件，提供了高可用性的任务分发/中间数据存储，其自动的数据备份和恢复操作，将减少程序维护工作。将Redis队列和位图的操作再封装，使得线程处理更为便捷，并整合连接丢失自动检查恢复操作，结合多线程锁机制，在任务为空或网络故障，降低了多线程频繁操作Redis。使用一个单独的线程来对本机的数据进行保存操作，任务多线程处理任务并写入队列(线程安全)，然后保存线程将打开一个数据文件进行保存操作，降低了多线程同时操作文件出现的风险。
以上结合具体实施方式和范例性实例对本申请进行了详细说明，不过这些说明并不能理解为对本申请的限制。本领域技术人员理解，在不偏离本申请精神和范围的情况下，可以对本申请技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本申请的范围内。本申请的保护范围以所附权利要求为准。
Claims (10)
1.一种域名数据挖掘方法，其特征在于，所述域名数据挖掘方法应用于任一台主机，所述域名数据挖掘方法包括：
创建与Redis服务器之间的连接，所述Redis服务器包括任务分发模块、任务标记模块及域名去重模块；
运行多个爬虫线程；
控制每个所述爬虫线程依次从所述任务分发模块中获取一个爬取任务并执行，所述爬虫线程用于在每执行完一个爬取任务后，将该爬取任务对应的域名写入所述任务标记模块中，以标记该域名已完成爬取；
对目标爬虫线程执行完目标爬取任务后所返回的响应数据进行解析，获取对应的目标域名信息，所述目标爬虫线程为任一爬虫线程，所述目标爬取任务为所述目标爬虫线程从所述任务分发模块中获取的任一爬取任务；
将所述目标域名信息发送至所述域名去重模块，以判断所述目标域名信息是否与已完成爬取的域名发生重复，其中，所述域名去重模块连接至所述任务标记模块，所述域名去重模块用于判断所述目标域名信息是否与所述任务标记模块中当前记载的其中一个域名发生重复；
获取所述域名去重模块返回的判断结果；
若所述判断结果为所述目标域名信息与所述已完成爬取的域名发生重复，则将所述目标域名信息舍弃，控制所述目标爬虫线程继续从所述任务分发模块中获取下一个爬取任务并执行；
若所述判断结果为所述目标域名信息未与所述已完成爬取的域名发生重复，则将所述目标域名信息保存至本地存储模块，控制所述目标爬虫线程继续从所述任务分发模块中获取下一个爬取任务并执行。
2.根据权利要求1所述的域名数据挖掘方法，其特征在于，所述创建与Redis服务器之间的连接，包括：
创建与所述任务分发模块之间的读取连接；
创建与所述任务标记模块之间的标记连接；
创建与所述域名去重模块之间的去重连接。
3.根据权利要求1所述的域名数据挖掘方法，其特征在于，在运行多个爬虫线程的同时，所述域名数据挖掘方法还包括：
运行保存线程，所述保存线程用于在所述判断结果为所述目标域名信息未与所述已完成爬取的域名发生重复时，执行将所述目标域名信息保存至本地存储模块的步骤。
4.一种域名数据挖掘装置，其特征在于，所述域名数据挖掘装置应用于如权利要求1-3任一项所述的域名数据挖掘方法，所述域名数据挖掘装置包括：
创建连接模块，用于创建与Redis服务器之间的连接，所述Redis服务器包括任务分发模块、任务标记模块及域名去重模块；
线程运行模块，用于运行多个爬虫线程；
爬虫任务执行模块，用于控制每个所述爬虫线程依次从所述任务分发模块中获取一个爬取任务并执行，所述爬虫线程用于在每执行完一个爬取任务后，将该爬取任务对应的域名写入所述任务标记模块中，以标记该域名已完成爬取；
数据解析模块，用于对目标爬虫线程执行完目标爬取任务后所返回的响应数据进行解析，获取对应的目标域名信息，所述目标爬虫线程为任一爬虫线程，所述目标爬取任务为所述目标爬虫线程从所述任务分发模块中获取的任一爬取任务；
去重模块，用于将所述目标域名信息发送至所述域名去重模块，以判断所述目标域名信息是否与已完成爬取的域名发生重复，其中，所述域名去重模块连接至所述任务标记模块，所述域名去重模块用于判断所述目标域名信息是否与所述任务标记模块中当前记载的其中一个域名发生重复；
获取判断结果模块，用于获取所述域名去重模块返回的判断结果；
去重模块，用于在所述判断结果为所述目标域名信息与所述已完成爬取的域名发生重复时，将所述目标域名信息舍弃，控制所述目标爬虫线程继续从所述任务分发模块中获取下一个爬取任务并执行；
保存模块，用于在所述判断结果为所述目标域名信息未与所述已完成爬取的域名发生重复时，将所述目标域名信息保存至本地存储模块，控制所述目标爬虫线程继续从所述任务分发模块中获取下一个爬取任务并执行。
5.根据权利要求4所述的域名数据挖掘装置，其特征在于，所述创建连接模块包括：
创建读取连接单元，用于创建与所述任务分发模块之间的读取连接；
创建标记连接单元，用于创建与所述任务标记模块之间的标记连接；
创建去重连接单元，用于创建与所述域名去重模块之间的去重连接。
6.一种域名数据挖掘方法，其特征在于，所述域名数据挖掘方法应用于Redis服务器，所述Redis服务器包括任务分发模块、任务标记模块及域名去重模块，所述域名数据挖掘方法包括：
所述任务分发模块、所述任务标记模块及所述域名去重模块分别建立与目标主机之间的连接，所述目标主机为任一台主机；
在所述目标主机运行多个爬虫线程后，所述任务分发模块依次向所述目标主机的每个爬虫线程分发爬取任务；
在所述爬虫线程每执行完一个爬取任务后，所述任务标记模块对该爬取任务对应的域名进行记载，以标记该域名已完成爬取；
在接收到所述目标主机发送的目标域名信息后，所述域名去重模块判断所述目标域名信息是否与所述任务标记模块中当前记载的其中一个域名发生重复，并将判断结果返回至所述目标主机，所述目标主机用于在所述判断结果为是时，将所述目标域名信息舍弃，控制所述目标爬虫线程继续从所述任务分发模块中获取下一个爬取任务并执行，在所述判断结果为否时，将所述目标域名信息保存至本地存储模块，控制所述目标爬虫线程继续从所述任务分发模块中获取下一个爬取任务并执行；所述目标域名信息为所述目标主机对目标爬虫线程执行完目标爬取任务后所返回的响应数据进行解析所得的域名信息，所述目标爬虫线程为所述目标主机中任一爬虫线程，所述目标爬取任务为所述任务分发模块向所述目标爬虫线程分发的任一爬取任务。
7.根据权利要求6所述的域名数据挖掘方法，其特征在于，所述任务标记模块包括Redis位图，所述Redis位图中记载有所有已经完成爬取的域名。
8.根据权利要求7所述的域名数据挖掘方法，其特征在于，所述在所述爬虫线程每执行完一个爬取任务后，所述任务标记模块对该爬取任务对应的域名进行记载，以标记该域名已完成爬取，包括：
获取待标记域名，所述待标记域名为所述爬虫线程在执行完一个爬取任务后，发送过来的域名；
获取所述待标记域名的MD5值；
针对所述待标记域名的MD5值，通过预设的多个哈希函数分别执行计算，得到所述待标记域名对应的多个标记位置数值；
在所述Redis位图中，将所述待标记域名对应的多个位置数值的所在位置索引置1，实现将所述待标记域名记入所述Redis位图中的目的。
9.根据权利要求8所述的域名数据挖掘方法，其特征在于，所述在接收到所述目标主机发送的目标域名信息后，所述域名去重模块判断所述目标域名信息是否与所述任务标记模块中当前记载的其中一个域名发生重复，并将判断结果返回至所述目标主机，包括：
在接收到所述目标主机发送的目标域名信息后，获取所述目标域名信息的MD5值；
针对所述目标域名信息的MD5值，通过所述多个哈希函数分别执行计算，得到所述目标域名信息对应的多个标记位置数值；
判断所述目标域名信息对应的多个标记位置数值在所述Redis位图中的位置索引是否均为1，若是，则获取所述判断结果为所述目标域名信息与所述Redis位图中当前记载的其中一个域名发生重复；若否，则获取所述判断结果为所述目标域名信息未与所述Redis位图中当前记载的任一域名发生重复；
将所述判断结果返回至所述目标主机。
10.一种Redis服务器，其特征在于，所述Redis服务器用于执行如权利要求6-9任一项所述的域名数据挖掘方法，所述Redis服务器包括：任务分发模块、任务标记模块及域名去重模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011137142.4A CN112422707A (zh) | 2020-10-22 | 2020-10-22 | 域名数据挖掘方法、装置及Redis服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011137142.4A CN112422707A (zh) | 2020-10-22 | 2020-10-22 | 域名数据挖掘方法、装置及Redis服务器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112422707A true CN112422707A (zh) | 2021-02-26 |
Family
ID=74840434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011137142.4A Pending CN112422707A (zh) | 2020-10-22 | 2020-10-22 | 域名数据挖掘方法、装置及Redis服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112422707A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116821200A (zh) * | 2023-07-04 | 2023-09-29 | 大师兄(上海)云数据服务有限公司 | 一种人工智能云数据可视化分析系统及其分析方法 |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110307467A1 (en) * | 2010-06-10 | 2011-12-15 | Stephen Severance | Distributed web crawler architecture |
| CN102932448A (zh) * | 2012-10-30 | 2013-02-13 | 工业和信息化部电信传输研究所 | 一种分布式网络爬虫的url排重系统及方法 |
| CN103678571A (zh) * | 2013-12-09 | 2014-03-26 | 中国科学院深圳先进技术研究院 | 应用于单台多核处理器主机的多线程网络爬虫执行方法 |
| CN103970788A (zh) * | 2013-02-01 | 2014-08-06 | 北京英富森信息技术有限公司 | 一种基于网页爬取的爬虫技术 |
| CN103984753A (zh) * | 2014-05-28 | 2014-08-13 | 北京京东尚科信息技术有限公司 | 一种网络爬虫去重特征值的提取方法和装置 |
| CN104809182A (zh) * | 2015-04-17 | 2015-07-29 | 东南大学 | 基于动态可分裂Bloom Filter的网络爬虫URL去重方法 |
| CN105763664A (zh) * | 2015-07-30 | 2016-07-13 | 佛山市诚科网络科技有限公司 | 一种未办理备案网站的探寻方法及系统 |
| CN106503017A (zh) * | 2015-09-08 | 2017-03-15 | 摩贝（上海）生物科技有限公司 | 一种分布式爬虫系统任务抓取系统和方法 |
| CN106649646A (zh) * | 2016-12-09 | 2017-05-10 | 北京锐安科技有限公司 | 一种数据去重的方法及装置 |
| CN107391775A (zh) * | 2017-08-28 | 2017-11-24 | 湖北省楚天云有限公司 | 一种通用的网络爬虫模型实现方法及系统 |
| CN107943991A (zh) * | 2017-12-01 | 2018-04-20 | 成都嗨翻屋文化传播有限公司 | 一种基于内存数据库的分布式爬虫框架及实现方法 |
| CN109167799A (zh) * | 2018-11-06 | 2019-01-08 | 北京华顺信安科技有限公司 | 一种用于智能网络信息系统的漏洞监控检测系统 |
| CN109359231A (zh) * | 2017-12-29 | 2019-02-19 | 广州Tcl智能家居科技有限公司 | 一种分布式网络爬虫的信息爬取方法、服务器及存储介质 |
| CN109885744A (zh) * | 2019-01-07 | 2019-06-14 | 平安科技（深圳）有限公司 | 网页数据爬取方法、装置、系统、计算机设备及存储介质 |
| CN109948079A (zh) * | 2019-03-11 | 2019-06-28 | 湖南衍金征信数据服务有限公司 | 一种分布式采集公开页面数据的方法 |
| CN111125485A (zh) * | 2019-12-20 | 2020-05-08 | 西安交大捷普网络科技有限公司 | 基于Scrapy的网站URL爬取方法 |
| CN111209458A (zh) * | 2018-11-22 | 2020-05-29 | 顺丰科技有限公司 | 一种网络爬虫的数据处理系统及方法 |
| CN111209460A (zh) * | 2019-12-27 | 2020-05-29 | 青岛海洋科学与技术国家实验室发展中心 | 基于scrapy爬虫框架的数据采集系统及方法 |
| CN111666267A (zh) * | 2019-03-05 | 2020-09-15 | 国家计算机网络与信息安全管理中心 | 一种数据清洗方法、装置及终端设备 |
-
2020
- 2020-10-22 CN CN202011137142.4A patent/CN112422707A/zh active Pending
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110307467A1 (en) * | 2010-06-10 | 2011-12-15 | Stephen Severance | Distributed web crawler architecture |
| CN102932448A (zh) * | 2012-10-30 | 2013-02-13 | 工业和信息化部电信传输研究所 | 一种分布式网络爬虫的url排重系统及方法 |
| CN103970788A (zh) * | 2013-02-01 | 2014-08-06 | 北京英富森信息技术有限公司 | 一种基于网页爬取的爬虫技术 |
| CN103678571A (zh) * | 2013-12-09 | 2014-03-26 | 中国科学院深圳先进技术研究院 | 应用于单台多核处理器主机的多线程网络爬虫执行方法 |
| CN103984753A (zh) * | 2014-05-28 | 2014-08-13 | 北京京东尚科信息技术有限公司 | 一种网络爬虫去重特征值的提取方法和装置 |
| CN104809182A (zh) * | 2015-04-17 | 2015-07-29 | 东南大学 | 基于动态可分裂Bloom Filter的网络爬虫URL去重方法 |
| CN105763664A (zh) * | 2015-07-30 | 2016-07-13 | 佛山市诚科网络科技有限公司 | 一种未办理备案网站的探寻方法及系统 |
| CN106503017A (zh) * | 2015-09-08 | 2017-03-15 | 摩贝（上海）生物科技有限公司 | 一种分布式爬虫系统任务抓取系统和方法 |
| CN106649646A (zh) * | 2016-12-09 | 2017-05-10 | 北京锐安科技有限公司 | 一种数据去重的方法及装置 |
| CN107391775A (zh) * | 2017-08-28 | 2017-11-24 | 湖北省楚天云有限公司 | 一种通用的网络爬虫模型实现方法及系统 |
| CN107943991A (zh) * | 2017-12-01 | 2018-04-20 | 成都嗨翻屋文化传播有限公司 | 一种基于内存数据库的分布式爬虫框架及实现方法 |
| CN109359231A (zh) * | 2017-12-29 | 2019-02-19 | 广州Tcl智能家居科技有限公司 | 一种分布式网络爬虫的信息爬取方法、服务器及存储介质 |
| CN109167799A (zh) * | 2018-11-06 | 2019-01-08 | 北京华顺信安科技有限公司 | 一种用于智能网络信息系统的漏洞监控检测系统 |
| CN111209458A (zh) * | 2018-11-22 | 2020-05-29 | 顺丰科技有限公司 | 一种网络爬虫的数据处理系统及方法 |
| CN109885744A (zh) * | 2019-01-07 | 2019-06-14 | 平安科技（深圳）有限公司 | 网页数据爬取方法、装置、系统、计算机设备及存储介质 |
| CN111666267A (zh) * | 2019-03-05 | 2020-09-15 | 国家计算机网络与信息安全管理中心 | 一种数据清洗方法、装置及终端设备 |
| CN109948079A (zh) * | 2019-03-11 | 2019-06-28 | 湖南衍金征信数据服务有限公司 | 一种分布式采集公开页面数据的方法 |
| CN111125485A (zh) * | 2019-12-20 | 2020-05-08 | 西安交大捷普网络科技有限公司 | 基于Scrapy的网站URL爬取方法 |
| CN111209460A (zh) * | 2019-12-27 | 2020-05-29 | 青岛海洋科学与技术国家实验室发展中心 | 基于scrapy爬虫框架的数据采集系统及方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116821200A (zh) * | 2023-07-04 | 2023-09-29 | 大师兄(上海)云数据服务有限公司 | 一种人工智能云数据可视化分析系统及其分析方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105824744B (zh) | 一种基于b2b平台的实时日志采集分析方法 | |
| US9298680B2 (en) | Display of hypertext documents grouped according to their affinity | |
| CN103970788A (zh) | 一种基于网页爬取的爬虫技术 | |
| AU2004304873B2 (en) | Method and apparatus for data storage using striping | |
| CN105243159A (zh) | 一种基于可视化脚本编辑器的分布式网络爬虫系统 | |
| CN108694195B (zh) | 一种分布式数据仓库的管理方法及系统 | |
| CN106126648B (zh) | 一种基于重做日志的分布式商品信息爬虫方法 | |
| CN115129736B (zh) | 基于规则引擎的规则事件动态加载与更新方法及相关设备 | |
| US20180189339A1 (en) | Event context enrichment | |
| CN108681556B (zh) | 分布式指令域数据的访问方法及其系统 | |
| CN104516982A (zh) | 一种基于Nutch的Web信息提取方法和系统 | |
| US8209297B2 (en) | Data processing device and method | |
| US20120131022A1 (en) | Methods and systems for merging data sets | |
| CN103258017B (zh) | 一种并行的垂直交叉网络数据采集方法及系统 | |
| CA2838911C (en) | Tracking javascript actions | |
| CN106033428B (zh) | 统一资源定位符的选择方法和统一资源定位符的选择装置 | |
| CN107665219A (zh) | 一种日志管理方法及装置 | |
| CN110795614A (zh) | 一种索引自动优化方法及装置 | |
| CN104965835B (zh) | 一种分布式文件系统的文件读写方法及装置 | |
| CN113656673A (zh) | 面向广告投放的主从分布内容爬取机器人 | |
| CN112422707A (zh) | 域名数据挖掘方法、装置及Redis服务器 | |
| CN110245037B (zh) | 一种基于日志的Hive用户操作行为还原方法 | |
| CN112667873A (zh) | 一种适用于多数网站通用采集数据的爬虫系统及方法 | |
| CN114185971A (zh) | 多节点日志分析处理方法及系统 | |
| KR20060075798A (ko) | 해외 과학기술 전자원문 수집/색인/추출 시스템과 그 방법및 그 방법에 대한 컴퓨터 프로그램을 저장한 기록매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210226 |