CN111753162A - 数据爬取方法、装置、服务器及存储介质 - Google Patents
数据爬取方法、装置、服务器及存储介质 Download PDFInfo
- Publication number
- CN111753162A CN111753162A CN202010610746.XA CN202010610746A CN111753162A CN 111753162 A CN111753162 A CN 111753162A CN 202010610746 A CN202010610746 A CN 202010610746A CN 111753162 A CN111753162 A CN 111753162A
- Authority
- CN
- China
- Prior art keywords
- crawled
- data
- link
- data crawling
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明涉及大数据技术领域，提供一种数据爬取方法，所述方法包括：根据预设调度规则，获取多个待爬取链接；确定每个所述待爬取链接的类型；根据所述类型，从预设的多个代理网际互连协议中确定目标代理网际互连协议；通过所述目标网际互连协议，对每个所述待爬取链接进行数据爬取，获得数据爬取结果；若所述数据爬取结果正常，根据预设的配置规则，对所述数据爬取结果中的数据进行解析，获得目标数据。本发明还提供一种数据爬取装置、服务器及存储介质。本发明能提高数据爬取的成功率。此外，本发明还涉及区块链技术，目标数据可存储于区块链节点中。
Description
技术领域
本发明涉及大数据技术领域，尤其涉及一种数据爬取方法、装置、服务器及存储介质。
背景技术
目前，随着计算机技术的发展，可以通过爬虫程序快速爬取网站的数据。但在实践中发现，很多网站会通过特定的算法有一定的概率识别出爬虫程序并禁止爬虫程序访问，导致数据爬取的成功率不高。
因此，如何提高数据爬取的成功率是一个亟需解决的技术问题。
发明内容
鉴于以上内容，有必要提供一种数据爬取方法、装置、服务器及存储介质，能够提高数据爬取的成功率。
本发明的第一方面提供一种数据爬取方法，所述方法包括：
根据预设调度规则，获取多个待爬取链接；
确定每个所述待爬取链接的类型；
根据所述类型，从预设的多个代理网际互连协议中确定目标代理网际互连协议；
通过所述目标网际互连协议，对每个所述待爬取链接进行数据爬取，获得数据爬取结果；
若所述数据爬取结果正常，根据预设的配置规则，对所述数据爬取结果中的数据进行解析，获得目标数据。
在一种可能的实现方式中，所述数据爬取方法还包括：
若所述数据爬取结果异常，将所述数据爬取结果对应的待爬取链接确定为目标链接；
按照预设时间间隔，对所述目标链接重新进行数据爬取，获得重新爬取结果；
确定所述目标链接进行数据爬取的操作次数；
若所述重新爬取结果异常且所述操作次数大于预设操作次数阈值，根据所述目标链接的类型，从除了所述目标代理网际互连协议之外的预设的多个代理网际互连协议中确定重试代理网际互连协议；
通过所述重试代理网际互连协议，对所述目标链接进行数据爬取，获得重试爬取结果。
在一种可能的实现方式中，所述通过所述目标网际互连协议，对每个所述待爬取链接进行数据爬取，获得数据爬取结果之后，所述数据爬取方法还包括：
若所述数据爬取结果正常，将所述数据爬取结果对应的待爬取链接确定为已爬取链接；
生成与所述已爬取链接对应的唯一标识；
将所述唯一标识存储至布隆过滤器中，或将所述唯一标识存储至预设数据库中。
在一种可能的实现方式中，所述数据爬取方法还包括：
若所述对每个所述待爬取链接进行数据爬取的过程发生了中断，查询每个所述待爬取链接的唯一标识；
将不存在唯一标识的待爬取链接确定为未爬取链接；
对所述未爬取链接继续进行数据爬取。
在一种可能的实现方式中，所述根据所述类型，从预设的多个代理网际互连协议中确定目标代理网际互连协议包括：
获取每个所述代理网际协议在第一预设时间范围内访问所述类型的链接的访问次数以及获取每个所述代理网际协议的上一次访问所述类型的链接的时间间隔；
根据预设权重、所述访问次数以及所述时间间隔，从预设的多个代理网际互连协议中确定目标代理网际互连协议。
在一种可能的实现方式中，所述根据预设调度规则，获取多个待爬取链接包括：
确定当前负载；
从待爬取队列中获取与所述当前负载对应数量的待爬取链接。
在一种可能的实现方式中，所述数据爬取方法还包括：
统计每个代理网际互连协议在第二预设时间范围内对应的数据爬取的异常次数；
若所述异常次数大于预设异常次数阈值，生成告警信息；
将所述告警信息发送至预设终端。
本发明的第二方面提供一种数据爬取装置，所述数据爬取装置包括：
获取模块，用于根据预设调度规则，获取多个待爬取链接；
确定模块，用于确定每个所述待爬取链接的类型；
所述确定模块，还用于根据所述类型，从预设的多个代理网际互连协议中确定目标代理网际互连协议；
爬取模块，用于通过所述目标网际互连协议，对每个所述待爬取链接进行数据爬取，获得数据爬取结果；
解析模块，用于若所述数据爬取结果正常，根据预设的配置规则，对所述数据爬取结果中的数据进行解析，获得目标数据。
本发明的第三方面提供一种服务器，所述服务器包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述的数据爬取方法。
本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的数据爬取方法。
由以上技术方案，本发明中，能够根据预设调度规则，获取多个待爬取链接，避免了单个服务器负载过大而导致的数据爬取的效率低，同时，能够根据所述待爬取链接的类型选择代理网际互连协议，降低同一个代理网际互连协议访问同一类型链接的频率，降低被网站禁止访问的概率，提高了数据爬取的成功率。最后，使用预设的配置规则，对所述数据爬取结果中的数据进行解析，获得目标数据，提高了数据爬取的效率。
附图说明
图1是本发明公开的一种数据爬取方法的较佳实施例的流程图。
图2是本发明公开的一种数据爬取装置的较佳实施例的功能模块图。
图3是本发明实现数据爬取方法的较佳实施例的服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
本发明实施例的数据爬取方法应用在服务器中，也可以应用在服务器和通过网络与所述服务器进行连接的电子设备所构成的硬件环境中，由服务器和电子设备共同执行。网络包括但不限于：广域网、城域网或局域网。
其中，服务器可以是指能对网络中其它设备(如电子设备)提供服务的计算机系统。如果一个个人电脑能够对外提供文件传输协议(File Transfer Protocol，简称FTP)服务，也可以叫服务器。从狭义范围上讲，服务器专指某些高性能计算机，能通过网络，对外提供服务，其相对于普通的个人电脑来说，稳定性、安全性、性能等方面都要求更高，因此在CPU、芯片组、内存、磁盘系统、网络等硬件和普通的个人电脑有所不同。
所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。所述电子设备还可包括网络设备和/或用户设备。其中，所述网络设备包括但不限于单个网络设备、多个网络设备组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络设备构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。所述用户设备包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理PDA等。
请参见图1，图1是本发明公开的一种数据爬取方法的较佳实施例的流程图。其中，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。其中，所述数据爬取方法的执行主体可以是服务器。
S11、根据预设调度规则，获取多个待爬取链接。
其中，所述预设调度规则可以是预先设置好的任务分发算法，用于实现各个设备负载均衡。
具体的，所述根据预设调度规则，获取多个待爬取链接包括：
确定当前负载；
从待爬取队列中获取与所述当前负载对应数量的待爬取链接。
其中，所述待爬取链接是一个网页链接，通过该网页链接，可以访问到对应的网页，可以预先收集需要进行数据爬取的网页链接，还没有进行数据爬取(等待执行数据爬取操作)的网页链接就是所述待爬取链接。
在该可选的实施方式中，在涉及对大量待爬取链接进行爬取的情况下，往往会使用多个服务器进行处理，每个服务器处理一定数量的待爬取链接。可以预先设置调度规则，比如根据每个服务器的当前负载情况(比如正在处理的待爬取链接的数量)进行分配，使得各个服务器负载均衡。
S12、确定每个所述待爬取链接的类型。
本发明实施例中，可以通过每个所述待爬取链接的域名来划分每个待爬取链接的类型，比如“https://www.zhihu.com/topic/19577498/hot”的类型是“zhihu”、“https://baike.baidu.com/item/词条”的类型是“baike.baidu”。每个所述待爬取链接都会含有域名，可以直接用来确定每个所述待爬取链接的类型。
其中，域名可以是由一串用点分隔的名字组成的Internet(因特网)上某一台计算机或计算机组的名称，比如“https://baidu.com”，域名和IP地址通过网域名称系统(DNS，Domain Name System)实现相互映射，通过域名，可以和IP地址一样，访问到对应的网页。
其中，所述网域名称系统域名系统(Domain Name System,DNS)是Internet上解决网上机器命名的一种系统，可以是将域名和IP地址相互映射的一个分布式数据库。
S13、根据所述类型，从预设的多个代理网际互连协议中确定目标代理网际互连协议。
其中，所述代理网际互连协议可以是指代理服务器上的网际互连协议(InternetProtocol，IP)。
其中，网际互连协议是TCP/IP体系中的网络层协议，是构成互联网的基础。网际互连协议位于TCP/IP模型的网络层(相当于OSI模型的网络层)，对上可载送传输层各种协议的信息，例如TCP(Transmission Control Protocol，传输控制协议)、UDP(User DatagramProtocol，用户数据报协议)等；对下可将网际互连协议信息包放到链路层，通过以太网、令牌环网络等各种技术来传送。
其中，不同的代理网际互连协议拥有不同的网际互连协议地址(InternetProtocol Address)，所述网际互连协议地址(即IP地址)是网际互连协议提供的一种统一的地址格式，为互联网上的每一个网络和每一台主机分配一个逻辑地址，IP地址是一个32位的二进制数，通常被分割为4个“8位二进制数”(也就是4个字节)。IP地址通常用“点分十进制”表示成(a.b.c.d)的形式，其中，a，b，c，d都是0～255之间的十进制整数。例：点分十进IP地址(100.4.5.6)，实际上是32位二进制数(01100100.00000100.00000101.00000110)。
具体的，所述根据所述类型，从预设的多个代理网际互连协议中确定目标代理网际互连协议包括：
获取每个所述代理网际协议在第一预设时间范围内访问所述类型的链接的访问次数以及获取每个所述代理网际协议的上一次访问所述类型的链接的时间间隔；
根据预设权重、所述访问次数以及所述时间间隔，从预设的多个代理网际互连协议中确定目标代理网际互连协议。
本发明实施例中，可以获取每个所述代理网际协议(代理IP)在预设时间范围内(比如一天内)访问所述类型的链接的访问次数以及获取每个所述代理网际协议的上一次访问所述类型的链接的时间间隔，通过预设权重进行计算，可以从所述多个代理网际互连协议中确定访问与所述待爬取链接同类型的网站的次数较少，且访问时间间隔较大的代理网际互连协议(即所述目标代理网际互连协议)，使用所述目标代理网际互连协议访问所述待爬取链接的风险最低。使用同一个代理网际互连协议频繁地访问同一类型的网站，很有可能会被网站禁止访问。为了避免这种禁止访问的情况，确保网站数据能够被顺利爬取，可以使用不同的代理网际互连协议去访问同一类型的网站，降低使用同一个代理网际互连协议访问同一类型的网站的访问频率。
S14、通过所述目标网际互连协议，对每个所述待爬取链接进行数据爬取，获得数据爬取结果。
本发明实施例中，可以通过所述目标网际互连协议，将对所述待爬取链接进行访问的访问请求的请求发起地址伪装成所述目标网际互连协议对应的IP地址，因为使用所述目标网际互连协议访问所述待爬取链接的访问时间讲个较长且访问次数较少，不容易被所述待爬取链接的反爬虫机制识别，提高了数据爬取的成功率。若通过所述目标网际互连协议成功地访问到所述待爬取链接对应的网页，可以通过预先设置的数据爬取规则，比如选取指定网页标签(比如图片标签<img>)的内容，也可以通过正则表达式过滤掉部分网页信息等。
其中，所述数据爬取结果可以是数据的集合(若成功访问了所述待爬取链接的网页，一般都可以获取数据)，表示所述数据爬取结果正常，所述数据爬取结果也可以是爬取错误等提示，表示所述数据爬取结果异常，数据爬取结果异常的原因可以包括但不限于网络波动、所述待爬取链接对应的网页提供方的服务器停止服务以及被禁止访问等。
作为一种可选的实施方式，所述通过所述目标网际互连协议，对每个所述待爬取链接进行数据爬取，获得数据爬取结果之后，所述方法还包括：
若所述数据爬取结果正常，将所述数据爬取结果对应的待爬取链接确定为已爬取链接；
生成与所述已爬取链接对应的唯一标识；
将所述唯一标识存储至布隆过滤器中，或将所述唯一标识存储至预设数据库中。
其中，所述布隆过滤器是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中，空间效率和查询时间都比一般的算法要好的多，在大量的链接需要进行查询的情况下，能够更加快速地进行查询。
在该可选的实施方式中，若所述数据爬取结果正常，将所述数据爬取结果对应的待爬取链接确定为已爬取链接，已爬取链接的数据是已经被获取到了的，可以生成与所述已爬取链接对应的唯一标识，所述唯一标识用于指示一个待爬取链接已经被爬取数据。保存所述唯一标识，可以用来查询某个链接是否已经被爬取了数据，避免重复爬取，提高数据爬取效率。可以根据具体要求对所述唯一标识进行保存，若可以接受所述布隆过滤器的低错误率，可以将所述唯一标识存储至所述布隆过滤器中，数据存储占用空间小。若对识别某个链接是否被爬取数据的准确率要求比较高，可以将所述唯一标识存储至所述预设数据库中，虽然存储占用的空间比所述布隆存储器要大，但在数据库中进行查询的准确率高。
作为一种可选的实施方式，所述方法还包括：
若所述对每个所述待爬取链接进行数据爬取的过程发生了中断，查询每个所述待爬取链接的唯一标识；
将不存在唯一标识的待爬取链接确定为未爬取链接；
对所述未爬取链接继续进行数据爬取。
在该可选的实施方式中，如果发生了网络波动，服务器宕机等情况，这会导致数据爬取的过程发生中断，为了避免对已经爬取了数据的链接重复进行数据爬取，可以查询每个所述待爬取链接的唯一标识，不存在唯一标识的待爬取链接可能是还没有进行数据爬取或数据爬取失败的链接，需要继续进行数据爬取，将不存在唯一标识的待爬取链接确定为未爬取链接，可以对所述未爬取链接继续进行数据爬取。
S15、若所述数据爬取结果正常，根据预设的配置规则，对所述数据爬取结果中的数据进行解析，获得目标数据。
本发明实施例中，所述数据爬取结果包括了一个链接对应的网页的所有数据，需要对这些数据进行解析，获取指定的数据内容(所述目标数据)，比如需要抓取企业信息,那么企业一般包括有企业名称、地址、电话、注册号、注册资本等等信息，针对这些内容，可以通过超文本标记语言提供的选择器或者其他语言提供的特定函数进行筛选、也可以使用提前封装好公共组件(比如日期格式转换的组件，提取特定字符的组件)等。通过获取预设的配置规则，确定解析时所使用的写好的脚本、公共组件等，可以快速获得目标数据。
作为一种可选的实施方式，所述方法还包括：
若所述数据爬取结果异常，将所述数据爬取结果对应的待爬取链接确定为目标链接；
按照预设时间间隔，对所述目标链接重新进行数据爬取，获得重新爬取结果；
确定所述目标链接进行数据爬取的操作次数；
若所述重新爬取结果异常且所述操作次数大于预设操作次数阈值，根据所述目标链接的类型，从除了所述目标代理网际互连协议之外的预设的多个代理网际互连协议中确定重试代理网际互连协议；
通过所述重试代理网际互连协议，对所述目标链接进行数据爬取，获得重试爬取结果。
在该可选的实施方式中，若所述数据爬取结果异常，可以将异常的所述数据爬取结果对应的待爬取链接确定为目标链接，可以在预设时间间隔(比如10秒)后，重新对所述目标链接重新进行数据爬取，对同一个目标链接重新进行数据爬取的次数设置有上限，避免资源一直被占用导致被占用的资源无法被释放。若所述重新爬取结果异常且所述操作次数大于预设操作次数阈值，可能当前使用的代理网际互连协议的地址被屏蔽了，可以切换其他的代理网际互连协议进行重试。提高了数据爬取的成功率。
可选的，若所述重试爬取结果异常，可以在一定的操作次数范围内继续使用所述重试代理网际互连协议，对所述目标链接进行数据爬取。可以根据预设的规则再次更换代理网际互连协议，也可以生成告警信息，并将告警信息发送至预设终端。
作为一种可选的实施方式，所述方法还包括：
统计每个代理网际互连协议在第二预设时间范围内对应的数据爬取的异常次数；
若所述异常次数大于预设异常次数阈值，生成告警信息；
将所述告警信息发送至预设终端。
在该可选的实施方式中，可以对每个代理网际互连协议在预设时间范围内(比如一天内)对应的数据爬取的异常次数，若所述异常次数大于预设异常次数阈值，所述代理网际互连协议的代理服务器可能出问题，可以生成告警信息，并将所述告警信息发送至预设终端，以提示相关人员进行异常排查，及时解决数据爬取异常的问题。
需要强调的是，为进一步保证上述目标数据的私密和安全性，上述目标数据还可以存储于一区块链的节点中。
在图1所描述的方法流程中，能够根据预设调度规则，获取多个待爬取链接，避免了单个服务器负载过大而导致的数据爬取的效率低，同时，能够根据所述待爬取链接的类型选择代理网际互连协议，降低同一个代理网际互连协议访问同一类型链接的频率，降低被网站禁止访问的概率，提高了数据爬取的成功率。最后，使用预设的配置规则，对所述数据爬取结果中的数据进行解析，获得目标数据，提高了数据爬取的效率。
请参见图2，图2是本发明公开的一种数据爬取装置的较佳实施例的功能模块图。
在一些实施例中，所述数据爬取装置运行于服务器中。所述数据爬取装置可以包括多个由程序代码段所组成的功能模块。所述数据爬取装置中的各个程序段的程序代码可以存储于存储器中，并由至少一个处理器所执行，以执行图1所描述的数据爬取方法中的部分或全部步骤。
本实施例中，所述数据爬取装置根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：获取模块201、确定模块202、爬取模块203、及解析模块204。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。
获取模块201，用于根据预设调度规则，获取多个待爬取链接。
其中，所述预设调度规则可以是预先设置好的任务分发算法，用于实现各个设备负载均衡。
确定模块202，用于确定每个所述待爬取链接的类型。
本发明实施例中，可以通过每个所述待爬取链接的域名来划分每个待爬取链接的类型，比如“https://www.zhihu.com/topic/19577498/hot”的类型是“zhihu”、“https://baike.baidu.com/item/词条”的类型是“baike.baidu”。每个所述待爬取链接都会含有域名，可以直接用来确定每个所述待爬取链接的类型。
其中，域名可以是由一串用点分隔的名字组成的Internet(因特网)上某一台计算机或计算机组的名称，比如“https://baidu.com”，域名和IP地址通过网域名称系统(DNS，Domain Name System)实现相互映射，通过域名，可以和IP地址一样，访问到对应的网页。
其中，所述网域名称系统域名系统(Domain Name System,DNS)是Internet上解决网上机器命名的一种系统，可以是将域名和IP地址相互映射的一个分布式数据库。
所述确定模块202，还用于根据所述类型，从预设的多个代理网际互连协议中确定目标代理网际互连协议。
其中，所述代理网际互连协议可以是指代理服务器上的网际互连协议(InternetProtocol，IP)。
其中，网际互连协议是TCP/IP体系中的网络层协议，是构成互联网的基础。网际互连协议位于TCP/IP模型的网络层(相当于OSI模型的网络层)，对上可载送传输层各种协议的信息，例如TCP(Transmission Control Protocol，传输控制协议)、UDP(User DatagramProtocol，用户数据报协议)等；对下可将网际互连协议信息包放到链路层，通过以太网、令牌环网络等各种技术来传送。
其中，不同的代理网际互连协议拥有不同的网际互连协议地址(InternetProtocol Address)，所述网际互连协议地址(即IP地址)是网际互连协议提供的一种统一的地址格式，为互联网上的每一个网络和每一台主机分配一个逻辑地址，IP地址是一个32位的二进制数，通常被分割为4个“8位二进制数”(也就是4个字节)。IP地址通常用“点分十进制”表示成(a.b.c.d)的形式，其中，a，b，c，d都是0～255之间的十进制整数。例：点分十进IP地址(100.4.5.6)，实际上是32位二进制数(01100100.00000100.00000101.00000110)。
爬取模块203，用于通过所述目标网际互连协议，对每个所述待爬取链接进行数据爬取，获得数据爬取结果。
本发明实施例中，可以通过所述目标网际互连协议，将对所述待爬取链接进行访问的访问请求的请求发起地址伪装成所述目标网际互连协议对应的IP地址，因为使用所述目标网际互连协议访问所述待爬取链接的访问时间讲个较长且访问次数较少，不容易被所述待爬取链接的反爬虫机制识别，提高了数据爬取的成功率。若通过所述目标网际互连协议成功地访问到所述待爬取链接对应的网页，可以通过预先设置的数据爬取规则，比如选取指定网页标签(比如图片标签<img>)的内容，也可以通过正则表达式过滤掉部分网页信息等。
其中，所述数据爬取结果可以是数据的集合(若成功访问了所述待爬取链接的网页，一般都可以获取数据)，表示所述数据爬取结果正常，所述数据爬取结果也可以是爬取错误等提示，表示所述数据爬取结果异常，数据爬取结果异常的原因可以包括但不限于网络波动、所述待爬取链接对应的网页提供方的服务器停止服务以及被禁止访问等。
解析模块204，用于若所述数据爬取结果正常，根据预设的配置规则，对所述数据爬取结果中的数据进行解析，获得目标数据。
本发明实施例中，所述数据爬取结果包括了一个链接对应的网页的所有数据，需要对这些数据进行解析，获取指定的数据内容(所述目标数据)，比如需要抓取企业信息,那么企业一般包括有企业名称、地址、电话、注册号、注册资本等等信息，针对这些内容，可以通过超文本标记语言提供的选择器或者其他语言提供的特定函数进行筛选、也可以使用提前封装好公共组件(比如日期格式转换的组件，提取特定字符的组件)等。通过获取预设的配置规则，确定解析时所使用的写好的脚本、公共组件等，可以快速获得目标数据。
作为一种可选的实施方式，所述确定模块202，还用于若所述数据爬取结果异常，将所述数据爬取结果对应的待爬取链接确定为目标链接；
所述爬取模块203，还用于按照预设时间间隔，对所述目标链接重新进行数据爬取，获得重新爬取结果；
所述确定模块202，还用于确定所述目标链接进行数据爬取的操作次数；
所述确定模块202，还用于若所述重新爬取结果异常且所述操作次数大于预设操作次数阈值，根据所述目标链接的类型，从除了所述目标代理网际互连协议之外的预设的多个代理网际互连协议中确定重试代理网际互连协议；
所述爬取模块203，还用于通过所述重试代理网际互连协议，对所述目标链接进行数据爬取，获得重试爬取结果。
在该可选的实施方式中，若所述数据爬取结果异常，可以将异常的所述数据爬取结果对应的待爬取链接确定为目标链接，可以在预设时间间隔(比如10秒)后，重新对所述目标链接重新进行数据爬取，对同一个目标链接重新进行数据爬取的次数设置有上限，避免资源一直被占用导致被占用的资源无法被释放。若所述重新爬取结果异常且所述操作次数大于预设操作次数阈值，可能当前使用的代理网际互连协议的地址被屏蔽了，可以切换其他的代理网际互连协议进行重试。提高了数据爬取的成功率。
可选的，若所述重试爬取结果异常，可以在一定的操作次数范围内继续使用所述重试代理网际互连协议，对所述目标链接进行数据爬取。可以根据预设的规则再次更换代理网际互连协议，也可以生成告警信息，并将告警信息发送至预设终端。
作为一种可选的实施方式，所述确定模块202，还用于所述爬取模块203通过所述目标网际互连协议，对每个所述待爬取链接进行数据爬取，获得数据爬取结果之后，若所述数据爬取结果正常，将所述数据爬取结果对应的待爬取链接确定为已爬取链接；
所述数据爬取装置还包括：
生成模块，用于生成与所述已爬取链接对应的唯一标识；
存储模块，用于将所述唯一标识存储至布隆过滤器中，或将所述唯一标识存储至预设数据库中。
其中，所述布隆过滤器是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中，空间效率和查询时间都比一般的算法要好的多，在大量的链接需要进行查询的情况下，能够更加快速地进行查询。
在该可选的实施方式中，若所述数据爬取结果正常，将所述数据爬取结果对应的待爬取链接确定为已爬取链接，已爬取链接的数据是已经被获取到了的，可以生成与所述已爬取链接对应的唯一标识，所述唯一标识用于指示一个待爬取链接已经被爬取数据。保存所述唯一标识，可以用来查询某个链接是否已经被爬取了数据，避免重复爬取，提高数据爬取效率。可以根据具体要求对所述唯一标识进行保存，若可以接受所述布隆过滤器的低错误率，可以将所述唯一标识存储至所述布隆过滤器中，数据存储占用空间小。若对识别某个链接是否被爬取数据的准确率要求比较高，可以将所述唯一标识存储至所述预设数据库中，虽然存储占用的空间比所述布隆存储器要大，但在数据库中进行查询的准确率高。
作为一种可选的实施方式，所述数据爬取装置还包括：
查询模块，用于若所述对每个所述待爬取链接进行数据爬取的过程发生了中断，查询每个所述待爬取链接的唯一标识；
所述确定模块202，还用于将不存在唯一标识的待爬取链接确定为未爬取链接；
所述爬取模块203，还用于对所述未爬取链接继续进行数据爬取。
在该可选的实施方式中，如果发生了网络波动，服务器宕机等情况，这会导致数据爬取的过程发生中断，为了避免对已经爬取了数据的链接重复进行数据爬取，可以查询每个所述待爬取链接的唯一标识，不存在唯一标识的待爬取链接可能是还没有进行数据爬取或数据爬取失败的链接，需要继续进行数据爬取，将不存在唯一标识的待爬取链接确定为未爬取链接，可以对所述未爬取链接继续进行数据爬取。
作为一种可选的实施方式，所述根据所述类型，从预设的多个代理网际互连协议中确定目标代理网际互连协议的方式具体为：
获取每个所述代理网际协议在第一预设时间范围内访问所述类型的链接的访问次数以及获取每个所述代理网际协议的上一次访问所述类型的链接的时间间隔；
根据预设权重、所述访问次数以及所述时间间隔，从预设的多个代理网际互连协议中确定目标代理网际互连协议。
本发明实施例中，可以获取每个所述代理网际协议(代理IP)在预设时间范围内(比如一天内)访问所述类型的链接的访问次数以及获取每个所述代理网际协议的上一次访问所述类型的链接的时间间隔，通过预设权重进行计算，可以从所述多个代理网际互连协议中确定访问与所述待爬取链接同类型的网站的次数较少，且访问时间间隔较大的代理网际互连协议(即所述目标代理网际互连协议)，使用所述目标代理网际互连协议访问所述待爬取链接的风险最低。使用同一个代理网际互连协议频繁地访问同一类型的网站，很有可能会被网站禁止访问。为了避免这种禁止访问的情况，确保网站数据能够被顺利爬取，可以使用不同的代理网际互连协议去访问同一类型的网站，降低使用同一个代理网际互连协议访问同一类型的网站的访问频率。
作为一种可选的实施方式，所述根据预设调度规则，获取多个待爬取链接的方式具体为：
确定当前负载；
从待爬取队列中获取与所述当前负载对应数量的待爬取链接。
其中，所述待爬取链接是一个网页链接，通过该网页链接，可以访问到对应的网页，可以预先收集需要进行数据爬取的网页链接，还没有进行数据爬取(等待执行数据爬取操作)的网页链接就是所述待爬取链接。
在该可选的实施方式中，在涉及对大量待爬取链接进行爬取的情况下，往往会使用多个服务器进行处理，每个服务器处理一定数量的待爬取链接。可以预先设置调度规则，比如根据每个服务器的当前负载情况(比如正在处理的待爬取链接的数量)进行分配，使得各个服务器负载均衡。
作为一种可选的实施方式，所述数据爬取装置还包括：
统计模块，用于统计每个代理网际互连协议在第二预设时间范围内对应的数据爬取的异常次数；
生成模块，用于若所述异常次数大于预设异常次数阈值，生成告警信息；
发送模块，用于将所述告警信息发送至预设终端。
在该可选的实施方式中，可以对每个代理网际互连协议在预设时间范围内(比如一天内)对应的数据爬取的异常次数，若所述异常次数大于预设异常次数阈值，所述代理网际互连协议的代理服务器可能出问题，可以生成告警信息，并将所述告警信息发送至预设终端，以提示相关人员进行异常排查，及时解决数据爬取异常的问题。
在图2所描述的数据爬取装置中，能够根据预设调度规则，获取多个待爬取链接，避免了单个服务器负载过大而导致的数据爬取的效率低，同时，能够根据所述待爬取链接的类型选择代理网际互连协议，降低同一个代理网际互连协议访问同一类型链接的频率，降低被网站禁止访问的概率，提高了数据爬取的成功率。最后，使用预设的配置规则，对所述数据爬取结果中的数据进行解析，获得目标数据，提高了数据爬取的效率。
需要强调的是，为进一步保证上述目标数据的私密和安全性，上述目标数据还可以存储于一区块链的节点中。
如图3所示，图3是本发明实现数据爬取方法的较佳实施例的服务器的结构示意图。所述服务器3包括存储器31、至少一个处理器32、存储在所述存储器31中并可在所述至少一个处理器32上运行的计算机程序33及至少一条通讯总线34。
本领域技术人员可以理解，图3所示的示意图仅仅是所述服务器3的示例，并不构成对所述服务器3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述服务器3还可以包括输入输出设备、网络接入设备等。
所述服务器3还包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、游戏机、交互式网络电视(InternetProtocol Television，IPTV)、智能式穿戴式设备等。所述服务器3所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。
所述至少一个处理器32可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、分立硬件组件等。该处理器32可以是微处理器或者该处理器32也可以是任何常规的处理器等，所述处理器32是所述服务器3的控制中心，利用各种接口和线路连接整个服务器3的各个部分。
所述存储器31可用于存储所述计算机程序33和/或模块/单元，所述处理器32通过运行或执行存储在所述存储器31内的计算机程序和/或模块/单元，以及调用存储在存储器31内的数据，实现所述服务器3的各种功能。所述存储器31可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器3的使用所创建的数据等。此外，存储器31可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart MediaCard，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件等。
结合图1，所述服务器3中的所述存储器31存储多个指令以实现一种数据爬取方法，所述处理器32可执行所述多个指令从而实现：
根据预设调度规则，获取多个待爬取链接；
确定每个所述待爬取链接的类型；
根据所述类型，从预设的多个代理网际互连协议中确定目标代理网际互连协议；
通过所述目标网际互连协议，对每个所述待爬取链接进行数据爬取，获得数据爬取结果；
若所述数据爬取结果正常，根据预设的配置规则，对所述数据爬取结果中的数据进行解析，获得目标数据。
具体地，所述处理器32对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
在图3所描述的服务器3中，能够根据预设调度规则，获取多个待爬取链接，避免了单个服务器负载过大而导致的数据爬取的效率低，同时，能够根据所述待爬取链接的类型选择代理网际互连协议，降低同一个代理网际互连协议访问同一类型链接的频率，降低被网站禁止访问的概率，提高了数据爬取的成功率。最后，使用预设的配置规则，对所述数据爬取结果中的数据进行解析，获得目标数据，提高了数据爬取的效率。
所述服务器3集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
进一步地，所述计算机可用存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种数据爬取方法，其特征在于，所述数据爬取方法包括：
根据预设调度规则，获取多个待爬取链接；
确定每个所述待爬取链接的类型；
根据所述类型，从预设的多个代理网际互连协议中确定目标代理网际互连协议；
通过所述目标网际互连协议，对每个所述待爬取链接进行数据爬取，获得数据爬取结果；
若所述数据爬取结果正常，根据预设的配置规则，对所述数据爬取结果中的数据进行解析，获得目标数据。
2.根据权利要求1所述的数据爬取方法，其特征在于，所述数据爬取方法还包括：
若所述数据爬取结果异常，将所述数据爬取结果对应的待爬取链接确定为目标链接；
按照预设时间间隔，对所述目标链接重新进行数据爬取，获得重新爬取结果；
确定所述目标链接进行数据爬取的操作次数；
若所述重新爬取结果异常且所述操作次数大于预设操作次数阈值，根据所述目标链接的类型，从除了所述目标代理网际互连协议之外的预设的多个代理网际互连协议中确定重试代理网际互连协议；
通过所述重试代理网际互连协议，对所述目标链接进行数据爬取，获得重试爬取结果。
3.根据权利要求1所述的数据爬取方法，其特征在于，所述通过所述目标网际互连协议，对每个所述待爬取链接进行数据爬取，获得数据爬取结果之后，所述数据爬取方法还包括：
若所述数据爬取结果正常，将所述数据爬取结果对应的待爬取链接确定为已爬取链接；
生成与所述已爬取链接对应的唯一标识；
将所述唯一标识存储至布隆过滤器中，或将所述唯一标识存储至预设数据库中。
4.根据权利要求3所述的数据爬取方法，其特征在于，所述数据爬取方法还包括：
若所述对每个所述待爬取链接进行数据爬取的过程发生了中断，查询每个所述待爬取链接的唯一标识；
将不存在唯一标识的待爬取链接确定为未爬取链接；
对所述未爬取链接继续进行数据爬取。
5.根据权利要求1至4中任一项所述的数据爬取方法，其特征在于，所述根据所述类型，从预设的多个代理网际互连协议中确定目标代理网际互连协议包括：
获取每个所述代理网际协议在第一预设时间范围内访问所述类型的链接的访问次数以及获取每个所述代理网际协议的上一次访问所述类型的链接的时间间隔；
根据预设权重、所述访问次数以及所述时间间隔，从预设的多个代理网际互连协议中确定目标代理网际互连协议。
6.根据权利要求1至4中任一项所述的数据爬取方法，其特征在于，所述根据预设调度规则，获取多个待爬取链接包括：
确定当前负载；
从待爬取队列中获取与所述当前负载对应数量的待爬取链接。
7.根据权利要求1至4中任一项所述的数据爬取方法，其特征在于，所述数据爬取方法还包括：
统计每个代理网际互连协议在第二预设时间范围内对应的数据爬取的异常次数；
若所述异常次数大于预设异常次数阈值，生成告警信息；
将所述告警信息发送至预设终端。
8.一种数据爬取装置，其特征在于，所述数据爬取装置包括：
获取模块，用于根据预设调度规则，获取多个待爬取链接；
确定模块，用于确定每个所述待爬取链接的类型；
所述确定模块，还用于根据所述类型，从预设的多个代理网际互连协议中确定目标代理网际互连协议；
爬取模块，用于通过所述目标网际互连协议，对每个所述待爬取链接进行数据爬取，获得数据爬取结果；
解析模块，用于若所述数据爬取结果正常，根据预设的配置规则，对所述数据爬取结果中的数据进行解析，获得目标数据。
9.一种服务器，其特征在于，所述服务器包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1至7中任意一项所述的数据爬取方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现如权利要求1至7中任意一项所述的数据爬取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010610746.XA CN111753162A (zh) | 2020-06-29 | 2020-06-29 | 数据爬取方法、装置、服务器及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010610746.XA CN111753162A (zh) | 2020-06-29 | 2020-06-29 | 数据爬取方法、装置、服务器及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111753162A true CN111753162A (zh) | 2020-10-09 |
Family
ID=72678268
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010610746.XA Pending CN111753162A (zh) | 2020-06-29 | 2020-06-29 | 数据爬取方法、装置、服务器及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111753162A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113225308A (zh) * | 2021-03-19 | 2021-08-06 | 深圳市网心科技有限公司 | 网络访问的控制方法、节点设备及服务器 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7831609B1 (en) * | 2009-08-25 | 2010-11-09 | Vizibility Inc. | System and method for searching, formulating, distributing and monitoring usage of predefined internet search queries |
| US20110276716A1 (en) * | 2010-05-06 | 2011-11-10 | Desvio, Inc. | Method and system for monitoring and redirecting http requests away from unintended web sites |
| CN102591992A (zh) * | 2012-02-15 | 2012-07-18 | 苏州亚新丰信息技术有限公司 | 基于垂直搜索和聚焦爬虫技术的网页分类识别系统及方法 |
| CN107092826A (zh) * | 2017-03-24 | 2017-08-25 | 北京国舜科技股份有限公司 | 网页内容安全实时监测方法 |
| CN108345642A (zh) * | 2018-01-12 | 2018-07-31 | 深圳壹账通智能科技有限公司 | 采用代理ip爬取网站数据的方法、存储介质和服务器 |
| CN109033195A (zh) * | 2018-06-28 | 2018-12-18 | 上海盛付通电子支付服务有限公司 | 网页信息的获取方法、获取设备及计算机可读介质 |
| CN109145179A (zh) * | 2017-07-26 | 2019-01-04 | 北京数安鑫云信息技术有限公司 | 一种爬虫行为检测方法及装置 |
| CN109670101A (zh) * | 2018-12-28 | 2019-04-23 | 北京奇安信科技有限公司 | 爬虫调度方法、装置、电子设备及存储介质 |
| CN109829094A (zh) * | 2019-01-23 | 2019-05-31 | 钟祥博谦信息科技有限公司 | 分布式爬虫系统 |
| CN109948026A (zh) * | 2019-03-28 | 2019-06-28 | 深信服科技股份有限公司 | 一种网页数据爬取方法、装置、设备及介质 |
| CN110020043A (zh) * | 2017-09-05 | 2019-07-16 | 北京国双科技有限公司 | 页面爬取方法、装置、存储介质及处理器 |
| CN110020046A (zh) * | 2017-10-20 | 2019-07-16 | 中移(苏州)软件技术有限公司 | 一种数据抓取方法及装置 |
| CN110399546A (zh) * | 2019-07-23 | 2019-11-01 | 中南民族大学 | 基于网络爬虫的链接去重方法、装置、设备及存储介质 |
| CN110413861A (zh) * | 2019-07-23 | 2019-11-05 | 中南民族大学 | 基于网络爬虫的链接提取方法、装置、设备及存储介质 |
| CN110677510A (zh) * | 2019-09-11 | 2020-01-10 | 苏州朗动网络科技有限公司 | Ip代理池的管理方法、设备和存储介质 |
-
2020
- 2020-06-29 CN CN202010610746.XA patent/CN111753162A/zh active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7831609B1 (en) * | 2009-08-25 | 2010-11-09 | Vizibility Inc. | System and method for searching, formulating, distributing and monitoring usage of predefined internet search queries |
| US20110276716A1 (en) * | 2010-05-06 | 2011-11-10 | Desvio, Inc. | Method and system for monitoring and redirecting http requests away from unintended web sites |
| CN102591992A (zh) * | 2012-02-15 | 2012-07-18 | 苏州亚新丰信息技术有限公司 | 基于垂直搜索和聚焦爬虫技术的网页分类识别系统及方法 |
| CN107092826A (zh) * | 2017-03-24 | 2017-08-25 | 北京国舜科技股份有限公司 | 网页内容安全实时监测方法 |
| CN109145179A (zh) * | 2017-07-26 | 2019-01-04 | 北京数安鑫云信息技术有限公司 | 一种爬虫行为检测方法及装置 |
| CN110020043A (zh) * | 2017-09-05 | 2019-07-16 | 北京国双科技有限公司 | 页面爬取方法、装置、存储介质及处理器 |
| CN110020046A (zh) * | 2017-10-20 | 2019-07-16 | 中移(苏州)软件技术有限公司 | 一种数据抓取方法及装置 |
| CN108345642A (zh) * | 2018-01-12 | 2018-07-31 | 深圳壹账通智能科技有限公司 | 采用代理ip爬取网站数据的方法、存储介质和服务器 |
| CN109033195A (zh) * | 2018-06-28 | 2018-12-18 | 上海盛付通电子支付服务有限公司 | 网页信息的获取方法、获取设备及计算机可读介质 |
| CN109670101A (zh) * | 2018-12-28 | 2019-04-23 | 北京奇安信科技有限公司 | 爬虫调度方法、装置、电子设备及存储介质 |
| CN109829094A (zh) * | 2019-01-23 | 2019-05-31 | 钟祥博谦信息科技有限公司 | 分布式爬虫系统 |
| CN109948026A (zh) * | 2019-03-28 | 2019-06-28 | 深信服科技股份有限公司 | 一种网页数据爬取方法、装置、设备及介质 |
| CN110399546A (zh) * | 2019-07-23 | 2019-11-01 | 中南民族大学 | 基于网络爬虫的链接去重方法、装置、设备及存储介质 |
| CN110413861A (zh) * | 2019-07-23 | 2019-11-05 | 中南民族大学 | 基于网络爬虫的链接提取方法、装置、设备及存储介质 |
| CN110677510A (zh) * | 2019-09-11 | 2020-01-10 | 苏州朗动网络科技有限公司 | Ip代理池的管理方法、设备和存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113225308A (zh) * | 2021-03-19 | 2021-08-06 | 深圳市网心科技有限公司 | 网络访问的控制方法、节点设备及服务器 |
| CN113225308B (zh) * | 2021-03-19 | 2022-11-08 | 深圳市网心科技有限公司 | 网络访问的控制方法、节点设备及服务器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107733972A (zh) | 一种短链接解析方法、装置及设备 | |
| WO2021217863A1 (zh) | 订单标识生成方法、装置、服务器及存储介质 | |
| CN111736775A (zh) | 多源存储方法、装置、计算机系统及存储介质 | |
| CN113452780B (zh) | 针对客户端的访问请求处理方法、装置、设备及介质 | |
| US11546380B2 (en) | System and method for creation and implementation of data processing workflows using a distributed computational graph | |
| CN109359250A (zh) | 统一资源定位符处理方法、装置、服务器及可读存储介质 | |
| CN114650187B (zh) | 一种异常访问检测方法、装置、电子设备及存储介质 | |
| JP6294847B2 (ja) | ログ管理制御システムおよびログ管理制御方法 | |
| US8301837B1 (en) | Methods for providing a response and systems thereof | |
| US10897483B2 (en) | Intrusion detection system for automated determination of IP addresses | |
| CN114844792A (zh) | 基于lua语言的动态监控方法、装置、设备及存储介质 | |
| CN110572402A (zh) | 基于网络访问行为分析的互联网托管网站检测方法、系统和可读存储介质 | |
| CN111753162A (zh) | 数据爬取方法、装置、服务器及存储介质 | |
| CN111899018B (zh) | 订单数据处理方法、装置、服务器及存储介质 | |
| CN111857781B (zh) | 资源更新方法及相关设备 | |
| CN109032693A (zh) | 一种加载展示信息方法、装置、电子设备及可读存储介质 | |
| CN112711696A (zh) | 请求访问方法、装置、电子设备及存储介质 | |
| CN112134968A (zh) | 域名访问方法、装置、电子设备及存储介质 | |
| CN111935210A (zh) | 数据服务方法、装置、服务器及存储介质 | |
| CN115051863B (zh) | 异常流量检测的方法、装置、电子设备及可读存储介质 | |
| US9348923B2 (en) | Software asset management using a browser plug-in | |
| CN113726855B (zh) | 服务聚合方法、装置、电子设备以及计算机可读存储介质 | |
| CN112738175B (zh) | 请求处理方法及相关设备 | |
| CN112948733B (zh) | 接口维护方法、装置、计算设备以及介质 | |
| CN113014555B (zh) | 一种攻击事件的确定方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210202 Address after: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.) Applicant after: Shenzhen saiante Technology Service Co.,Ltd. Address before: 1-34 / F, Qianhai free trade building, 3048 Xinghai Avenue, Mawan, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong 518000 Applicant before: Ping An International Smart City Technology Co.,Ltd. |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |