CN109413153A - 数据爬取方法、装置、计算机设备和存储介质 - Google Patents

数据爬取方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN109413153A
CN109413153A CN201811118100.9A CN201811118100A CN109413153A CN 109413153 A CN109413153 A CN 109413153A CN 201811118100 A CN201811118100 A CN 201811118100A CN 109413153 A CN109413153 A CN 109413153A
Authority
CN
China
Prior art keywords
address
valid
user agent
value
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811118100.9A
Other languages
English (en)
Other versions
CN109413153B (zh
Inventor
李晨光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
Original Assignee
OneConnect Smart Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Smart Technology Co Ltd filed Critical OneConnect Smart Technology Co Ltd
Priority to CN201811118100.9A priority Critical patent/CN109413153B/zh
Publication of CN109413153A publication Critical patent/CN109413153A/zh
Application granted granted Critical
Publication of CN109413153B publication Critical patent/CN109413153B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/45—Network directories; Name-to-address mapping
    • H04L61/4594—Address books, i.e. directories containing contact information about correspondents
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/58—Caching of addresses or names
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请涉及一种基于数据资源的数据爬取方法、装置、计算机设备和存储介质。所述方法包括：接收数据爬取请求，并根据数据爬取请求获取正常访问的用户代理的参数值，将网络爬虫的用户代理的取值设置为参数值，获得可用网络爬虫，利用可用网络爬虫，在预设时间内抓取代理网站上的有效IP地址，利用代理缓存服务器绑定多个有效IP地址，并根据多个有效IP地址生成代理IP地址表，利用可用网络爬虫，连接代理缓存服务器对应的多个有效IP地址，进行数据爬取。采用本方法有利于通过网站对于网络爬虫的属性检测，减少被拦截情况，并及时更换网络爬虫使用的IP地址，保证网络爬虫可使用有效地址，实现数据爬取操作。

Description

数据爬取方法、装置、计算机设备和存储介质
技术领域
本申请涉及互联网技术领域，特别是涉及一种数据爬取方法、装置、计算机设备和存储介质。
背景技术
网络爬虫是一种用于自动从网站获取数据的工具，对于网站而言，网络爬虫的数据获取会和真实用户的访问一样带来网站资源的消耗，对于某些数据抓取量大的网络爬虫，其资源消耗甚至远大于正常的用户访问。因此，对于许多网站的设计，一般会采取网站的反爬虫策略，包括对疑似为网络爬虫的访问进行速度限制，通过验证码等方式验证身份，甚至屏蔽某些IP地址的访问，这些策略都会对网络爬虫的数据爬取带来问题。
传统的应对网站反爬虫策略的方法，当对于限制爬虫速度的网站，可通过降低对网站的访问频率来进行数据爬取，而当网络爬虫的IP地址被某些网站屏蔽时，需要重新为网络爬虫设置新的IP地址，但仍无法保证新设置的IP地址的使用期限，仍会出现新设置的IP地址被屏蔽的情形，因此需要为网络爬虫提供有效以及可长期使用的IP地址。
发明内容
基于此，有必要针对网路爬虫IP地址被屏蔽导致无法及时获取数据的问题，提供一种能为网络爬虫提供有效IP地址的数据爬取方法、装置、计算机设备和存储介质。
一种数据爬取方法，所述方法包括：
接收数据爬取请求，并根据所述数据爬取请求获取正常访问的用户代理的参数值；
将网络爬虫的用户代理的取值设置为所述参数值，获得可用网络爬虫；
利用所述可用网络爬虫，在预设时间内抓取代理网站上的有效IP地址；
利用代理缓存服务器绑定多个所述有效IP地址，并根据多个所述有效IP地址生成代理IP地址表；
利用所述可用网络爬虫，连接代理缓存服务器对应的多个有效IP地址，进行数据爬取。
在其中一个实施例中，所述利用所述可用网络爬虫，在预设时间内抓取代理网站上的有效IP地址，包括：
获取预设的抓取周期；
根据所述预设的抓取周期，在预设的时间内利用可用网络爬虫访问所述代理网站；
获取所述代理网站上的多个已有IP地址；
获取预设规则包括的类别设定和范围设定；
根据所述类别设定和所述范围设定对多个所述已有IP地址进行有效性检测；
当通过所述有效性检测时，表示对应的已有IP地址为有效IP地址。
在其中一个实施例中，所述方法还包括：
根据多个所述已有IP地址生成原始表；
根据所述数据爬取请求创建新表；
循环读取所述原始表中的取值，并利用预设规则对所述原始表中的取值进行有效性判断；
当判断所述原始表中的取值为有效取值时，将原始表中的有效取值插入所述新表中，生成有效IP地址表；
删除所述原始表中的有效取值；
从所述新表中获取有效IP地址。
在其中一个实施例中，所述根据多个所述有效IP地址生成代理IP地址表之后，还包括：
获取所述代理缓存服务器中的参数机制；
根据所述参数机制，将所述有效IP地址按照预设格式写入对应的配置文件中；
重新加载所述代理缓存服务器对应的配置文件；
刷新所述代理缓存服务器对应的代理IP地址表，获取更新后的有效IP地址。
在其中一个实施例中，所述在获取正常访问的用户代理的参数值之前，包括：
获取预设规则；
获取HTTP请求头的多个属性以及多个属性对应的参数值；
根据所述预设规则对多个所述参数值进行设置，构建符合预设规则的HTTP请求头；
利用所述HTTP请求头访问正常访问的用户代理。
在其中一个实施例中，所述方法还包括：
获取预设规则包括的预设用户代理属性规则，以及对应的预设用户代理属性取值；
获取所述HTTP请求头的用户代理属性，以及所述用户代理属性对应的参数值；
将所述预设用户代理属性取值，与所述用户代理属性对应的参数值进行比对；
当所述用户代理属性对应的参数值，符合所述预设用户代理属性取值时，表示所述HTTP请求头符合所述预设规则。
一种数据爬取装置，所述装置包括：
参数值获取模块，用于接收数据爬取请求，并根据所述数据爬取请求获取正常访问的用户代理的参数值；
可用网络爬虫获取模块，用于将网络爬虫的用户代理的取值设置为所述参数值，获得可用网络爬虫；
有效IP地址获取模块，利用所述可用网络爬虫，在预设时间内抓取代理网站上的有效IP地址；
代理IP地址表生成模块，用于利用代理缓存服务器绑定多个所述有效IP地址，并根据多个所述有效IP地址生成代理IP地址表；
数据爬取模块，用于利用所述可用网络爬虫，连接代理缓存服务器对应的多个有效IP地址，进行数据爬取。
在其中一个实施例中，所述有效IP地址获取模块还用于：
获取预设的抓取周期；根据所述预设的抓取周期，在预设的时间内利用可用网络爬虫访问所述代理网站；获取所述代理网站上的多个已有IP地址；获取预设规则包括的类别设定和范围设定；根据所述类别设定和所述范围设定对多个所述已有IP地址进行有效性检测；当通过所述有效性检测时，表示对应的已有IP地址为有效IP地址。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
接收数据爬取请求，并根据所述数据爬取请求获取正常访问的用户代理的参数值；
将网络爬虫的用户代理的取值设置为所述参数值，获得可用网络爬虫；
利用所述可用网络爬虫，在预设时间内抓取代理网站上的有效IP地址；
利用代理缓存服务器绑定多个所述有效IP地址，并根据多个所述有效IP地址生成代理IP地址表；
利用所述可用网络爬虫，连接代理缓存服务器对应的多个代理IP地址，进行数据爬取。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
接收数据爬取请求，并根据所述数据爬取请求获取正常访问的用户代理的参数值；
将网络爬虫的用户代理的取值设置为所述参数值，获得可用网络爬虫；
利用所述可用网络爬虫，在预设时间内抓取代理网站上的有效IP地址；
利用代理缓存服务器绑定多个所述有效IP地址，并根据多个所述有效IP地址生成代理IP地址表；
利用所述可用网络爬虫，连接代理缓存服务器对应的多个有效IP地址，进行数据爬取。
上述数据爬取方法、装置、计算机设备和存储介质，服务器通过接收数据爬取请求，并根据数据爬取请求获取正常访问的用户代理的参数值，将网络爬虫的用户代理的取值设置为参数值，获得可用网络爬虫，有利于通过网站对于网络爬虫的属性检测，减少被拦截情况。利用可用网络爬虫，在预设时间内抓取代理网站上的有效IP地址，利用代理缓存服务器绑定多个有效IP地址，并根据多个有效IP地址生成代理IP地址表，利用可用网络爬虫，连接代理缓存服务器对应的多个有效IP地址，进行数据爬取，可及时更换网络爬虫使用的IP地址，保证网络爬虫可使用有效地址，实现数据爬取操作。
附图说明
图1为一个实施例中数据爬取方法的应用场景图；
图2为一个实施例中数据爬取方法的流程示意图；
图3为另一个实施例中数据爬取方法的流程示意图；
图4为一个实施例中数据爬取装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的数据爬取方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。服务器104接收终端102发送的数据爬取请求，并根据数据爬取请求获取正常访问的用户代理的参数值，将网络爬虫的用户代理的取值设置为参数值，获得可用网络爬虫，利用可用网络爬虫，在预设时间内抓取代理网站上的有效IP地址，利用代理缓存服务器绑定多个有效IP地址，并根据多个有效IP地址生成代理IP地址表，利用可用网络爬虫，连接代理缓存服务器对应的多个有效IP地址，进行数据爬取。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种数据爬取方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
S202，服务器接收终端发送的数据爬取请求，并根据数据爬取请求获取正常访问的用户代理的参数值。
具体地，数据爬取请求由终端发送至服务器，用于使得服务器执行数据爬取操作，在本实施例中，服务器根据数据爬取请求获取正常访问的用户代理的参数值，即正常用户，非爬虫程序，访问云平台时，用户代理的参数值。S204，服务器将网络爬虫的用户代理的取值设置为参数值，获得可用网络爬虫。
具体地，服务器根据终端发送的数据爬取请求，获取正常访问云平台的用户代理的参数值，一般正常用户访问网站的User-Agent:Mozilla/5.0(IP地址hone；CPU IP地址hone OS 712like Mac OS X)App leWebKit/537.51.2(KHTML,like Gecko)Version/7.0Mobile/11D257Safari/9537.53。服务器可将网络爬虫对应的用户代理的取值，设置为所获取的正常访问云平的用户代理的参数值，生成可用网络爬虫，该可用网络爬虫可应对一般云平台的反爬虫策略，通过平台对于访问网络爬虫的属性检测。
进一步地，以将本申请的数据爬取方法应用至二手车网站为例，服务器通过将网络爬虫的用户代理的取值，设置成与正常用户访问二手车交易网站的用户代理参数。其中，正常用户包括二手车买方和二手车卖方，二手车交易网站包括瓜子二手车、优信二手车以及人人车等网站，服务器可将网络爬虫的用户代理取值，设置成二手车买方访问该二手车交易网站时的用户代理参数，或设置成二手车卖方访问该二手车交易网站时的用户代理参数，可应对该二手车网站的反爬虫策略，避免将访问账号封锁。
服务器通过将网络爬虫的用户代理值，设置成与正常用户访问二手车交易网站的用户代理参数后，可以正常用户的身份获取二手车网站上二手车的信息。
S206，服务器利用可用网络爬虫，在预设时间内抓取代理网站上的有效IP地址。
具体地，服务器利用可用爬虫网络，通过代理网站上的属性检测，并预设抓取周期，在预设的抓取周期内利用可用网络爬虫访问代理网站，获取代理网站上的多个已有IP地址，获取预设规则包括的类别设定和范围设定，根据类别设定和范围设定对多个已有IP地址进行有效性检测，当通过有效性检测时，表示对应的已有IP地址为有效IP地址。
S208，服务器利用代理缓存服务器绑定多个有效IP地址，并根据多个有效IP地址生成代理IP地址表。
具体地，服务器利用代理缓存服务器绑定所获得的多个有效IP地址，建立代理缓存服务器和有效IP地址之间的对应关系，并根据多个有效IP地址生成代理IP地址表，该代理IP地址表中的多个有效IP地址和代理缓存服务器之间存在对应关系。
其中，代理缓存服务器指的是Squid，其功能是代理网络用户去取得网络信息，通过接收用户的下载申请，自动处理所下载的数据。当用户想要下载一个主页时，可以向Squid发出一个申请，要Squid代替其进行下载，然后Squid连接所申请网站并请求该主页，接着把该主页传给用户同时保留一个备份，当别的用户申请同样的页面时，Squid把保存的备份立即传给用户，使用户觉得速度相当快。Squid可以代理HTTP、FTP、GOPHER、SSL和WAIS等协议并且Squid可以自动地进行处理，可以根据自己的需要设置Squid，使之过滤掉不需要的数据。
S210，服务器利用可用网络爬虫，连接代理缓存服务器对应的多个有效IP地址，进行数据爬取。
具体地，服务器利用代理缓存服务器和多个有效IP地址之间的对应关系，将可用网络爬虫与对应的有效IP地址连接，网络爬虫通过该有效IP地址进入云平台，进行数据爬取。
进一步地，服务器利用可用网络爬虫，连接代理缓存服务器对应的多个有效IP地址，以正常用户的身份访问二手车网站，获取二手车网站上二手车的信息，包括二手车技术状况鉴定、二手车估价、卖方定价以及车务手续、车辆保养维修手续、税费手续等。
上述数据爬取方法中，服务器通过接收数据爬取请求，并根据数据爬取请求获取正常访问的用户代理的参数值，将网络爬虫的用户代理的取值设置为参数值，获得可用网络爬虫，有利于通过网站对于网络爬虫的属性检测，减少被拦截情况。利用可用网络爬虫，在预设时间内抓取代理网站上的有效IP地址，利用代理缓存服务器绑定多个有效IP地址，并根据多个有效IP地址生成代理IP地址表，利用可用网络爬虫，连接代理缓存服务器对应的多个有效IP地址，进行数据爬取，可及时更换网络爬虫使用的IP地址，保证网络爬虫可使用有效地址，实现数据爬取操作。
在一个实施例中，提供了一种数据爬取方法，如图3所示，在根据多个有效IP地址生成代理IP地址表之后，还包括：
S302，服务器获取代理缓存服务器中的参数机制。
具体地，参数机制为代理缓存服务器Squid的cache_peer机制，命令cache_peer的定义格式如下：cache_peer hostname type 3128 3130
其中，hostname是用来指定获取缓冲的PROXY主机的名字；type是PROXY主机的类型，有PARENT以及SIBLING两种；3128：HTTP_PORT；3130:ICP_PORT。
S304，服务器根据参数机制，将有效IP地址按照预设格式写入对应的配置文件中。
S306，服务器重新加载代理缓存服务器对应的配置文件。
具体地，服务器获取代理缓存服务器Squid的cache_peer机制，并获取预设的cache_peer的定义格式，将有效IP地址按照预设的cache_peer的定义格式，写入代理缓存服务器对应的配置文件中，服务器重新加载代理缓存服务器对应的配置文件。其中，重新加载的配置文件包括，按照预设的cache_peer的定义格式写入配置文件的有效IP地址。
S308，服务器刷新代理缓存服务器对应的代理IP地址表，获取更新后的有效IP地址。
具体地，服务器刷新代理缓存服务器对应的代理IP地址表，通过从刷新后的代理IP地址表中，及时获得更新后的有效IP地址。
上述方法，服务器通过获取代理缓存服务器中的参数机制，并根据参数机制，将有效IP地址按照预设格式写入对应的配置文件中，重新加载代理缓存服务器对应的配置文件，刷新代理缓存服务器对应的代理IP地址表，获取更新后的有效IP地址。可及时更新代理IP地址表，同时获得更新后的有效IP地址，降低无效IP地址获取机率，提高有效IP地址获取效率。
在一个实施例中，提供了一种利用可用网络爬虫，在预设时间内抓取代理网站上的有效IP地址的步骤，包括：
服务器获取预设的抓取周期；根据预设的抓取周期，在预设的时间内利用可用网络爬虫访问代理网站；获取代理网站上的多个已有IP地址；获取预设规则包括的类别设定和范围设定；根据类别设定和范围设定对多个已有IP地址进行有效性检测；当通过有效性检测时，表示对应的已有IP地址为有效IP地址。
具体地，服务器通过建立网络与代理网站的连接，网络爬虫根据预设的抓取，定时从代理网站上抓取已有IP地址，其中，已有的IP地址包括有效的IP地址和无效的IP地址，还需进行进一步地有效性检测，可通过预设规则并结合curl命令测试该IP地址是否为有效的IP地址。
进一步地，预设规则包括IP地址的类别设定以及范围设定，服务器根据IP地址的类别和范围，结合curl命令对抓取的IP地址进行有效性检测。其中，可使用curl命令检测IP地址“48.139.133.93:3128”，得到http://www.163.com”,说明，所检测的IP地址为有效IP地址，可访问到与之对应的网站。
其中，服务器对已有IP地址进行有效性检测的同时，还包括获取该IP地址的响应时间，和最大使用次数，计算得到此IP地址的质量。
上述步骤，服务器通过获取预设规则包括的类别设定和范围设定，并根据类别设定和范围设定对多个已有IP地址进行有效性检测，当通过有效性检测时，表示对应的已有IP地址为有效IP地址。可根据预设规则对已有IP地址进行有效性检测，获得有效IP地址，降低获取到无效IP地址的概率，提高工作效率。
在一个实施例中，提供了一种利用可用网络爬虫，在预设时间内抓取代理网站上的有效IP地址的步骤，还包括：
服务器根据多个已有IP地址生成原始表；根据数据爬取请求创建新表；循环读取原始表中的取值，并利用预设规则对原始表中的取值进行有效性判断；当判断原始表中的取值为有效取值时，将原始表中的有效取值插入新表中，生成有效IP地址表；删除原始表中的有效取值；从新表中获取有效IP地址。
具体地，预设规则包括取值规则和分类规则，预设的取值规则包括每个IP地址的可取范围，分类规则包括不同IP地址所属的不同分类。服务器可根据预设的IP地址的可取范围，判断原始表中，属于不同分类的IP地址是否处于可取范围内，当原始表中不同分类的IP地址处于可取范围内时，则表示该IP地址为有效IP地址。
上述步骤，服务器根据多个已有IP地址生成原始表，根据数据爬取请求创建新表，当判断原始表中的取值为有效取值时，将原始表中的有效取值插入新表中，生成有效IP地址表，从新表中获取有效IP地址。可及时更新有效IP地址，降低无效IP地址出现概率，保证服务器可及时获取有效IP地址。
在一个实施例中，提供了一种数据爬取方法，在获取正常访问的用户代理的参数值之前，还包括：
服务器获取预设规则；获取HTTP请求头的多个属性以及多个属性对应的参数值；根据预设规则对多个参数值进行设置，构建符合预设规则的HTTP请求头；利用HTTP请求头访问正常访问的用户代理。
具体地，服务器对HTTP请求头的多个属性的参数值进行设置，具体包括对User-Agent，即用户代理进行设置，由于一般正常用户访问网站的User-Agent:Mozilla/5.0(IP地址hone；CPU IP地址hone OS 712like Mac OS X)App leWebKit/537.51.2(KHTML,likeGecko)Version/7.0Mobile/11D257Safari/9537.53。因此服务器可将HTTP请求头的用户代理取值设置为正常用户访问网站的取值，即可应对网站对于HTTP请求的属性检测。
进一步地，当所需要抓取数据的网站具备多个反爬虫策略时，服务器还需对HTTP请求头的其他属性的参数取值进行设置，包括对Accept-Language属性的处理，也就是浏览器所希望的语言种类，当服务器能够提供一种以上的语言版本时需要用到，可将请求头属性从Accept-Language:en-US修改成Accept-Language:fr，其中，Accept-Language:en-US表示英文，Accept-Language:fr表示法语。
上述方法，服务器根据预设规则对多个参数值进行设置，构建符合预设规则的HTTP请求头，并利用HTTP请求头访问正常访问的用户代理，可通过云平台的属性检测，避免出现无法应对云平台的发爬虫策略的问题。
在一个实施例中，提供了一种数据爬取方法，在获取正常访问的用户代理的参数值之前，还包括：
服务器获取预设规则包括的预设用户代理属性规则，以及对应的预设用户代理属性取值；获取HTTP请求头的用户代理属性，以及用户代理属性对应的参数值；将预设用户代理属性取值，与用户代理属性对应的参数值进行比对；当用户代理属性对应的参数值，符合预设用户代理属性取值时，表示HTTP请求头符合预设规则。
具体地，服务器对HTTP请求头的多个属性的参数值进行设置，具体包括对User-Agent，即用户代理进行设置，由于一般正常用户访问网站的User-Agent:Mozilla/5.0(IP地址hone；CPU IP地址hone OS 712like Mac OS X)App leWebKit/537.51.2(KHTML,likeGecko)Version/7.0Mobile/11D257 Safari/9537.53。因此可将正常用户访问网站的取值作为预设的用户代理属性取值，并将预设的用户代理属性取值，与用户代理属性对应的参数值进行比对，当用户代理属性对应的参数值，符合预设用户代理属性取值时，表示HTTP请求头符合预设规则。
上述方法，当服务器判断用户代理属性对应的参数值，符合预设用户代理属性取值时，表示HTTP请求头符合预设规则。表示对应HTTP请求头可通过云平台的属性检测，可提高网络爬虫对于云平台发爬虫策略的应对能力。
应该理解的是，虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图4所示，提供了一种数据爬取装置，包括：参数值获取模块402、可用网络爬虫获取模块404、有效IP地址获取模块406、代理IP地址表生成模块408以及数据爬取模块410，其中：
参数值获取模块402，用于接收数据爬取请求，并根据数据爬取请求获取正常访问的用户代理的参数值。
可用网络爬虫获取模块404，用于将网络爬虫的用户代理的取值设置为参数值，获得可用网络爬虫。
有效IP地址获取模块406，利用可用网络爬虫，在预设时间内抓取代理网站上的有效IP地址。
代理IP地址表生成模块408，用于利用代理缓存服务器绑定多个有效IP地址，并根据多个有效IP地址生成代理IP地址表。
数据爬取模块410，用于利用可用网络爬虫，连接代理缓存服务器对应的多个有效IP地址，进行数据爬取。
上述数据爬取装置，服务器通过接收数据爬取请求，并根据数据爬取请求获取正常访问的用户代理的参数值，将网络爬虫的用户代理的取值设置为参数值，获得可用网络爬虫，有利于通过网站对于网络爬虫的属性检测，减少被拦截情况。利用可用网络爬虫，在预设时间内抓取代理网站上的有效IP地址，利用代理缓存服务器绑定多个有效IP地址，并根据多个有效IP地址生成代理IP地址表，利用可用网络爬虫，连接代理缓存服务器对应的多个有效IP地址，进行数据爬取，可及时更换网络爬虫使用的IP地址，保证网络爬虫可使用有效地址，实现数据爬取操作。
在一个实施例中，提供了一种数据爬取装置，该装置还包括代理IP地址表更新模块，用于：
获取代理缓存服务器中的参数机制；根据参数机制，将有效IP地址按照预设格式写入对应的配置文件中；重新加载代理缓存服务器对应的配置文件；刷新代理缓存服务器对应的代理IP地址表，获取更新后的有效IP地址。
上述装置，服务器通过获取代理缓存服务器中的参数机制，并根据参数机制，将有效IP地址按照预设格式写入对应的配置文件中，重新加载代理缓存服务器对应的配置文件，刷新代理缓存服务器对应的代理IP地址表，获取更新后的有效IP地址。可及时更新代理IP地址表，同时获得更新后的有效IP地址，降低无效IP地址获取机率，提高有效IP地址获取效率。
在一个实施例中，提供了一种数据爬取装置，该装置还包括属性参数值设置模块，用于：
获取预设规则；获取HTTP请求头的多个属性以及多个属性对应的参数值；根据预设规则对多个参数值进行设置，构建符合预设规则的HTTP请求头；利用HTTP请求头访问正常访问的用户代理。
上述装置，服务器根据预设规则对多个参数值进行设置，构建符合预设规则的HTTP请求头，并利用HTTP请求头访问正常访问的用户代理，可通过云平台的属性检测，避免出现无法应对云平台的发爬虫策略的问题。
在一个实施例中，提供了一种数据爬取装置，其中，属性参数值设置模块还用于：
获取预设规则包括的预设用户代理属性规则，以及对应的预设用户代理属性取值；获取HTTP请求头的用户代理属性，以及用户代理属性对应的参数值；将预设用户代理属性取值，与用户代理属性对应的参数值进行比对；当用户代理属性对应的参数值，符合预设用户代理属性取值时，表示HTTP请求头符合预设规则。
上述装置，当服务器判断用户代理属性对应的参数值，符合预设用户代理属性取值时，表示HTTP请求头符合预设规则。表示对应HTTP请求头可通过云平台的属性检测，可提高网络爬虫对于云平台发爬虫策略的应对能力。
在一个实施例中，提供了一种数据爬取装置，其中，有效IP地址获取模块还用于：
获取预设的抓取周期；根据预设的抓取周期，在预设的时间内利用可用网络爬虫访问代理网站；获取代理网站上的多个已有IP地址；获取预设规则包括的类别设定和范围设定；根据类别设定和范围设定对多个已有IP地址进行有效性检测；当通过有效性检测时，表示对应的已有IP地址为有效IP地址。
上述装置，服务器通过获取预设规则包括的类别设定和范围设定，并根据类别设定和范围设定对多个已有IP地址进行有效性检测，当通过有效性检测时，表示对应的已有IP地址为有效IP地址。可根据预设规则对已有IP地址进行有效性检测，获得有效IP地址，降低获取到无效IP地址的概率，提高工作效率。
在一个实施例中，提供了一种数据爬取装置，其中，有效IP地址获取模块还用于：
根据多个已有IP地址生成原始表；根据数据爬取请求创建新表；循环读取原始表中的取值，并利用预设规则对原始表中的取值进行有效性判断；当判断原始表中的取值为有效取值时，将原始表中的有效取值插入新表中，生成有效IP地址表；删除原始表中的有效取值；从新表中获取有效IP地址。
上述装置，服务器根据多个已有IP地址生成原始表，根据数据爬取请求创建新表，当判断原始表中的取值为有效取值时，将原始表中的有效取值插入新表中，生成有效IP地址表，从新表中获取有效IP地址。可及时更新有效IP地址，降低无效IP地址出现概率，保证服务器可及时获取有效IP地址。
关于数据爬取装置的具体限定可以参见上文中对于数据爬取方法的限定，在此不再赘述。上述数据爬取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储网站数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据爬取方法。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
接收数据爬取请求，并根据数据爬取请求获取正常访问的用户代理的参数值；
将网络爬虫的用户代理的取值设置为参数值，获得可用网络爬虫；
利用可用网络爬虫，在预设时间内抓取代理网站上的有效IP地址；
利用代理缓存服务器绑定多个有效IP地址，并根据多个有效IP地址生成代理IP地址表；
利用可用网络爬虫，连接代理缓存服务器对应的多个有效IP地址，进行数据爬取。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取预设的抓取周期；
根据预设的抓取周期，在预设的时间内利用可用网络爬虫访问代理网站；
获取代理网站上的多个已有IP地址；
获取预设规则包括的类别设定和范围设定；
根据类别设定和范围设定对多个已有IP地址进行有效性检测；
当通过有效性检测时，表示对应的已有IP地址为有效IP地址。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据多个已有IP地址生成原始表；
根据数据爬取请求创建新表；
循环读取原始表中的取值，并利用预设规则对原始表中的取值进行有效性判断；
当判断原始表中的取值为有效取值时，将原始表中的有效取值插入新表中，生成有效IP地址表；
删除原始表中的有效取值；
从新表中获取有效IP地址。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取代理缓存服务器中的参数机制；
根据参数机制，将有效IP地址按照预设格式写入对应的配置文件中；
重新加载代理缓存服务器对应的配置文件；
刷新代理缓存服务器对应的代理IP地址表，获取更新后的有效IP地址。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取预设规则；
获取HTTP请求头的多个属性以及多个属性对应的参数值；
根据预设规则对多个参数值进行设置，构建符合预设规则的HTTP请求头；
利用HTTP请求头访问正常访问的用户代理。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取预设规则包括的预设用户代理属性规则，以及对应的预设用户代理属性取值；
获取HTTP请求头的用户代理属性，以及用户代理属性对应的参数值；
将预设用户代理属性取值，与用户代理属性对应的参数值进行比对；
当用户代理属性对应的参数值，符合预设用户代理属性取值时，表示HTTP请求头符合预设规则。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
接收数据爬取请求，并根据数据爬取请求获取正常访问的用户代理的参数值；
将网络爬虫的用户代理的取值设置为参数值，获得可用网络爬虫；
利用可用网络爬虫，在预设时间内抓取代理网站上的有效IP地址；
利用代理缓存服务器绑定多个有效IP地址，并根据多个有效IP地址生成代理IP地址表；
利用可用网络爬虫，连接代理缓存服务器对应的多个有效IP地址，进行数据爬取。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取预设的抓取周期；
根据预设的抓取周期，在预设的时间内利用可用网络爬虫访问代理网站；
获取代理网站上的多个已有IP地址；
获取预设规则包括的类别设定和范围设定；
根据类别设定和范围设定对多个已有IP地址进行有效性检测；
当通过有效性检测时，表示对应的已有IP地址为有效IP地址。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据多个已有IP地址生成原始表；
根据数据爬取请求创建新表；
循环读取原始表中的取值，并利用预设规则对原始表中的取值进行有效性判断；
当判断原始表中的取值为有效取值时，将原始表中的有效取值插入新表中，生成有效IP地址表；
删除原始表中的有效取值；
从新表中获取有效IP地址。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取代理缓存服务器中的参数机制；
根据参数机制，将有效IP地址按照预设格式写入对应的配置文件中；
重新加载代理缓存服务器对应的配置文件；
刷新代理缓存服务器对应的代理IP地址表，获取更新后的有效IP地址。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取预设规则；
获取HTTP请求头的多个属性以及多个属性对应的参数值；
根据预设规则对多个参数值进行设置，构建符合预设规则的HTTP请求头；
利用HTTP请求头访问正常访问的用户代理。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取预设规则包括的预设用户代理属性规则，以及对应的预设用户代理属性取值；
获取HTTP请求头的用户代理属性，以及用户代理属性对应的参数值；
将预设用户代理属性取值，与用户代理属性对应的参数值进行比对；
当用户代理属性对应的参数值，符合预设用户代理属性取值时，表示HTTP请求头符合预设规则。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据爬取方法，所述方法包括：
接收数据爬取请求，并根据所述数据爬取请求获取正常访问的用户代理的参数值；
将网络爬虫的用户代理的取值设置为所述参数值，获得可用网络爬虫；
利用所述可用网络爬虫，在预设时间内抓取代理网站上的有效IP地址；
利用代理缓存服务器绑定多个所述有效IP地址，并根据多个所述有效IP地址生成代理IP地址表；
利用所述可用网络爬虫，连接代理缓存服务器对应的多个有效IP地址，进行数据爬取。
2.根据权利要求1所述的方法，其特征在于，所述利用所述可用网络爬虫，在预设时间内抓取代理网站上的有效IP地址，包括：
获取预设的抓取周期；
根据所述预设的抓取周期，在预设的时间内利用可用网络爬虫访问所述代理网站；
获取所述代理网站上的多个已有IP地址；
获取预设规则包括的类别设定和范围设定；
根据所述类别设定和所述范围设定对多个所述已有IP地址进行有效性检测；
当通过所述有效性检测时，表示对应的已有IP地址为有效IP地址。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
根据多个所述已有IP地址生成原始表；
根据所述数据爬取请求创建新表；
循环读取所述原始表中的取值，并利用预设规则对所述原始表中的取值进行有效性判断；
当判断所述原始表中的取值为有效取值时，将原始表中的有效取值插入所述新表中，生成有效IP地址表；
删除所述原始表中的有效取值；
从所述新表中获取有效IP地址。
4.根据权利要求1所述的方法，其特征在于，所述根据多个所述有效IP地址生成代理IP地址表之后，还包括：
获取所述代理缓存服务器中的参数机制；
根据所述参数机制，将所述有效IP地址按照预设格式写入对应的配置文件中；
重新加载所述代理缓存服务器对应的配置文件；
刷新所述代理缓存服务器对应的代理IP地址表，获取更新后的有效IP地址。
5.根据权利要求1所述的方法，其特征在于，所述在获取正常访问的用户代理的参数值之前，包括：
获取预设规则；
获取HTTP请求头的多个属性以及多个属性对应的参数值；
根据所述预设规则对多个所述参数值进行设置，构建符合预设规则的HTTP请求头；
利用所述HTTP请求头访问正常访问的用户代理。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
获取预设规则包括的预设用户代理属性规则，以及对应的预设用户代理属性取值；
获取所述HTTP请求头的用户代理属性，以及所述用户代理属性对应的参数值；
将所述预设用户代理属性取值，与所述用户代理属性对应的参数值进行比对；
当所述用户代理属性对应的参数值，符合所述预设用户代理属性取值时，表示所述HTTP请求头符合所述预设规则。
7.一种数据爬取装置，其特征在于，所述装置包括：
参数值获取模块，用于接收数据爬取请求，并根据所述数据爬取请求获取正常访问的用户代理的参数值；
可用网络爬虫获取模块，用于将网络爬虫的用户代理的取值设置为所述参数值，获得可用网络爬虫；
有效IP地址获取模块，利用所述可用网络爬虫，在预设时间内抓取代理网站上的有效IP地址；
代理IP地址表生成模块，用于利用代理缓存服务器绑定多个所述有效IP地址，并根据多个所述有效IP地址生成代理IP地址表；
数据爬取模块，用于利用所述可用网络爬虫，连接代理缓存服务器对应的多个代理IP地址，进行数据爬取。
8.根据权利要求7所述的装置，其特征在于，所述有效IP地址获取模块还用于：
获取预设的抓取周期；根据所述预设的抓取周期，在预设的时间内利用可用网络爬虫访问所述代理网站；获取所述代理网站上的多个已有IP地址；获取预设规则包括的类别设定和范围设定；根据所述类别设定和所述范围设定对多个所述已有IP地址进行有效性检测；当通过所述有效性检测时，表示对应的已有IP地址为有效IP地址。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN201811118100.9A 2018-09-26 2018-09-26 数据爬取方法、装置、计算机设备和存储介质 Active CN109413153B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811118100.9A CN109413153B (zh) 2018-09-26 2018-09-26 数据爬取方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811118100.9A CN109413153B (zh) 2018-09-26 2018-09-26 数据爬取方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN109413153A true CN109413153A (zh) 2019-03-01
CN109413153B CN109413153B (zh) 2022-09-02

Family

ID=65465157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811118100.9A Active CN109413153B (zh) 2018-09-26 2018-09-26 数据爬取方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN109413153B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008118A (zh) * 2019-03-13 2019-07-12 深圳壹账通智能科技有限公司 页面数据测试方法、装置、计算机设备和存储介质
CN110287394A (zh) * 2019-06-28 2019-09-27 北京金山安全软件有限公司 网站资源的爬取方法、装置、计算机设备和存储介质
CN111859076A (zh) * 2020-07-31 2020-10-30 平安健康保险股份有限公司 数据爬取方法、装置、计算机设备及计算机可读存储介质
CN112380467A (zh) * 2020-11-26 2021-02-19 厦门市美亚柏科信息股份有限公司 一种基于手机的网站数据抽取方法、终端设备及存储介质
CN115242491A (zh) * 2022-07-19 2022-10-25 厦门市美亚柏科信息股份有限公司 一种基于网络爬虫的app云探测方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103581328A (zh) * 2013-11-14 2014-02-12 广州品唯软件有限公司 产品属性数据的获取方法和系统
US20140280009A1 (en) * 2013-03-15 2014-09-18 Chad Hage Methods and apparatus to supplement web crawling with cached data from distributed devices
CN107957999A (zh) * 2016-10-14 2018-04-24 北京国双科技有限公司 一种网络爬虫获取网站数据的方法及装置
CN107958052A (zh) * 2017-11-28 2018-04-24 广州启生信息技术有限公司 一种大规模网络爬虫程序的访问方法及装置
CN108345642A (zh) * 2018-01-12 2018-07-31 深圳壹账通智能科技有限公司 采用代理ip爬取网站数据的方法、存储介质和服务器
CN108551452A (zh) * 2018-04-18 2018-09-18 平安科技（深圳）有限公司 网络爬虫方法、终端及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140280009A1 (en) * 2013-03-15 2014-09-18 Chad Hage Methods and apparatus to supplement web crawling with cached data from distributed devices
CN103581328A (zh) * 2013-11-14 2014-02-12 广州品唯软件有限公司 产品属性数据的获取方法和系统
CN107957999A (zh) * 2016-10-14 2018-04-24 北京国双科技有限公司 一种网络爬虫获取网站数据的方法及装置
CN107958052A (zh) * 2017-11-28 2018-04-24 广州启生信息技术有限公司 一种大规模网络爬虫程序的访问方法及装置
CN108345642A (zh) * 2018-01-12 2018-07-31 深圳壹账通智能科技有限公司 采用代理ip爬取网站数据的方法、存储介质和服务器
CN108551452A (zh) * 2018-04-18 2018-09-18 平安科技（深圳）有限公司 网络爬虫方法、终端及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈利婷: "大数据时代的反爬虫技术", 《电脑与信息技术》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008118A (zh) * 2019-03-13 2019-07-12 深圳壹账通智能科技有限公司 页面数据测试方法、装置、计算机设备和存储介质
WO2020181839A1 (zh) * 2019-03-13 2020-09-17 深圳壹账通智能科技有限公司 页面数据测试方法、装置、计算机设备和存储介质
CN110008118B (zh) * 2019-03-13 2023-03-10 深圳壹账通智能科技有限公司 页面数据测试方法、装置、计算机设备和存储介质
CN110287394A (zh) * 2019-06-28 2019-09-27 北京金山安全软件有限公司 网站资源的爬取方法、装置、计算机设备和存储介质
CN110287394B (zh) * 2019-06-28 2022-01-11 北京金山安全软件有限公司 网站资源的爬取方法、装置、计算机设备和存储介质
CN111859076A (zh) * 2020-07-31 2020-10-30 平安健康保险股份有限公司 数据爬取方法、装置、计算机设备及计算机可读存储介质
CN111859076B (zh) * 2020-07-31 2024-04-02 平安健康保险股份有限公司 数据爬取方法、装置、计算机设备及计算机可读存储介质
CN112380467A (zh) * 2020-11-26 2021-02-19 厦门市美亚柏科信息股份有限公司 一种基于手机的网站数据抽取方法、终端设备及存储介质
CN115242491A (zh) * 2022-07-19 2022-10-25 厦门市美亚柏科信息股份有限公司 一种基于网络爬虫的app云探测方法和系统
CN115242491B (zh) * 2022-07-19 2024-04-19 厦门市美亚柏科信息股份有限公司 一种基于网络爬虫的app云探测方法和系统

Also Published As

Publication number Publication date
CN109413153B (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN109413153A (zh) 数据爬取方法、装置、计算机设备和存储介质
CN108804548B (zh) 测试数据查询方法、装置、计算机设备和存储介质
CN109684575A (zh) 网页数据的处理方法及装置、存储介质、计算机设备
CN113190464B (zh) mock测试方法、装置、电子设备及介质
CN109842617A (zh) 广告拦截方法、装置和存储介质
CN103685304A (zh) 一种共享session信息的方法和系统
CN108171069A (zh) 脱敏方法、应用服务器及计算机可读存储介质
CN108845950A (zh) 测试装置、测试的方法及存储介质
CN108777687B (zh) 基于用户行为画像的爬虫拦截方法、电子设备、存储介质
CN108932332A (zh) 静态资源的加载方法及装置
US11637863B2 (en) Detection of user interface imitation
CN111538883B (zh) 一种数据爬取方法、系统及设备
US20210383023A1 (en) System and method for dynamic management of private data
CN112612988A (zh) 页面处理方法、装置、计算机设备及存储介质
CN110336812A (zh) 资源拦截处理方法、装置、计算机设备和存储介质
CN113256408A (zh) 基于消费金融的风险控制方法、系统和计算机设备
CN110109812A (zh) 访问日志数据的统计方法、装置、计算机设备和存储介质
CN102880698B (zh) 一种抓取网站确定方法及装置
CN112615759A (zh) 全链路压测组件、全链路压测方法及装置
US11693909B2 (en) Data sharing tool for facilitating real-time access to current or updated datasets
CN114189559A (zh) 基于Axios的接口重复请求处理方法及系统
CN109446762A (zh) 云平台访问方法、装置、计算机设备和存储介质
CN105184559A (zh) 一种支付系统及方法
CN103312785B (zh) 一种访问关系的确定方法及装置
CN106919595A (zh) 一种用于Cookie映射的方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant