CN110933103A - 反爬虫方法、装置、设备和介质 - Google Patents
反爬虫方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN110933103A CN110933103A CN201911265517.2A CN201911265517A CN110933103A CN 110933103 A CN110933103 A CN 110933103A CN 201911265517 A CN201911265517 A CN 201911265517A CN 110933103 A CN110933103 A CN 110933103A
- Authority
- CN
- China
- Prior art keywords
- user
- client
- information
- crawler
- identity verification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
- H04L63/145—Countermeasures against malicious traffic the attack involving the propagation of malware through the network, e.g. viruses, trojans or worms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
- H04L63/083—Network architectures or network communication protocols for network security for authentication of entities using passwords
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
- H04L63/0876—Network architectures or network communication protocols for network security for authentication of entities based on the identity of the terminal or configuration, e.g. MAC address, hardware or software configuration or device fingerprint
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
Abstract
本发明实施例公开了一种反爬虫方法、装置、设备及存储介质。其中方法包括：接收客户端发送的用户访问请求；在确定预设时间段内用户访问接口的次数大于访问次数时，基于客户端标识，向客户端发送信息获取指令；根据客户端返回的信息，确定用户是否为可疑用户；若是，则向客户端发送身份验证指令，以使客户端基于身份验证指令，显示身份验证码，并采集可疑用户在身份验证码上的第一操作信息；根据客户端返回的第一操作信息，确定可疑用户是否为爬虫用户；若是，则禁止爬虫用户的访问行为。本发明实施例不仅提高了对爬虫用户的识别准确性，还能确保正常用户能够正常获取数据，从而保证了数据安全性，改善了用户体验。
Description
技术领域
本发明实施例涉及反爬虫技术领域，尤其涉及一种反爬虫方法、装置、设备及存储介质。
背景技术
随着互联网的发展，海量且具有价值的数据以网站或者手机APP服务的形式，公布于互联网上，以方便每个人的访问。然而，爬虫可在服务器未允许的情况下，通过软件程序模拟人的操作，抓取各种数据，使得不法分子利用爬虫获取大量数据进行汇总倒卖，导致用户隐私数据泄露。
为了防止用户隐私数据泄露，相关技术通过设置访问次数，以将超过访问次数的用户确定为爬虫用户，这就存在当访问次数设置过低，将正常用户误判为爬虫用户，导致正常用户无法正常的获取数据。
发明内容
本发明实施例提供一种反爬虫方法、装置、设备及存储介质，不仅提高了对爬虫用户的识别准确性，还能确保正常用户能够正常获取数据，从而保证了数据安全性，改善了用户体验。
第一方面，本发明实施例提供了一种反爬虫方法，应用于服务器，该方法包括：
接收客户端发送的用户访问请求，所述访问请求中携带有访问的接口统一资源定位符、客户端标识和用户标识；
在确定预设时间段内用户访问所述接口的次数大于访问次数时，基于所述客户端标识，向所述客户端发送信息获取指令，所述信息获取指令中携带有所述用户标识；
根据所述客户端返回的信息，确定所述用户是否为可疑用户；
若是，则向所述客户端发送身份验证指令，以使所述客户端基于身份验证指令，显示身份验证码，并采集所述可疑用户在所述身份验证码上的第一操作信息；
根据所述客户端返回的第一操作信息，确定所述可疑用户是否为爬虫用户；
若是，则禁止所述爬虫用户的访问行为。
第二方面，本发明实施例提供了一种反爬虫方法，应用于客户端，该方法包括：
获取服务器发送的信息获取指令，所述信息获取指令中携带有用户标识；
根据所述信息获取指令中携带的用户标识，确定向所述服务器返回的信息；
响应于所述服务器发送的身份验证指令，显示身份验证码，并采集可疑用户在所述身份验证码上的第一操作信息。
第三方面，本发明实施例还提供了一种反爬虫装置，配置于服务器，该装置包括：
接收模块，用于接收客户端发送的用户访问请求，所述访问请求中携带有访问的接口统一资源定位符、客户端标识和用户标识；
第一发送模块，用于在确定预设时间段内用户访问所述接口的次数大于访问次数时，基于所述客户端标识，向所述客户端发送信息获取指令，所述信息获取指令中携带有所述用户标识；
第一确定模块，用于根据所述客户端返回的信息，确定所述用户是否为可疑用户；
第一控制模块，用于若是，则向所述客户端发送身份验证指令，以使所述客户端基于身份验证指令，显示身份验证码，并采集所述可疑用户在所述身份验证码上的第一操作信息；
第二确定模块，用于根据所述客户端返回的第一操作信息，确定所述可疑用户是否为爬虫用户；
第二控制模块，用于若是，则禁止所述爬虫用户的访问行为。
第四方面，本发明实施例还提供了一种反爬虫装置，配置于客户端，该装置包括：
获取模块，用于获取服务器发送的信息获取指令，所述信息获取指令中携带有用户标识；
第三确定模块，用于根据所述信息获取指令中携带的用户标识，确定向所述服务器返回的信息；
处理模块，用于响应于所述服务器发送的身份验证指令，显示身份验证码，并采集所述可疑用户在所述身份验证码上的第一操作信息。
第五方面，本发明实施例还提供了一种电子设备，该电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明第一方面实施例所述的反爬虫方法，或者第二方面实施例所述的反爬虫方法。
第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时以实现本发明第一方面实施例所述的反爬虫方法，或者第二方面实施例所述的反爬虫方法。
本发明实施例公开的技术方案，具有如下有益效果：
通过接收客户端发送的用户访问请求，以确定预设时间段内用户访问的同一个接口次数是否大于访问次数，若大于则基于客户端标识，向客户端发送信息获取指令，并根据客户端返回的信息，确定用户是否为可疑用户，若是则向客户端发送身份验证指令，以使客户端基于身份验证指令，显示身份验证码，并采集可疑用户在身份验证码上的第一操作信息，然后根据客户端返回的第一操作信息，确定可疑用户是否为爬虫用户，若是则禁止爬虫用户的访问行为。由此，实现当访问用户访问同一接口的次数超过访问次数时，对访问用户是否为爬虫用户进行身份验证，不仅提高了对爬虫用户的识别准确性，还能确保正常用户能够正常获取数据，从而保证了数据安全性，改善了用户体验。
附图说明
图1是本发明实施例一提供的一种反爬虫方法的流程示意图；
图2是本发明实施例二提供的一种反爬虫方法的流程示意图；
图3是本发明实施例三提供的一个具体实施例的服务器与客户端进行信令交互的示意图；
图4是本发明实施例四提供的一种反爬虫装置的结构示意图；
图5是本发明实施例五提供的一种反爬虫装置的结构示意图；
图6是本发明实施例六提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明实施例，而非对本发明实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明实施例相关的部分而非全部结构。
本发明实施例针对相关技术中，因访问次数设置过低，将正常用户误判为爬虫用户，导致正常用户无法正常的访问数据的问题，提出一种反爬虫方法。
本发明实施例通过统计预设时间段内任一用户访问同一个接口的次数是否大于访问次数，当大于时向客户端发送信息获取指令，并基于客户端返回的信息，确定该用户为可疑用户，向客户端发送身份验证指令，以使客户端基于身份验证指令显示身份验证码，并采集可疑用户在身份验证码上的第一操作信息，然后基于客户端返回的第一操作信息，确定可疑用户为爬虫用户时，禁止爬虫用户的访问行为。由此，实现当访问用户访问同一接口的次数超过访问次数时，对访问用户是否为爬虫用户进行身份验证，不仅提高了对爬虫用户的识别准确性，还能确保正常用户能够正常获取数据，从而保证了数据安全性，改善了用户体验。
下面参考附图对本发明实施例的反爬虫方法、装置、设备及存储介质进行详细说明。首先，以服务器为例对本发明实施例的反爬虫方法进行详细描述。
实施例一
图1是本发明实施例一提供的一种反爬虫方法的流程示意图，本发明实施例可适用于识别爬虫用户的场景，该方法可由反爬虫装置来执行，该反爬虫装置可以由软件和/硬件实现，并且该反爬虫装置应用于服务器中。该方法具体包括如下：
S101，接收客户端发送的用户访问请求，所述访问请求中携带有访问的接口统一资源定位符、客户端标识和用户标识。
本发明实施例中，客户端可以是安装有风控系统的终端。比如：智能手机、个人数字助理、个人电脑、智能家居设备及可穿戴式设备等。其中，智能家居包括：智能电视等；可穿戴式设备包括：智能手表或智能手环等。
其中，客户端中还安装有至少一个应用程序(Application，简称：APP)。为了便于对本发明实施例进行说明，下面将以客户端中安装一个应用程序为例进行说明。
客户端标识，是指能够唯一确定客户端身份的信息，例如序列号、国际移动设备识别码(International Mobile Equipment Identity，简称：IMEI)和客户端的媒体访问控制(Media Access Control，简称MAC)地址等；同样的，用户标识，也是指能够唯一确定用户身份的信息，例如用户账号、用户名等。
示例性的，当客户端中的风控系统检测到用户启动应用程序时，风控系统首先判断该用户是否为首次使用该应用程序，若是则显示注册界面，以使用户进行账户注册操作；若否，则显示登陆界面，以使用户进行账户登陆操作。当用户注册成功或者登陆成功之后，监测用户的操作。若监测到用户触发访问请求(例如触发应用程序上的搜索功能控件)时，客户端可将监测到的用户访问请求发送给服务器，以使服务器根据用户访问请求进行后续处理。
其中，本发明实施例中服务器也部署有风控系统，那么服务器接收到客户端发送的用户访问请求时，可利用自身的风控系统对用户访问请求进行解析以获取用户访问请求中携带的访问的接口统一资源定位符(Uniform Resource Locator，缩写为URL)、客户端标识和用户标识。然后，基于获取的URL、客户端标识和用户标识，统计该客户端中的该用户访问同一接口的访问次数。
需要说明的是，统计该客户端中的该用户访问同一接口的访问次数，具体是指接收到该客户端发送的同一用户访问同一个接口的请求次数。
S102，在确定预设时间段内用户访问所述接口的次数大于访问次数时，基于所述客户端的标识信息，向所述客户端发送信息获取指令，所述信息获取指令中携带有所述用户标识。
其中，预设时间段根据实际需求进行适应性设置。例如，1分钟(min)、2min等等。访问次数根据实际需要进行适应性设置，例如1分钟(min)访问次数设置为10次等，此处对其不做具体限定。
示例性的，当服务器中的风控系统确定在预设时间段内，该客户端中同一用户访问同一接口的访问次数达到访问次数，则说明该用户具有爬虫的嫌疑。此时服务器可基于访问请求中携带的客户端标识，向对应客户端发送信息获取指令，以使客户端根据接收到的信息获取指令中的用户标识，获取该用户标识对应用户的访问行为数据等信息，并将获取的信息发送给服务器，以使服务器基于上述信息进行识别操作。
其中，客户端将获取的信息发送给服务器时，可按照报文头+位图+域值的规则发送。其中报文头表示客户端中风控系统的版本号，位图表示上传的域信息，域值标识与信息对应的值。
需要说明的是，客户端在将获取的信息发送给服务器之前，还可对信息进行加密以确保信息被窃取或者被篡改的风险，以提高数据的安全性。其中加密可采用现有加密方式，此处对其不做具体限定。此外，还可对加密后的信息进行压缩，以减少信息大小。
S103，根据所述客户端返回的信息，确定所述用户是否为可疑用户，若是则执行S104，否则执行S108。
示例性的，客户端返回的信息包括以下至少一项：用户的第二操作信息和客户端的安全状态信息。
其中，所述用户第二操作信息包括以下至少一项：在所述接口对应页面上的点击信息、操作轨迹和操作时长；
所述客户端的安全状态信息包括以下至少一项：是否被反编译和是否监测到调试器。
示例性的，接收到客户端返回的信息之后，服务器中的风控系统可按照预设规则对获取的信息进行分析，确定用户是否为可疑用户。其中，预设规则是技术人员预先配置的，此处不做具体限定。
作为一种可选的实现方式，服务器中的风控系统按照预设规则对获取的信息进行分析，确定用户是否为可疑用户，可通过以下方式实现：
方式一
若所述点击信息是对所述页面上超过预设数量的控件的点击操作，则确定所述用户可疑用户。
其中，页面是指与访问的接口对应的一个前端页面，并且该页面上可包括至少一个可操作控件。
预设数量根据页面上包含的控件数量进行设置。例如，若页面上包含10个控件，则可将预设数量设置为8个，或者9个，又或者10等，此处对其不做具体限定。
由于爬虫为可自动地抓取数据的程序或者脚本，那么当爬虫用户登录成功并启动爬虫程序或者脚本之后，就会自动访问服务器，以从服务器上抓取大量数据，其中抓取数据时基本上是把所有能抓取的数据均抓取的。因此，本发明实施例中，当服务器中的风控系统检测到用户对接口对应的页面上可操作控件进行点击操作，且点击可操作控件的数量超过预设数量时，则确定该用户为可疑用户。
例如，若接口对应的页面1上包括15个可操作控件，当服务器中的风控系统检测到用户对上述页面上的14个可操作控件进行了点击操作，此时即可确定该用户为可疑用户。
方式二
若所述操作轨迹为线性轨迹，且所述操作时长小于预设时长，则确定所述用户为可疑用户。
其中，预设时长根据接口对应页面类型设置，也可以是根据实际需要进行设置，此处对其不做限定。例如，页面类型为表格，则预设时长可设置为1秒(s)等。
实际使用过程中，爬虫用户和正常用户在接口对应的页面上进行操作存在区别。对于爬虫用户而言，对页面进行操作(例如拖拽页面)时，按照预设的轨迹，从上往下拖拽页面，并且拖拽的速度快，花费的时间短。例如，将页面从顶端拖拽至最低端所花费的时间为0.1秒(s)；对于正常用户而言，对页面拖拽操作，是根据需要随意拖拽页面，例如线性或者非线性，并且拖拽的速度也相对慢，花费的时间长。例如，将页面从顶端拖拽至最低端所花费的时间为1s。
因此，本发明实施例服务器中的风控系统确定用户在接口对应页面上的操作轨迹为线性轨迹，且操作长长小于预设时长时，则将该用户确定为可疑用户。
方式三
若确定所述客户端被反编译和/或在所述客户端中检测到调试器，则确定所述用户为可疑用户。
也就是说，当客户端被反编译和/或在客户端中检测到调试器，则说明客户端中应用程序上当前登录的用户可能对客户端进行了破坏，此时可确定该用户为可疑用户。
可以理解的是，上述客户端被反编译和/或在客户端中检测到调试器检测到调试器，可以是指客户端被反编译；或者，也可以是指在客户端中检测到调试器；又或者，还可以是客户端被反编译和在客户端中检测到调试器。
需要说明的是，上述三种方式仅作为本发明实施例的示例性说明，不作为对本发明实施例的具体限定。其中，通过上述三种方式，确定用户是否为可疑用户时，可以是单独实施，也可以是两两相结合实施，或者还可以是三个方式相互结合实施，此处对其不做具体限定。
进一步的，当服务器中的风控系统根据客户端返回的信息，确定用户为可疑用户之后，还可为该可疑用户添加可疑标签，以对具有爬虫嫌疑的用户进行标记。
S104，若是，则向所述客户端发送身份验证指令，以使所述客户端基于身份验证指令，显示身份验证码，并采集所述可疑用户在所述身份验证码上的第一操作信息。
其中，身份验证指令中可携带以下至少一种验证码：图形验证码、滑块验证码和资料申诉。
在本发明实施例中，所述第一操作信息包括以下至少一项：点击的字符信息、输入信息和滑动滑块的结束位置。其中，点击的字符信息可以是，但不限于：字母、数字和符号。
可选的，当服务器中的风控系统根据预设规则确定用户为可疑用户时，还可进一步对可疑用户是否为爬虫用户进行验证，以避免将正常用户误判为爬虫用户，从而提高爬虫用户的识别准确性。
具体实现时，服务器中的风控系统基于客户端标识向客户端发送身份验证指令，以使客户端接收到身份验证指令之后，通过客户端中的风控系统对身份验证指令进行解析，获取身份验证指令中携带的身份验证码。然后，将身份验证码进行显示，以使可疑用户基于显示的身份验证码进行身份验证。
进而，当客户端中的风控系统监测到可疑用户基于显示的身份验证码进行身份验证时，实时采集可疑用户在身份验证码上的第一操作信息，并将第一操作信息发送给服务器，从而为服务器确定可疑用户是否爬虫用户奠定基础。
S105，根据所述客户端返回的第一操作信息，确定所述可疑用户是否为爬虫用户，若是，则执行S106，否则执行S107。
可选的，接收到客户端返回的可疑用户的第一操作信息之后，服务器中的风控系统可对该第一操作信息进行解析处理，以确定该可疑用户是否为爬虫用户。
作为一种可选的实现方式，确定可疑用户是否为爬虫用户，可通过以下方式实现：
作为第一种方式
若点击的字符不为预设字符，则确定可疑用户为爬虫用户。
其中，预设字符为正确字符。
作为第二种方式
若输入信息不为预设输入信息，则确定可疑用户为爬虫用户。
其中，预设输入信息为注册时预先输入的信息。
作为第三种方式
若滑动滑块的水平距离小于距离阈值，则确定可疑用户为爬虫用户。
其中，距离阈值是指验证通过的距离值。
也就是说，当确定滑动滑块的水平距离小于距离阈值时，则确定身份验证失败，则确定可疑用户为爬虫用户。
需要说明的是，上述三种方式仅作为本发明实施例的示例性说明，不作为对本发明实施例的具体限定。其中，通过上述三种方式，确定用户是否为可疑用户时，可以是单独实施，也可以是两两相结合实施，或者还可以是三个方式相互结合实施，此处对其不做具体限定。
S106，若是，则禁止所述爬虫用户的访问行为。
示例性的，当风控系统确定可疑用户为爬虫用户时，禁止该爬虫用户的访问行为，以提高数据安全性。
进一步的，本发明实施例在确定可疑用户为爬虫用户时，还可对该爬虫用户的账号进行封禁或者控制该爬虫用户停用该应用程序，以保护信息平台中的数据安全性和私密性。
S107，若确定可疑用户不为爬虫用户，则允许该用户的访问行为。
在本发明实施例中，当确定可疑用户不为爬虫用户时，可解除该可疑用户的可疑标签，确定该用户为正常用户，以使该正常用户可以继续执行访问请求。
S108，若确定用户不为可疑用户，则允许该用户的访问行为。
本发明实施例提供的反爬虫方法，通过接收客户端发送的用户访问请求，以确定预设时间段内用户访问的同一个接口次数是否大于访问次数，若大于则基于客户端标识，向客户端发送信息获取指令，并根据客户端返回的信息，确定用户是否为可疑用户，若是则向客户端发送身份验证指令，以使客户端基于身份验证指令，显示身份验证码，并采集可疑用户在身份验证码上的第一操作信息，然后根据客户端返回的第一操作信息，确定可疑用户是否为爬虫用户，若是则禁止爬虫用户的访问行为。由此，实现当访问用户访问同一接口的次数超过访问次数时，对访问用户是否为爬虫用户进行身份验证，不仅提高了对爬虫用户的识别准确性，还能确保正常用户能够正常获取数据，从而保证了数据安全性，改善了用户体验。
实施例二
下面结合附图，以客户端为例对本发明实施例提出的反爬虫方法进行详细描述。该方法可由反爬虫装置来执行，该反爬虫装置可以由软件和/硬件实现，并且该反爬虫装置可应用于客户端中。图2是本发明实施例二提供的一种反爬虫方法的流程示意图。该方法具体包括如下：
S201，获取服务器发送的信息获取指令，所述信息获取指令中携带有用户标识。
可选的，客户端接收到服务器发送的信息获取指令之后，可对信息获取指令进行解析，获取信息获取指令中携带的用户标识。
S202，根据所述信息获取指令中携带的用户标识，确定向所述服务器返回的信息。
其中，所述信息包括以下至少一项：用户的第二操作信息和所述客户端的安全状态信息；其中，所述用户第二操作信息包括以下至少一项：在所述接口对应页面上的点击信息、操作轨迹和操作时长；所述客户端的安全状态信息包括以下至少一项：是否被反编译和是否监测到调试器。
具体实现时，根据所述信息获取指令中携带的用户标识，从历史访问行为日志中确定向所述服务器返回的用户的第二操作信息；
根据所述客户端中预设的安全性检测工具，确定向所述服务器返回的所述客户端的安全状态信息。
其中，安全性检测工具可以为AJM，或者其他工具，此处对其不做限定。
本发明实施例中根据信息获取指令中携带的用户标识，确定向服务器返回的信息时，客户端还可以获取自身的当前设备信息。其中，当前设备信息包括以下信息中的至少一项：当前剩余电量和网络环境等，以使服务器基于客户端当前设备信息，进一步提高识别准确性。
进而，客户端可将获取的信息发送给服务器，以使服务器基于客户端返回的信息确定用户是否为可疑用户。
S203，响应于所述服务器发送的身份验证指令，显示身份验证码，并采集所述可疑用户在所述身份验证码上的第一操作信息。
本发明实施例中，所述身份验证码包括以下至少一种：图形验证码、滑块验证码和资料申诉。
可选的，当服务器中的风控系统基于客户端发送的信息确定用户为可疑用户时，向客户端发送身份验证指令，使得客户端中的风控系统对接收到的身份验证指令进行解析，获取身份验证指令中携带的身份验证码。然后，将身份验证码进行显示，并在客户端中的风控系统监测到可疑用户基于显示的身份验证码进行身份验证时，实时采集可疑用户在身份验证码上的第一操作信息，并将第一操作信息发送给服务器，从而为服务器确定可疑用户是否爬虫用户奠定基础。
在本发明实施例中，服务器发送的身份验证指令中可以携带一种身份验证码，或者还可以携带多种身份验证码。
其中，当客户端中风控系统解析服务器发送的身份验证指令之后，确定身份验证指令中只携带一种身份验证码，则显示该身份验证指令，并采集可疑用户在该身份验证码上的操作信息，得到第一操作信息，然后将第一操作信息发送给服务器，以使服务器基于第一操作信息对可疑用户身份进行进一步识别。
当客户端中风控系统解析服务器发送的身份验证指令之后，确定身份验证指令中携带有多个身份验证码，且每个身份验证码具有优先级，则按照每种身份验证码的，显示不同的身份验证码，并采集可疑用户在每个身份验证码上的操作信息，并将采集的多个身份验证码按照优先级顺序进行汇总，得到第一操作信息。然后，将第一操作信息发送给服务器，以使服务器基于该第一操作信息进行爬虫用户识别操作。
举例来说，若身份验证指令中携带有图形验证码和资料申诉，且图形验证码的优先级高于资料申诉的优先级，则客户端中的风控系统首先显示图形验证码，并采集可疑用户在图形验证码上点击的字符信息，之后再显示资料申诉，并采集该可疑用户在资料申诉界面中输入的信息。然后，客户端中的风控系统将采集的可疑用户点击的字符信息和输入的信息，按照先点击的字符信息后输入信息的顺序进行汇总，得到第一操作信息，然后将第一操作信息发送给服务器，以使服务器基于该第一操作信息进行爬虫用户识别操作。
又如，若身份验证指令中携带有滑块验证码和资料申诉，且滑块验证码的优先级高于资料申诉的优先级，则客户端中的风控系统首先显示滑块验证码，并采集可疑用户在滑块验证码上滑动滑块的水平距离。之后再显示资料申诉，并采集该可疑用户在资料申诉界面中输入的信息。然后客户端中的风控系统将采集的可疑用户滑动滑块的水平距离和输入信息，按照先滑动滑块的水平距离后输入信息的顺序进行汇总，得到第一操作信息，并将得到的第一操作信息发送给服务器，以使服务器基于该第一操作信息进行爬虫用户识别操作。
再如，若身份验证指令中携带有图形验证码、滑块验证码和资料申诉，且图形验证码的优先级最高、滑块验证码的优先级次高、资料申诉的优先级最低，则客户端中的风控系统首先显示图形验证码并采集可疑用户在图形验证码上的点击的字符信息，再显示滑块验证码并采集可疑用户在滑块验证码上滑动滑块的水平距离，最后再显示资料申诉并采集该可疑用户在资料申诉界面中输入的信息。然后，客户端中的风控系统将采集的可疑用户在图形验证码上点击的字符信息、在滑块验证码上的滑动滑块的水平距离和在资料申诉上输入的信息，按照先点击的字符信息，再滑动滑块的水平距离，最后输入信息的顺序进行汇总得到第一操作信息，并将得到的第一操作信息发送给服务器，以使服务器基于该第一操作信息进行爬虫用户识别操作。
本发明实施例提供的反爬虫方法，在获取到服务器发送的信息获取指令之后，根据信息获取指令中携带的用户标识，确定向服务器返回的信息，并响应于服务器发送的身份验证指令，显示身份验证码，并采集可疑用户在所述身份验证码上的第一操作信息。由此，实现当访问用户访问同一接口的次数超过访问次数时，对访问用户是否为爬虫用户进行身份验证，不仅提高了对爬虫用户的识别准确性，还能确保正常用户能够正常获取数据，从而保证了数据安全性，改善了用户体验。
实施例三
下面通过一个具体实施例，对上述实施例反爬虫方法进行具体说明，具体参见图3。图3是本发明实施例三提供的一个具体实施例的服务器与客户端进行信令交互的示意图。
假设发明实施例中，服务器为S，客户端为C，并且服务器S和客户端C中都部署有风控系统，那么客户端C与服务器S之间的信令交互过程包括如下：
需要说明的是，本发明实施例中客户端C可为多个，此处以一个为例进行说明。
S301，客户端C监测到用户登录成功之后触发的访问请求Q。
S302，客户端C向服务器S发送用户访问请求Q，其中，访问请求Q中携带有访问的接口URL、客户端标识和用户标识。
S303，服务器S接收客户端C发送的用户访问请求Q，并确定预设时间段内该用户访问接口的次数大于访问次数。
S304，服务器S基于访问请求中携带的客户端标识，向客户端C发送信息获取指令Z1，其中信息获取指令中携带有用户标识。
S305，客户端C接收服务器S发送的信息获取指令Z1，并根据信息获取指令Z1中携带的用户标识，确定向服务器S返回的信息。
S306，客户端C将信息发送给服务器S。
S307，服务器S接收客户端C发送的信息，根据信息确定访问用户为可疑用户。
S308，服务器S向客户端C发送身份验证指令Z2，其中身份验证指令Z2中携带有多个身份验证码。
S309，客户端C接收服务器S发送的身份验证指令Z2，显示身份验证指令中携带的多个身份验证码，并采集可疑用户在身份验证码上的第一操作信息。
其中，显示多个身份验证码时，根据身份验证码的优先级依次进行显示。
S310，客户端C将采集的第一操作信息发送给服务器S。
S311，服务器S接收到客户端C发送的第一操作信息，并对第一操作信息进行分析处理，确定可疑用户为爬虫用户，则禁止爬虫用户的访问行为。
通过上述实施例提供的反爬虫方法，基于用户访问同一接口的次数超过预设访问次数时，确定该用户可能存在爬虫嫌疑，以向客户端发送信息获取指令，并基于客户端返回的信息确定该用户是否为可疑用户，若是则进一步对可疑用户进行身份验证，以确定该可疑用户是否为爬虫用户，当为爬虫用户时禁止该爬虫用户的访问行为。由此，实现当访问用户访问同一接口的次数超过访问次数时，对访问用户是否为爬虫用户进行身份验证，不仅提高了对爬虫用户的识别准确性，还能确保正常用户能够正常获取数据，从而保证了数据安全性，改善了用户体验。
实施例四
图4是本发明实施例四提供的一种反爬虫装置的结构示意图。如图4所示，本发明实施例反爬虫装置400包括：接收模块411、第一发送模块412、第一确定模块413、第一控制模块414、第二确定模块415及第二控制模块416。
其中，接收模块411，用于接收客户端发送的用户访问请求，所述访问请求中携带有访问的接口统一资源定位符、客户端标识和用户标识；
第一发送模块412，用于在确定预设时间段内用户访问所述接口的次数大于访问次数时，基于所述客户端标识，向所述客户端发送信息获取指令，所述信息获取指令中携带有所述用户标识；
第一确定模块413，用于根据所述客户端返回的信息，确定所述用户是否为可疑用户；
第一控制模块414，用于若是，则向所述客户端发送身份验证指令，以使所述客户端基于身份验证指令，显示身份验证码，并采集所述可疑用户在所述身份验证码上的第一操作信息；
第二确定模块415，用于根据所述客户端返回的第一操作信息，确定所述可疑用户是否为爬虫用户；
第二控制模块416，用于若是，则禁止所述爬虫用户的访问行为。
作为本发明实施例的一种可选的实现方式，所述信息包括以下至少一项：用户的第二操作信息和所述客户端的安全状态信息；其中，所述用户第二操作信息包括以下至少一项：在所述接口对应页面上的点击信息、操作轨迹和操作时长；所述客户端的安全状态信息包括以下至少一项：是否被反编译和是否监测到调试器。
作为本发明实施例的一种可选的实现方式，第一确定模块413具体用于：
若所述点击信息是对所述页面上超过预设数量的控件的点击操作，则确定所述用户可疑用户；和/或，
若所述操作轨迹为线性轨迹，且所述操作时长小于预设时长，则确定所述用户为可疑用户；和/或，
若确定所述客户端被反编译和/或在所述客户端中检测到调试器，则确定所述用户为可疑用户。
作为本发明实施例的一种可选的实现方式，所述第一操作信息包括以下至少一项：点击的字符信息、输入信息和滑动滑块的水平距离。
相应的，所述第二确定模块415，具体用于：
若所述点击的字符信息不为预设字符，则确定所述可疑用户为爬虫用户；和/或，
若所述输入信息不为预设输入信息，则确定所述可疑用户为爬虫用户；和/或，
若所述滑动滑块的水平距离小于距离阈值，则确定所述可疑用户为爬虫用户。
需要说明的是，前述对反爬虫方法实施例的解释说明也适用于该实施例的反爬虫装置，其实现原理类似，此处不再赘述。
本发明实施例提供的反爬虫装置，通过接收客户端发送的用户访问请求，以确定预设时间段内用户访问的同一个接口次数是否大于访问次数，若大于则基于客户端标识，向客户端发送信息获取指令，并根据客户端返回的信息，确定用户是否为可疑用户，若是则向客户端发送身份验证指令，以使客户端基于身份验证指令，显示身份验证码，并采集可疑用户在身份验证码上的第一操作信息，然后根据客户端返回的第一操作信息，确定可疑用户是否为爬虫用户，若是则禁止爬虫用户的访问行为。由此，实现当访问用户访问同一接口的次数超过访问次数时，对访问用户是否为爬虫用户进行身份验证，不仅提高了对爬虫用户的识别准确性，还能确保正常用户能够正常获取数据，从而保证了数据安全性，改善了用户体验。
实施例五
图5是本发明实施例五提供的一种反爬虫装置的结构示意图。如图5所示，本发明实施例反爬虫装置500包括：获取模块511、第三确定模块512和处理模块513。
其中，获取模块511，用于获取服务器发送的信息获取指令，所述信息获取指令中携带有用户标识；
第三确定模块512，用于根据所述信息获取指令中携带的用户标识，确定向所述服务器返回的信息；
处理模块513，用于响应于所述服务器发送的身份验证指令，显示身份验证码，并采集所述可疑用户在所述身份验证码上的第一操作信息。
作为本发明实施例的一种可选的实现方式，所述信息包括以下至少一项：用户的第二操作信息和所述客户端的安全状态信息；其中，所述用户第二操作信息包括以下至少一项：在所述接口对应页面上的点击信息、操作轨迹和操作时长；所述客户端的安全状态信息包括以下至少一项：是否被反编译和是否监测到调试器；
相应的，所述第三确定模块512，具体用于：
根据所述信息获取指令中携带的用户标识，从历史访问行为日志中确定向所述服务器返回的用户的第二操作信息；
根据所述客户端中预设的安全性检测工具，确定向所述服务器返回的所述客户端的安全状态信息。
作为本发明实施例的一种可选的实现方式，所述身份验证码包括以下至少一项：图形验证码、滑块验证码和资料申诉。
需要说明的是，前述对反爬虫方法实施例的解释说明也适用于该实施例的反爬虫装置，其实现原理类似，此处不再赘述。
本发明实施例提供的反爬虫装置，在获取到服务器发送的信息获取指令之后，根据信息获取指令中携带的用户标识，确定向服务器返回的信息，并响应于服务器发送的身份验证指令，显示身份验证码，并采集可疑用户在所述身份验证码上的第一操作信息。由此，实现当访问用户访问同一接口的次数超过访问次数时，对访问用户是否为爬虫用户进行身份验证，不仅提高了对爬虫用户的识别准确性，还能确保正常用户能够正常获取数据，从而保证了数据安全性，改善了用户体验。
实施例六
参见图6，本实施例提供了一种电子设备600，其包括：一个或多个处理器620；存储装置610，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器620执行，使得所述一个或多个处理器620实现本发明实施例所提供的应用于服务器的反爬虫方法，包括：
接收客户端发送的用户访问请求，所述访问请求中携带有访问的接口统一资源定位符、客户端标识和用户标识；
在确定预设时间段内用户访问所述接口的次数大于访问次数时，基于所述客户端标识，向所述客户端发送信息获取指令，所述信息获取指令中携带有所述用户标识；
根据所述客户端返回的信息，确定所述用户是否为可疑用户；
若是，则向所述客户端发送身份验证指令，以使所述客户端基于身份验证指令，显示身份验证码，并采集所述可疑用户在所述身份验证码上的第一操作信息；
根据所述客户端返回的第一操作信息，确定所述可疑用户是否为爬虫用户；
若是，则禁止所述爬虫用户的访问行为。
当然，本领域技术人员可以理解，处理器620还可以实现本发明任意实施例所提供的应用于服务器的反爬虫方法的技术方案。
图6显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：一个或者多个处理器620，存储装置610，连接不同系统组件(包括存储装置610和处理器620)的总线650。
总线650表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备600典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备600访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置610可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)611和/或高速缓存存储器612。电子设备600可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统613可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线650相连。存储装置610可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块615的程序/实用工具614，可以存储在例如存储装置610中，这样的程序模块615包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块615通常执行本发明所描述的任意实施例中的功能和/或方法。
电子设备600也可以与一个或多个外部设备660(例如键盘、指向设备、显示器670等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口630进行。并且，电子设备600还可以通过网络适配器640与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图6所示，网络适配器640通过总线650与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器620通过运行存储在存储装置610中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的应用于服务器的反爬虫方法。
本发明实施例还提供了另一电子设备，其包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例所提供的应用于客户端的反爬虫方法，包括：
获取服务器发送的信息获取指令，所述信息获取指令中携带有用户标识；
根据所述信息获取指令中携带的用户标识，确定向所述服务器返回的信息；
响应于所述服务器发送的身份验证指令，显示身份验证码，并采集可疑用户在所述身份验证码上的第一操作信息。
当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的应用于客户端的反爬虫方法的技术方案。该电子设备的硬件结构以及功能可参见实施例六的内容解释。
实施例七
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例应用于服务器的反爬虫方法，该方法包括：
接收客户端发送的用户访问请求，所述访问请求中携带有访问的接口统一资源定位符、客户端标识和用户标识；
在确定预设时间段内用户访问所述接口的次数大于访问次数时，基于所述客户端标识，向所述客户端发送信息获取指令，所述信息获取指令中携带有所述用户标识；
根据所述客户端返回的信息，确定所述用户是否为可疑用户；
若是，则向所述客户端发送身份验证指令，以使所述客户端基于身份验证指令，显示身份验证码，并采集所述可疑用户在所述身份验证码上的第一操作信息；
根据所述客户端返回的第一操作信息，确定所述可疑用户是否为爬虫用户；
若是，则禁止所述爬虫用户的访问行为。
当然，本发明实施例所提供的一种计算机可读存储介质，其可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的应用于服务器的反爬虫方法中的相关操作。
本发明实施例的计算机可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本发明实施例还提供了另一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例应用于客户端的反爬虫方法，该方法包括：
获取服务器发送的信息获取指令，所述信息获取指令中携带有用户标识；
根据所述信息获取指令中携带的用户标识，确定向所述服务器返回的信息；
响应于所述服务器发送的身份验证指令，显示身份验证码，并采集可疑用户在所述身份验证码上的第一操作信息。
当然，本发明实施例所提供的一种计算机可读存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的应用于客户端的反爬虫方法中的相关操作。对存储介质的介绍可参见实施例七中的内容解释。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (11)
1.一种反爬虫方法，其特征在于，应用于服务器，包括：
接收客户端发送的用户访问请求，所述访问请求中携带有访问的接口统一资源定位符、客户端标识和用户标识；
在确定预设时间段内用户访问所述接口的次数大于访问次数时，基于所述客户端标识，向所述客户端发送信息获取指令，所述信息获取指令中携带有所述用户标识；
根据所述客户端返回的信息，确定所述用户是否为可疑用户；
若是，则向所述客户端发送身份验证指令，以使所述客户端基于身份验证指令，显示身份验证码，并采集所述可疑用户在所述身份验证码上的第一操作信息；
根据所述客户端返回的第一操作信息，确定所述可疑用户是否为爬虫用户；
若是，则禁止所述爬虫用户的访问行为。
2.根据权利要求1所述的方法，其特征在于，所述信息包括以下至少一项：用户的第二操作信息和所述客户端的安全状态信息；其中，所述用户第二操作信息包括以下至少一项：在所述接口对应页面上的点击信息、操作轨迹和操作时长；所述客户端的安全状态信息包括以下至少一项：是否被反编译和是否监测到调试器。
3.根据权利要求2所述的方法，其特征在于，所述确定所述用户是否为可疑用户包括：
若所述点击信息是对所述页面上超过预设数量的控件的点击操作，则确定所述用户可疑用户；和/或，
若所述操作轨迹为线性轨迹，且所述操作时长小于预设时长，则确定所述用户为可疑用户；和/或，
若确定所述客户端被反编译和/或在所述客户端中检测到调试器，则确定所述用户为可疑用户。
4.根据权利要求1所述的方法，其特征在于，所述第一操作信息包括以下至少一项：点击的字符信息、输入信息和滑动滑块的水平距离。
相应的，所述根据所述客户端返回的第一操作信息，确定所述可疑用户是否为爬虫用户包括：
若所述点击的字符信息不为预设字符，则确定所述可疑用户为爬虫用户；和/或，
若所述输入信息不为预设输入信息，则确定所述可疑用户为爬虫用户；和/或，
若所述滑动滑块的水平距离小于距离阈值，则确定所述可疑用户为爬虫用户。
5.一种反爬虫方法，其特征在于，应用于客户端，包括：
获取服务器发送的信息获取指令，所述信息获取指令中携带有用户标识；
根据所述信息获取指令中携带的用户标识，确定向所述服务器返回的信息；
响应于所述服务器发送的身份验证指令，显示身份验证码，并采集可疑用户在所述身份验证码上的第一操作信息。
6.根据权利要求5所述的方法，其特征在于，所述信息包括以下至少一项：用户的第二操作信息和所述客户端的安全状态信息；其中，所述用户第二操作信息包括以下至少一项：在所述接口对应页面上的点击信息、操作轨迹和操作时长；所述客户端的安全状态信息包括以下至少一项：是否被反编译和是否监测到调试器；
相应的，所述根据所述信息获取指令中携带的用户标识，确定向所述服务器返回的信息包括：
根据所述信息获取指令中携带的用户标识，从历史访问行为日志中确定向所述服务器返回的用户的第二操作信息；
根据所述客户端中预设的安全性检测工具，确定向所述服务器返回的所述客户端的安全状态信息。
7.根据权利要求5所述的方法，其特征在于，所述身份验证码包括以下至少一项：图形验证码、滑块验证码和资料申诉。
8.一种反爬虫装置，其特征在于，配置于服务器，包括：
接收模块，用于接收客户端发送的用户访问请求，所述访问请求中携带有访问的接口统一资源定位符、客户端标识和用户标识；
第一发送模块，用于在确定预设时间段内用户访问所述接口的次数大于访问次数时，基于所述客户端标识，向所述客户端发送信息获取指令，所述信息获取指令中携带有所述用户标识；
第一确定模块，用于根据所述客户端返回的信息，确定所述用户是否为可疑用户；
第一控制模块，用于若是，则向所述客户端发送身份验证指令，以使所述客户端基于身份验证指令，显示身份验证码，并采集所述可疑用户在所述身份验证码上的第一操作信息；
第二确定模块，用于根据所述客户端返回的第一操作信息，确定所述可疑用户是否为爬虫用户；
第二控制模块，用于若是，则禁止所述爬虫用户的访问行为。
9.一种反爬虫装置，其特征在于，配置于客户端，包括：
获取模块，用于获取服务器发送的信息获取指令，所述信息获取指令中携带有用户标识；
第三确定模块，用于根据所述信息获取指令中携带的用户标识，确定向所述服务器返回的信息；
处理模块，用于响应于所述服务器发送的身份验证指令，显示身份验证码，并采集所述可疑用户在所述身份验证码上的第一操作信息。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一所述的反爬虫方法，或如权利要求5-7中任一所述的反爬虫方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一所述的反爬虫方法，或如权利要求5-7中任一所述的反爬虫方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911265517.2A CN110933103B (zh) | 2019-12-11 | 2019-12-11 | 反爬虫方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911265517.2A CN110933103B (zh) | 2019-12-11 | 2019-12-11 | 反爬虫方法、装置、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110933103A true CN110933103A (zh) | 2020-03-27 |
| CN110933103B CN110933103B (zh) | 2021-11-23 |
Family
ID=69858815
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911265517.2A Active CN110933103B (zh) | 2019-12-11 | 2019-12-11 | 反爬虫方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110933103B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111709055A (zh) * | 2020-06-16 | 2020-09-25 | 四川虹微技术有限公司 | 一种用户信息获取方法、装置、电子设备及存储介质 |
| CN111711617A (zh) * | 2020-05-29 | 2020-09-25 | 北京金山云网络技术有限公司 | 网络爬虫的检测方法、装置、电子设备及存储介质 |
| CN112003833A (zh) * | 2020-07-30 | 2020-11-27 | 瑞数信息技术（上海）有限公司 | 异常行为检测方法和装置 |
| CN114338146A (zh) * | 2021-12-27 | 2022-04-12 | 中国民航信息网络股份有限公司 | 一种基于动态码的反爬虫方法、系统、客户端和服务器 |
| CN114640538A (zh) * | 2022-04-01 | 2022-06-17 | 北京明略昭辉科技有限公司 | 一种爬虫程序的检测方法、装置、可读介质及电子设备 |
| CN115174215A (zh) * | 2022-07-05 | 2022-10-11 | 深圳市飞铭达信息技术有限公司 | 一种网络爬虫识别方法及电子商务系统 |
| CN115758300A (zh) * | 2022-11-28 | 2023-03-07 | 北京淘友天下技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN116108252A (zh) * | 2023-04-14 | 2023-05-12 | 深圳市和讯华谷信息技术有限公司 | 限制数据抓取方法、系统、计算机设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060152355A1 (en) * | 2004-12-27 | 2006-07-13 | Asuman Suenbuel | False alarm mitigation using a sensor network |
| CN103678492A (zh) * | 2013-11-13 | 2014-03-26 | 复旦大学 | 基于网络爬虫行为识别与缓冲更新策略的Web点击计数方法 |
| US20160180083A1 (en) * | 2012-04-24 | 2016-06-23 | Behaviosec | Method, computer program and system that uses behavioral biometric algorithms |
| CN107329981A (zh) * | 2017-06-01 | 2017-11-07 | 北京京东尚科信息技术有限公司 | 页面检测的方法和装置 |
| WO2018055506A1 (en) * | 2016-09-22 | 2018-03-29 | Tensera Networks Ltd. | An optimized content-delivery network (cdn) for the wireless last mile |
| US20180299838A1 (en) * | 2015-06-23 | 2018-10-18 | Mitsubishi Electric Corporation | Power-consumption-amount estimation apparatus |
| CN109189660A (zh) * | 2018-09-30 | 2019-01-11 | 北京诸葛找房信息技术有限公司 | 一种基于用户鼠标交互行为的爬虫识别方法 |
| CN110519280A (zh) * | 2019-08-30 | 2019-11-29 | 北京思维造物信息科技股份有限公司 | 一种爬虫识别方法、装置、计算机设备及存储介质 |
-
2019
- 2019-12-11 CN CN201911265517.2A patent/CN110933103B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060152355A1 (en) * | 2004-12-27 | 2006-07-13 | Asuman Suenbuel | False alarm mitigation using a sensor network |
| US20160180083A1 (en) * | 2012-04-24 | 2016-06-23 | Behaviosec | Method, computer program and system that uses behavioral biometric algorithms |
| CN103678492A (zh) * | 2013-11-13 | 2014-03-26 | 复旦大学 | 基于网络爬虫行为识别与缓冲更新策略的Web点击计数方法 |
| US20180299838A1 (en) * | 2015-06-23 | 2018-10-18 | Mitsubishi Electric Corporation | Power-consumption-amount estimation apparatus |
| WO2018055506A1 (en) * | 2016-09-22 | 2018-03-29 | Tensera Networks Ltd. | An optimized content-delivery network (cdn) for the wireless last mile |
| CN107329981A (zh) * | 2017-06-01 | 2017-11-07 | 北京京东尚科信息技术有限公司 | 页面检测的方法和装置 |
| CN109189660A (zh) * | 2018-09-30 | 2019-01-11 | 北京诸葛找房信息技术有限公司 | 一种基于用户鼠标交互行为的爬虫识别方法 |
| CN110519280A (zh) * | 2019-08-30 | 2019-11-29 | 北京思维造物信息科技股份有限公司 | 一种爬虫识别方法、装置、计算机设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| W. GUO, Y. ZHONG AND J. XIE: ""A Web Crawler Detection Algorithm Based on Web Page Member List"", 《2012 4TH INTERNATIONAL CONFERENCE ON INTELLIGENT HUMAN-MACHINE SYSTEMS AND CYBERNETICS》 * |
| 尹文科: ""基于本体的视频服务网站监管技术研究"", 《中国博士学位论文全文数据库（电子期刊）信息科技辑》 * |
| 梁武等: "协方差特征爬虫网页语义概念树构建方法", 《科技通报》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111711617A (zh) * | 2020-05-29 | 2020-09-25 | 北京金山云网络技术有限公司 | 网络爬虫的检测方法、装置、电子设备及存储介质 |
| CN111709055A (zh) * | 2020-06-16 | 2020-09-25 | 四川虹微技术有限公司 | 一种用户信息获取方法、装置、电子设备及存储介质 |
| CN112003833A (zh) * | 2020-07-30 | 2020-11-27 | 瑞数信息技术（上海）有限公司 | 异常行为检测方法和装置 |
| CN114338146A (zh) * | 2021-12-27 | 2022-04-12 | 中国民航信息网络股份有限公司 | 一种基于动态码的反爬虫方法、系统、客户端和服务器 |
| CN114338146B (zh) * | 2021-12-27 | 2023-08-15 | 中国民航信息网络股份有限公司 | 一种基于动态码的反爬虫方法、系统、客户端和服务器 |
| CN114640538A (zh) * | 2022-04-01 | 2022-06-17 | 北京明略昭辉科技有限公司 | 一种爬虫程序的检测方法、装置、可读介质及电子设备 |
| CN115174215A (zh) * | 2022-07-05 | 2022-10-11 | 深圳市飞铭达信息技术有限公司 | 一种网络爬虫识别方法及电子商务系统 |
| CN115758300A (zh) * | 2022-11-28 | 2023-03-07 | 北京淘友天下技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN115758300B (zh) * | 2022-11-28 | 2023-08-01 | 北京淘友天下技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN116108252A (zh) * | 2023-04-14 | 2023-05-12 | 深圳市和讯华谷信息技术有限公司 | 限制数据抓取方法、系统、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110933103B (zh) | 2021-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110933103B (zh) | 反爬虫方法、装置、设备和介质 | |
| JP6609047B2 (ja) | アプリケーション情報リスクマネジメントのための方法及びデバイス | |
| US20160036834A1 (en) | System and method for determining category of trustof applications performing interface overlay | |
| CN109039987A (zh) | 一种用户账户登录方法、装置、电子设备和存储介质 | |
| CN103746992B (zh) | 基于逆向的入侵检测系统及其方法 | |
| CN109547426B (zh) | 业务响应方法及服务器 | |
| CN104199654A (zh) | 开放平台的调用方法及装置 | |
| CN107948199B (zh) | 一种对终端共享接入进行快速检测的方法及装置 | |
| WO2014015753A1 (en) | Method and apparatus for intercepting or cleaning-up plugins | |
| CN110324416B (zh) | 下载路径跟踪方法、装置、服务器、终端及介质 | |
| CN107295489B (zh) | 伪基站短信识别方法、装置、设备及存储介质 | |
| CN105989149A (zh) | 一种用户设备指纹的提取和识别方法及系统 | |
| CN111859374A (zh) | 社会工程学攻击事件的检测方法、装置以及系统 | |
| CN112000719A (zh) | 数据安全态势感知系统、方法、设备及存储介质 | |
| CN109818972B (zh) | 一种工业控制系统信息安全管理方法、装置及电子设备 | |
| CN109491908B (zh) | 页面检测方法、装置、电子设备和存储介质 | |
| CN113961836A (zh) | 页面跳转方法、装置、电子设备及存储介质 | |
| US10015181B2 (en) | Using natural language processing for detection of intended or unexpected application behavior | |
| CN111079140A (zh) | 用于防作弊的方法、设备和系统 | |
| CN112817816B (zh) | 埋点处理方法、装置、计算机设备和存储介质 | |
| JP5851311B2 (ja) | アプリケーション検査装置 | |
| CN110955890A (zh) | 恶意批量访问行为的检测方法、装置和计算机存储介质 | |
| CN111786991B (zh) | 基于区块链的平台认证登录方法及相关装置 | |
| CN109714371B (zh) | 一种工控网络安全检测系统 | |
| CN111131369B (zh) | App使用情况的传输方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20200327 Assignee: Nanjing Manyun Cold Chain Technology Co.,Ltd. Assignor: JIANGSU MANYUN SOFTWARE TECHNOLOGY Co.,Ltd. Contract record no.: X2023980038397 Denomination of invention: Anti crawler methods, devices, devices, and media Granted publication date: 20211123 License type: Common License Record date: 20230724 |