CN112804269A - 一种实现网站接口反爬虫的方法 - Google Patents

一种实现网站接口反爬虫的方法 Download PDF

Info

Publication number
CN112804269A
CN112804269A CN202110397562.4A CN202110397562A CN112804269A CN 112804269 A CN112804269 A CN 112804269A CN 202110397562 A CN202110397562 A CN 202110397562A CN 112804269 A CN112804269 A CN 112804269A
Authority
CN
China
Prior art keywords
server
encryption
token
crawler
http request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110397562.4A
Other languages
English (en)
Other versions
CN112804269B (zh
Inventor
袁海涛
杨鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China State Construction eCommerce Co Ltd
Original Assignee
China State Construction eCommerce Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China State Construction eCommerce Co Ltd filed Critical China State Construction eCommerce Co Ltd
Priority to CN202110397562.4A priority Critical patent/CN112804269B/zh
Publication of CN112804269A publication Critical patent/CN112804269A/zh
Application granted granted Critical
Publication of CN112804269B publication Critical patent/CN112804269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0807—Network architectures or network communication protocols for network security for authentication of entities using tickets, e.g. Kerberos
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/101—Access control lists [ACL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/321—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving a third party or a trusted authority
    • H04L9/3213—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving a third party or a trusted authority using tickets or tokens, e.g. Kerberos

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及实现网站接口反爬虫的方法，包括：在客户端启动时，向服务器申请公钥和私钥，并同步客户端时间与服务器时间；客户端将基于加密SDK加密生成的第一Token和时间戳附加在Http请求中，传递给服务器；服务器接收到Http请求并进行反爬虫检查，若不存在第一Token和时间戳、或者Http请求中的时间戳与服务器时间差值大于设置的时间阈值，则返回非法请求响应；若时间戳与服务器时间差值小于等于设置的时间阈值则进入下一步；服务器获取下发给客户端的公钥和私钥加密生成第二Token，对比第二Token和第一Token，不一致为非法请求响应，一致为合法请求。本方案在反爬虫检查过程中不影响客户端的正常使用，能有效遏制爬虫行为。

Description

一种实现网站接口反爬虫的方法
技术领域
本发明涉及信息安全技术领域，特别是一种实现网站接口反爬虫的方法。
背景技术
随着移动互联网蓬勃发展，越来越多的网站和软件系统为公共网络提供着服务。网站和软件在为用户提供着便捷的服务同时，也面临着各种非法操作的危险与损失，其中比较典型的就是被爬虫非法爬取数据。尤其是现在正在运行的很多网站和软件系统在开发设计初期，并没有考虑关于接口反爬虫等措施。基于当前网络的发展趋势，数据可以免费试用，但是需要避免恶意爬虫爬取；所以在可接受的影响与成本前提下，对敏感数据添加反爬虫措施势在必行。
一般网站和软件系统会把资源分为公共资源（即为游客可访问）、非公共资源（即需要登录认证）和保密资源（即需要登录+特定权限认证）。现有技术中，针对无定向爬虫，常见措施就是增加登录认证检查。现有技术中，针对定向爬虫或针对性爬虫数据，常见措施有：参数加密，基于公钥和私钥的接口参数加密认证；Https证书加密；安装证书。
现在技术的方法中主要存在以下问题：(1)登录认证方案不能保护针对公共资源的爬虫行为（例如行业类目数据等）；而且不能保护绕过登录认证的定向爬虫行为。（2）参数加密方案对就系统改造成本极高，影响范围极大。（3）Https证书加密方案主要是针对传输安全防篡改，不能有效解决爬虫行为。（4）安装授权证书或U盾的方案仅可使用于特定系统（银行或政府保密网站等），因此不适用互联网场景，不具备通用性。（5）网络爬虫拦截并模拟加密请求，在加密有效时间内会出现成功访问的情况。
发明内容
本发明要解决的技术问题是：为了解决反爬虫方案存在的成本高、安全性低、通用性差的问题，提出了一种实现网站接口反爬虫的方法。
为实现上述目的，本发明采用的技术方案如下：一种实现网站接口反爬虫的方法，包括：
步骤S1，在客户端启动时，向服务器申请公钥和私钥，并同步客户端时间与服务器时间；
步骤S2，客户端将基于加密SDK加密生成的第一Token和时间戳附加在Http请求中，传递给服务器；
步骤S3，服务器接收到Http请求并进行反爬虫检查，检查Http请求中的第一Token和时间戳，如果不存在第一Token和时间戳、或者Http请求中的时间戳与服务器时间差值大于设置的时间阈值，则返回非法请求响应；如果Http请求中的时间戳与服务器时间差值小于等于设置的时间阈值，则进入步骤S4；
步骤S4，服务器获取下发给客户端的公钥和私钥，加密生成第二Token，对比第二Token和第一Token是否一致，如果不一致则返回非法请求响应，如果一致则为合法请求。
进一步的，所述步骤S2中，当客户端发起每个Http请求发起时，以公钥、私钥、时间戳作为加密源，基于加密SDK生成第一Token，并将第一token 和加密源中的时间戳一起作为参数附加在Http请求的Header中与业务参数一起传递给服务器。
进一步的，所述步骤S3中，服务器接收到Http请求时，先判断接收到的Http请求地址是否为服务器黑名单地址，如果不是黑名单地址则不进行反爬虫检查；如果是黑名单地址，则再判断接收到的Http请求地址是否为服务器白名单地址，如果是白名单地址则不进行反爬虫检查，如果不是白名单地址则进行反爬虫检查。
进一步的，所述步骤S3中，PC端的时间阈值设置为5S，移动端的时间阈值设置为15S。
进一步的，所述步骤S4中，以公钥、私钥和步骤S3中的时间戳为加密源，基于加密SDK生成第二Token。
进一步的，所述步骤S2和步骤S4中加密采用的方法包括以下过程：
步骤SA1，将加密源按照名称升序规则排序，以排序后的加密源名称作为Hash的Key，加密源值内容作为Hash的Value，构建加密源的Hash数据结构，然后把Hash数据结构转化为Json格式的字符串S0；
步骤SA2，通过开源算法将字符串S0加密得到新的字符串S1；
步骤SA3，设定第一二次加密参数X，将加密源中的时间戳与第一二次加密参数X取模得到一个数字I，将加密后得到的字符串S1的前面I个字符分割为新的字符串S2，分割后字符串S1的剩余部分作为新的字符串S3；
步骤SA4，将加密源中的时间戳与第二二次加密参数Y取模得到一个数字C；
步骤SA5，按照字符串S3、数字C、字符串S2的顺序依次拼接为一个新的字符串S4。
进一步的，所述第一二次加密参数X为1~9的任一自然数，第二二次加密参数Y为1~9的任一自然数。
与现有技术相比，本发明具有以下有益效果：本发明的技术方案中，一个客户端可以对应多个服务器，一个服务器也可以对应多个客户端，在反爬虫检查过程中不影响用户客户端的正常使用；其次本发明的技术方案中，服务器还可以设置白名单和黑名单，本方案可以根据实际情况对服务器接收到的请求进行反爬虫验查处理；本方案的加密算法基于开源算法叠加二次加密算法，能有效的遏制爬虫的爬数据的行为。
附图说明
图1为本发明实现网站接口反爬虫的方法流程示意图。
图2为本发明实现网站接口反爬虫的方法的系统框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进一步详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
如图1所示，一种实现网站接口反爬虫的方法，包括：步骤S1，在客户端启动时，向服务器申请公钥和私钥，并同步客户端时间与服务器时间；步骤S2，客户端将基于加密SDK加密生成的第一Token和时间戳附加在Http请求中，传递给服务器；这里每次传递给服务器的第一Token都不一样；步骤S3，服务器接收到Http请求并进行反爬虫检查，检查Http请求中传递的第一Token和时间戳，如果不存在第一Token和时间戳则返回非法请求响应，如果Http请求中的时间戳与服务器时间差值大于设置的时间阈值则返回非法请求响应；如果Http请求中的时间戳与服务器时间差值小于等于设置的时间阈值，则进入步骤S4；验证客户端时间与服务器时间差值是为了保证加密参数，即使加密参数发送泄露也不可长久重复使用；步骤S4，服务器获取下发给客户端的公钥和私钥，加密生成第二Token，对比第二Token和第一Token是否一致，如果不一致则返回非法请求响应，中断Http请求，如果一致则为合法请求。本方案可以根据实际情况对服务器接收到的请求进行反爬虫检查处理；本方案中，一个客户端可以对应多个服务器，一个服务器也可以对应多个客户端，在反爬虫检查过程中不影响用户客户端的正常使用，又能通过该方案有效的遏制爬虫的爬数据的行为。
作为优选的实施例，所述步骤S2中，当客户端发起每个Http请求发起时，以公钥、私钥、时间戳作为加密源，基于加密SDK生成第一Token，并将第一Token 和加密源中的时间戳一起作为参数附加在Http请求的Header中与业务参数一起传递给服务器。因为每次的时间戳都是变化的，每次生成的第一Token都不一样。
作为优选的实施例，所述步骤S3中，服务器接收到Http请求时，先判断接收到的Http请求地址是否为服务器黑名单地址，如果不是黑名单地址则不进行反爬虫检查；如果是黑名单地址，则再判断接收到的Http请求地址是否为服务器白名单地址，如果是白名单地址则不进行反爬虫检查，如果不是白名单地址则进行反爬虫检查。本实施例只有不在白名单地址且在黑名单地址的Http请求进行反爬虫检查。
作为优选的实施例，设置的时间阈值根据实际场景在业务服务配置中心或配置文件中配置该差值阈值，PC端的时间阈值可以配置为5S，移动端的时间阈值可以配置为15S，当然本发明的技术方案中，时间阈值并不限制于本实施例的优选值，也可以配置PC端的时间阈值为5S±2S，配置移动端的时间阈值为15S±2S。
作为优选的实施例，所述步骤S4中，以公钥、私钥和步骤S3中的时间戳为加密源，基于加密SDK生成第二Token。加密源中包含公钥、私钥以及时间戳，对加密后的第二Token与步骤S2中客户端生成的第一Token进行对比，可以从多个维度去对比信息的合法性。
作为优选的实施例，加密SDK算法原理，就是基于开源加密算法和二次混淆加密规则生成Token，步骤S2和步骤S4中加密采用的方法包括以下过程：步骤SA1，将加密源（公钥、私钥、时间戳）按照名称升序规则排序，以排序后的加密源名称作为Hash的Key，加密源值内容作为Hash的Value，构建加密源的Hash数据结构，构建的Hash数据结构如HashMap等，然后把Hash数据结构转化为Json格式的字符串S0；步骤SA2，通过开源算法将步骤SA1的字符串S0加密得到新的字符串S1；这里的开源算法开源可以是MD5或任意自定义算法，只需要保持客户端与服务端算法一致；步骤SA3，设定第一二次加密参数X，原则上本实施例的第一二次加密参数可以选择所有的非零自然数，但是本实施例中可以优选1~9的任一自然数，这样取模得到的数字为个位数，使运算更加简化，将加密源中的时间戳与第一二次加密参数X取模得到一个数字I，例如得到数字4，将加密后得到的字符串S1的前面4个字符分割为新的字符串S2，分割后字符串S1的剩余部分作为新的字符串S3；步骤SA4，将加密源中的时间戳与第二二次加密参数Y(例如为6）取模得到一个数字C（例如为3）；同理，原则上这里的第二二次加密参数也可以选择所有的非零自然数，但是这里可以优选1~9的任一自然数，这样取模得到的数字为个位数，使运算更加简化；步骤SA5，将字符串S2、字符串S3和数字3，按照字符串S3、数字3、字符串S2的顺序依次拼接为一个新的字符串S4，字符串S4为加密SDK算法根据加密源得出的Token值。
如图2所示，为本发明实现网站接口反爬虫的方法的系统框图，包括客户端、网关层和服务层，客户端向服务层申请公钥和私钥，并同步客户端时间与服务器时间；客户端将加密生成的第一Token和时间戳附加在Http请求中，传递给服务层；服务层和客户端之间要通过网关层，网关层执行白名单校验和黑名单校验，以及反爬虫检查中的时间戳校验和Token校验；而服务层容纳多个服务端口，图2的例子有三个，分别为服务A、服务B、服务C。
最后应说明的是：以上各实施例仅仅为本发明的较优实施例用以说明本发明的技术方案，而非对其限制，当然更不是限制本发明的专利范围；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围；也就是说，但凡在本发明的主体设计思想和精神上作出的毫无实质意义的改动或润色，其所解决的技术问题仍然与本发明一致的，均应当包含在本发明的保护范围之内；另外，将本发明的技术方案直接或间接的运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种实现网站接口反爬虫的方法，其特征在于，包括：
步骤S1，在客户端启动时，向服务器申请公钥和私钥，并同步客户端时间与服务器时间；
步骤S2，客户端将基于加密SDK加密生成的第一Token和时间戳附加在Http请求中，传递给服务器；
步骤S3，服务器接收到Http请求并进行反爬虫检查，检查Http请求中的第一Token和时间戳，如果不存在第一Token和时间戳、或者Http请求中的时间戳与服务器时间差值大于设置的时间阈值，则返回非法请求响应；如果Http请求中的时间戳与服务器时间差值小于等于设置的时间阈值，则进入步骤S4；
步骤S4，服务器获取下发给客户端的公钥和私钥，加密生成第二Token，对比第二Token和第一Token是否一致，如果不一致则返回非法请求响应，如果一致则为合法请求。
2.如权利要求1所述的实现网站接口反爬虫的方法，其特征在于，所述步骤S2中，当客户端发起每个Http请求发起时，以公钥、私钥、时间戳作为加密源，基于加密SDK生成第一Token，并将第一token 和加密源中的时间戳一起作为参数附加在Http请求的Header中与业务参数一起传递给服务器。
3.如权利要求1所述的实现网站接口反爬虫的方法，其特征在于，所述步骤S3中，服务器接收到Http请求时，先判断接收到的Http请求地址是否为服务器黑名单地址，如果不是黑名单地址则不进行反爬虫检查；如果是黑名单地址，再判断接收到的Http请求地址是否为服务器白名单地址，如果是白名单地址则不进行反爬虫检查，如果不是白名单地址则进行反爬虫检查。
4.如权利要求1所述的实现网站接口反爬虫的方法，其特征在于，所述步骤S3中，PC端的时间阈值设置为5S，移动端的时间阈值设置为15S。
5.如权利要求1所述的实现网站接口反爬虫的方法，其特征在于，所述步骤S4中，以公钥、私钥和步骤S3中的时间戳为加密源，基于加密SDK生成第二Token。
6.如权利要求1所述的实现网站接口反爬虫的方法，其特征在于，所述步骤S2和步骤S4中加密采用的方法包括以下过程：
步骤SA1，将加密源按照名称升序规则排序，以排序后的加密源名称作为Hash的Key，加密源值内容作为Hash的Value，构建加密源的Hash数据结构，然后把Hash数据结构转化为Json格式的字符串S0；
步骤SA2，通过开源算法将字符串S0加密得到新的字符串S1；
步骤SA3，设定第一二次加密参数X，将加密源中的时间戳与第一二次加密参数X取模得到一个数字I，将字符串S1的前面I个字符分割为新的字符串S2，分割后字符串S1的剩余部分作为新的字符串S3；
步骤SA4，将加密源中的时间戳与第二二次加密参数Y取模得到一个数字C；
步骤SA5，按照字符串S3、数字C、字符串S2的顺序依次拼接为一个新的字符串S4。
7.如权利要求6所述的实现网站接口反爬虫的方法，其特征在于，所述第一二次加密参数X为1~9的任一自然数，第二二次加密参数Y为1~9的任一自然数。
CN202110397562.4A 2021-04-14 2021-04-14 一种实现网站接口反爬虫的方法 Active CN112804269B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110397562.4A CN112804269B (zh) 2021-04-14 2021-04-14 一种实现网站接口反爬虫的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110397562.4A CN112804269B (zh) 2021-04-14 2021-04-14 一种实现网站接口反爬虫的方法

Publications (2)

Publication Number Publication Date
CN112804269A true CN112804269A (zh) 2021-05-14
CN112804269B CN112804269B (zh) 2021-07-06

Family

ID=75817010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110397562.4A Active CN112804269B (zh) 2021-04-14 2021-04-14 一种实现网站接口反爬虫的方法

Country Status (1)

Country Link
CN (1) CN112804269B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113271306A (zh) * 2021-05-18 2021-08-17 上海星融汽车科技有限公司 数据请求、发送方法、设备以及系统
CN113609366A (zh) * 2021-08-04 2021-11-05 深圳市元征科技股份有限公司 数据获取方法、装置、终端设备及可读存储介质
CN113609501A (zh) * 2021-08-05 2021-11-05 广州南洋理工职业学院 一种基于非对称二次加密的反爬虫方法及系统

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104967597A (zh) * 2014-11-04 2015-10-07 深圳市腾讯计算机系统有限公司 一种基于安全渠道的第三方应用消息鉴权方法及系统
CN105897782A (zh) * 2016-06-30 2016-08-24 北京奇艺世纪科技有限公司 一种针对接口的调用请求的处理方法及装置
CN106302346A (zh) * 2015-05-27 2017-01-04 阿里巴巴集团控股有限公司 Api调用的安全认证方法、装置、系统
CN108259437A (zh) * 2016-12-29 2018-07-06 北京神州泰岳软件股份有限公司 一种http访问方法、http服务器和系统
CN108471432A (zh) * 2018-07-11 2018-08-31 北京智芯微电子科技有限公司 防止网络应用程序接口被恶意攻击的方法
CN108833432A (zh) * 2018-06-30 2018-11-16 安徽合软信息技术有限公司 一种基于访问行为的新型反爬虫方法
WO2020000747A1 (zh) * 2018-06-27 2020-01-02 平安科技（深圳）有限公司 一种反爬虫方法、终端及计算机可读存储介质
CN107770171B (zh) * 2017-10-18 2020-01-24 厦门集微科技有限公司 服务器反爬虫的验证方法及系统
CN110839004A (zh) * 2018-08-16 2020-02-25 北京京东尚科信息技术有限公司 访问认证的方法和装置
US10614250B2 (en) * 2018-05-04 2020-04-07 GroupSense, Inc. Systems and methods for detecting and remedying theft of data
CN111131303A (zh) * 2019-12-31 2020-05-08 苏宁云计算有限公司 一种请求数据的校验系统和方法
CN106790105B (zh) * 2016-12-26 2020-08-21 携程旅游网络技术（上海）有限公司 基于业务数据的爬虫识别拦截方法及系统
CN111817845A (zh) * 2019-04-11 2020-10-23 亿度慧达教育科技（北京）有限公司 反爬虫方法及计算机存储介质
US20210067577A1 (en) * 2019-02-25 2021-03-04 Luminati Networks Ltd. System and method for url fetching retry mechanism
CN112653695A (zh) * 2020-12-21 2021-04-13 浪潮卓数大数据产业发展有限公司 一种实现反爬虫的方法及系统
CN112688919A (zh) * 2020-12-11 2021-04-20 杭州安恒信息技术股份有限公司 一种基于app接口的反爬虫方法、设备及介质

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104967597A (zh) * 2014-11-04 2015-10-07 深圳市腾讯计算机系统有限公司 一种基于安全渠道的第三方应用消息鉴权方法及系统
CN106302346A (zh) * 2015-05-27 2017-01-04 阿里巴巴集团控股有限公司 Api调用的安全认证方法、装置、系统
CN105897782A (zh) * 2016-06-30 2016-08-24 北京奇艺世纪科技有限公司 一种针对接口的调用请求的处理方法及装置
CN106790105B (zh) * 2016-12-26 2020-08-21 携程旅游网络技术（上海）有限公司 基于业务数据的爬虫识别拦截方法及系统
CN108259437A (zh) * 2016-12-29 2018-07-06 北京神州泰岳软件股份有限公司 一种http访问方法、http服务器和系统
CN107770171B (zh) * 2017-10-18 2020-01-24 厦门集微科技有限公司 服务器反爬虫的验证方法及系统
US20200226291A1 (en) * 2018-05-04 2020-07-16 GroupSense, Inc. Systems and methods for detecting and remedying theft of data
US10614250B2 (en) * 2018-05-04 2020-04-07 GroupSense, Inc. Systems and methods for detecting and remedying theft of data
WO2020000747A1 (zh) * 2018-06-27 2020-01-02 平安科技（深圳）有限公司 一种反爬虫方法、终端及计算机可读存储介质
CN108833432A (zh) * 2018-06-30 2018-11-16 安徽合软信息技术有限公司 一种基于访问行为的新型反爬虫方法
CN108471432A (zh) * 2018-07-11 2018-08-31 北京智芯微电子科技有限公司 防止网络应用程序接口被恶意攻击的方法
CN110839004A (zh) * 2018-08-16 2020-02-25 北京京东尚科信息技术有限公司 访问认证的方法和装置
US20210067577A1 (en) * 2019-02-25 2021-03-04 Luminati Networks Ltd. System and method for url fetching retry mechanism
CN111817845A (zh) * 2019-04-11 2020-10-23 亿度慧达教育科技（北京）有限公司 反爬虫方法及计算机存储介质
CN111131303A (zh) * 2019-12-31 2020-05-08 苏宁云计算有限公司 一种请求数据的校验系统和方法
CN112688919A (zh) * 2020-12-11 2021-04-20 杭州安恒信息技术股份有限公司 一种基于app接口的反爬虫方法、设备及介质
CN112653695A (zh) * 2020-12-21 2021-04-13 浪潮卓数大数据产业发展有限公司 一种实现反爬虫的方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ANDYZTY: ""App开放接口api安全性—Token签名sign的设计与实现"", 《HTTPS://BLOG.CSDN.NET/FENGSHIZTY/ARTICLE/DETAILS/48754609》 *
R ANBUNATHAN; ANIRBAN BASU: ""A recursive crawler algorithm to detect crash in Android application"", 《2014 IEEE INTERNATIONAL CONFERENCE ON COMPUTATIONAL INTELLIGENCE AND COMPUTING RESEARCH》 *
王建华: "API技术安全问题及相关安全解决方案研究", 《中国金融电脑》 *
葛又嘉: ""基于微服务架构的分布式爬虫系统设计与应用"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113271306A (zh) * 2021-05-18 2021-08-17 上海星融汽车科技有限公司 数据请求、发送方法、设备以及系统
CN113609366A (zh) * 2021-08-04 2021-11-05 深圳市元征科技股份有限公司 数据获取方法、装置、终端设备及可读存储介质
CN113609501A (zh) * 2021-08-05 2021-11-05 广州南洋理工职业学院 一种基于非对称二次加密的反爬虫方法及系统
CN113609501B (zh) * 2021-08-05 2024-07-02 广州南洋理工职业学院 一种基于非对称二次加密的反爬虫方法及系统

Also Published As

Publication number Publication date
CN112804269B (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN111212095B (zh) 一种身份信息的认证方法、服务器、客户端及系统
Hong P2P networking based internet of things (IoT) sensor node authentication by Blockchain
CN112804269B (zh) 一种实现网站接口反爬虫的方法
CN110401615B (zh) 一种身份认证方法、装置、设备、系统及可读存储介质
US20100077216A1 (en) Method for enhancing network application security
CN1906886A (zh) 在计算机系统之间建立用于传递消息的安全上下文
JP2021533426A (ja) コンテンツ配信の認証された制御のためのシステムおよび方法
CN102299930A (zh) 一种保障客户端软件安全的方法
CN114614994B (zh) Api接口数据的通信方法、装置、客户端及存储介质
WO2018030289A1 (ja) Ｓｓｌ通信システム、クライアント、サーバ、ｓｓｌ通信方法、コンピュータプログラム
Alzuwaini et al. An Efficient Mechanism to Prevent the Phishing Attacks.
CN112699374A (zh) 一种完整性校验漏洞安全防护的方法及系统
CN110035076B (zh) 面向能源互联网的可信接入方法、可信客户端及服务器
CN107566393A (zh) 一种基于受信任证书的动态权限验证系统及方法
CN110572392A (zh) 一种基于Hyperledger网络的身份认证方法
Alshomrani et al. PUFDCA: A Zero‐Trust‐Based IoT Device Continuous Authentication Protocol
KR20090054774A (ko) 분산 네트워크 환경에서의 통합 보안 관리 방법
CN114553566B (zh) 数据加密方法、装置、设备及存储介质
CN113285934B (zh) 基于数字签名的服务器密码机客户端ip检测方法及装置
Kwon et al. Certificate transparency with enhanced privacy
CN109644137A (zh) 具有签名消息的基于令牌的认证
CN109902515B (zh) 一种真实数据验证方法及系统
Bojanova et al. Cryptography classes in bugs framework (BF): Encryption bugs (ENC), verification bugs (VRF), and key management bugs (KMN)
Deeptha et al. Extending OpenID connect towards mission critical applications
McLuskie et al. X. 509 certificate error testing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant