CN103888490A - 一种全自动的web客户端人机识别的方法 - Google Patents

一种全自动的web客户端人机识别的方法 Download PDF

Info

Publication number
CN103888490A
CN103888490A CN201210557507.8A CN201210557507A CN103888490A CN 103888490 A CN103888490 A CN 103888490A CN 201210557507 A CN201210557507 A CN 201210557507A CN 103888490 A CN103888490 A CN 103888490A
Authority
CN
China
Prior art keywords
client
browser
request
recognition system
http
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201210557507.8A
Other languages
English (en)
Other versions
CN103888490B (zh
Inventor
叶志强
程胜年
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI TITANSEC NETWORK TECHNOLOGY Co Ltd
Original Assignee
SHANGHAI TITANSEC NETWORK TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI TITANSEC NETWORK TECHNOLOGY Co Ltd filed Critical SHANGHAI TITANSEC NETWORK TECHNOLOGY Co Ltd
Priority to CN201210557507.8A priority Critical patent/CN103888490B/zh
Publication of CN103888490A publication Critical patent/CN103888490A/zh
Application granted granted Critical
Publication of CN103888490B publication Critical patent/CN103888490B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及一种全自动的WEB客户端人机识别的方法，包括如下步骤：接收来自客户端的请求，根据客户端的IP地址与HTTP请求头的部分信息，生成一个能标识该客户端的识别密钥KEY，并把该KEY放在一段Javascript代码中，返回给客户端。客户端接收并执行该Javascript代码后，会生成包含了该KEY的客户端身份Cookie，然后使用该Cookie再次访问WEB服务器。如果请求包含了正确的Cookie值，则认为客户端是浏览器，访问被放行。如果请求未包含正确的Cookie，则认为客户端是非浏览器，请求会被忽略。该方法实现了透明的客户端浏览器与非浏览器的识别，能有效降低来自WEB爬虫、WEB扫描器以及网页信息采集程序等自动工具的访问，非常适合应用在需要公开发布信息，但是又不希望发布的信息被自动化WEB获取的网站。

Description

一种全自动的WEB客户端人机识别的方法
技术领域
本发明属于计算机网络技术领域，具体涉及一种全自动的WEB客户端人机识别的方法。
背景技术
在互联网快速发展浪潮的推动之下，金融、应用服务提供商、电子商务及政府单位等各类机构都将其业务系统移植到WEB上来，WEB已经俨然成为普适平台，计算及业务资源向数据中心高度集中。因为越来越多地承载各类客户的核心业务，WEB成为互联网上最主要的信息发布平台。WEB信息的获取是如此的方便以及廉价，导致WEB信息被滥用、盗用的现象越来越普遍，越来越多的自动化工具被开发出来，夜以继日地对互联网上的信息进行收集。因为这些工具的访问对WEB系统造成了一定的负面影响，人们开始采取一些技术手段限制针对某些WEB信息的访问。
对于少量需要识别人与计算机访问的网页，可以通过CAPTCHA技术来进行。CAPTCHA是Completely Automated Public Turing Test to Tell Computers and Humans Apart (全自动区分计算机和人类的图灵测试)的简称。但是该过程需要人工的介入，不适合信息发布与浏览的网站。
有些网站通过过滤HTTP请求的特定User-Agent头来过滤爬虫等自动化工具的访问，但是因为根据HTTP协议规范，User-Agent头的值是可以任意设置的，因此很多自动化工具都把自己的User-Agent设置成与普通的浏览器一样来逃避过滤。有些网站采取过滤客户端IP的方法减少来自WEB爬虫的访问，但是这只能过滤掉已知的网络爬虫和网页采集器的访问，并不能阻断来自非固定IP的WEB扫描器以及恶意 WEB自动工具的访问。
因此需要一种不需要人工介入，能够有效屏蔽来自网络爬虫、WEB扫描器以及恶意网页信息采集器等自动化WEB工具，同时不影响浏览器正常访问的方法。
发明内容
本发明的目的在于公开一种全自动的WEB客户端人机识别的方法，能够识别出浏览器与非浏览器自动化工具的WEB访问行为，通过阻止自动化工具的访问，可以有效降低WEB信息被盗用、网站被自动化工具攻击的概率。
本发明公开了一种全自动的WEB客户端人机识别的方法，包括如下步骤：浏览器识别系统接收来自客户端的请求，根据客户端的IP地址与HTTP请求头的部分信息，生成一个能标识该客户端的识别密钥KEY，并把该识别密钥KEY放在一段Javascript代码中，返回给客户端。客户端接收并执行该Javascript代码后，会生成包含了该识别密钥KEY的客户端身份Cookie，然后使用该客户端身份Cookie再次访问WEB服务器。如果请求包含了正确的客户端身份Cookie值，浏览器识别系统则认为客户端是浏览器，访问被放行。如果请求未包含正确的客户端身份Cookie，则认为客户端是非浏览器，请求会被忽略。
本发明的技术方案只要求客户端的浏览器具有Javascript代码执行功能，目前市场上主流的浏览器都具备执行Javascript代码的功能，因此本发明方案的实施几乎不受限制，具有广泛的意义。
网络爬虫、WEB扫描器以及网页信息采集器等自动化工具，通过构造HTTP请求，接收来自WEB服务器的响应内容，最后查找WEB服务器响应里的敏感内容，如网页链接、邮件地址等来获取相应信息。这些自动化的工具都是为获取某一类信息而设计开发的，与浏览器程序的一个很重要的区别就是，非浏览器自动化工具通常都不具备Javascript代码解析与执行的能力，因而并不会重新发出请求，而是会将浏览器识别系统返回的页面作为先前请求的内容。
本发明的技术方案通过要求客户端执行Javascript代码来获取该客户端后续访问WEB服务器时所需要的HTTP Cookie来区分浏览器与非浏览器客户端，充分利用了非浏览器等自动化工具的缺陷，具有极高的识别准确率。
本发明与其他已有的过滤网络爬虫以及CAPTCHA的方案相比，具有如下的优点：
1. 完全自动的完成浏览器访问的识别过程，不需要人工介入，适合大量信息发布与浏览的网站和WEB应用系统；
2. 可以有效防止User-Agent字段被假冒的情况，有效识别出通过篡改和假冒User-Agent头来企图逃避检查的自动化工具；
3. 系统部署后无复杂的维护过程，无需像传统的过滤客户端IP的方案那样需要定期更新的需要过滤的客户端IP列表 ；
4. 能完全识别出现有各种自动化工具的变种以及未来出现的各种HTTP自动化工具。
本发明所述方法，实现了透明的客户端浏览器与非浏览器的识别，能有效降低来自WEB爬虫、WEB扫描器以及网页信息采集程序等自动工具的访问，非常适合应用在需要公开发布信息，但是又不希望发布的信息被自动化WEB获取的网站。
附图说明
图1 是本发明中浏览器识别过程的流程图；
图2是本发明中HTTP客户端、浏览器识别系统与WEB服务器交互的过程图。
具体实施方式
参见图1、图2所示，本发明提供一种全自动的WEB客户端人机识别的方法，实现该方法的系统（以下称为浏览器识别系统），既可以作为WEB服务器的插件部署在WEB服务器上，也可以作为HTTP反向代理服务部署在网关设备上，通过该系统对浏览器与非浏览器自动化工具的WEB访问行为进行识别。
本发明所述方法包括如下步骤：
(1)     针对任意一个客户端发出的HTTP请求，浏览器识别系统根据客户端的IP地址与HTTP请求头的User-Agent字段信息，生成能标识该客户端的Cookie名称；生成的算法为 md5(client_ip，user_agent，preshared_key)，其中client_ip是客户端的IP地址，user_agent是客户端发起请求时所用的HTTP 请求头中User-Agent字段的值，preshared_key是浏览器识别系统预先配置的一个密钥，md5代表对client_ip、user_agent与preshared_key合并的字符串进行的md5消息摘要运算。运行该算法得到的摘要值进行十六进制字符化后作为该客户端的身份识别Cookie的名称，该Cookie称为客户端身份Cookie。
(2)     根据浏览器识别系统当前的时间戳、客户端身份Cookie名称，来生成客户端的识别密钥KEY，并把该识别密钥KEY返回给客户端。生成的算法为md5(timestamp, cookie_name, preshared_key)，其中timestamp为浏览器识别系统当前的时间戳, cookie_name是客户端身份Cookie名称, preshared_key是身份识别系统预先配置的一个密钥，md5代表对timestamp、cookie_name与preshared_key 合并的串进行的md5消息摘要运算，得到的摘要值进行十六进制字符化后作为该客户端身份Cookie的值的一部分，完整的客户端身份Cookie的值为“timestamp/KEY”。该Cookie值中的时间戳信息赋予了客户端识别密钥KEY时间属性，可以识别出因为超时而失效的识别密钥KEY。
(3)     浏览器识别系统检查HTTP请求中是否带有客户端身份Cookie。如果请求带有客户端身份Cookie，则检查客户端的识别密钥KEY是否合法，如果KEY合法则放行该请求，否则进入步骤(4)；如果请求没有带客户端身份Cookie，则直接进入步骤(4)。
(4)     把客户端身份Cookie名称字符串与识别密钥KEY字符串，放在一段Javascript代码中。浏览器识别系统生成一个包含了该Javascript代码的html页面作为HTTP响应内容，返回给客户端。发送给客户端的该Javascript代码可以是明文的，也可是经过加密或混淆处理的。
(5)     客户端读取浏览器识别系统返回的页面内容。
(6)     如果该客户端不是浏览器，它会认为系统返回的应答内容就是原先请求的页面的内容。因为客户端无法从浏览器识别系统返回的应答内容里获取更多的页面链接等信息，因此无法继续爬取其他页面。
(7)     如果该客户端是浏览器，会自动执行浏览器识别系统返回的页面里的Javascript代码。实际应用中可以是在页面加载时执行，也可以是延迟一段时间执行。
执行该Javascript代码后，会再次发起对原先页面的请求。与客户端第一次发送的请求不一样的是，这次发送的HTTP请求，带有由浏览器识别系统返回的Javascript代码生成的客户端身份Cookie以及作为Cookie值的识别密钥KEY。
(8)     浏览器识别系统判断客户端身份Cookie以及识别密钥KEY正确后，放行该请求。
(9)     WEB服务器接受该请求，返回正常的页面内容。
本发明的上述方法，既可以对所有网页的访问进行检查，也可以针对某类网页或者某个具体的网页的访问进行检查。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (10)

1.一种全自动的WEB客户端人机识别的方法，其特征在于，包含以下步骤：
(a) 浏览器识别系统接收来自客户端的HTTP请求，并根据客户端IP地址与HTTP请求头的部分信息，生成能标识该客户端的识别密钥KEY；
(b) 浏览器识别系统生成一段包含有识别密钥KEY的Javascript代码，并将该Javascript代码返回给客户端；
(c) 客户端执行该Javascript代码，生成包含了识别密钥KEY的客户端身份Cookie；
(d) 客户端用基于Javascript生成的客户端身份Cookie，自动再次发出访问WEB服务器的第二次HTTP请求；
(e) 浏览器识别系统对第二次HTTP请求是否含有合法的客户端身份Cookie值进行识别，以判断第二次HTTP请求是否由浏览器发出，被识别为由浏览器发出的含有合法客户端身份Cookie值的第二次HTTP请求被放行，其他请求会被浏览器识别系统忽略。
2.如权利要求1所述全自动的WEB客户端人机识别的方法，其特征在于：
浏览器识别系统将生成的识别密钥KEY与时间戳一起作为客户端身份Cookie的值，则浏览器识别系统通过时间戳信息能够识别因超时而失效的识别密钥KEY。
3.如权利要求1所述全自动的WEB客户端人机识别的方法，其特征在于：
客户端通过自动执行系统向其返回的Javascript代码，来生成能够被系统正确识别的客户端身份Cookie，则客户端后续的HTTP请求中必须带有该客户端身份Cookie。
4.如权利要求1所述全自动的WEB客户端人机识别的方法，其特征在于：
所述方法对客户端向所有网页的访问进行检查，或者针对向某类网页或某个具体的网页的访问进行检查。
5.如权利要求1所述全自动的WEB客户端人机识别的方法，其特征在于：
所述浏览器识别系统是在WEB服务器上作为WEB服务器的一个插件实现，或者在网关设备上作为一个HTTP反向代理实现。
6.如权利要求1所述全自动的WEB客户端人机识别的方法，其特征在于：
发送给客户端的Javascript代码是在页面加载时执行，或者是延迟一段时间后执行。
7.如权利要求1所述全自动的WEB客户端人机识别的方法，其特征在于：
发送给客户端的Javascript代码是明文的，或者是经过加密或混淆处理的。
8.一种全自动的WEB客户端人机识别的方法，用以防止WEB服务器被非浏览器访问，其特征在于，包含以下步骤：
(1) 浏览器识别系统接收来自客户端的HTTP请求，并根据客户端IP地址与HTTP请求头的部分信息，生成该客户端的客户端身份Cookie的名称；
(2) 浏览器识别系统还根据当前的时间戳、客户端的客户端身份Cookie的名称，来生成标识客户端的识别密钥KEY，并将该识别密钥KEY作为客户端身份Cookie的值中的至少一部分；
(3) 浏览器识别系统先检查客户端的HTTP请求中，是否带有客户端的客户端身份Cookie，如果有则进一步检查其中的识别密钥KEY是否合法，如果KEY合法则放行该请求，否则进入步骤(4)，如果HTTP请求没有带有客户端的客户端身份Cookie，则直接进入步骤(4)；
(4) 浏览器识别系统生成一个包含Javascript代码的页面，并将该页面返回给客户端，所述Javascript代码中带有系统生成的客户端身份Cookie的名称字符串和识别密钥KEY字符串；
(5) 客户端读取浏览器识别系统返回的页面；
(6) 若客户端是不能够解析Javascript代码的非浏览器时，会将浏览器识别系统返回的页面，作为先前向WEB服务器请求的响应内容；
(7) 若客户端是浏览器时，将自动执行系统返回页面中的Javascript代码并生成第二次HTTP请求；先前的HTTP请求与该第二次HTTP请求中，需要WEB服务器返回的响应内容是一致的；并且，所述第二次HTTP请求中包含能够被系统正确识别的客户端的客户端身份Cookie及识别密钥KEY；
(8) 浏览器识别系统判断第二次HTTP请求中客户端的客户端身份Cookie和识别密钥KEY正确时，放行第二次请求；
(9) WEB服务器接收到被放行的第二次HTTP请求后，返回相应的响应内容。
9.如权利要求8所述防止WEB服务器被非浏览器访问的方法，其特征在于： 
步骤(1)中，浏览器识别系统根据客户端IP地址与HTTP请求头的User-Agent字段信息，来生成该客户端的客户端身份Cookie的名称。
10.如权利要求8所述防止WEB服务器被非浏览器访问的方法，其特征在于： 
步骤(2)中完整的客户端身份Cookie的值包含时间戳及识别密钥KEY，则在步骤(3)中浏览器识别系统将进一步通过时间戳信息判断识别密钥KEY是否因超时而失效。
CN201210557507.8A 2012-12-20 2012-12-20 一种全自动的web客户端人机识别的方法 Active CN103888490B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210557507.8A CN103888490B (zh) 2012-12-20 2012-12-20 一种全自动的web客户端人机识别的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210557507.8A CN103888490B (zh) 2012-12-20 2012-12-20 一种全自动的web客户端人机识别的方法

Publications (2)

Publication Number Publication Date
CN103888490A true CN103888490A (zh) 2014-06-25
CN103888490B CN103888490B (zh) 2018-03-13

Family

ID=50957208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210557507.8A Active CN103888490B (zh) 2012-12-20 2012-12-20 一种全自动的web客户端人机识别的方法

Country Status (1)

Country Link
CN (1) CN103888490B (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104079477A (zh) * 2014-07-17 2014-10-01 上海斐讯数据通信技术有限公司 用于家用网关设备的客户端设备识别方法及系统
CN104199921A (zh) * 2014-08-30 2014-12-10 深圳市云来网络科技有限公司 网页应用的防拷贝追踪方法及网页防拷贝追踪装置
CN104883357A (zh) * 2015-04-28 2015-09-02 深信服网络科技（深圳）有限公司 防范http post泛洪攻击的方法及防火墙
CN105447700A (zh) * 2014-08-27 2016-03-30 阿里巴巴集团控股有限公司 支付安全性的检测方法和装置
CN105871850A (zh) * 2016-04-05 2016-08-17 携程计算机技术（上海）有限公司 爬虫检测方法和系统
CN105897694A (zh) * 2016-03-25 2016-08-24 网宿科技股份有限公司 一种客户端会话识别方法及系统
CN106131021A (zh) * 2016-07-15 2016-11-16 北京元支点信息安全技术有限公司 一种请求认证方法及系统
CN106209886A (zh) * 2016-07-22 2016-12-07 广州爱九游信息技术有限公司 web接口数据加密加签方法、装置及服务器
CN106209748A (zh) * 2015-05-08 2016-12-07 阿里巴巴集团控股有限公司 互联网接口的防护方法及装置
CN106254347A (zh) * 2016-08-03 2016-12-21 浙江宇视科技有限公司 一种web页面访问方法和装置
CN106411868A (zh) * 2016-09-19 2017-02-15 成都知道创宇信息技术有限公司 一种自动识别web爬虫的方法
CN106911651A (zh) * 2015-12-23 2017-06-30 上海格尔软件股份有限公司 一种基于Web服务器中间件的自动验证方法
CN107135212A (zh) * 2017-04-25 2017-09-05 武汉大学 一种基于行为差异的Web环境下的人机识别装置及方法
CN107241306A (zh) * 2017-01-06 2017-10-10 深圳市九州安域科技有限公司 一种人机识别方法、服务端、客户端及人机识别系统
CN107341395A (zh) * 2016-05-03 2017-11-10 北京京东尚科信息技术有限公司 一种拦截爬虫的方法
CN107612926A (zh) * 2017-10-12 2018-01-19 成都知道创宇信息技术有限公司 一种基于客户端识别的一句话WebShell拦截方法
CN107770171A (zh) * 2017-10-18 2018-03-06 厦门集微科技有限公司 服务器反爬虫的验证方法及系统
CN108074151A (zh) * 2016-11-14 2018-05-25 北京京东尚科信息技术有限公司 电子商务的防刷单方法和系统
CN108322302A (zh) * 2017-01-17 2018-07-24 北京京东尚科信息技术有限公司 一种页面防刷方法、装置、电子设备和存储介质
CN108400955A (zh) * 2017-02-06 2018-08-14 腾讯科技（深圳）有限公司 一种网络攻击的防护方法及系统
CN108429785A (zh) * 2018-01-17 2018-08-21 广东智媒云图科技股份有限公司 一种爬虫识别加密串的生成方法、爬虫识别方法及装置
CN108810019A (zh) * 2018-07-13 2018-11-13 腾讯科技（深圳）有限公司 拒绝服务攻击防御方法、装置、设备和存储介质
CN109962880A (zh) * 2017-12-22 2019-07-02 南京欣网互联网络科技有限公司 应用于电信运营商电子渠道的http请求参数校验方法
CN110471378A (zh) * 2019-08-09 2019-11-19 昆山市自来水集团有限公司 一种水厂自动化控制及数据分析系统
CN111385313A (zh) * 2020-05-28 2020-07-07 支付宝(杭州)信息技术有限公司 一种对象请求合法性验证的方法和系统
CN112788073A (zh) * 2019-11-06 2021-05-11 广州凡科互联网科技股份有限公司 一种新型非浏览器端使用Cookie处理方法
CN112953958A (zh) * 2021-03-09 2021-06-11 拉扎斯网络科技（上海）有限公司 一种爬虫检测方法、装置及电子设备
CN113901299A (zh) * 2021-08-31 2022-01-07 重庆小雨点小额贷款有限公司 一种数据处理方法、装置及计算机可读存储介质
CN115225341A (zh) * 2022-06-28 2022-10-21 西安四叶草信息技术有限公司 一种网站访问方法及装置
CN115473679A (zh) * 2022-08-10 2022-12-13 广西电网有限责任公司电力科学研究院 一种基于在线交互式web动态防御的人机识别系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010021917A1 (en) * 2000-03-08 2001-09-13 Dgc Institute Co., Ltd Electronic commerce system for updating information
CN102404345A (zh) * 2011-12-26 2012-04-04 山石网科通信技术（北京）有限公司 分布式攻击阻止方法及装置
CN102685086A (zh) * 2011-04-14 2012-09-19 天脉聚源(北京)传媒科技有限公司 一种文件访问方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010021917A1 (en) * 2000-03-08 2001-09-13 Dgc Institute Co., Ltd Electronic commerce system for updating information
CN102685086A (zh) * 2011-04-14 2012-09-19 天脉聚源(北京)传媒科技有限公司 一种文件访问方法和系统
CN102404345A (zh) * 2011-12-26 2012-04-04 山石网科通信技术（北京）有限公司 分布式攻击阻止方法及装置

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104079477A (zh) * 2014-07-17 2014-10-01 上海斐讯数据通信技术有限公司 用于家用网关设备的客户端设备识别方法及系统
CN104079477B (zh) * 2014-07-17 2018-09-28 上海斐讯数据通信技术有限公司 用于家用网关设备的客户端设备识别方法及系统
CN105447700A (zh) * 2014-08-27 2016-03-30 阿里巴巴集团控股有限公司 支付安全性的检测方法和装置
CN104199921A (zh) * 2014-08-30 2014-12-10 深圳市云来网络科技有限公司 网页应用的防拷贝追踪方法及网页防拷贝追踪装置
CN104883357A (zh) * 2015-04-28 2015-09-02 深信服网络科技（深圳）有限公司 防范http post泛洪攻击的方法及防火墙
CN106209748B (zh) * 2015-05-08 2019-10-01 阿里巴巴集团控股有限公司 互联网接口的防护方法及装置
CN106209748A (zh) * 2015-05-08 2016-12-07 阿里巴巴集团控股有限公司 互联网接口的防护方法及装置
CN106911651A (zh) * 2015-12-23 2017-06-30 上海格尔软件股份有限公司 一种基于Web服务器中间件的自动验证方法
CN105897694A (zh) * 2016-03-25 2016-08-24 网宿科技股份有限公司 一种客户端会话识别方法及系统
CN105871850A (zh) * 2016-04-05 2016-08-17 携程计算机技术（上海）有限公司 爬虫检测方法和系统
CN105871850B (zh) * 2016-04-05 2019-02-01 携程计算机技术（上海）有限公司 爬虫检测方法和系统
CN107341395B (zh) * 2016-05-03 2020-03-03 北京京东尚科信息技术有限公司 一种拦截爬虫的方法
CN107341395A (zh) * 2016-05-03 2017-11-10 北京京东尚科信息技术有限公司 一种拦截爬虫的方法
CN106131021B (zh) * 2016-07-15 2020-11-10 北京元支点信息安全技术有限公司 一种请求认证方法及系统
CN106131021A (zh) * 2016-07-15 2016-11-16 北京元支点信息安全技术有限公司 一种请求认证方法及系统
CN106209886A (zh) * 2016-07-22 2016-12-07 广州爱九游信息技术有限公司 web接口数据加密加签方法、装置及服务器
CN106209886B (zh) * 2016-07-22 2019-11-05 广州爱九游信息技术有限公司 web接口数据加密加签方法、装置及服务器
CN106254347A (zh) * 2016-08-03 2016-12-21 浙江宇视科技有限公司 一种web页面访问方法和装置
CN106254347B (zh) * 2016-08-03 2019-08-02 浙江宇视科技有限公司 一种web页面访问方法和装置
CN106411868A (zh) * 2016-09-19 2017-02-15 成都知道创宇信息技术有限公司 一种自动识别web爬虫的方法
CN108074151A (zh) * 2016-11-14 2018-05-25 北京京东尚科信息技术有限公司 电子商务的防刷单方法和系统
CN108074151B (zh) * 2016-11-14 2021-09-03 北京京东尚科信息技术有限公司 电子商务的防刷单方法和系统
CN107241306A (zh) * 2017-01-06 2017-10-10 深圳市九州安域科技有限公司 一种人机识别方法、服务端、客户端及人机识别系统
CN107241306B (zh) * 2017-01-06 2020-11-06 深圳市九州安域科技有限公司 一种人机识别方法、服务端、客户端及人机识别系统
CN108322302A (zh) * 2017-01-17 2018-07-24 北京京东尚科信息技术有限公司 一种页面防刷方法、装置、电子设备和存储介质
CN108400955A (zh) * 2017-02-06 2018-08-14 腾讯科技（深圳）有限公司 一种网络攻击的防护方法及系统
CN108400955B (zh) * 2017-02-06 2020-12-22 腾讯科技（深圳）有限公司 一种网络攻击的防护方法及系统
CN107135212A (zh) * 2017-04-25 2017-09-05 武汉大学 一种基于行为差异的Web环境下的人机识别装置及方法
CN107612926B (zh) * 2017-10-12 2020-09-29 成都知道创宇信息技术有限公司 一种基于客户端识别的一句话WebShell拦截方法
CN107612926A (zh) * 2017-10-12 2018-01-19 成都知道创宇信息技术有限公司 一种基于客户端识别的一句话WebShell拦截方法
CN107770171A (zh) * 2017-10-18 2018-03-06 厦门集微科技有限公司 服务器反爬虫的验证方法及系统
CN107770171B (zh) * 2017-10-18 2020-01-24 厦门集微科技有限公司 服务器反爬虫的验证方法及系统
CN109962880A (zh) * 2017-12-22 2019-07-02 南京欣网互联网络科技有限公司 应用于电信运营商电子渠道的http请求参数校验方法
CN108429785A (zh) * 2018-01-17 2018-08-21 广东智媒云图科技股份有限公司 一种爬虫识别加密串的生成方法、爬虫识别方法及装置
CN108810019A (zh) * 2018-07-13 2018-11-13 腾讯科技（深圳）有限公司 拒绝服务攻击防御方法、装置、设备和存储介质
CN110471378A (zh) * 2019-08-09 2019-11-19 昆山市自来水集团有限公司 一种水厂自动化控制及数据分析系统
CN112788073A (zh) * 2019-11-06 2021-05-11 广州凡科互联网科技股份有限公司 一种新型非浏览器端使用Cookie处理方法
CN111385313A (zh) * 2020-05-28 2020-07-07 支付宝(杭州)信息技术有限公司 一种对象请求合法性验证的方法和系统
CN112953958A (zh) * 2021-03-09 2021-06-11 拉扎斯网络科技（上海）有限公司 一种爬虫检测方法、装置及电子设备
CN113901299A (zh) * 2021-08-31 2022-01-07 重庆小雨点小额贷款有限公司 一种数据处理方法、装置及计算机可读存储介质
CN115225341A (zh) * 2022-06-28 2022-10-21 西安四叶草信息技术有限公司 一种网站访问方法及装置
CN115225341B (zh) * 2022-06-28 2024-05-31 西安四叶草信息技术有限公司 一种网站访问方法及装置
CN115473679A (zh) * 2022-08-10 2022-12-13 广西电网有限责任公司电力科学研究院 一种基于在线交互式web动态防御的人机识别系统及方法

Also Published As

Publication number Publication date
CN103888490B (zh) 2018-03-13

Similar Documents

Publication Publication Date Title
CN103888490A (zh) 一种全自动的web客户端人机识别的方法
US9208309B2 (en) Dynamically scanning a web application through use of web traffic information
CN106095979B (zh) Url合并处理方法和装置
CN102065147A (zh) 一种基于企业应用系统获取用户登录信息的方法及装置
US8407766B1 (en) Method and apparatus for monitoring sensitive data on a computer network
CN102436564A (zh) 一种识别被篡改网页的方法及装置
CN110430188B (zh) 一种快速url过滤方法及装置
US9021085B1 (en) Method and system for web filtering
CN103118035B (zh) 分析网站访问请求参数合法范围的方法及装置
CN111008348A (zh) 反爬虫方法、终端、服务器及计算机可读存储介质
Sukumar et al. Review on modern Data Preprocessing techniques in Web usage mining (WUM)
CN111859076B (zh) 数据爬取方法、装置、计算机设备及计算机可读存储介质
CN111008405A (zh) 一种基于文件Hash的网站指纹识别方法
CN102663052A (zh) 一种提供搜索引擎搜索结果的方法及装置
CN113032655A (zh) 一种暗网电子数据提取固定方法
CN113518077A (zh) 一种恶意网络爬虫检测方法、装置、设备及存储介质
CN112989348A (zh) 攻击检测方法、模型训练方法、装置、服务器及存储介质
CN111314301A (zh) 一种基于dns解析的网站访问控制方法及装置
CN103067387A (zh) 一种反钓鱼监测系统和方法
CN114528457A (zh) Web指纹检测方法及相关设备
CN112528295A (zh) 工业控制系统的漏洞修复方法及装置
CN114157568B (zh) 一种浏览器安全访问方法、装置、设备及存储介质
CN117097571A (zh) 一种网络传输敏感数据的检测方法、系统、装置及介质
CN111723400A (zh) 一种js敏感信息泄露检测方法、装置、设备及介质
CN113392297A (zh) 一种爬取数据的方法、系统及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant