CN107592305A - 一种基于elk和redis的防刷方法及系统 - Google Patents
一种基于elk和redis的防刷方法及系统 Download PDFInfo
- Publication number
- CN107592305A CN107592305A CN201710766162.XA CN201710766162A CN107592305A CN 107592305 A CN107592305 A CN 107592305A CN 201710766162 A CN201710766162 A CN 201710766162A CN 107592305 A CN107592305 A CN 107592305A
- Authority
- CN
- China
- Prior art keywords
- user
- redis
- access
- elk
- access log
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本发明公开了一种基于elk和redis的防刷方法及系统，用户对业务网站发送访问请求，根据访问请求信息生成访问日志；对访问日志进行收集，并存入索引中；对索引中的访问日志进行访问请求信息多维度分析；根据分析结果确定异常用户，获取异常用户的用户信息，将用户信息作为key值通过脚本缓存至Redis；业务网站将用户的访问请求发送至Redis，Redis将访问用户信息与缓存的异常用户key值进行对比；如果该用户的信息在Redis缓存中，则返回验证码，否则返回数据给用户；异常用户输入验证码进行验证，如果验证通过，则清除Redis缓存中相应的key值并返回数据给用户，否则拒绝访问，以达到多维度防止恶意访问网站资源和降低误杀率的目的。
Description
技术领域
本发明涉及互联网防刷领域，具体涉及一种基于elk和redis的防刷方法及系统。
背景技术
随着互联网快速的发展，互联网资源也越来越丰富，虽然大部分人是正常的对网络资源进行访问，但还是存在一部分人对网络资源进行恶意访问，恶意占用，造成了大量网络资源的流失，正常的用户不能正常访问，存在不稳定，不安全的因素。
目前市面上存在的防刷策略维度较少，多数以访问频率和次数为主，误杀率较高，实时性较差，多数情况下发现被刷，再采取响应的措施已经没有时效性，分析过程多是通过日志文件，文件较为分散，分析难度大，效率和准确性差，防刷结果往往写死在配置文件中，永久生效，没有过期时间，增加了维护成本和投诉几率。
发明内容
为解决上述技术问题，本发明提出了一种基于elk和redis的防刷方法及系统，以达到多维度防止恶意访问网站资源和降低误杀率的目的。
为达到上述目的，本发明的技术方案如下：
一种基于elk和redis的防刷方法，包括：用户对业务网站发送访问请求，根据访问请求信息生成访问日志；对所述访问日志进行收集，并存入索引中；对索引中的访问日志进行访问请求信息多维度分析；根据分析结果确定异常用户，获取异常用户的用户信息，将所述用户信息作为key值通过脚本缓存至Redis；业务网站将用户的访问请求发送至Redis，Redis将访问用户信息与缓存的异常用户key值进行对比；如果该用户的信息在Redis缓存中，则返回验证码，否则返回数据给用户；异常用户输入验证码进行验证，如果验证通过，则清除Redis缓存中相应的key值并返回数据给用户，否则拒绝访问。
作为优选的，所述访问日志的收集采用Logstash日志收集处理框架，所述索引采用Elasticsearch分布式搜索引擎，所述对访问日志进行多维度分析采用Kibana接口、Logstash日志收集处理框架和Elasticsearch分布式搜索引擎共同完成，三者组成elk平台，实现多日志合并，实时提供强大的图表分析系统。
作为优选的，所述确定异常用户的根据有：短时间内大量访问网站；同一用户变化不同ip地址访问网站；用户user-agent不是正常浏览器，而是java，python等程序；访问的内容都是攻击脚本。
作为优选的，所述Redis是一个Key-Value数据库，具有强大的缓存功能，redis可以设置key值的过期时间，有效避免因长时间不处理带来的投诉风险。
作为优选的，所述验证码验证对异常用户做出进一步的判断。
一种基于elk和redis的防刷系统，包括：访问日志收集分析模块、Redis缓存模块、验证模块，
所述访问日志收集分析模块，用于对访问日志进行收集和分析；
所述Redis缓存模块，用于缓存异常用户的用户信息，并将正常用户信息与异常的用户进行比对；
所述验证模块，用于给异常用户返回验证码并进行验证。
作为优选的，所述访问日志收集分析模块，采用elk平台对访问日志进行收集和分析。
本发明具有如下优点：
(1).利用elk平台高效的日志收集分析能力，收录了大量的恶意ip地址和恶意用户，大大降低了业务网站被恶意访问资源的次数。
(2).利用验证码进一步验证异常用户，降低了误杀率，降低了用户投诉量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例公开的防刷系统模块图；
图2为本发明实施例公开的系统流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
本发明提供了一种基于elk和redis的防刷方法及系统，其工作原理是通过elk平台对访问日志进行收集分析确定恶意用户的访问信息，将恶意用户的访问信息缓存至Redis，并与业务网站发来的用户信息进行对比判断是否为恶意用户，正常用户返回业务网站数据，异常用户通过验证模块进行验证，验证通过清除缓存的用户访问信息并返回数据，否则拒绝访问，达到多维度防止恶意访问网站资源和降低误杀率的目的。
下面结合实施例和具体实施方式对本发明作进一步详细的说明。
如图1所示，基于elk和redis的防刷方法，包括：
用户对业务网站发送访问请求，根据访问请求信息生成访问日志；对所述访问日志进行收集，并存入索引中；对索引中的访问日志进行访问请求信息多维度分析；根据分析结果确定异常用户，获取异常用户的用户信息，将所述用户信息作为key值通过脚本缓存至Redis；业务网站将用户的访问请求发送至Redis，Redis将访问用户信息与缓存的异常用户key值进行对比；如果该用户的信息在Redis缓存中，则返回验证码，否则返回数据给用户；异常用户输入验证码进行验证，如果验证通过，则清除Redis缓存中相应的key值并返回数据给用户，否则拒绝访问。
key值的种类有：用户的ip地址、用户的ID、用户浏览器信息user-agent、用户请求url，请求方法(get/post)等，本发明制定的key值为其中的一种或多种。
访问日志的收集采用Logstash日志收集处理框架，所述索引采用Elasticsearch分布式搜索引擎，所述对访问日志进行多维度分析采用Kibana接口、Logstash日志收集处理框架和Elasticsearch分布式搜索引擎共同完成，三者组成elk平台，实现多日志合并，实时提供强大的图表分析系统。
确定异常用户的根据有：短时间内大量访问网站；同一用户变化不同ip地址访问网站；用户user-agent不是正常浏览器，而是java，python等程序；访问的内容都是攻击脚本。
Redis是一个Key-Value数据库，具有强大的缓存功能，redis可以设置key值的过期时间，有效避免因长时间不处理带来的投诉风险。
验证码验证对异常用户做出进一步的判断，如果验证码输入正确则清除缓存中的恶意用户信息，并给用户返回数据，否则拒绝访问。
如图2所示，基于elk和redis的防刷系统，包括：访问日志收集分析模块、Redis缓存模块、验证模块，
所述访问日志收集分析模块，用于对访问日志进行收集和分析；
所述Redis缓存模块，用于缓存异常用户的用户信息，并将正常用户信息与异常的用户进行比对；
所述验证模块，用于给异常用户返回验证码并进行验证。
访问日志收集分析模块，采用elk平台对访问日志进行收集和分析。
以上所述的仅是本发明所公开的一种基于elk和redis的防刷方法及系统的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (7)
1.一种基于elk和redis的防刷方法，其特征在于，包括：用户对业务网站发送访问请求，根据访问请求信息生成访问日志；对所述访问日志进行收集，并存入索引中；对索引中的访问日志进行访问请求信息多维度分析；根据分析结果确定异常用户，获取异常用户的用户信息，将所述用户信息作为key值通过脚本缓存至Redis；业务网站将用户的访问请求发送至Redis，Redis将访问用户信息与缓存的异常用户key值进行对比；如果该用户的信息在Redis缓存中，则返回验证码，否则返回数据给用户；异常用户输入验证码进行验证，如果验证通过，则清除Redis缓存中相应的key值并返回数据给用户，否则拒绝访问。
2.根据权利要求1所述的基于elk和redis的防刷方法，其特征在于，所述访问日志的收集采用Logstash日志收集处理框架，所述索引采用Elasticsearch分布式搜索引擎，所述对访问日志进行多维度分析采用Kibana接口、Logstash日志收集处理框架和Elasticsearch分布式搜索引擎共同完成，三者组成elk平台，实现多日志合并，实时提供强大的图表分析系统。
3.根据权利要求1所述的基于elk和redis的防刷方法，其特征在于，所述确定异常用户的根据有：短时间内大量访问网站；同一用户变化不同ip地址访问网站；用户user-agent不是正常浏览器，而是java，python等程序；访问的内容都是攻击脚本。
4.根据权利要求1所述的基于elk和redis的防刷方法，其特征在于，所述Redis是一个Key-Value数据库，具有强大的缓存功能，redis可以设置key值的过期时间，有效避免因长时间不处理带来的投诉风险。
5.根据权利要求1所述的基于elk和redis的防刷方法，其特征在于，所述验证码验证对异常用户做出进一步的判断。
6.一种基于elk和redis的防刷系统，其特征在于，包括：访问日志收集分析模块、Redis缓存模块、验证模块，
所述访问日志收集分析模块，用于对访问日志进行收集和分析；
所述Redis缓存模块，用于缓存异常用户的用户信息，并将正常用户信息与异常的用户进行比对；
所述验证模块，用于给异常用户返回验证码并进行验证。
7.根据权利要求6所述的基于elk和redis的防刷系统，其特征在于，所述访问日志收集分析模块，采用elk平台对访问日志进行收集和分析。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710766162.XA CN107592305A (zh) | 2017-08-30 | 2017-08-30 | 一种基于elk和redis的防刷方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710766162.XA CN107592305A (zh) | 2017-08-30 | 2017-08-30 | 一种基于elk和redis的防刷方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107592305A true CN107592305A (zh) | 2018-01-16 |
Family
ID=61050364
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710766162.XA Pending CN107592305A (zh) | 2017-08-30 | 2017-08-30 | 一种基于elk和redis的防刷方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107592305A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108712426A (zh) * | 2018-05-21 | 2018-10-26 | 携程旅游网络技术（上海）有限公司 | 基于用户行为埋点的爬虫识别方法及系统 |
| CN109325196A (zh) * | 2018-07-27 | 2019-02-12 | 四川长虹电器股份有限公司 | 基于redis防止接口重复请求的方法 |
| CN110457626A (zh) * | 2019-07-03 | 2019-11-15 | 微梦创科网络科技（中国）有限公司 | 一种异常访问请求筛选方法及装置 |
| CN110650126A (zh) * | 2019-09-06 | 2020-01-03 | 珠海格力电器股份有限公司 | 一种防网站流量攻击方法、装置以及智能终端、存储介质 |
| CN111913913A (zh) * | 2020-08-07 | 2020-11-10 | 星辰天合（北京）数据科技有限公司 | 访问请求的处理方法和装置 |
| CN112818392A (zh) * | 2021-01-29 | 2021-05-18 | 长沙市到家悠享网络科技有限公司 | 网页安全处理方法、装置、设备和存储介质 |
| CN114826944A (zh) * | 2022-04-20 | 2022-07-29 | 中科嘉速（北京）信息技术有限公司 | 一种基于ELK和canal技术的网站运营分析系统及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106161451A (zh) * | 2016-07-19 | 2016-11-23 | 青松智慧（北京）科技有限公司 | 防御cc攻击的方法、装置及系统 |
| CN106789868A (zh) * | 2016-09-05 | 2017-05-31 | 中国人民财产保险股份有限公司 | 一种网站用户行为识别与管控系统 |
| CN106940677A (zh) * | 2017-02-13 | 2017-07-11 | 咪咕音乐有限公司 | 一种应用日志数据告警方法及装置 |
-
2017
- 2017-08-30 CN CN201710766162.XA patent/CN107592305A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106161451A (zh) * | 2016-07-19 | 2016-11-23 | 青松智慧（北京）科技有限公司 | 防御cc攻击的方法、装置及系统 |
| CN106789868A (zh) * | 2016-09-05 | 2017-05-31 | 中国人民财产保险股份有限公司 | 一种网站用户行为识别与管控系统 |
| CN106940677A (zh) * | 2017-02-13 | 2017-07-11 | 咪咕音乐有限公司 | 一种应用日志数据告警方法及装置 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108712426A (zh) * | 2018-05-21 | 2018-10-26 | 携程旅游网络技术（上海）有限公司 | 基于用户行为埋点的爬虫识别方法及系统 |
| CN108712426B (zh) * | 2018-05-21 | 2021-04-16 | 携程旅游网络技术（上海）有限公司 | 基于用户行为埋点的爬虫识别方法及系统 |
| CN109325196A (zh) * | 2018-07-27 | 2019-02-12 | 四川长虹电器股份有限公司 | 基于redis防止接口重复请求的方法 |
| CN110457626A (zh) * | 2019-07-03 | 2019-11-15 | 微梦创科网络科技（中国）有限公司 | 一种异常访问请求筛选方法及装置 |
| CN110650126A (zh) * | 2019-09-06 | 2020-01-03 | 珠海格力电器股份有限公司 | 一种防网站流量攻击方法、装置以及智能终端、存储介质 |
| CN111913913A (zh) * | 2020-08-07 | 2020-11-10 | 星辰天合（北京）数据科技有限公司 | 访问请求的处理方法和装置 |
| CN111913913B (zh) * | 2020-08-07 | 2024-02-13 | 北京星辰天合科技股份有限公司 | 访问请求的处理方法和装置 |
| CN112818392A (zh) * | 2021-01-29 | 2021-05-18 | 长沙市到家悠享网络科技有限公司 | 网页安全处理方法、装置、设备和存储介质 |
| CN112818392B (zh) * | 2021-01-29 | 2022-03-15 | 长沙市到家悠享网络科技有限公司 | 网页安全处理方法、装置、设备和存储介质 |
| CN114826944A (zh) * | 2022-04-20 | 2022-07-29 | 中科嘉速（北京）信息技术有限公司 | 一种基于ELK和canal技术的网站运营分析系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107592305A (zh) | 一种基于elk和redis的防刷方法及系统 | |
| CN105930727B (zh) | 基于Web的爬虫识别方法 | |
| EP2748781B1 (en) | Multi-factor identity fingerprinting with user behavior | |
| US8438386B2 (en) | System and method for developing a risk profile for an internet service | |
| CN103026345B (zh) | 用于事件监测优先级的动态多维模式 | |
| CN110602029B (zh) | 一种用于识别网络攻击的方法和系统 | |
| US8286248B1 (en) | System and method of web application discovery via capture and analysis of HTTP requests for external resources | |
| US10839328B2 (en) | Method and system for risk monitoring in online business | |
| US7890511B2 (en) | System and method for conducting network analytics | |
| CN104580230B (zh) | 网站攻击验证方法及装置 | |
| US20230040895A1 (en) | System and method for developing a risk profile for an internet service | |
| CN109274632A (zh) | 一种网站的识别方法及装置 | |
| CN107465651A (zh) | 网络攻击检测方法及装置 | |
| CN105138709B (zh) | 一种基于物理内存分析的远程取证系统 | |
| CN109905276B (zh) | 一种云服务质量监测方法及系统 | |
| Taylor et al. | Detecting malicious exploit kits using tree-based similarity searches | |
| CN102394885A (zh) | 基于数据流的信息分类防护自动化核查方法 | |
| CN102710770A (zh) | 一种上网设备识别方法及其实现系统 | |
| RU2722693C1 (ru) | Способ и система выявления инфраструктуры вредоносной программы или киберзлоумышленника | |
| CN110708339B (zh) | 一种基于web日志的关联分析方法 | |
| CN107800686A (zh) | 一种钓鱼网站识别方法和装置 | |
| CN108337269A (zh) | 一种WebShell检测方法 | |
| CN107528812A (zh) | 一种攻击检测方法及装置 | |
| CN114915479A (zh) | 一种基于Web日志的Web攻击阶段分析方法及系统 | |
| CN111404937B (zh) | 一种服务器漏洞的检测方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180116 |