CN106230835B - 基于Nginx日志分析和IPTABLES转发的反恶意访问的方法 - Google Patents

基于Nginx日志分析和IPTABLES转发的反恶意访问的方法 Download PDF

Info

Publication number
CN106230835B
CN106230835B CN201610631119.8A CN201610631119A CN106230835B CN 106230835 B CN106230835 B CN 106230835B CN 201610631119 A CN201610631119 A CN 201610631119A CN 106230835 B CN106230835 B CN 106230835B
Authority
CN
China
Prior art keywords
access
malicious
malicious access
iptables
forwarded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610631119.8A
Other languages
English (en)
Other versions
CN106230835A (zh
Inventor
王建国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Baoyi Intelligent Technology Co ltd
Original Assignee
Shanghai Moku Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Moku Data Technology Co Ltd filed Critical Shanghai Moku Data Technology Co Ltd
Priority to CN201610631119.8A priority Critical patent/CN106230835B/zh
Publication of CN106230835A publication Critical patent/CN106230835A/zh
Application granted granted Critical
Publication of CN106230835B publication Critical patent/CN106230835B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种基于Nginx日志分析和IPTABLES转发的反恶意访问的方法，至少包括：对Nginx生成的日志进行实时解析，格式化属性信息；对格式化后的日志数据进行行为分析，从零开始对访问行为进行加减分累计积分；设定一阀值，当积分大于阀值后，则将访问的IP判定为恶意访问的IP；通过配置系统防火墙IPTABLES，把恶意访问的IP转发到一验证码服务器，正常访问的IP转发到WEB服务器；当被判定为恶意访问的IP再次访问网站时，访问页面变为验证码页面；用户通过输入验证码，可以自主解除封禁；如果一个IP被反复识别为恶意访问的IP10次，则永久性封禁。本发明不需要额外的购买成本，维护简单、灵活性高，可以根据情况调整策略。阻止了恶意抓取和扫描行为，让服务器更稳定和安全。

Description

基于Nginx日志分析和IPTABLES转发的反恶意访问的方法
技术领域
本发明涉及互联网领域，尤其涉及一种基于Nginx日志分析和IPTABLES转发的反恶意访问的实现方法。
背景技术
随着互联网技术的发展，WEB网站提供的信息越来越有价值，导致很多恶意访问网站的行为发生，可能使网站的数据被竞争对手盗用，影响自身的发展。
恶意的高并发访问，还会对网站服务器造成压力，影响正常用户的访问。同时恶意访问还包含对网站的漏洞扫描行为，比如sql注入漏洞的探测扫描，可能导致服务器被入侵。
网站数据容易被抓取，服务器容易被攻击，导致安全和性能问题。虽然可以采用商用的防火墙，但价格昂贵，使用复杂，不够灵活。
需要进行判断是否为恶意行为的访问行为包括：
(1)持续不断访问相同的网页，有可能是抓取行为，需进行判断；
(2)机器访问和人为访问，访问的网站资源不一致，需判断是否为正常访问；
(3)持续访问网站不存在的404页面，可能是恶意扫描行为；
(4)同ip在短时间内高并发访问，可能是恶意访问；
(5)存在非正常的浏览器User-Agent信息，可判断为恶意访问；
(6)含有基于匹配收集到的特定关键词，需判断是正常访问还是恶意访问。
因此，需要一种有效的反恶意访问的实现方法，来阻止恶意抓取和扫描行为，保障服务器稳定和安全。
发明内容
本发明的目的是为了解决现有技术的不足，提供一种基于Nginx日志分析和IPTABLES转发的反恶意访问的方法。
本发明的目的是通过以下技术方案实现的：
一种基于Nginx日志分析和IPTABLES转发的反恶意访问的方法，至少包括：
对Nginx生成的日志进行实时解析，格式化属性信息；
对格式化后的日志数据进行行为分析，从零开始对访问行为进行加减分累计积分；
设定一积分的阀值为2000分，当积分大于阀值后，则将访问的IP判定为恶意访问的IP；
通过配置系统防火墙IPTABLES，把恶意访问的IP转发到一验证码服务器，正常访问的ＩP转发到WEB服务器；
当被判定为恶意访问的IP再次访问网站时，访问页面变为验证码页面；
用户通过输入验证码，可以自主解除封禁；
如果一个ＩP被反复识别为恶意访问的IP1 0次，则永久性封禁。
上述的基于Nginx日志分析和IPTABLES转发的反恶意访问的方法，其中，还包括：永久性封禁的IP无法通过输入验证码解除封禁，需要联系网站维护人员进行解封。
上述的基于Nginx日志分析和IPTABLES转发的反恶意访问的方法，其中，对访问行为进行加减分累计积分的方法包括：计算IP本次访问的url地址和上次访问的url地址的相似度，50％＜相似度≤100％时，则进行加分，相似度≤50％时，则进行减分。
上述的基于Nginx日志分析和IPTABLES转发的反恶意访问的方法，其中，对访问行为进行加减分累计积分的方法包括：获取IP本次访问时间与上次访问时间的间隔时间，若间隔时间为1秒、2秒、3秒或4秒，则进行加分，若间隔时间大于5秒，则进行减分。
上述的基于Nginx日志分析和IPTABLES转发的反恶意访问的方法，其中，对访问行为进行加减分累计积分的方法包括：通过IP的浏览器User-Agent信息对浏览器进行判断，若浏览器为非正规浏览器，则进行加分。
上述的基于Nginx日志分析和IPTABLES转发的反恶意访问的方法，其中，对访问行为进行加减分累计积分的方法包括：判断IP访问的页面，若页面状态为404页面或403页面，则进行加分。
上述的基于Nginx日志分析和IPTABLES转发的反恶意访问的方法，其中，对访问行为进行加减分累计积分的方法包括：判断IP访问的资源，若与人工访问一致，则进行减分。
上述的基于Nginx日志分析和IPTABLES转发的反恶意访问的方法，其中，对访问行为进行加减分累计积分的方法包括：在IP请求的信息中，若含有特定恶意关键词，则进行加分。
上述的基于Nginx日志分析和IPTABLES转发的反恶意访问的方法，其中，每隔3小时，验证码服务器自动对所有被判定为恶意访问的IP解除封禁。
综上所述，采用本发明基于Nginx日志分析和IPTABLES转发的反恶意访问的方法，对所有访问网站的IP，通过行为分析，能精准的识别出恶意访问的IP。对识别为恶意访问的IP，通过防火墙阻止其继续访问网站。
本发明不需要额外的购买成本，维护简单、灵活性高，可以根据情况调整策略。阻止了恶意抓取和扫描行为，让服务器更稳定和安全。当正常用户的访问产生错误识别时，用户可以通过输入验证码的方式自主解除封禁，所以对正常用户访问不会造成影响。
附图说明
图1是本发明基于Nginx日志分析和IPTABLES转发的反恶意访问的方法的原理图。
具体实施方式
下面结合附图对本发明的具体实施方式作详细介绍。
请参见图1，本发明提供了一种基于Nginx日志分析和IPTABLES转发的反恶意访问的方法，对Nginx生成的日志进行实时解析，格式化属性信息，写入redis内存中，便于处理。
逐条对格式化后的日志数据进行行为分析，从零开始对访问行为进行加减分累计积分。
对访问行为进行加减分累计积分的规则包括：
(1)IP本次访问的url地址和上次访问的url地址相似度高进行加分，相似度低进行减分。具体包括：计算IP本次访问的url地址和上次访问的url地址的相似度，获得相似度百分比，95％＜相似度≤100％时，加400分；90％＜相似度≤95％时，加200分；80％＜相似度≤90％时，加100分；70％＜相似度≤80％时，加50分；50％＜相似度≤70％时，加30分，相似度≤50％时，减200分，以上所加或减分值可以根据实际情况灵活调整。
(2)IP本次访问时间与上次访问时间间隔短进行加分，间隔长进行减分。具体包括：若间隔时间为0秒，则加100分；若间隔时间为1秒，则加50分，若间隔时间为2秒，则加30分；若间隔时间为3秒，则加20分；若间隔时间为4秒，则加10分；若间隔时间大于5秒，则减200分，以上所加或减分值可以根据实际情况灵活调整。
(3)通过IP的浏览器User-Agent信息对浏览器进行判断，若浏览器为非正规浏览器，则加500分，所加分值可以根据实际情况灵活调整。若浏览器为正规浏览器，则不加分也不减分。
(4)判断IP访问的页面，若页面状态为404页面或403页面，则加400分，所加分值可以根据实际情况灵活调整。若页面状态为非404页面、403页面，则不加分也不减分。
(5)判断IP访问的资源，若与人工访问一致，则减300分，所减分值可以根据实际情况灵活调整。若与人工访问不一致，则不加分也不减分。
(6)在IP请求的信息中，若含有特定恶意关键词，则加1000分，所加分值可以根据实际情况灵活调整。若不含有特定恶意关键词，则不加分也不减分。
(7)其他规则可根据具体情况调整添加。
设定一阀值为2000分，当积分大于阀值后，则将访问的IP判定为恶意访问的IP。通过配置系统防火墙IPTABLES，把恶意访问的IP转发到一验证码服务器，不能访问正常WEB服务器。正常访问的IP被转发到WEB服务器。
当被判定为恶意访问的IP再次访问网站时，访问页面变为验证码页面。用户可以输入验证码，程序会把IP从IPTABLES转发中删除，用户就可以恢复访问网站了。
如果一个IP被反复识别为恶意访问的IP10次，则永久性封禁，不能通过输入验证码恢复，需要联系网站维护人员，才可以解封。
每隔3小时，验证码服务器会自动对所有被判定为恶意访问的IP解除封禁。
采用本发明基于Nginx日志分析和IPTABLES转发的反恶意访问的方法，对所有访问网站的IP，通过行为分析，能精准的识别出恶意访问的IP。对识别为恶意访问的IP，通过防火墙阻止其继续访问网站。
本发明不需要额外的购买成本，维护简单、灵活性高，可以根据情况调整策略。阻止了恶意抓取和扫描行为，让服务器更稳定和安全。当正常用户的访问产生错误识别时，用户可以通过输入验证码的方式自主解除封禁，所以对正常用户访问不会造成影响。
以上所述的实施例仅用于说明本发明的技术思想及特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，不能仅以本实施例来限定本发明的专利范围，即凡依本发明所揭示的精神所作的同等变化或修饰，仍落在本发明的专利范围内。

Claims (3)

1.一种基于Nginx日志分析和IPTABLES转发的反恶意访问的方法，其特征在于，至少包括：
对Nginx生成的日志进行实时解析，格式化属性信息；
对格式化后的日志数据进行行为分析，从零开始对访问行为进行加减分累计积分；
对访问行为进行加减分累计积分的方法包括：计算IP本次访问的url地址和上次访问的url地址的相似度，50％＜相似度≤100％时，则进行加分，相似度≤50％时，则进行减分；获取IP本次访问时间与上次访问时间的间隔时间，若间隔时间为1秒、2秒、3秒或4秒，则进行加分，若间隔时间大于5秒，则进行减分；通过IP的浏览器User-Agent信息对浏览器进行判断，若浏览器为非正规浏览器，则进行加分；判断IP访问的页面，若页面状态为404页面或403页面，则进行加分；判断IP访问的资源，若与人工访问一致，则进行减分；在IP请求的信息中，若含有特定恶意关键词，则进行加分；
设定一积分的阀值为2000分，当积分大于阀值后，则将访问的IP判定为恶意访问的IP；
通过配置系统防火墙IPTABLES，把恶意访问的IP转发到一验证码服务器，正常访问的IP转发到WEB服务器；
当被判定为恶意访问的IP再次访问网站时，访问页面变为验证码页面；
用户通过输入验证码，可以自主解除封禁；
如果一个IP被反复识别为恶意访问的IP10次，则永久性封禁。
2.根据权利要求1所述的基于Nginx日志分析和IPTABLES转发的反恶意访问的方法，其特征在于，还包括：永久性封禁的IP无法通过输入验证码解除封禁，需要联系网站维护人员进行解封。
3.根据权利要求1所述的基于Nginx日志分析和IPTABLES转发的反恶意访问的方法，其特征在于，每隔3小时，验证码服务器自动对所有被判定为恶意访问的IP解除封禁。
CN201610631119.8A 2016-08-04 2016-08-04 基于Nginx日志分析和IPTABLES转发的反恶意访问的方法 Active CN106230835B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610631119.8A CN106230835B (zh) 2016-08-04 2016-08-04 基于Nginx日志分析和IPTABLES转发的反恶意访问的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610631119.8A CN106230835B (zh) 2016-08-04 2016-08-04 基于Nginx日志分析和IPTABLES转发的反恶意访问的方法

Publications (2)

Publication Number Publication Date
CN106230835A CN106230835A (zh) 2016-12-14
CN106230835B true CN106230835B (zh) 2019-11-22

Family

ID=57546863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610631119.8A Active CN106230835B (zh) 2016-08-04 2016-08-04 基于Nginx日志分析和IPTABLES转发的反恶意访问的方法

Country Status (1)

Country Link
CN (1) CN106230835B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107508838A (zh) * 2017-09-28 2017-12-22 北京云衢科技有限公司 一种访问控制方法、装置和系统
CN109391693A (zh) * 2018-10-24 2019-02-26 国云科技股份有限公司 一种堡垒机支持审计web应用的方法
CN110035068B (zh) * 2019-03-14 2021-10-01 微梦创科网络科技（中国）有限公司 一种反抓站系统的禁封方法及装置
CN110012011B (zh) * 2019-04-03 2021-02-26 奇安信科技集团股份有限公司 防止恶意登录的方法、装置、计算机设备及存储介质
CN110401664A (zh) * 2019-07-30 2019-11-01 广东分利宝金服科技有限公司 恶意网络cc攻击防范的方法及装置
CN114826688A (zh) * 2022-03-30 2022-07-29 中国建设银行股份有限公司 恶意访问地址的识别方法、装置、设备、介质及程序产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102137059A (zh) * 2010-01-21 2011-07-27 阿里巴巴集团控股有限公司 一种恶意访问的拦截方法和系统
CN104618352A (zh) * 2015-01-16 2015-05-13 沈文策 一种基于脚本的流量防刷方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103475637B (zh) * 2013-04-24 2018-03-27 携程计算机技术（上海）有限公司 基于ip访问行为的网络访问控制方法及系统
CN105306465B (zh) * 2015-10-30 2019-01-18 新浪网技术(中国)有限公司 网站安全访问实现方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102137059A (zh) * 2010-01-21 2011-07-27 阿里巴巴集团控股有限公司 一种恶意访问的拦截方法和系统
CN104618352A (zh) * 2015-01-16 2015-05-13 沈文策 一种基于脚本的流量防刷方法及系统

Also Published As

Publication number Publication date
CN106230835A (zh) 2016-12-14

Similar Documents

Publication Publication Date Title
CN106230835B (zh) 基于Nginx日志分析和IPTABLES转发的反恶意访问的方法
CN105184159B (zh) 网页篡改的识别方法和装置
Likarish et al. Obfuscated malicious javascript detection using classification techniques
CN104077396B (zh) 一种钓鱼网站检测方法及装置
CN103559235B (zh) 一种在线社交网络恶意网页检测识别方法
CN104462152B (zh) 一种网页的识别方法及装置
CN103532944B (zh) 一种捕获未知攻击的方法和装置
CN102591965B (zh) 一种黑链检测的方法及装置
CN101971591A (zh) 分析网址的系统及方法
CN102436563A (zh) 一种检测页面篡改的方法及装置
CN107463844B (zh) Web木马检测方法及系统
CN106951784B (zh) 一种面向XSS漏洞检测的Web应用逆向分析方法
US20190222609A1 (en) Method and computer device for identifying malicious web resources
CN109922065A (zh) 恶意网站快速识别方法
Yang et al. Scalable detection of promotional website defacements in black hat {SEO} campaigns
CN107800686A (zh) 一种钓鱼网站识别方法和装置
JP2012088803A (ja) 悪性ウェブコード判別システム、悪性ウェブコード判別方法および悪性ウェブコード判別用プログラム
CN105653941A (zh) 一种启发式检测钓鱼网站的方法及系统
CN111125704B (zh) 一种网页挂马识别方法及系统
CN104077353B (zh) 一种黑链检测的方法及装置
Agrawal et al. Analysis of text mining techniques over public pages of Facebook
Tchakounte et al. Crawl-shing: A focused crawler for fetching phishing contents based on graph isomorphism
Kaur et al. Five-tier barrier anti-phishing scheme using hybrid approach
Stephen et al. Prevention of cross site scripting with E-Guard algorithm
Lei et al. Design and implementation of an automatic scanning tool of SQL injection vulnerability based on Web crawler

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190108

Address after: 200233 Block A, Room 501, 12 Block 1001 Qinzhou North Road, Xuhui District, Shanghai

Applicant after: Shanghai Moku Data Technology Co.,Ltd.

Address before: Room 6020, 6th floor, No. 399 Fute North Road, Pudong New Area Free Trade Pilot Area, Shanghai, 2001

Applicant before: MOLBASE (SHANGHAI) BIOTECHNOLOGY CO.,LTD.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240308

Address after: Unit 901-2, No. 57 Chengyi North Street, Software Park Phase III, Jimei District, Xiamen City, Fujian Province, 361000

Patentee after: Xiamen Baoyi Intelligent Technology Co.,Ltd.

Country or region after: China

Address before: 200233 Block A, Room 501, 12 Block 1001 Qinzhou North Road, Xuhui District, Shanghai

Patentee before: Shanghai Moku Data Technology Co.,Ltd.

Country or region before: China