CN112866203A - 一种新的防护网络爬虫攻击的方法 - Google Patents
一种新的防护网络爬虫攻击的方法 Download PDFInfo
- Publication number
- CN112866203A CN112866203A CN202011636566.5A CN202011636566A CN112866203A CN 112866203 A CN112866203 A CN 112866203A CN 202011636566 A CN202011636566 A CN 202011636566A CN 112866203 A CN112866203 A CN 112866203A
- Authority
- CN
- China
- Prior art keywords
- behavior information
- user behavior
- information
- network
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000007123 defense Effects 0.000 claims abstract description 20
- 238000001914 filtration Methods 0.000 claims abstract description 17
- 238000005065 mining Methods 0.000 claims abstract description 17
- 230000010365 information processing Effects 0.000 claims description 20
- 239000000284 extract Substances 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 238000013075 data extraction Methods 0.000 claims description 3
- 230000000977 initiatory effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 3
- 241000700605 Viruses Species 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 241000239290 Araneae Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
- H04L63/1458—Denial of Service
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明属于网络技术领域,尤其是一种新的防护网络爬虫攻击的方法,针对发防护效果不佳的问题,现提出以下方案,包括以下步骤:S1:对用户行为信息进行收集;S2:网络爬虫数据过滤模块对用户行为信息中网络爬虫存储残留的数据进行过滤清除;S3:信息录入后经用户行为信息储存单元储存至用户行为信息数据库;S4:用户行为信息挖掘单元根据用户行为信息数据库里的用户行为信息深度挖掘出用户可能的正常行为信息;S5:当网络信息接收单元接收到网络信息时,网络攻击判断单元对信息进行比对;S6:当结果不同时则启动网络防御系统。本发明可以对网络爬虫存储的数据进行清除,从根本上进行网络防护,提高了防护的精准性。
Description
技术领域
本发明涉及网络技术领域,尤其涉及一种新的防护网络爬虫攻击的方法。
背景技术
网络爬虫,又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者,是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。网络爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。另外,所有被爬虫抓取的网页将会被系统存贮,进行一定的分析、过滤,并建立索引,以便之后的查询和检索。
因网络爬虫会自动抓取和记录用户行为信息等,若不对网络爬虫进行防护和处理,极有可能因网络爬虫存储记录的用户信息导致计算机被病毒入侵。
发明内容
基于背景技术中提出的技术问题,本发明提出了一种新的防护网络爬虫攻击的方法。
本发明提出的一种新的防护网络爬虫攻击的方法,包括用户行为信息收集单元、用户行为信息数据库和网络信息接收单元,所述用户行为信息收集单元和用户行为信息处理单元相连,所述用户行为信息处理单元和用户行为信息录入单元相连,所述用户行为信息录入单元和用户行为信息储存单元相连,所述用户行为信息储存单元和用户行为信息数据库相连,所述用户行为信息数据库和用户行为信息挖掘单元相连,所述网络信息接收单元和网络攻击判断单元相连,所述网络攻击判断单元和用户行为信息数据库相互连接,所述网络攻击判断单元和网络防御启动单元相连;
所述用户行为信息处理单元包括网络爬虫数据过滤模块和有效行为数据提取模块,所述网络爬虫数据过滤模块和有效行为数据提取模块相连;
所述网络攻击判断单元包括信息比对模块;
具体防护方法包括以下步骤:
S1:当用户使用电子设备产生用户行为信息时,用户行为信息收集单元对用户行为信息进行收集;
S2:收集到的用户行为信息进入用户行为信息处理单元,网络爬虫数据过滤模块对用户行为信息中网络爬虫存储残留的数据进行过滤清除,有效行为数据提取模块对有效安全的信息进行提取;
S3:提取到的有效安全信息进入用户行为信息录入单元录入,并经用户行为信息储存单元储存至用户行为信息数据库;
S4:用户行为信息挖掘单元根据用户行为信息数据库里的用户行为信息深度挖掘出用户可能的正常行为信息,并将挖掘出的行为信息传递给用户行为信息录入单元进行录入并利用用户行为信息储存单元储存至用户行为信息数据库;
S5:当网络信息接收单元接收到网络信息时,网络攻击判断单元的信息比对模块将网络信息与用户行为信息数据库内的行为信息进行比对;
S6:当比对结果相同时则判断为正常网络信息,电子设备正常运行,当比对结果不同时则判断为异常攻击信息,则网络防御启动单元将网络防御系统启动对网络攻击进行防护。
优选地,所述用户行为信息收集单元用于对用户的行为信息进行收集,所述用户行为信息处理单元用于对收集到的用户行为信息进行分析处理。
优选地,所述用户行为信息录入单元用于对行为信息进行录入,所述用户行为信息储存单元用于将行为信息储存至用户行为信息数据库。
优选地,所述用户行为信息挖掘单元相连用于根据用户行为信息数据库内已经储存的用于行为信息深度挖掘出用户可能的正常行为信息,并将挖掘出的行为信息传递给用户行为信息录入单元进行录入。
优选地,所述网络信息接收单元用于对网络信息进行接收,所述网络攻击判断单元用于对网络信息是否为网络攻击进行判断,所述网络防御启动单元用于启动防御系统阻止网络攻击的入侵。
优选地,所述网络爬虫数据过滤模块用于对用户行为信息中网络爬虫存储残留的数据进行过滤清除,所述有效行为数据提取模块对用户行为信息中有效安全的信息进行提取。
优选地,所述信息比对模块用于将网络信息与用户行为信息数据库内的行为信息进行比对。
优选地,所述信息比对模块用于比对的网络信息与用户行为信息数据库内的信息之间的比对结果为相同时,则判断为正常网络信息。
优选地,所述信息比对模块用于比对的网络信息与用户行为信息数据库内的信息之间的比对结果为不同时,若用户行为信息数据库内的信息已全部比对完毕,则判断为异常攻击信息。
优选地,所述信息比对模块用于比对的网络信息与用户行为信息数据库内的信息之间的比对结果为不同时,若用户行为信息数据库内的信息未全部比对完毕,则继续执行信息比对模块进行下一次比对。
本发明中的有益效果为:
1、该新的防护网络爬虫攻击的方法,通过设置有用户行为信息处理单元和用户行为信息数据库,利用用户行为信息处理单元里的网络爬虫数据过滤模块将用户行为信息中网络爬虫存储残留的数据进行过滤清除,处理后的有效安全的信息进入用户行为信息数据库进行存储,可以对网络爬虫存储的数据进行清除,避免因其导致电子设备被病毒入侵,从根本上进行网络防护。
2、该新的防护网络爬虫攻击的方法,通过设置有用户行为信息挖掘单元,用户行为信息挖掘单元根据用户行为信息数据库内的用户行为信息深度挖掘出用户可能的正常行为信息,提升用户行为信息数据库内的信息容量,避免对安全的网络信息进行无差别防护,提高防护的精准性。
3、该新的防护网络爬虫攻击的方法,通过设置有网络攻击判断单元,当有网络信息进入时,信息对比模块将网络信息逐一和用户行为信息数据库内的信息进行对比,当比对结果相同时则判断为正常网络信息,电子设备正常运行,当比对结果不同时则判断为异常攻击信息,则网络防御启动单元将网络防御系统启动对网络攻击进行防护,防护及时,防护效果好。
该方法中未涉及部分均与现有技术相同或可采用现有技术加以实现。
附图说明
图1为本发明提出的一种新的防护网络爬虫攻击的方法的流程图;
图2为本发明提出的一种新的防护网络爬虫攻击的方法的用户行为信息处理单元系统图;
图3为本发明提出的一种新的防护网络爬虫攻击的方法的网络攻击判断单元系统图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
在本发明的描述中,需要理解的是,术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
参照图1-3,一种新的防护网络爬虫攻击的方法,包括用户行为信息收集单元、用户行为信息数据库和网络信息接收单元,用户行为信息收集单元和用户行为信息处理单元相连,用户行为信息处理单元和用户行为信息录入单元相连,用户行为信息录入单元和用户行为信息储存单元相连,用户行为信息储存单元和用户行为信息数据库相连,用户行为信息数据库和用户行为信息挖掘单元相连,网络信息接收单元和网络攻击判断单元相连,网络攻击判断单元和用户行为信息数据库相互连接,网络攻击判断单元和网络防御启动单元相连;
用户行为信息处理单元包括网络爬虫数据过滤模块和有效行为数据提取模块,网络爬虫数据过滤模块和有效行为数据提取模块相连;
网络攻击判断单元包括信息比对模块;
具体防护方法包括以下步骤:
S1:当用户使用电子设备产生用户行为信息时,用户行为信息收集单元对用户行为信息进行收集;
S2:收集到的用户行为信息进入用户行为信息处理单元,网络爬虫数据过滤模块对用户行为信息中网络爬虫存储残留的数据进行过滤清除,有效行为数据提取模块对有效安全的信息进行提取;
S3:提取到的有效安全信息进入用户行为信息录入单元录入,并经用户行为信息储存单元储存至用户行为信息数据库;
S4:用户行为信息挖掘单元根据用户行为信息数据库里的用户行为信息深度挖掘出用户可能的正常行为信息,并将挖掘出的行为信息传递给用户行为信息录入单元进行录入并利用用户行为信息储存单元储存至用户行为信息数据库;
S5:当网络信息接收单元接收到网络信息时,网络攻击判断单元的信息比对模块将网络信息与用户行为信息数据库内的行为信息进行比对;
S6:当比对结果相同时则判断为正常网络信息,电子设备正常运行,当比对结果不同时则判断为异常攻击信息,则网络防御启动单元将网络防御系统启动对网络攻击进行防护。
本发明中,用户行为信息收集单元用于对用户的行为信息进行收集,用户行为信息处理单元用于对收集到的用户行为信息进行分析处理。
本发明中,用户行为信息录入单元用于对行为信息进行录入,用户行为信息储存单元用于将行为信息储存至用户行为信息数据库。
本发明中,用户行为信息挖掘单元相连用于根据用户行为信息数据库内已经储存的用于行为信息深度挖掘出用户可能的正常行为信息,并将挖掘出的行为信息传递给用户行为信息录入单元进行录入。
本发明中,网络信息接收单元用于对网络信息进行接收,网络攻击判断单元用于对网络信息是否为网络攻击进行判断,网络防御启动单元用于启动防御系统阻止网络攻击的入侵。
本发明中,网络爬虫数据过滤模块用于对用户行为信息中网络爬虫存储残留的数据进行过滤清除,有效行为数据提取模块对用户行为信息中有效安全的信息进行提取。
本发明中,信息比对模块用于将网络信息与用户行为信息数据库内的行为信息进行比对。
本发明中,信息比对模块用于比对的网络信息与用户行为信息数据库内的信息之间的比对结果为相同时,则判断为正常网络信息。
本发明中,信息比对模块用于比对的网络信息与用户行为信息数据库内的信息之间的比对结果为不同时,若用户行为信息数据库内的信息已全部比对完毕,则判断为异常攻击信息。
本发明中,信息比对模块用于比对的网络信息与用户行为信息数据库内的信息之间的比对结果为不同时,若用户行为信息数据库内的信息未全部比对完毕,则继续执行信息比对模块进行下一次比对。
通过设置有用户行为信息处理单元和用户行为信息数据库,利用用户行为信息处理单元里的网络爬虫数据过滤模块将用户行为信息中网络爬虫存储残留的数据进行过滤清除,处理后的有效安全的信息进入用户行为信息数据库进行存储,可以对网络爬虫存储的数据进行清除,避免因其导致电子设备被病毒入侵,从根本上进行网络防护;通过设置有用户行为信息挖掘单元,用户行为信息挖掘单元根据用户行为信息数据库内的用户行为信息深度挖掘出用户可能的正常行为信息,提升用户行为信息数据库内的信息容量,避免对安全的网络信息进行无差别防护,提高防护的精准性;通过设置有网络攻击判断单元,当有网络信息进入时,信息对比模块将网络信息逐一和用户行为信息数据库内的信息进行对比,当比对结果相同时则判断为正常网络信息,电子设备正常运行,当比对结果不同时则判断为异常攻击信息,则网络防御启动单元将网络防御系统启动对网络攻击进行防护,防护及时,防护效果好
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (10)
1.单元、用户行为信息数据库和网络信息接收单元,其特征在于,所述用户行为信息收集单元和用户行为信息处理单元相连,所述用户行为信息处理单元和用户行为信息录入单元相连,所述用户行为信息录入单元和用户行为信息储存单元相连,所述用户行为信息储存单元和用户行为信息数据库相连,所述用户行为信息数据库和用户行为信息挖掘单元相连,所述网络信息接收单元和网络攻击判断单元相连,所述网络攻击判断单元和用户行为信息数据库相互连接,所述网络攻击判断单元和网络防御启动单元相连;
所述用户行为信息处理单元包括网络爬虫数据过滤模块和有效行为数据提取模块,所述网络爬虫数据过滤模块和有效行为数据提取模块相连;
所述网络攻击判断单元包括信息比对模块;
具体防护方法包括以下步骤:
S1:当用户使用电子设备产生用户行为信息时,用户行为信息收集单元对用户行为信息进行收集;
S2:收集到的用户行为信息进入用户行为信息处理单元,网络爬虫数据过滤模块对用户行为信息中网络爬虫存储残留的数据进行过滤清除,有效行为数据提取模块对有效安全的信息进行提取;
S3:提取到的有效安全信息进入用户行为信息录入单元录入,并经用户行为信息储存单元储存至用户行为信息数据库;
S4:用户行为信息挖掘单元根据用户行为信息数据库里的用户行为信息深度挖掘出用户可能的正常行为信息,并将挖掘出的行为信息传递给用户行为信息录入单元进行录入并利用用户行为信息储存单元储存至用户行为信息数据库;
S5:当网络信息接收单元接收到网络信息时,网络攻击判断单元的信息比对模块将网络信息与用户行为信息数据库内的行为信息进行比对;
S6:当比对结果相同时则判断为正常网络信息,电子设备正常运行,当比对结果不同时则判断为异常攻击信息,则网络防御启动单元将网络防御系统启动对网络攻击进行防护。
2.根据权利要求1所述的一种新的防护网络爬虫攻击的方法,其特征在于,所述用户行为信息收集单元用于对用户的行为信息进行收集,所述用户行为信息处理单元用于对收集到的用户行为信息进行分析处理。
3.根据权利要求1所述的一种新的防护网络爬虫攻击的方法,其特征在于,所述用户行为信息录入单元用于对行为信息进行录入,所述用户行为信息储存单元用于将行为信息储存至用户行为信息数据库。
4.根据权利要求1所述的一种新的防护网络爬虫攻击的方法,其特征在于,所述用户行为信息挖掘单元相连用于根据用户行为信息数据库内已经储存的用于行为信息深度挖掘出用户可能的正常行为信息,并将挖掘出的行为信息传递给用户行为信息录入单元进行录入。
5.根据权利要求1所述的一种新的防护网络爬虫攻击的方法,其特征在于,所述网络信息接收单元用于对网络信息进行接收,所述网络攻击判断单元用于对网络信息是否为网络攻击进行判断,所述网络防御启动单元用于启动防御系统阻止网络攻击的入侵。
6.根据权利要求1所述的一种新的防护网络爬虫攻击的方法,其特征在于,所述网络爬虫数据过滤模块用于对用户行为信息中网络爬虫存储残留的数据进行过滤清除,所述有效行为数据提取模块对用户行为信息中有效安全的信息进行提取。
7.根据权利要求1所述的一种新的防护网络爬虫攻击的方法,其特征在于,所述信息比对模块用于将网络信息与用户行为信息数据库内的行为信息进行比对。
8.根据权利要求1所述的一种新的防护网络爬虫攻击的方法,其特征在于,所述信息比对模块用于比对的网络信息与用户行为信息数据库内的信息之间的比对结果为相同时,则判断为正常网络信息。
9.根据权利要求8所述的一种新的防护网络爬虫攻击的方法,其特征在于,所述信息比对模块用于比对的网络信息与用户行为信息数据库内的信息之间的比对结果为不同时,若用户行为信息数据库内的信息已全部比对完毕,则判断为异常攻击信息。
10.根据权利要求9所述的一种新的防护网络爬虫攻击的方法,其特征在于,所述信息比对模块用于比对的网络信息与用户行为信息数据库内的信息之间的比对结果为不同时,若用户行为信息数据库内的信息未全部比对完毕,则继续执行信息比对模块进行下一次比对。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011636566.5A CN112866203A (zh) | 2020-12-31 | 2020-12-31 | 一种新的防护网络爬虫攻击的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011636566.5A CN112866203A (zh) | 2020-12-31 | 2020-12-31 | 一种新的防护网络爬虫攻击的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112866203A true CN112866203A (zh) | 2021-05-28 |
Family
ID=76000311
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011636566.5A Pending CN112866203A (zh) | 2020-12-31 | 2020-12-31 | 一种新的防护网络爬虫攻击的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112866203A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102546638A (zh) * | 2012-01-12 | 2012-07-04 | 冶金自动化研究设计院 | 一种基于场景的混合入侵检测方法及系统 |
US20140325596A1 (en) * | 2013-04-29 | 2014-10-30 | Arbor Networks, Inc. | Authentication of ip source addresses |
CN104484474A (zh) * | 2014-12-31 | 2015-04-01 | 南京盾垒网络科技有限公司 | 数据库安全审计方法 |
CN104601556A (zh) * | 2014-12-30 | 2015-05-06 | 中国科学院信息工程研究所 | 一种面向web的攻击检测方法及系统 |
CN111767443A (zh) * | 2020-06-11 | 2020-10-13 | 西安石油大学 | 一种高效的网络爬虫分析平台 |
-
2020
- 2020-12-31 CN CN202011636566.5A patent/CN112866203A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102546638A (zh) * | 2012-01-12 | 2012-07-04 | 冶金自动化研究设计院 | 一种基于场景的混合入侵检测方法及系统 |
US20140325596A1 (en) * | 2013-04-29 | 2014-10-30 | Arbor Networks, Inc. | Authentication of ip source addresses |
CN104601556A (zh) * | 2014-12-30 | 2015-05-06 | 中国科学院信息工程研究所 | 一种面向web的攻击检测方法及系统 |
CN104484474A (zh) * | 2014-12-31 | 2015-04-01 | 南京盾垒网络科技有限公司 | 数据库安全审计方法 |
CN111767443A (zh) * | 2020-06-11 | 2020-10-13 | 西安石油大学 | 一种高效的网络爬虫分析平台 |
Non-Patent Citations (1)
Title |
---|
刘天卓: "基于分布式数据挖掘的web应用入侵检测系统的设计与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8181248B2 (en) | System and method of detecting anomaly malicious code by using process behavior prediction technique | |
CN110380896B (zh) | 基于攻击图的网络安全态势感知系统和方法 | |
CN108616534B (zh) | 一种基于区块链防护物联网设备DDoS攻击的方法及系统 | |
CN112114995B (zh) | 基于进程的终端异常分析方法、装置、设备及存储介质 | |
CN102339320B (zh) | 恶意网页的识别方法以及识别装置 | |
CN102594825B (zh) | 一种内网木马的检测方法和装置 | |
CN105208000B (zh) | 网络分析攻击回溯的方法及网络安全设备 | |
KR101060612B1 (ko) | 감사자료 기반의 웹공격 이벤트 추출 시스템 및 방법 | |
CN102222194A (zh) | Linux主机计算环境安全保护的模块及方法 | |
CN103023712A (zh) | 网页恶意属性监测方法和系统 | |
CN103116638B (zh) | 网页筛选方法及装置 | |
CN115277108B (zh) | 一种对去中心化应用抢跑攻击进行防御的方法及系统 | |
CN106534042A (zh) | 基于数据分析的服务器入侵识别方法、装置和云安全系统 | |
CN109756467A (zh) | 一种钓鱼网站的识别方法及装置 | |
CN113965407A (zh) | Ioc情报文件生成方法、装置、存储介质及电子设备 | |
CN115766189B (zh) | 一种多通道隔离安全防护方法及系统 | |
CN103021184A (zh) | 遮挡车牌车辆的辅助辨别方法及系统 | |
CN107623691A (zh) | 一种基于反向传播神经网络算法的DDoS攻击检测系统及方法 | |
CN111090777A (zh) | 一种视频数据的管理方法、管理设备及计算机存储介质 | |
CN112866203A (zh) | 一种新的防护网络爬虫攻击的方法 | |
CN113923009A (zh) | 一种网络安全事件溯源分析方法、装置、介质及电子设备 | |
CN109284317B (zh) | 一种基于时序有向图的窃取信息线索提取与分段评估方法 | |
CN104580087A (zh) | 一种免疫网络系统 | |
CN103914652A (zh) | 恶意程序控制指令识别方法及装置 | |
CN107306252B (zh) | 一种数据分析方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210528 |
|
RJ01 | Rejection of invention patent application after publication |