CN110572403A - 一种web安全监测系统及其方法 - Google Patents

一种web安全监测系统及其方法 Download PDF

Info

Publication number
CN110572403A
CN110572403A CN201910861632.XA CN201910861632A CN110572403A CN 110572403 A CN110572403 A CN 110572403A CN 201910861632 A CN201910861632 A CN 201910861632A CN 110572403 A CN110572403 A CN 110572403A
Authority
CN
China
Prior art keywords
data
features
module
vulnerability scanner
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910861632.XA
Other languages
English (en)
Inventor
王宁
覃岩岩
郭舒扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Communication Branch of Hainan Power Grid Co Ltd
Original Assignee
Information Communication Branch of Hainan Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Communication Branch of Hainan Power Grid Co Ltd filed Critical Information Communication Branch of Hainan Power Grid Co Ltd
Priority to CN201910861632.XA priority Critical patent/CN110572403A/zh
Publication of CN110572403A publication Critical patent/CN110572403A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1433—Vulnerability analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种web安全监测系统，包括漏洞扫描器、数据收集模块、漏洞数据库、特征数据库、数据预处理模块、数据处理模块、目标数据库、日志模块，该漏洞数据库用于对漏洞扫描器提供扫描样本，该漏洞扫描器用于对web上的数据流进行检测，数据收集模块用于将漏洞扫描器提交的数据保存到目标数据库中。设置的数据预处理模块对特征数据库中的特征进行清洗，对于数据集中含有的缺失值能够自动进行填充预处理。

Description

一种web安全监测系统及其方法
技术领域
本发明涉及网络技术领域，具体涉及一种web安全监测系统及其方法。
背景技术
随着Internet的不断发展和普及，互联网已成为人们不可或缺的沟通平台。根据中国互联网络信息中心(CNNIC)2014年7月发布的《第31次中国互联网络发展状况统计报告》显示，截至2014年6月底中国网民数量达到6.32亿，互联网普及率为46.9％。根据国际电信联盟(ITU)2014年5月发布的《2014年信息与通信技术》报告称，到2014年底全球互联网用户数量将达到约30亿，互联网普及率约达40％。作为互联网中数据交换及信息传递的主流平台，网站在优化服务、提升业务效率、进行产品/服务展示和发布信息等方面发挥着重要作用。越来越多的政府部门、企业、公司、学校等机构设立自己的网站。
目前，主流的网站安全监测工具主要分为Web防篡改系统、Web防火墙、Web应用层扫描器等，虽然在一定程度上解决了网站安全态势感知的问题，但存在如下问题：(1)监测速度慢，监测效率低，无法做到实时监测；(2)系统资源利用率低，监测覆盖面小，并发监测效率低，无法适应大规模网站监测需求；(3)监测结果独立，缺乏相互的关联数据分析。
发明内容
本发明针对现有技术的不足，提出一种web安全监测系统，具体技术方案如下：
一种web安全监测系统，其特征在于：包括漏洞扫描器、数据收集模块、漏洞数据库、特征数据库、数据预处理模块、数据处理模块、目标数据库、日志模块，该漏洞数据库用于对漏洞扫描器提供扫描样本，该漏洞扫描器用于对web上的数据流进行检测，数据收集模块用于将漏洞扫描器提交的数据保存到目标数据库中；
所述数据预处理模块从目标数据库中提取保存的数据进行预处理得到关联特征，将关联特征保存在特征数据库中，所述数据处理模块对特征进行关联性分析，得到预处理特征与标签之间关系；
所述日志模块用于记录漏洞扫描器已经扫描的web。
进一步地：所述数据处理模块为神经网络模型。
其中，一种web安全监测系统的工作方法的具体技术方案如下：
一种web安全监测系统的工作方法，其特征在于：采用以下步骤，
S1：设置扫描网站列表；
S2：漏洞扫描器选取网站，漏洞扫描器判断该网站是否已经出现在日志模块中，如果该网站已经出现在日志模块中，则进入S3，否则，进入S4；
S3：漏洞扫描器跳过该网站，回到S2；
S4：漏洞扫描器扫描网站得到扫描数据，将扫描数据与漏洞扫描器中的样本一一进行对比，如果扫描数据存在样本中，则进入S5，否则，跳过该扫描网站，继续下一个网站扫描；
S5：漏洞扫描器将扫描数据提交到数据收集模块，数据收集模块将扫描数据保存到目标数据库中；
S6：所述数据预处理模块从目标数据库中提取保存的数据进行预处理得到预处理特征，将预处理特征保存在特征数据库中；
S7：所述数据处理模块对特征进行关联性分析，得到预处理特征与标签之间关系；
S8：所述日志模块用于记录漏洞扫描器已经扫描的web。
进一步地：S61：数据预处理模块对特征数据库中的特征进行清洗，对于数据集中含有的缺失值，可以根据缺失的具体的类型使用均值填充、众数填充、随机森林填充、猜测矩阵填充方式，将缺失值补齐；
对于缺失比例超过30％的特征予以剔除，用箱型图和统计学异常值判断的方法剔除异常值并填补正常值；
S62：数据预处理模块对特征进行判断，如果特征是连续型的称之为密集特征，则按照步骤S处理，如果特征是离散型的，则按照步骤S处理；
S63：直接归一化后放入神经网络或者用分箱操作将特征进行分类，转化为离散型特征；
S64：采用独热编码的方式使这些特征变成稀疏特征，利用神经网络进行特征重组，使特征维度增加；
S65：设置神经网络的参数，将重组后的特征作为神经网络模型的输入参数，输入设置好维度的神经网络张量中，得到特征和关联标签的匹配。
本发明的有益效果为：第一，设置的数据预处理模块对特征数据库中的特征进行清洗，对于数据集中含有的缺失值能够自动进行填充预处理。
第二，通过设置神经网络对预处理后的数据进行处理得到特征数据与关联标签的匹配。关联标签根据需要选取不同的值，能够快速的找到特征数据之间的关联性。
第三，设置有日志模块用于对扫描数据进行跟踪回溯。
附图说明
图1为本发明的系统结构图；
图2位本发明的工作流程图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
如图1所示：一种web安全监测系统，具体技术方案如下：
一种web安全监测系统，包括漏洞扫描器、数据收集模块、漏洞数据库、特征数据库、数据预处理模块、目标数据库、日志模块，该漏洞数据库用于对漏洞扫描器提供扫描样本，该漏洞扫描器用于对web上的数据流进行检测，数据收集模块用于将漏洞扫描器提交的数据保存到目标数据库中；
所述数据预处理模块从目标数据库中提取保存的数据进行预处理得到关联特征，将关联特征保存在特征数据库中，所述数据处理模块对特征进行关联性分析，得到预处理特征与标签之间关系。其中，所述数据处理模块为神经网络模型。
所述日志模块用于记录漏洞扫描器已经扫描的web。
其中，一种web安全监测系统的工作方法的具体技术方案如下：
一种web安全监测系统的工作方法，采用以下步骤，
S1：设置扫描网站列表；
S2：漏洞扫描器选取网站，漏洞扫描器判断该网站是否已经出现在日志模块中，如果该网站已经出现在日志模块中，则进入S3，否则，进入S4；
S3：漏洞扫描器跳过该网站，回到S2；
S4：漏洞扫描器扫描网站得到扫描数据，将扫描数据与漏洞扫描器中的样本一一进行对比，如果扫描数据存在样本中，则进入S5，否则，跳过该扫描网站，继续下一个网站扫描；
S5：漏洞扫描器将扫描数据提交到数据收集模块，数据收集模块将扫描数据保存到目标数据库中；
S6：所述数据预处理模块从目标数据库中提取保存的数据进行预处理得到预处理特征，将预处理特征保存在特征数据库中；
S7：所述数据处理模块对特征进行关联性分析，得到预处理特征与标签之间关系；
S8：所述日志模块用于记录漏洞扫描器已经扫描的web。
其中针对S6中具体包括如下步骤：
S61：数据预处理模块对特征数据库中的特征进行清洗，对于数据集中含有的缺失值，可以根据缺失的具体的类型使用均值填充、众数填充、随机森林填充、猜测矩阵填充方式，将缺失值补齐；
对于缺失比例超过30％的特征予以剔除，用箱型图和统计学异常值判断的方法剔除异常值并填补正常值；
S62：数据预处理模块对特征进行判断，如果特征是连续型的称之为密集特征，则按照步骤S处理，如果特征是离散型的，则按照步骤S处理；
S63：直接归一化后放入神经网络或者用分箱操作将特征进行分类，转化为离散型特征；
S64：采用独热编码的方式使这些特征变成稀疏特征，利用神经网络进行特征重组，使特征维度增加；
S65：设置神经网络的参数，将重组后的特征作为神经网络模型的输入参数，输入设置好维度的神经网络张量中，得到特征和关联标签的匹配。

Claims (4)

1.一种web安全监测系统，其特征在于：包括漏洞扫描器、数据收集模块、漏洞数据库、特征数据库、数据预处理模块、数据处理模块、目标数据库、日志模块，该漏洞数据库用于对漏洞扫描器提供扫描样本，该漏洞扫描器用于对web上的数据流进行检测，数据收集模块用于将漏洞扫描器提交的数据保存到目标数据库中；
所述数据预处理模块从目标数据库中提取保存的数据进行预处理得到关联特征，将关联特征保存在特征数据库中，所述数据处理模块对特征进行关联性分析，得到预处理特征与标签之间关系；
所述日志模块用于记录漏洞扫描器已经扫描的web。
2.根据权利要求1所述一种web安全监测系统，其特征在于：所述数据处理模块为神经网络模型。
3.根据权利要求1所述一种web安全监测系统的工作方法，其特征在于：采用以下步骤，
S1：设置扫描网站列表；
S2：漏洞扫描器选取网站，漏洞扫描器判断该网站是否已经出现在日志模块中，如果该网站已经出现在日志模块中，则进入S3，否则，进入S4；
S3：漏洞扫描器跳过该网站，回到S2；
S4：漏洞扫描器扫描网站得到扫描数据，将扫描数据与漏洞扫描器中的样本一一进行对比，如果扫描数据存在样本中，则进入S5，否则，跳过该扫描网站，继续下一个网站扫描；
S5：漏洞扫描器将扫描数据提交到数据收集模块，数据收集模块将扫描数据保存到目标数据库中；
S6：所述数据预处理模块从目标数据库中提取保存的数据进行预处理得到预处理特征，将预处理特征保存在特征数据库中；
S7：所述数据处理模块对特征进行关联性分析，得到预处理特征与标签之间关系；
S8：所述日志模块用于记录漏洞扫描器已经扫描的web。
4.根据权利要求3所述一种web安全监测系统的工作方法，其特征在于：
S61：数据预处理模块对特征数据库中的特征进行清洗，对于数据集中含有的缺失值，可以根据缺失的具体的类型使用均值填充、众数填充、随机森林填充、猜测矩阵填充方式，将缺失值补齐；
对于缺失比例超过30％的特征予以剔除，用箱型图和统计学异常值判断的方法剔除异常值并填补正常值；
S62：数据预处理模块对特征进行判断，如果特征是连续型的称之为密集特征，则按照步骤S处理，如果特征是离散型的，则按照步骤S处理；
S63：直接归一化后放入神经网络或者用分箱操作将特征进行分类，转化为离散型特征；
S64：采用独热编码的方式使这些特征变成稀疏特征，利用神经网络进行特征重组，使特征维度增加；
S65：设置神经网络的参数，将重组后的特征作为神经网络模型的输入参数，输入设置好维度的神经网络张量中，得到特征和关联标签的匹配。
CN201910861632.XA 2019-09-12 2019-09-12 一种web安全监测系统及其方法 Pending CN110572403A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910861632.XA CN110572403A (zh) 2019-09-12 2019-09-12 一种web安全监测系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910861632.XA CN110572403A (zh) 2019-09-12 2019-09-12 一种web安全监测系统及其方法

Publications (1)

Publication Number Publication Date
CN110572403A true CN110572403A (zh) 2019-12-13

Family

ID=68779377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910861632.XA Pending CN110572403A (zh) 2019-09-12 2019-09-12 一种web安全监测系统及其方法

Country Status (1)

Country Link
CN (1) CN110572403A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931099A (zh) * 2020-06-17 2020-11-13 安徽三实信息技术服务有限公司 一种网页漏洞扫描系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102354310A (zh) * 2011-07-12 2012-02-15 广东电网公司信息中心 一种自动化信息安全评估的方法及装置
CN104144142A (zh) * 2013-05-07 2014-11-12 阿里巴巴集团控股有限公司 一种Web漏洞挖掘方法及系统
CN104219091A (zh) * 2014-08-27 2014-12-17 中国科学院计算技术研究所 一种网络运行故障检测系统及其方法
US20160285827A1 (en) * 2012-02-23 2016-09-29 Tenable Network Security, Inc. System and method for facilitating data leakage and/or propagation tracking
CN108494727A (zh) * 2018-02-06 2018-09-04 成都清华永新网络科技有限公司 一种用于网络安全管理的安全事件闭环处理方法
CN109447698A (zh) * 2018-10-18 2019-03-08 广州云从人工智能技术有限公司 一种基于神经网络的推荐算法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102354310A (zh) * 2011-07-12 2012-02-15 广东电网公司信息中心 一种自动化信息安全评估的方法及装置
US20160285827A1 (en) * 2012-02-23 2016-09-29 Tenable Network Security, Inc. System and method for facilitating data leakage and/or propagation tracking
CN104144142A (zh) * 2013-05-07 2014-11-12 阿里巴巴集团控股有限公司 一种Web漏洞挖掘方法及系统
CN104219091A (zh) * 2014-08-27 2014-12-17 中国科学院计算技术研究所 一种网络运行故障检测系统及其方法
CN108494727A (zh) * 2018-02-06 2018-09-04 成都清华永新网络科技有限公司 一种用于网络安全管理的安全事件闭环处理方法
CN109447698A (zh) * 2018-10-18 2019-03-08 广州云从人工智能技术有限公司 一种基于神经网络的推荐算法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931099A (zh) * 2020-06-17 2020-11-13 安徽三实信息技术服务有限公司 一种网页漏洞扫描系统

Similar Documents

Publication Publication Date Title
CN103401849B (zh) 一种网站日志异常会话分析方法
CN111104521B (zh) 一种基于图分析的反欺诈检测方法及检测系统
CN108462888A (zh) 用户电视及上网行为的智能关联分析方法及系统
CN103218431A (zh) 一种能识别网页信息自动采集的系统与方法
CN102833111B (zh) 一种可视化http数据监管方法及装置
CN103078854B (zh) 报文过滤方法与装置
CN110968571A (zh) 面向金融信息服务的大数据分析与处理平台
CN102156746A (zh) 搜索引擎的性能评价方法
CN106452859A (zh) 一种固网WiFi环境下手机号码特征关键字自动提取方法
CN110020161B (zh) 数据处理方法、日志处理方法和终端
CN113868509A (zh) 基于云计算的科技政策数据信息咨询服务系统
CN110572403A (zh) 一种web安全监测系统及其方法
CN114385668A (zh) 冷数据清理方法、装置、设备及存储介质
CN107391650A (zh) 一种文档的结构化拆分方法，装置及系统
CN113688346A (zh) 一种违法网站识别方法、装置、设备及存储介质
CN105677888A (zh) 一种基于用户时间碎片的业务偏好识别方法
US20020194052A1 (en) Method and system for analyzing application needs of an entity
CN107391695A (zh) 一种基于大数据的信息提取方法
CN107392415B (zh) 一种基于大数据的电信营业员画像信息处理方法及装置
CN117853152B (zh) 一种基于多渠道的业务营销数据处理系统
CN115877802B (zh) 一种生产过程数据采集与监控方法与系统
CN118035507B (zh) 基于数据挖掘技术的数据查询系统及方法
CN114125079B (zh) 一种火电安全模拟平台协议解析系统及其解析方法
CN108520042B (zh) 实现经侦工作中嫌疑人涉案角色标定和角色评估的系统及方法
CN107330090A (zh) 一种信息处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191213

RJ01 Rejection of invention patent application after publication