CN111212055A - 非侵入式网站远程检测系统及检测方法 - Google Patents

非侵入式网站远程检测系统及检测方法 Download PDF

Info

Publication number
CN111212055A
CN111212055A CN201911394776.5A CN201911394776A CN111212055A CN 111212055 A CN111212055 A CN 111212055A CN 201911394776 A CN201911394776 A CN 201911394776A CN 111212055 A CN111212055 A CN 111212055A
Authority
CN
China
Prior art keywords
module
website
snapshot
output end
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911394776.5A
Other languages
English (en)
Inventor
郑华东
陈权
吴海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Anxun Information Technology Co Ltd
Original Assignee
Shanghai Anxun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Anxun Information Technology Co Ltd filed Critical Shanghai Anxun Information Technology Co Ltd
Priority to CN201911394776.5A priority Critical patent/CN111212055A/zh
Publication of CN111212055A publication Critical patent/CN111212055A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/145—Countermeasures against malicious traffic the attack involving the propagation of malware through the network, e.g. viruses, trojans or worms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
    • G06F21/562—Static detection
    • G06F21/563—Static detection by source code analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1433—Vulnerability analysis

Abstract

本发明公开了一种非侵入式网站远程检测系统及检测方法，包括用于通过互联网获取被监控网站的网页源码和资源的网络爬虫模块、用于调度各功能模块的中心服务模块、用于对网站的正常状态进行备份的快照管理模块、用于将网络快照与当前源码和资源进行对比的数据差分模块以及用于快速检查出风险项的内容检测模块，中心服务模块的输出端分别连接网络爬虫模块、快照管理模块、数据差分模块的输入端连接，网络爬虫模块的输出端通过互联网连接各个监控站点，数据差分模块的输出端连接内容检测模块的输入端。本发明采用数据差分算法，检测网站页面源代码的变化，在不对被监管网站进行任何更改的前提下，对目标网站进行检测，不影响网站的运营管理。

Description

非侵入式网站远程检测系统及检测方法
技术领域
本发明涉及网络安全技术领域，特别是一种非侵入式网站远程检测系统及 检测方法。
背景技术
随着网络黑客活动猖獗，经常会发生企业的网站被挂上影响用户安全的木 马链接而造成严重的后果，由于网络防护技术能力不足，导致网站的防护措施 不到位，往往是网站被篡改后很难及时发现，引发严重的后果。
为了保障这些网站的安全，上级部门专门成立了监管部门，对这些网站进 行监管，为这些站点提供一定的防护。传统采用的监管方式是网站检测，需要 在网站服务器上部署检测程序，实施起来非常不方便，同时因为需要对原始服 务的运行环境和安全策略做一定的修改，对服务本身的运行管理也会造成一定 影响。另外，在监管部门在对下属站点进行日常的监管中，被监管的站点往往 因为监管措施实施困难或者是因为其他方面的考虑而拒绝监管部门通过侵入式 (即在网站服务器上安装额外的监管软件或硬件)对自己的网站进行监管，而 监管部门在面对运行环境各异、部署环境千差万别的各类网站时，也很难提供 一种通用的实施方便的侵入式检测技术方案。
由于网站大多是动态网页，内容是实时变化的，如何从这些变化的内容中 区分出合法的变更和非法的变更，例如政府部门首页，每天都有新的新闻推送， 任意时刻都可能会有新的留言或回复等变化的信息，如何将这些内容与黑客入 侵后插入的内容进行区分识别，是监管部门需要解决的问题。
发明内容
本发明需要解决的技术问题是提供一种非侵入式网站远程检测系统及检测 方法，在不对被监管网站进行更改的前提下，对目标网站进行有效检测，不影 响网站的运营管理。
为解决上述技术问题，本发明所采取的技术方案如下。
非侵入式网站远程检测系统及检测方法，包括用于通过互联网获取被监控 网站的网页源码和资源的网络爬虫模块、用于调度各功能模块的中心服务模块、 用于对网站的正常状态进行备份的快照管理模块、用于将网络快照与当前源码 和资源进行对比的数据差分模块以及用于快速检查出风险项的内容检测模块， 中心服务模块的输出端分别连接网络爬虫模块、快照管理模块、数据差分模块 的输入端连接，网络爬虫模块的输出端通过互联网连接各个监控站点，数据差 分模块的输出端连接内容检测模块的输入端。
上述非侵入式网站远程检测系统及检测方法，所述检测系统还包括用于对 网站站长发出风险告警的告警模块，告警模块的输入端连接内容检测模块的输 出端。
上述非侵入式网站远程检测系统及检测方法，所述内容检查模块包括用于 对网页木马样本库进行检测的风险代码识别单元和用于对敏感词库进行检测的 敏感词识别单元。
上述非侵入式网站远程检测方法，该检测方法包括以下几个步骤：
A.先为目标网站创建网站快照，对网站的正常状态进行备份；
B.通过网络爬虫获取被监控网站的网页源代码和资源，将网站当前源码和 资源与网站快照进行对比后，提取发生变化的差异项；
C.将提取的差异项通过网页木马样本库和敏感词库进行对比，检查出网页 源代码和资源中存在的风险项；
D.当检查出网页存在风险项时，通过短信和邮件对网站站长发出告警。
由于采用了以上技术方案，本发明所取得技术进步如下。
本发明采用高效的数据差分算法，来检测网站页面源代码的变化，在不对 被监管网站进行任何更改的前提下，对目标网站进行有效的检测，不会影响网 站的运营管理。
附图说明
图1为本发明的结构框图。
具体实施方式
下面将结合附图和具体实施例对本发明进行进一步详细说明。
非侵入式网站远程检测系统及检测方法，其结构框图如图1所示，包括网 络爬虫模块、中心服务模块、快照管理模块、数据差分模块、内容检测模块和 告警模块。网络爬虫模块用来通过互联网获取被监控网站的网页源码和资源， 中心服务模块用来调度各功能模块，快照管理模块用来对网站的正常状态进行 备份，数据差分模块用来将网络快照与当前源码和资源进行对比，内容检测模 块用来快速检查出风险项，告警模块用来对网站站长发出告警。中心服务模块 的输出端分别连接网络爬虫模块、快照管理模块、数据差分模块的输入端连接， 网络爬虫模块的输出端通过互联网连接各个监控站点，数据差分模块的输出端 连接内容检测模块的输入端，内容检测模块的输出端连接告警模块的输入端。
网络爬虫模块是采用网络爬虫技术，模拟一个正常网民的信息去访问被监 管网站，抓取网站的网页源代码和资源作为网站快照存放于本地磁盘，后续由 中心服务模块的监控任务定时发送请求，获取当前的网站源码和资源进行数据 差分对比。
中心服务模块用于调度各功能模块，同时提供对监控网站的管理以及资源 配置的工作，每间隔一段时间自动通过网络爬虫模块抓取目标网站。
快照管理模块用于对网站的正常状态进行备份，作为后续对网站进行内容 检测时的对照依据。快照管理模块主要提供，快照创建，快照读取，快照更新， 快照删除的功能。
数据差分模块采用数据差分算法，通过网站快照与网站当前源码和资源进 行对比，快速提取大声变化的差异项，并将差异项传送给内容检测模块进行检 查。
因为网页源码中存在大量的javascript逻辑代码及网站自己的文字内容，如 果对网站网页进行全文内容检查，会产生大量误报，本发明中先通过数据差分 提取差异内容，只对差异内容进行检查则能避免有效误报情况，同时也能节约 服务器的性能开销。
内容检测模块包括风险代码识别单元和敏感词识别单元，风险代码识别单 元用来对网页木马样本库进行检测，敏感词识别单元用来对敏感词库进行检测。 内容检测模块通过网页木马样本库和敏感词库能够从数据差分模块的产生的结 果中，快速检查出风险项。
告警模块是在内容检测模块检查出网页存在风险项时，告警模块采用短信 和邮件的方式对网站站长发出风险告警，通知站长及时处理，避免引起不必要 的损失。
当网站更新升级时，升级完成后由站长通知监管部门，监管部门对网站快 照进行及时更新，避免检测漏洞，对网站进行全面防护，提高了网站检测的效 果，保证了网站的安全。
为了避免误报的情况发生，检测时会先提取出变化的内容，并对内容进行 精准的识别，识别依据采用风险代码样本库和敏感词库，样本库和敏感词库都 能进行升级更新，提供更高的可用性。
本发明中的侵入式网站远程检测方法包括以下几个步骤：
A.先通过网络爬虫技术，获取目标网站的网页源码和资源，为目标网站创 建网站快照，由监管人员对目标站点进行审计，确定网站状态正常后进行快照 抓取，并将网络快照存放于本地磁盘，对网站的正常状态进行备份，为后续对 网站进行内容检测提供对照依据。
B.每隔一段时间自动通过网络爬虫技术，模拟一个正常网民的信息去访问被 监管的网站，获取被监控网站的网页源代码和资源，并将获取的被监控网站的 当前源码和资源与备份的网站快照进行差分对比，快速提取发生变化的差异项， 然后传给内容检测模块进行检查；
C.提取的差异项交由内容检测模块进行分析，将差异项通过网页木马样本库 和敏感词库进行对比，快速发现网页中存在的风险代码或敏感词，提取出网页 源代码和资源中存在的风险项；
D.当检查出网页存在风险代码或敏感词时，告警模块第一时间通过短信和 邮件形式对网站站长发出告警，通知网站站长及时进行处理，维护网站安全， 避免不必要的损失。

Claims (4)

1.非侵入式网站远程检测系统及检测方法，其特征在于：包括用于通过互联网获取被监控网站的网页源码和资源的网络爬虫模块、用于调度各功能模块的中心服务模块、用于对网站的正常状态进行备份的快照管理模块、用于将网络快照与当前源码和资源进行对比的数据差分模块以及用于快速检查出风险项的内容检测模块，中心服务模块的输出端分别连接网络爬虫模块、快照管理模块、数据差分模块的输入端连接，网络爬虫模块的输出端通过互联网连接各个监控站点，数据差分模块的输出端连接内容检测模块的输入端。
2.根据权利要求1所述的非侵入式网站远程检测系统及检测方法，其特征在于：所述检测系统还包括用于对网站站长发出风险告警的告警模块，告警模块的输入端连接内容检测模块的输出端。
3.根据权利要求1所述的非侵入式网站远程检测系统及检测方法，其特征在于：所述内容检查模块包括用于对网页木马样本库进行检测的风险代码识别单元和用于对敏感词库进行检测的敏感词识别单元。
4.根据权利要求1至3任一项所述的非侵入式网站远程检测方法，其特征在于：该检测方法包括以下几个步骤：
A.先为目标网站创建网站快照，对网站的正常状态进行备份；
B.通过网络爬虫获取被监控网站的网页源代码和资源，将网站当前源码和资源与网站快照进行对比后，提取发生变化的差异项；
C.将提取的差异项通过网页木马样本库和敏感词库进行对比，检查出网页源代码和资源中存在风险项；
D.当检查出网页存在风险项时，通过短信和邮件对网站站长发出告警。
CN201911394776.5A 2019-12-30 2019-12-30 非侵入式网站远程检测系统及检测方法 Pending CN111212055A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911394776.5A CN111212055A (zh) 2019-12-30 2019-12-30 非侵入式网站远程检测系统及检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911394776.5A CN111212055A (zh) 2019-12-30 2019-12-30 非侵入式网站远程检测系统及检测方法

Publications (1)

Publication Number Publication Date
CN111212055A true CN111212055A (zh) 2020-05-29

Family

ID=70789475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911394776.5A Pending CN111212055A (zh) 2019-12-30 2019-12-30 非侵入式网站远程检测系统及检测方法

Country Status (1)

Country Link
CN (1) CN111212055A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112615857A (zh) * 2020-12-17 2021-04-06 杭州迪普科技股份有限公司 网络数据处理方法、装置与系统
CN113704760A (zh) * 2021-08-31 2021-11-26 深信服科技股份有限公司 一种页面检测方法及相关装置
CN115150139A (zh) * 2022-06-24 2022-10-04 南京标杆科技有限公司 一种基于网站安全风险评估的风险评估装置及其使用方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130097702A1 (en) * 2011-10-12 2013-04-18 Mohammed ALHAMED Website defacement incident handling system, method, and computer program storage device
CN103279710A (zh) * 2013-04-12 2013-09-04 深圳市易聆科信息技术有限公司 Internet信息系统恶意代码的检测方法和系统
CN107016053A (zh) * 2017-03-02 2017-08-04 中国科学院信息工程研究所 一种并行的数据差分方法
CN107038026A (zh) * 2017-02-28 2017-08-11 中国科学院信息工程研究所 一种增量式的自动机更新方法与系统
CN107301355A (zh) * 2017-06-20 2017-10-27 深信服科技股份有限公司 一种网页篡改监测方法及装置
CN109831451A (zh) * 2019-03-07 2019-05-31 北京华安普特网络科技有限公司 基于防火墙的防挂马方法
CN110417718A (zh) * 2018-12-27 2019-11-05 腾讯科技（深圳）有限公司 处理网站中的风险数据的方法、装置、设备及存储介质
CN110457900A (zh) * 2019-08-19 2019-11-15 杭州安恒信息技术股份有限公司 一种网站监测方法、装置、设备及可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130097702A1 (en) * 2011-10-12 2013-04-18 Mohammed ALHAMED Website defacement incident handling system, method, and computer program storage device
CN103279710A (zh) * 2013-04-12 2013-09-04 深圳市易聆科信息技术有限公司 Internet信息系统恶意代码的检测方法和系统
CN107038026A (zh) * 2017-02-28 2017-08-11 中国科学院信息工程研究所 一种增量式的自动机更新方法与系统
CN107016053A (zh) * 2017-03-02 2017-08-04 中国科学院信息工程研究所 一种并行的数据差分方法
CN107301355A (zh) * 2017-06-20 2017-10-27 深信服科技股份有限公司 一种网页篡改监测方法及装置
CN110417718A (zh) * 2018-12-27 2019-11-05 腾讯科技（深圳）有限公司 处理网站中的风险数据的方法、装置、设备及存储介质
CN109831451A (zh) * 2019-03-07 2019-05-31 北京华安普特网络科技有限公司 基于防火墙的防挂马方法
CN110457900A (zh) * 2019-08-19 2019-11-15 杭州安恒信息技术股份有限公司 一种网站监测方法、装置、设备及可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘江: ""网页篡改监控系统的设计与实现 "", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
张超: ""WEB网站安全检测系统设计与实现"", 《 中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
石伟: ""一种基于变更块的代码重构展示方法的研究与实现"", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112615857A (zh) * 2020-12-17 2021-04-06 杭州迪普科技股份有限公司 网络数据处理方法、装置与系统
CN113704760A (zh) * 2021-08-31 2021-11-26 深信服科技股份有限公司 一种页面检测方法及相关装置
CN115150139A (zh) * 2022-06-24 2022-10-04 南京标杆科技有限公司 一种基于网站安全风险评估的风险评估装置及其使用方法
CN115150139B (zh) * 2022-06-24 2024-04-12 南京标杆科技有限公司 一种基于网站安全风险评估的风险评估装置及其使用方法

Similar Documents

Publication Publication Date Title
US9736173B2 (en) Differential dependency tracking for attack forensics
US10860406B2 (en) Information processing device and monitoring method
US8091127B2 (en) Heuristic malware detection
US10789118B2 (en) Information processing device and error detection method
JP2019082989A5 (zh)
US9531734B2 (en) Method and apparatus for intercepting or cleaning-up plugins
CN111212055A (zh) 非侵入式网站远程检测系统及检测方法
CN105743730B (zh) 为移动终端的网页服务提供实时监控的方法及其系统
US20140053267A1 (en) Method for identifying malicious executables
CN101888311B (zh) 一种防止网络内容被篡改的设备、方法和系统
CN112003838B (zh) 网络威胁的检测方法、装置、电子装置和存储介质
CN112787992A (zh) 一种敏感数据的检测与防护的方法、装置、设备和介质
CN112039894B (zh) 一种网络准入控制方法、装置、存储介质和电子设备
CN114915501B (zh) 基于进程行为图的入侵事件检测方法、装置及电子设备
CN113051573B (zh) 一种基于大数据的主机安全实时监控警报系统
CN105378745A (zh) 基于安全问题禁用和启用节点
CN113992435A (zh) 一种攻击检测溯源方法、装置及系统
US8554908B2 (en) Device, method, and storage medium for detecting multiplexed relation of applications
CN106953874B (zh) 网站防篡改方法及装置
CN106899977B (zh) 异常流量检验方法和装置
CN104104666B (zh) 一种探测云端服务异常的方法和装置
CN111782481A (zh) 一种通用数据接口监控系统和监控方法
CN115883124A (zh) 基于分布式的网站篡改检测系统及方法
US11671440B1 (en) Detection failure monitoring system
US8291494B1 (en) System, method, and computer program product for detecting unwanted activity associated with an object, based on an attribute associated with the object

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200529