CN110636056A - 一种防御网页篡改的方法与设备 - Google Patents

Abstract

本发明公开了一种防御网页篡改的方法与设备，尤其是提出一种文件对比方法，包括定时从服务器爬取页面得到预取文件；将预取文件定时同步到缓存文件；根据URL请求，从服务器获取最新文件；根据预设的相似度，对最新文件与缓存文件进行对比，若不符合相似度要求，则判定页面被篡改，并发出告警日志。按照预设的相似度等级，实现缓存文件与预取文件的差异检测，从而不仅有效防止服务器页面被篡改而且可以直观的区分不同程度的篡改。

Description

一种防御网页篡改的方法与设备

技术领域

本发明属于网络安全技术领域，尤其是涉及一种根据预设相似度确定网页是否被篡改以及篡改程度的方法与设备。

背景技术

随着互联网和网络应用的普及与发展，网络攻击随之而来，篡改网页文件是黑客攻击的普遍手法，网页篡改攻击事件往往预先检查和实时防范较难，而且由于网络环境复杂而难以追查责任。对URL进行篡改以达到攻击目的的方式以其方法简单、随时可用而受到许多攻击者的喜爱，包括通过远程注入或探测等方法获取服务器权限远程登录服务器，对网站页面或数据库进行增加、修改、删除等操作。

现有的技术条件下，虽然有防火墙、入侵检测系统等安全设备作为安全防范手段，但Web应用攻击仍然很难被检测到，可以轻松突破防火墙和入侵检测系统的保护。单纯依靠防火墙和入侵检测系统等传统的网络安全设备无法有效防范网页篡改攻击，为此，网页防篡改技术成为安全领域研究的焦点之一。

对于一些网站，为了快速地响应用户请求，通常会使用共享缓存，即在用户端设备和网站服务器之间设置web代理网关，由web代理网关对网站服务器上的网页文件进行缓存，用户端的页面请求首先到达代理网关，代理网关查询页面请求对应的页面文件是否存在于缓存中，若缓存中存在，则直接将缓存文件返回给客户端，若缓存中不存在，则由代理网关从网站服务器获取页面文件返回给客户端，并缓存页面文件，这样，下一次请求时，网关可以直接将缓存中的页面文件返回。

公布号为CN103118033A的中国专利申请就公开了“一种防御用户网站被篡改的方法”，该方法通过缓存页面文件的数据指纹与重新获取的页面文件数据指纹进行比较，若不一致则判定页面文件被篡改了；只需要用户在web代理网关上配置监控哪些URL即可，获得了在不影响原网站服务器的性能的前提下，防止页面被随意篡改，并在发现页面被篡改后进行告警的技术效果。

但上述的公开技术具有以下缺陷：无法区分不同篡改的差异性，特别是对于常更新页面内容而不改变网页脚本的动态页面，无法根据需要自主设置检测与告警级别，从而不利于对不同程度的告警进行相应级别的措施；防篡改配置缺少自主性，从而防篡改比较前无法进行必要的条件筛选，当数据量大时有可能降低处理效率；并且该公开申请没有提出更具体的检测对比方法。

发明内容

为克服上述的现有技术具有的缺陷，本发明旨在提出一种防御网页篡改的方法与设备，尤其是提出一种文件对比方法，按照预设的相似度等级，实现缓存文件与预取文件的差异检测，从而不仅有效防止服务器页面被篡改而且可以直观的区分不同程度的篡改。

本发明采用的技术方案包括防篡改方法与设备。

一方面，本发明提出一种防御网页篡改的方法，包括：

定时从服务器爬取页面得到预取文件；

将预取文件定时同步到缓存文件；

根据URL请求，从服务器获取最新文件；

根据预设的相似度，对最新文件与缓存文件进行对比，若不符合相似度要求，则判定页面被篡改，并发出告警日志。

进一步的，所述预设的相似度按照页面文件的一致程度依次划分等级；而相似度等级划分方法包括对比MD5值与通过simhash计算海明距离：MD5值一致则为高相似度，根据海明距离确定相似度为中或低。防篡改配置时可进行相似度等级的选择，从而下发相应的防篡改策略，根据配置的相似度判断页面是否被篡改。

根据上述的防篡改方法，接收URL请求后，依次进行以下步骤：

判断URL是否属于预设的被保护URL，若属于则判断URL是否已被缓存，若不属于则转发至服务器；

若URL已被缓存，则判断其防篡改状态是否开启；若已开启则判断缓存文件是否过期，若未开启则转发至服务器；

若缓存文件未过期，则将缓存文件返回至客户端；若缓存文件已过期，则从服务器获取最新文件与缓存文件进行相似度对比。

进一步的，所述相似度对比之前还进行以下判断：

判断URL请求的单文件大小与文件扩展名是否符合预设配置，若符合则进行相似度对比，若不符合则将URL转发至服务器。

所述缓存文件预设过期时间，缓存文件过期时，若从服务器获取的最新文件与缓存文件符合预设的相似度，则将最新文件更新到缓存文件。

优选的，预取文件更新周期与缓存文件同步周期的可预设范围为600至43200S；从服务器爬取的URL链接层数，预设为1至20。

另一方面，本发明还提出一种防御网页篡改的设备，应用上述的防篡改方法，具体包括：

请求检测模块，解析客户端的请求数据，根据URL的主机IP与端口判断是否属于被保护URL，若属于则根据缓存查找结果回应缓存文件或转发至服务器；

文件预取模块，根据预设配置与任务，定时从服务器预取页面文件；

文件同步模块，将预取文件定期同步更新到缓存文件；

篡改检测模块，对比从服务器获取的最新文件与缓存文件的相似度，判断页面是否被篡改，若被篡改则进一步发送篡改日志并告警。

根据以上所述的防篡改设备，所述判断URL是否属于被保护URL，包括判断是否属于检测URL列表与是否属于例外URL列表，所述检测URL列表包括进行检测的URL，所述例外URL列表包括不进行检测的URL。

进一步的，防篡改设备还设置缓存文件列表，用于存放缓存文件；被统计的缓存文件信息，包括URL、文件大小、最后更新时间、是否被防护、匹配次数；所述匹配次数指缓存文件被返回的次数；所述缓存文件包括内置MIME类型与自定义MIME类型。

优选的，防篡改设备设置有总开关，当防篡改总开关为关闭时，缓存文件列表可被手动清除。

采用以上所述的本发明的技术方案，具有以下有益效果：首先，提出了具体的检测对比方法，根据不同的实际需要预设不同的相似度级别，进行不同程度的防篡改检测，从而实现不同的响应；其次，提供更自主的防篡改配置选项，从而实现不同限制条件的防篡改策略；防篡改检测前，根据配置项进行筛选，避免不必要的数据处理，提高执行效率；另外定时预取与同步，也可以一定程度上减少数据的反复读写。

附图说明

附图1为本发明的防御网页篡改的方法实施例，请求检测流程图；

附图2为本发明的防御网页篡改的方法实施例，防篡改检测流程图；

附图3为本发明的防御网页篡改设备的实施例，组成结构示意图。

具体实施方式

本发明涉及的是适用于Web代理网关的防篡改方法与设备，下面结合附图与实施例对本发明的技术方案进行详细说明。

图1与图2所示是本发明的防篡改方法的一种实施例；图3为防篡改设备的一种实施例。

如图3所示，先对防御网页篡改的设备进行说明，具体包括：

请求检测模块301，该模块主要检测请求的URL数据，首先判断是否为被保护的 URL，然后再根据本地缓存的页面列表数据，判断是否回应本地数据还是将客户端请求转发至后台服务器处理。具体的说，接收到客户端的URL请求后，先解析请求数据，根据请求中的URL主机IP与端口判断是否属于被保护URL，若属于则根据缓存查找结果回应缓存文件或转发至服务器：若已被缓存则直接返回缓存文件或进行相似度对比；若未被缓存则转发至服务器。

判断URL是否属于被保护URL，包括判断是否属于检测URL列表与是否属于例外URL列表，所述检测URL列表包括进行检测的URL，所述例外URL列表包括不进行检测的URL。即此处所述被保护URL应当是包含在检测URL列表中。检测URL列表与例外URL列表内的各个URL的防篡改状态可以进行单独或批量开启或关闭操作，从而实现是否进行防护的策略下发。

文件预取模块302，是根据防篡改配置中的预设配置项与预取任务，按照预设的周期，定时从网站服务器爬取或更新页面文件或数据。

文件同步模块303，按照预设的周期，定时将预取文件同步更新到缓存文件。

优选的，预取文件更新周期与缓存文件同步周期的可预设范围为600至43200S，定时预取与同步，可以一定程度上减少数据的反复读写。

从服务器爬取的URL链接层数，预设为1至20层。

所述的缓存文件存放在文件缓存列表304中，被统计的缓存文件信息，包括URL、文件大小、最后更新时间、是否被防护、匹配次数等；匹配次数指缓存文件被返回的次数；缓存文件列表包括内置MIME类型与自定义MIME类型；内置MIME类型为系统默认配置，不可修改或删除；而自定义MIME类型为用户可自由配置。网页浏览器主要通过HTTP协议与网页服务器交互并获取网页，这些网页由统一资源定位符(URL)指定，文件格式通常为HTML，并由MIME在HTTP协议中指明。

文件缓存列表内的图片、文本等格式的文件，可以在前端页面实现内容的预览；而各个缓存文件也可以实现手动的个别更新，即对被选中的缓存文件进行实时的预取、同步更新。

作为一种优选的实施例，防篡改设备设置有总开关，当防篡改总开关为关闭时，缓存文件列表可被手动清除。实际中，URL一旦被缓存就无法自动清除，而如果缓存中存在过多的无用文件内容，会给后续的配置和维护带来不便，因此手动清空缓存可以有效的避免前述情况的出现，提高资源的利用。

篡改检测模块304，对比从服务器获取的最新文件与缓存文件的相似度，判断页面是否被篡改，若被篡改则进一步发送篡改日志并告警。

利用上述的防篡改设备实现本发明的网页防篡改方法，包括两部分，分别是URL请求的检测和文件相似度的检测。

如图1所示，URL请求的检测主要由URL检测模块301进行：接收到URL请求后，先判断该URL是否属于被保护URL，即该URL是否位于检测URL列表内。此处需要说明的是，同一个URL应当属于检测URL列表或例外URL列表内，而不能同时位于两个列表中；或者可以对该两个列表进行优先级的设置，避免冲突。

若请求的URL位于检测URL列表内，则进一步判断URL的页面文件是否已被本地缓存：若已被缓存且未过期则将本地缓存文件返回给客户端；若未被缓存，则将请求转发至后台服务器处理；对于已被缓存且已过期的情况，由篡改检测模块305进行后续的处理。

如图2所示，防篡改检测的流程，主要由篡改检测模块305实现。

当请求的URL已被本地缓存且其缓存文件已过期时，进行防篡改检测。

首先进行条件筛选，进行如下操作：

步骤200：判断该URL的防篡改状态是否为开启，若未开启则结束检测，若已开启则进行210。

步骤210：判断URL的单文件大小是否在预设的检测最大值范围内，若否则结束检测，若是则进行220。

步骤220：判断文件的扩展名是否属于预设的被检测扩展名，若不属于则结束检测，若属于则进行230。

步骤230：判断URL是否属于例外URL列表，若属于则结束检测，若不属于则进行240。

此处需要说明的是，上述的步骤210至230的执行先后顺序可以根据实际的需要进行调整。

上述的条件筛选，可以排除条件外的文件检测对比，一定程度上有利于充分利用系统资源。

步骤240：对比检测文件，即向网站服务器获取URL的最新文件，与缓存文件进行检测对比。

步骤250：上一步中所述的检测对比，是指对比最新文件与缓存文件的相似度，查看是否在预设的相似度范围内，若在相似度范围内，则表明文件未被篡改；若不在相似度范围内，则表明文件已被篡改，发送相应的日志告警。该处所述的告警日志，根据预设的不同相似度等级，进行不同类型的告警。

结合图1至图3，进一步的说明防御网页篡改的实施例。

该实施例的可预设内容，包括防篡改配置、页面预取配置、文件缓存列表、缓存文件类型。

防篡改配置包括通用配置、检测URL列表与例外URL列表；通用配置是对防篡改全局进行预设，包括防篡改总开关，单个文件大小，相似度等级选择和扩展名配置；检测URL列表与例外URL列表分别是对需要检测与不需要检测的URL进行配置，包括添加、删除、刷新以及对每个URL的启停开关。

预设的相似度等级按照文件的一致程度依次划分等级，划分方法包括对比MD5值与通过simhash计算海明距离：MD5值一致则为高相似度；根据海明距离确定相似度为中或低。例如，当海明距离≦30则为中相似度，若海明距离＞30且≦70则为低相似度。当选择不同的等级时，文件的相似度对比会进行相应的计算。

页面预取配置包括预取文件更新周期、缓存文件同步周期与预取任务的建立与删除，其中预取任务的建立包括对IP、端口、起始页面、预取链接深度（即链接层数）、文件后缀的配置。

具体的防篡改实现步骤如下：

首先，文件预取模块302，根据预设的更新周期（例如600S），定期从服务器爬取页面得到预取文件；爬取的文件应当符合预取任务的预设配置。

其次，文件同步模块303，根据预设的同步周期（例如3600S），定时将预取文件同步到缓存文件；所述的缓存文件存放于文件缓存列表304内；

被缓存文件的信息统计可以在前端页面进行展示，至少包括URL、文件大小、最后更新时间、是否被防护、匹配次数。

再次，请求检测模块301，接收客户端的URL请求后，判断该URL是否属于被保护URL，即判断是否属于检测URL列表，若属于检测URL列表则遍历文件缓存列表304查看是否已被缓存，若未被缓存则转发至服务器；

若已被缓存且未过期则直接向客户端返回缓存文件；

若已被缓存且已过期则向服务器获取最新文件；进一步的，如果两个文件的MD5值相同，则将最新文件更新到缓存文件。

最后，篡改检测模块305，判断URL请求的单文件大小与文件扩展名是否符合预设配置，若符合则进行相似度对比，若不符合则将URL转发至服务器；

根据预设的相似度等级，对最新文件与缓存文件进行对比，若不符合相似度要求，则判定页面被篡改，并发出告警日志；例如预设相似度等级为高，则只要两个文件的MD5值不同，则判定发生了文件篡改，发送相应级别的告警日志。

虽然通过某些优选实施例，已经对本发明的技术方案进行了图示和描述，但本领域的技术人员应该明白，在形式和细节上对其作各种各样的改变，均不偏离本发明的技术方案所限定的范围。

Claims (10)

1.一种防御网页篡改的方法，其特征在于，包括：

定时从服务器爬取页面得到预取文件；

将预取文件定时同步到缓存文件；

根据URL请求，从服务器获取最新文件；

根据预设的相似度,对最新文件与缓存文件进行对比，若不符合相似度要求，则判定页面被篡改，并发出告警日志。

2.根据权利要求1所述的防篡改方法，其特征在于，所述预设的相似度按照页面文件的一致程度依次划分等级；

相似度等级划分方法包括对比MD5值与通过simhash计算海明距离：MD5值一致则为高相似度；根据海明距离确定相似度为中或低。

3.根据权利要求1或2所述的防篡改方法，其特征在于，接收URL请求后，依次进行：

若该URL属于预设的被保护URL，则查找该URL是否已被缓存；

若URL已被缓存，则判断其防篡改状态是否开启；

若防篡改状态已开启，则判断缓存文件是否已过期；

若缓存文件未过期，则将缓存文件返回至请求端；若缓存文件已过期，则从服务器获取最新文件与缓存文件进行相似度对比；

若请求的URL不属于预设的被保护URL或未被缓存或防篡改状态未开启，将URL转发至服务器。

4.根据权利要求3所述的防篡改方法，其特征在于，相似度对比之前还包括：

判断URL请求的单文件大小与文件扩展名是否符合预设配置，若符合则进行相似度对比，若不符合则将URL转发至服务器。

5.根据权利要求3所述的防篡改方法，其特征在于，所述缓存文件预设过期时间，缓存文件过期时，若从服务器获取的最新文件与缓存文件符合预设的相似度，则将最新文件更新到缓存文件。

6.根据权利要求1所述的防篡改方法，其特征在于，

预取文件更新周期与缓存文件同步周期的可预设范围为600至43200S；从服务器爬取的URL链接层数，预设为1至20。

7.防御网页篡改的设备，其特征在于，包括：

请求检测模块，解析客户端的请求数据，根据URL的主机IP与端口判断是否属于被保护URL，若属于则根据缓存查找结果回应缓存文件或转发至服务器；

文件预取模块，根据预设配置与任务，定时从服务器预取页面文件；

文件同步模块，将预取文件定期同步更新到缓存文件；

篡改检测模块，对比从服务器获取的最新文件与缓存文件的相似度，判断页面是否被篡改，若被篡改则进一步发送篡改日志并告警。

8.根据权利要求7所述的防篡改设备，其特征在于，所述判断URL是否属于被保护URL，包括判断是否属于检测URL列表与是否属于例外URL列表，所述检测URL列表包括进行检测的URL，所述例外URL列表包括不进行检测的URL。

9.根据权利要求7所述的防篡改设备，其特征在于，还设置缓存文件列表，用于存放缓存文件；被统计的缓存文件信息，包括URL、文件大小、最后更新时间、是否被防护、匹配次数；

所述匹配次数指缓存文件被返回的次数；

所述缓存文件包括内置MIME类型与自定义MIME类型。

10.根据权利要求9所述的防篡改设备，其特征在于，设置防篡改总开关，当防篡改总开关为关闭时，缓存文件列表可被手动清除。

Images