CN109274750A - 一种基于云平台保障网站断线后用户正常访问在线的方法 - Google Patents

一种基于云平台保障网站断线后用户正常访问在线的方法 Download PDF

Info

Publication number
CN109274750A
CN109274750A CN201811165016.2A CN201811165016A CN109274750A CN 109274750 A CN109274750 A CN 109274750A CN 201811165016 A CN201811165016 A CN 201811165016A CN 109274750 A CN109274750 A CN 109274750A
Authority
CN
China
Prior art keywords
website
access
cloud platform
cleaning
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811165016.2A
Other languages
English (en)
Inventor
徐维
范渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DBAPPSecurity Co Ltd
Hangzhou Dbappsecurity Technology Co Ltd
Original Assignee
Hangzhou Dbappsecurity Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dbappsecurity Technology Co Ltd filed Critical Hangzhou Dbappsecurity Technology Co Ltd
Priority to CN201811165016.2A priority Critical patent/CN109274750A/zh
Publication of CN109274750A publication Critical patent/CN109274750A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
    • H04L41/0663—Performing the actions predefined by failover planning, e.g. switching to standby network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及网络安全技术，旨在提供一种基于云平台保障网站断线后用户正常访问在线的方法。包括步骤：将需要被保障的网站接入到云平台，对网站所有页面进行爬取，构建保存于云平台的网站镜像；对访问流量进行清洗，保留正常的访问流量；只有经过清洗的正常请求才能被转发到网站进行数据访问；对后端网站的网络状态进行判断；只有后端网络保持通畅时，才会向被保障的网站进行转发；如后端网络不通，访问请求将被转发到保存于云平台的网站镜像以进行访问。本发明将网站接入到云平台，若网站发生故障(如宕机等)，保障用户端能继续访问网站，不断线。能保障接入到云平台的网站在故障发生时，用户访问不断线，挽救断线会导致的经济损失。

Description

一种基于云平台保障网站断线后用户正常访问在线的方法
技术领域
本发明涉及网络安全技术，特别涉及基于云平台保障网站断线后用户正常访问在线的方法。
背景技术
随着互联网的普及和发展，网络的流量也越来越大，而且网络故障等问题也无法完全避免。门户网站作为政府和企事业单位重要的形象和宣传媒介非常重要，网络空间中时刻都发生着大量的攻击和入侵行为，随时有可能发生各种各样的故障问题。例如，被攻击后可能导致网站故障，机器宕机导致无法访问。大部分网站都是只有单独的一台或几台服务器支撑着，倘若这些服务器出现网络故障或宕机，则上面的网站就面临无法访问的重大网络灾难。在网络经济如此发达的年代，这种灾难是致命的，会造成大量的经济损失。
现阶段还没有相关的技术和方法来尽可能避免此类灾难的发生。本发明针对此问题，提出解决方案，以保障在网站故障后用户能继续正常的浏览访问相关的网站，从而减少由于故障带来的经济损失。
发明内容
本发明要解决的技术问题是，克服现有技术中的不足，提供一种基于云平台保障网站断线后用户正常访问在线的方法。
为解决上述技术问题，本发明采用的解决方案是：
提供一种基于云平台保障网站断线后用户正常访问在线的方法，包括以下内容：
(1)将需要被保障的网站接入到云平台，用户端须经云平台才能访问网站；
(2)保障在线模块通过爬虫技术对网站所有页面进行爬取，并依据网站的url逻辑进行页面下载和分类存放，以构建保存于云平台的网站镜像；
(3)在云平台中设置清洗与记录模块，用于对来自用户端的访问流量进行清洗，屏蔽恶意带攻击的请求流量，保留正常的访问流量(目的是防止后端防护的网站被攻击后造成信息泄露等问题)；只有经过清洗的正常请求才能被转发到网站进行数据访问；
每完成一个完整的访问请求，清洗与记录模块都将来自用户端的访问日志记录下来，并每天定时传送至保障在线模块，为保障在线模块爬取相关日志对应的页面做准备；
(4)为保证爬取下来的网站页面足够详细，保障在线模块定期读取清洗与记录模块传送的访问日志，对访问日志中记载的用户端最新访问页面进行逐一爬取，并对保存于云平台的网站镜像进行更新；
(5)在每次转发正常请求前，清洗与记录模块都会对后端网站的网络状态进行判断；只有后端网络保持通畅时，才会向被保障的网站进行转发；
如果被保障的网站发生宕机或出现网络故障而导致后端网络不通，清洗与记录模块会自动将该正常请求转发到保存于云平台的网站镜像以进行访问；
当被保障的网站宕机或网络故障得以解决，清洗与记录模块检测到后端网络恢复通畅时，就将当前的访问请求改为转发至网站以进行访问。
本发明中，在步骤(2)中，保障在线模块通过爬虫技术依据网站提供的ip地址、域名信息，从网站的首页开始，对网站的各个页面进行爬取。
本发明中，在步骤(3)所述的访问日志中，记录了请求发生时间、请求的url、域名、服务器响应的状态码。
本发明中，所述步骤(3)中，清洗与记录模块还将根据不同网站的域名对访问日志进行分类整理，对访问日志的url做去重复处理。
本发明中，所述步骤(4)中，保障在线模块在对访问日志中记载的用户端最新访问页面进行逐一爬取时会进行预判：如果新爬取的页面内容与网站镜像中已保存的页面内容完全一致，就直接跳过(不进行保存操作)；只有出现不一致，才会保存新爬取的页面；为保证网站镜像能保持同步更新，保障在线模块应每天定时对网站进行爬取页面处理以及时更新网站镜像内容。
与现有技术相比，本发明的技术效果是：
1、本发明将网站接入到云平台，若网站发生故障(如宕机等)，保障用户端能继续访问网站，不断线。其实现原理是将网站初次接入到云平台时，利用平台爬虫相关技术将网站制作镜像，并且定时去对镜像的内容进行更新。用户端对网站进行访问时，云平台会实时判断接入网站的状态，若此时网站无法连接上，就转而向镜像进行访问。
2、本发明能保障接入到云平台的网站在故障发生时，用户访问不断线，挽救断线会导致的经济损失。
附图说明
图1为后端网站正常时工作流程示意图。
图2为后端网络异常时工作流程示意图。
具体实施方式
首先需要说明的是，本发明涉及数据库技术，是计算机技术在信息安全技术领域的一种应用。在本发明的实现过程中，会涉及到多个软件功能模块的应用。申请人认为，如在仔细阅读申请文件、准确理解本发明的实现原理和发明目的以后，在结合现有公知技术的情况下，本领域技术人员完全可以运用其掌握的软件编程技能实现本发明。前述软件功能模块包括但不限于：清洗与记录模块、保障在线模块等，凡本发明申请文件提及的均属此范畴，申请人不再一一列举。
下面结合附图，对本发明的具体实施方式进行详细描述。
基于云平台保障网站断线后用户正常访问在线的方法，包括以下内容：
(1)将需要被保障的网站接入到云平台，用户端须经云平台才能访问网站；
(2)保障在线模块通过爬虫技术对网站所有页面进行爬取，并依据网站的url逻辑进行页面下载和分类存放，以构建保存于云平台的网站镜像；保障在线模块通过爬虫技术依据网站提供的ip地址、域名信息，从网站的首页开始，对网站的各个页面进行爬取。
(3)在云平台中设置清洗与记录模块，用于对来自用户端的访问流量进行清洗，屏蔽恶意带攻击的请求流量，保留正常的访问流量，目的是防止后端防护的网站被攻击后造成信息泄露等问题；只有经过清洗的正常请求才能被转发到网站进行数据访问；
每完成一个完整的访问请求，清洗与记录模块都将来自用户端的访问日志记录下来，并每天定时传送至保障在线模块，为保障在线模块爬取相关日志对应的页面做准备；访问日志中记录了请求发生时间、请求的url、域名、服务器响应的状态码。清洗与记录模块还将根据不同网站的域名对访问日志进行分类整理，对访问日志的url做去重复处理
(4)为保证爬取下来的网站页面足够详细，保障在线模块定期读取清洗与记录模块传送的访问日志，对访问日志中记载的用户端最新访问页面进行逐一爬取，并对保存于云平台的网站镜像进行更新；在进行逐一爬取时，保障在线模块会进行预判：如果新爬取的页面内容与网站镜像中已保存的页面内容完全一致，就直接跳过；只有出现不一致，才会保存新爬取的页面；为保证网站镜像能保持同步更新，保障在线模块应每天定时对网站进行爬取页面处理以及时更新网站镜像内容。
(5)在每次转发正常请求前，清洗与记录模块都会对后端网站的网络状态进行判断；只有后端网络保持通畅时，才会向被保障的网站进行转发；
如果被保障的网站发生宕机或出现网络故障而导致后端网络不通，清洗与记录模块会自动将该正常请求转发到保存于云平台的网站镜像以进行访问；
当被保障的网站宕机或网络故障得以解决，清洗与记录模块检测到后端网络恢复通畅时，就将当前的访问请求改为转发至网站以进行访问。
下面通过一个基于云平台保障网站的实例，对本发明具体实现方式进行举例说明：
(1)将某政府网站接入云平台，设定用户端须经云平台才能访问到该网站；
(2)通过爬虫技术对该网站所有页面进行爬取，以构建保存于云平台的网站镜像；
(3)对通过云平台访问接入网站的大流量进行清洗，拦截带有SQL注入等具有攻击行为的流量，不让其访问后端的网站；对正常的请求流量放过，使其能正常访问后端的网站；
(4)对清洗后的流量进行记录，并利用记录爬取其访问页面，然后对网站镜像进行更新；
(5)当后端网站出现宕机等特殊情况时，云平台将正常请求自动切换至访问网站镜像，并将网站镜像保存的内容响应给用户，使用户的访问依旧能够正常进行，不会因为后端网站服务器宕机而出现无法访问的情况。
(6)当后端网站恢复正常后，云平台恢复将正常流量转发给后端网站。

Claims (5)

1.一种基于云平台保障网站断线后用户正常访问在线的方法，其特征在于，包括：
(1)将需要被保障的网站接入到云平台，用户端须经云平台才能访问网站；
(2)保障在线模块通过爬虫技术对网站所有页面进行爬取，并依据网站的url逻辑进行页面下载和分类存放，以构建保存于云平台的网站镜像；
(3)在云平台中设置清洗与记录模块，用于对来自用户端的访问流量进行清洗，屏蔽恶意带攻击的请求流量，保留正常的访问流量；只有经过清洗的正常请求才能被转发到网站进行数据访问；
每完成一个完整的访问请求，清洗与记录模块都将来自用户端的访问日志记录下来，并每天定时传送至保障在线模块，为保障在线模块爬取相关日志对应的页面做准备；
(4)为保证爬取下来的网站页面足够详细，保障在线模块定期读取清洗与记录模块传送的访问日志，对访问日志中记载的用户端最新访问页面进行逐一爬取，并对保存于云平台的网站镜像进行更新；
(5)在每次转发正常请求前，清洗与记录模块都会对后端网站的网络状态进行判断；只有后端网络保持通畅时，才会向被保障的网站进行转发；
如果被保障的网站发生宕机或出现网络故障而导致后端网络不通，清洗与记录模块会自动将该正常请求转发到保存于云平台的网站镜像以进行访问；
当被保障的网站宕机或网络故障得以解决，清洗与记录模块检测到后端网络恢复通畅时，就将当前的访问请求改为转发至网站以进行访问。
2.根据权利要求1所述的方法，其特征在于，在步骤(2)中，保障在线模块通过爬虫技术依据网站提供的ip地址、域名信息，从网站的首页开始，对网站的各个页面进行爬取。
3.根据权利要求1所述的方法，其特征在于，在步骤(3)所述的访问日志中，记录了请求发生时间、请求的url、域名、服务器响应的状态码。
4.根据权利要求1所述的方法，其特征在于，所述步骤(3)中，清洗与记录模块还将根据不同网站的域名对访问日志进行分类整理，对访问日志的url做去重复处理。
5.根据权利要求1所述的方法，其特征在于，所述步骤(4)中，保障在线模块在对访问日志中记载的用户端最新访问页面进行逐一爬取时会进行预判：如果新爬取的页面内容与网站镜像中已保存的页面内容完全一致，就直接跳过；只有出现不一致，才会保存新爬取的页面；为保证网站镜像能保持同步更新，保障在线模块应每天定时对网站进行爬取页面处理以及时更新网站镜像内容。
CN201811165016.2A 2018-10-07 2018-10-07 一种基于云平台保障网站断线后用户正常访问在线的方法 Pending CN109274750A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811165016.2A CN109274750A (zh) 2018-10-07 2018-10-07 一种基于云平台保障网站断线后用户正常访问在线的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811165016.2A CN109274750A (zh) 2018-10-07 2018-10-07 一种基于云平台保障网站断线后用户正常访问在线的方法

Publications (1)

Publication Number Publication Date
CN109274750A true CN109274750A (zh) 2019-01-25

Family

ID=65196470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811165016.2A Pending CN109274750A (zh) 2018-10-07 2018-10-07 一种基于云平台保障网站断线后用户正常访问在线的方法

Country Status (1)

Country Link
CN (1) CN109274750A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113259319A (zh) * 2021-04-12 2021-08-13 顶象科技有限公司 验证处理方法及系统
CN113392297A (zh) * 2020-03-12 2021-09-14 上海云盾信息技术有限公司 一种爬取数据的方法、系统及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103389983A (zh) * 2012-05-08 2013-11-13 阿里巴巴集团控股有限公司 一种用于网络爬虫系统的网页内容抓取方法及装置
US8594629B2 (en) * 2009-08-11 2013-11-26 Zte Corporation Method and system for processing failure of handover to closed subscriber group cell
CN103475688A (zh) * 2013-05-24 2013-12-25 北京网秦天下科技有限公司 用于下载网站数据的分布式方法和系统
CN103559258A (zh) * 2013-11-04 2014-02-05 同济大学 基于云计算的网页排序方法
CN106385455A (zh) * 2016-09-23 2017-02-08 成都知道创宇信息技术有限公司 一种基于cdn镜像的整站锁设置方法
CN106412054A (zh) * 2016-09-27 2017-02-15 网宿科技股份有限公司 将动态网址转换为静态网址的命名方法、系统及其应用
CN107277055A (zh) * 2017-08-03 2017-10-20 杭州安恒信息技术有限公司 一种基于离线缓存的网站防护技术

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8594629B2 (en) * 2009-08-11 2013-11-26 Zte Corporation Method and system for processing failure of handover to closed subscriber group cell
CN103389983A (zh) * 2012-05-08 2013-11-13 阿里巴巴集团控股有限公司 一种用于网络爬虫系统的网页内容抓取方法及装置
CN103475688A (zh) * 2013-05-24 2013-12-25 北京网秦天下科技有限公司 用于下载网站数据的分布式方法和系统
CN103559258A (zh) * 2013-11-04 2014-02-05 同济大学 基于云计算的网页排序方法
CN106385455A (zh) * 2016-09-23 2017-02-08 成都知道创宇信息技术有限公司 一种基于cdn镜像的整站锁设置方法
CN106412054A (zh) * 2016-09-27 2017-02-15 网宿科技股份有限公司 将动态网址转换为静态网址的命名方法、系统及其应用
CN107277055A (zh) * 2017-08-03 2017-10-20 杭州安恒信息技术有限公司 一种基于离线缓存的网站防护技术

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘丁发: "Oracle数据库应用与开发实战 双色", 《ORACLE数据库应用与开发实战 双色》 *
马刚: "基于语义的Web数据挖掘", 《基于语义的WEB数据挖掘》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392297A (zh) * 2020-03-12 2021-09-14 上海云盾信息技术有限公司 一种爬取数据的方法、系统及设备
CN113259319A (zh) * 2021-04-12 2021-08-13 顶象科技有限公司 验证处理方法及系统
CN113259319B (zh) * 2021-04-12 2023-05-12 杭州顶象科技有限公司 验证处理方法及系统

Similar Documents

Publication Publication Date Title
CN102722563B (zh) 页面显示方法及装置
CN100530186C (zh) 缓存处理方法以及缓存处理系统
CN101147145B (zh) 基于嵌入式web的管理方法
US8275789B2 (en) Collaborative bookmarking
CN103118007B (zh) 一种用户访问行为的获取方法和系统
CN105608134A (zh) 一种基于多线程的网络爬虫系统及其网页爬取方法
US20080086477A1 (en) Locally storing web-based database data
CN102957693B (zh) 钓鱼网站判断方法及装置
CN103685304A (zh) 一种共享session信息的方法和系统
CN106550052A (zh) 一种基于opc ua的数据采集装置及方法
CN105701233B (zh) 一种优化服务器缓存管理的方法
CN103338243A (zh) Web节点的缓存数据更新方法和系统
CN103841188A (zh) 一种浏览器中Cookie信息的处理方法和装置
CN104239353B (zh) 一种web分类控制和日志审计的方法
CN111444408B (zh) 网络搜索处理方法、装置、电子设备
CN101132395A (zh) 一种实现服务器之间的数据同步的方法及系统
CN103024038A (zh) 用于浏览网页的方法及装置
CN109274750A (zh) 一种基于云平台保障网站断线后用户正常访问在线的方法
CN104657358B (zh) 实现网页程序离线缓存的方法和系统
WO2007137089A2 (en) System and method for improving the search visibility of a web page
CN103077196B (zh) 一种从公网web网站到内网数据库的访问方法
CN101887463A (zh) 一种基于虚拟域的http还原展示方法
CN104933045B (zh) 网络信息浏览方法及网络信息浏览装置
CN101231655A (zh) 用于处理搜索引擎结果的方法和系统
CN101556591A (zh) 一种高效地向数据库写入复杂内容的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190125