CN112738070B - 一种基于web的网站微信流量监控的方法 - Google Patents

一种基于web的网站微信流量监控的方法 Download PDF

Info

Publication number
CN112738070B
CN112738070B CN202011565240.8A CN202011565240A CN112738070B CN 112738070 B CN112738070 B CN 112738070B CN 202011565240 A CN202011565240 A CN 202011565240A CN 112738070 B CN112738070 B CN 112738070B
Authority
CN
China
Prior art keywords
data
flow
access
request
website
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011565240.8A
Other languages
English (en)
Other versions
CN112738070A (zh
Inventor
夏龙
钟德灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Faisco Internet Technology Co ltd
Original Assignee
Guangzhou Faisco Internet Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Faisco Internet Technology Co ltd filed Critical Guangzhou Faisco Internet Technology Co ltd
Priority to CN202011565240.8A priority Critical patent/CN112738070B/zh
Publication of CN112738070A publication Critical patent/CN112738070A/zh
Application granted granted Critical
Publication of CN112738070B publication Critical patent/CN112738070B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明属于互联网网站访问流量监控领域，尤其涉及一种基于web的网站微信流量监控的方法，包括以下步骤：初设访问来源；解析请求信息的判断；对上述信息进行队列处理；读取队列数据，并上传至远程字典服务；从远程字典服务获取数据，分析整理；整理合并后的数据持久化保存至数据库，异常流量上报至告警系统；推送异常告警、可视化工具展示流量监控数据、提供数据报表；降级策略配置化。本发明通过独立流量监控服务，有针对性的、异步实时记录网站微信流量数据，异步效果的实现，保证了采集流量数据的同时，不会阻塞正常的网站访问请求，监控网站流量的同时，也保证了网站的访问速度，不会额外增加网站web服务的压力。

Description

一种基于web的网站微信流量监控的方法
技术领域
本发明属于互联网网站访问流量监控领域，尤其涉及一种基于web的网站微信流量监控的方法。
背景技术
随着移动互联网迅速发展，微信的使用频率越来越高，影响面也越来越广。很多用户都直接使用微信访问网站，站长也通过微信推广网站。对于系统管理员来说，网站流量直接影响着网站的稳定性，对于一些突发的、恶意的攻击流量，可能直接导致网站无法正常运行；不法分子通过修改网站链接，恶意传播不良信息，借助微信平台可快速、大范围的传播。
发明内容
本发明针对上述的微信来源访问，专门进行监控，提供流量采集、分析，及时发现不正常流量；提供降级工具，及时处理、阻止这些恶意请求，以保持网站的稳定性，也可有效阻止不良信息的传播，净化网络内容；即是一种收集网站访问流量情况，帮助管理人员及时发现异常流量，并提供流量控制方案以及数据统计报表，方便系统管理人员更了解服务的运行情况，有助于维护系统稳定的方法。
为了达到上述目的，本发明采用的技术方案为，
一种基于web的网站微信流量监控的方法，具体包括如下步骤：
1)初步设置访问来源的要求项；
2)请求解析模块对请求信息进行访问来源的解析和判断；
3)其访问来源满足上述要求项的，则推送数据至流量采集模块；
4)流量采集模块接收统计请求，并放入数据队列；
5)流量采集模块中的数据消费单元读取队列数据，并上传至远程字典模块；
6)流量采集模块中的数据整理单元定时从远程字典模块获取数据，进行数据整理合并；
7)整理合并后的数据持久化保存至数据库，异常流量上报至告警系统；
8)推送异常告警、展示流量监控数据、提供数据报表；
9)访问降级模块，配置化策略，限制异常流量访问。
作为优选，所述访问来源的要求项包括访问请求User-Agent和请求目标；
所述访问请求User-Agent属于微信；
所述请求目标属于配置监控页面。
作为优选，所述请求解析模块用于分析请求信息，满足初步设置的访问来源的要求项的，则规范化封装数据，将数据发送至流量采集服务。
作为优选，所述流量采集模块包括数据消费单元、数据整理单元、数据持久化单元。
作为优选，所述数据消费单元用于接收业务端的流量统计请求，临时存放请求数据，由异步线程定时消费处理这些数据，原访问请求继续执行，以达到不阻塞网站访问请求，流量监控异步化效果，监控的同时，降低了对系统访问效率的影响。
作为优选，所述数据整理单元包括定时任务、服务告警、白名单配置；即定时从远程字典服务拉取数据，按照业务逻辑整理合并，访问流量达到所设阈值，上报告警系统，发起服务告警，以便及时发现可疑流量。白名单可自定义配置，白名单内的域名不再发起告警，避免正常高流量域名频繁触发告警，提升告警质量。
作为优选，所述数据持久化单元则是将合并整理后的流量监控数据持久化保存至数据库，给可视化工具、流量监控报表提供数据来源。
作为优选，所述访问降级模块则是限制指定请求访问通过的概率，其概率通过配置文件自行调节，及时有效的减少异常流量对系统的影响。
与现有技术相比，本发明的优点和积极效果在于，
1、本发明通过独立流量监控服务，有针对性的、异步实时记录网站微信流量数据，异步效果的实现，保证了采集流量数据的同时，不会阻塞正常的网站访问请求，监控网站流量的同时，也保证了网站的访问速度，不会额外增加网站web服务的压力。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为一种基于web的网站微信流量监控的方法的流程图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和实施例对本发明做进一步说明。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开说明书的具体实施例的限制。
实施例1，如图1所示，本发明提供了一种基于web的网站微信流量监控的方法，故针对上述的微信来源访问，专门进行监控，提供流量采集、分析，及时发现不正常流量；提供降级工具，及时处理、阻止这些恶意请求，以保持网站的稳定性，也可有效阻止不良信息的传播，净化网络内容；即是一种收集网站访问流量情况，帮助管理人员及时发现异常流量，并提供流量控制方案以及数据统计报表，方便系统管理人员更了解服务的运行情况，有助于维护系统稳定的方法。
下面具体说一下本发明的具体方法。
一种基于web的网站微信流量监控的方法，具体包括如下步骤：
1)初步设置访问来源的要求项；
2)请求解析模块对请求信息进行访问来源的解析和判断；
3)其访问来源满足上述要求项的，则推送数据至流量采集模块；
4)流量采集模块接收统计请求，并放入数据队列；
5)流量采集模块中的数据消费单元读取队列数据，并上传至远程字典模块；
6)流量采集模块中的数据整理单元定时从远程字典模块获取数据，进行数据整理合并；
7)整理合并后的数据持久化保存至数据库，异常流量上报至告警系统；
8)推送异常告警、展示流量监控数据、提供数据报表；
9)访问降级模块，配置化策略，限制异常流量访问。
其中，所述访问来源的要求项包括访问请求User-Agent和请求目标；访问请求User-Agent属于微信；请求目标属于配置监控页面。
请求解析模块用于分析请求信息，满足初步设置的访问来源的要求项的，则规范化封装数据，将数据发送至流量采集服务。即请求解析模块用于分析请求信息，判断请求来源是否需要统计，如果是，则规范化封装数据，将数据发送至流量采集服务。
流量采集模块包括数据消费单元、数据整理单元、数据持久化单元。
数据消费单元用于接收业务端的流量统计请求，临时存放请求数据，由异步线程定时消费处理这些数据，原访问请求继续执行，以达到不阻塞网站访问请求，流量监控异步化效果，监控的同时，降低了对系统访问效率的影响。
数据整理单元包括定时任务、服务告警、白名单配置；即定时从远程字典服务拉取数据，按照业务逻辑整理合并，访问流量达到所设阈值，上报告警系统，发起服务告警，以便及时发现可疑流量。白名单可自定义配置，白名单内的域名不再发起告警，避免正常高流量域名频繁触发告警，提升告警质量。
数据持久化单元则是将合并整理后的流量监控数据持久化保存至数据库，给可视化工具、流量监控报表提供数据来源。
访问降级模块则是限制指定请求访问通过的概率，其概率通过配置文件自行调节，及时有效的减少异常流量对系统的影响。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (1)

1.一种基于web的网站微信流量监控的方法，其特征在于，具体包括如下步骤：
1)初步设置访问来源的要求项；
2)请求解析模块对请求信息进行访问来源的解析和判断；
3)其访问来源满足上述要求项的，则推送数据至流量采集模块；
4)流量采集模块接收统计请求，并放入数据队列；
5)流量采集模块中的数据消费单元读取队列数据，并上传至远程字典模块；
6)流量采集模块中的数据整理单元定时从远程字典模块获取数据，进行数据整理合并；
7)整理合并后的数据持久化保存至数据库，异常流量上报至告警系统；
8)推送异常告警、展示流量监控数据、提供数据报表；
9)访问降级模块，配置化策略，限制异常流量访问；
所述访问来源的要求项包括访问请求User-Agent和请求目标；
所述访问请求User-Agent属于微信；
所述请求目标属于配置监控页面；
所述请求解析模块用于分析请求信息，满足初步设置的访问来源的要求项的，则规范化封装数据，将数据发送至流量采集服务；
所述流量采集模块包括数据消费单元、数据整理单元、数据持久化单元；
所述数据消费单元用于接收业务端的流量统计请求，临时存放请求数据，以达到不阻塞网站访问请求，流量监控异步化效果；
所述数据整理单元包括定时任务、服务告警；即定时从远程字典服务拉取数据，按照业务逻辑整理合并，访问流量达到所设阈值，上报告警系统，发起服务告警；
所述数据持久化单元则是将合并整理后的流量监控数据持久化保存至数据库，给可视化工具、流量监控报表提供数据来源；
所述访问降级模块则是限制指定请求访问通过的概率，其概率通过配置文件自行调节。
CN202011565240.8A 2020-12-25 2020-12-25 一种基于web的网站微信流量监控的方法 Active CN112738070B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011565240.8A CN112738070B (zh) 2020-12-25 2020-12-25 一种基于web的网站微信流量监控的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011565240.8A CN112738070B (zh) 2020-12-25 2020-12-25 一种基于web的网站微信流量监控的方法

Publications (2)

Publication Number Publication Date
CN112738070A CN112738070A (zh) 2021-04-30
CN112738070B true CN112738070B (zh) 2023-02-17

Family

ID=75616392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011565240.8A Active CN112738070B (zh) 2020-12-25 2020-12-25 一种基于web的网站微信流量监控的方法

Country Status (1)

Country Link
CN (1) CN112738070B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101800674A (zh) * 2010-02-21 2010-08-11 浪潮通信信息系统有限公司 基于分流定向的旁路式流量检测模型
CN104038929A (zh) * 2014-05-09 2014-09-10 宇龙计算机通信科技(深圳)有限公司 网络访问异常识别方法和网络访问异常识别装置
WO2014169631A1 (zh) * 2013-08-30 2014-10-23 中兴通讯股份有限公司 应用程序异常的监控、提醒方法及装置
CN108259269A (zh) * 2017-12-30 2018-07-06 上海陆家嘴国际金融资产交易市场股份有限公司 网络设备的监控方法和系统
CN110912943A (zh) * 2019-12-30 2020-03-24 北京明朝万达科技股份有限公司 一种跨网络流量分析的系统
CN111224894A (zh) * 2019-12-30 2020-06-02 中国人民解放军国防科技大学 一种针对iOS设备的流量采集标记方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1949281A4 (en) * 2005-11-03 2011-02-02 Kt Freetel Co Ltd SYSTEM AND METHOD FOR PROVIDING MOBILE BUSINESS SUPPORT
CN101800762B (zh) * 2009-12-30 2014-03-19 中兴通讯股份有限公司 一种对多个业务进行融合的业务云系统及业务实现方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101800674A (zh) * 2010-02-21 2010-08-11 浪潮通信信息系统有限公司 基于分流定向的旁路式流量检测模型
WO2014169631A1 (zh) * 2013-08-30 2014-10-23 中兴通讯股份有限公司 应用程序异常的监控、提醒方法及装置
CN104038929A (zh) * 2014-05-09 2014-09-10 宇龙计算机通信科技(深圳)有限公司 网络访问异常识别方法和网络访问异常识别装置
CN108259269A (zh) * 2017-12-30 2018-07-06 上海陆家嘴国际金融资产交易市场股份有限公司 网络设备的监控方法和系统
CN110912943A (zh) * 2019-12-30 2020-03-24 北京明朝万达科技股份有限公司 一种跨网络流量分析的系统
CN111224894A (zh) * 2019-12-30 2020-06-02 中国人民解放军国防科技大学 一种针对iOS设备的流量采集标记方法及系统

Also Published As

Publication number Publication date
CN112738070A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
US10652265B2 (en) Method and apparatus for network forensics compression and storage
CN107040415B (zh) 一种终端及数据上报方法、服务器及数据接收方法
CN103152352B (zh) 一种基于云计算环境的全信息安全取证监听方法和系统
CN101472245B (zh) 垃圾短信拦截方法和装置
CN111885012A (zh) 基于多种网络设备信息采集的网络态势感知方法及系统
CN110851321A (zh) 一种业务告警方法、设备及存储介质
CN113157994A (zh) 一种多源异构平台数据处理方法
CN112688822B (zh) 基于多点协同的边缘计算故障或安全威胁监测系统与方法
CN108234499A (zh) 卫星网络中基于安全标签的安全监控模型
CN110149303B (zh) 一种党校的网络安全预警方法及预警系统
CN113206797A (zh) 一种流量控制方法、装置、电子设备和存储介质
CN112291214B (zh) 一种基于redis缓存的工业报文解析方法及系统
CN112738070B (zh) 一种基于web的网站微信流量监控的方法
CN113114691B (zh) 一种网络入侵检测方法、系统、设备和可读存储介质
CN116415045A (zh) 数据采集方法、装置、电子设备及存储介质
CN102055620B (zh) 监控用户体验的方法和系统
CN111814013A (zh) 一种基于大数据的智慧企业信息处理方法
CN116170445A (zh) 一种基于云计算的工业数据处理系统
EP3576365B1 (en) Data processing device and method
Shomura et al. Analyzing the number of varieties in frequently found flows
CN113037551B (zh) 一种基于流量切片的涉敏业务快速识别定位方法
CN110677271B (zh) 基于elk的大数据告警方法、装置、设备及存储介质
CN111930861A (zh) 基于Kafka的实时数据解析订阅处理方法和装置
CN104980750A (zh) 一种视频转码日志的收集方法、装置及系统
CN111090863A (zh) 一种威胁情报的处理装置及其处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: Room 301, Building 8, No. 67 Industrial Avenue North Road, Haizhu District, Guangzhou City, Guangdong Province, 510000

Patentee after: GUANGZHOU FAISCO INTERNET TECHNOLOGY CO.,LTD.

Address before: 510000 first floor, building 5, NO.67, North Industrial Avenue, Haizhu District, Guangzhou, Guangdong Province (office use only)

Patentee before: GUANGZHOU FAISCO INTERNET TECHNOLOGY CO.,LTD.

CP02 Change in the address of a patent holder