CN115883666A - 基于cdn节点的一站式请求链路监测系统 - Google Patents
基于cdn节点的一站式请求链路监测系统 Download PDFInfo
- Publication number
- CN115883666A CN115883666A CN202211417782.XA CN202211417782A CN115883666A CN 115883666 A CN115883666 A CN 115883666A CN 202211417782 A CN202211417782 A CN 202211417782A CN 115883666 A CN115883666 A CN 115883666A
- Authority
- CN
- China
- Prior art keywords
- database
- request
- node
- monitoring system
- link monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 abstract description 9
- 238000007689 inspection Methods 0.000 abstract description 2
- 238000007726 management method Methods 0.000 description 24
- 238000013024 troubleshooting Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及基于CDN节点的一站式请求链路监测系统，属于软件开发及功能验证领域，利用了CDN节点主动添加的request‑id，进行请求识别，避免了需要登录不同主机查询访问日志或tcp抓包的复杂环节，简化了功能验证环节，请求的各级信息一目了然，解决了现有技术中需要频繁登录不同节点服务器进行访问日志检查，关注头部或消息体时还需要tcp抓包再解析，整个过程非常繁琐的问题。
Description
技术领域
本发明涉及基于CDN节点的一站式请求链路监测系统，属于软件开发及功能验证领域。
背景技术
在CDN项目中，请求从客户端发出后，到达边缘节点时会添加一个唯一的请求id头部；在回源过程中会经过多个内部服务节点；客户源站的响应结果也沿相同的路径返回，这个过程中在每个中间节点上都有一个请求的发送与响应环节，正常的请求除了要求响应体正确外，还需要关注头部信息；此外当响应异常时，需要根据访问链路，逐级排查各节点上的处理情况。
现有技术中上述过程需要频繁登录不同节点服务器进行访问日志检查，关注头部或消息体时还需要tcp抓包再解析，整个过程非常繁琐。
例如：中国发明专利：CN201510816506.4，所公开的“数据请求方法、装置、节点服务器及CDN系统”，其说明书公开：可见，在现有的CDN系统中，在多服务进程运行模式下，由于每个服务进程均会向上级节点服务器请求内容，在请求内容相同的情况下会造成上级节点服务器对本服务器内容的重复发送....；上述专利可以佐证现有技术存在的缺陷。
因此我们对此做出改进，提出基于CDN节点的一站式请求链路监测系统。
发明内容
本发明要解决的技术问题是：需要频繁登录不同节点服务器进行访问日志检查，关注头部或消息体时还需要tcp抓包再解析，整个过程非常繁琐的问题。
为了实现上述发明目的，本发明提供了基于CDN节点的一站式请求链路监测系统，包括管理平台、服务节点以及数据库；
管理平台用于填写访问链接，并向服务节点发送请求；
服务节点用于部署agent并配置节点身份信息、进行tcp抓包并将请求过程识别出来、从响应头中提取出request-id并将信息存入数据库；
在管理平台上根据唯一request-id查询，数据库会返回请求中各个环节的基本信息并且查看详细内容。
其中，所述请求过程包括请求头、请求消息体、响应头以及响应消息体。
其中，存入数据库中的信息包括请求详情、request-id以及节点身份信息。
其中，所述服务节点还用于解析消息类型、消息头以及消息体
其中，服务节点包含各级节点采集器。
其中，所述数据库包括：
存储管理模块；
查询处理模块；
安全保护管理模块。
其中，所述数据库还包括发送模块，发送模块用于向管理平台发送各节点数据信息。
其中，存储管理模块负责存取原始数据，查询处理模块用于接收用户对数据库访问的语句，安全保护管理模块用于保护发生意外时的数据安全。
其中，还包括备用数据库，所述备用数据库组成部分以及存储的数据与数据库相同，在数据库发生意外时，备用数据库用于替代数据库。
其中，所述备用数据库设置有主动备份模块，所述主动备份模块用于将数据库中的数据备份至备用数据库。
本发明所提供的基于CDN节点的一站式请求链路监测系统，其有益效果是：
1.利用了CDN节点主动添加的request-id，进行请求识别，避免了需要登录不同主机查询访问日志或tcp抓包的复杂环节，简化了功能验证环节，请求的各级信息一目了然，解决了现有技术中需要频繁登录不同节点服务器进行访问日志检查，关注头部或消息体时还需要tcp抓包再解析，整个过程非常繁琐的问题；
2.利用agent采集请求及响应，实现消息体解析，并将数据持久化到数据库中，在系统中集成消息发送与结果查询功能，大大简化了多级系统的功能验证及问题排查环节，方便用户使用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的基于CDN节点的一站式请求链路监测系统的示意图；
图2为本申请提供的基于CDN节点的一站式请求链路监测系统的示意图；
图3为本申请提供的基于CDN节点的一站式请求链路监测系统的流程图。
具体实施方式
下面结合说明书附图和实施例，对本发明的具体实施方式做进一步详细描述。以下实施例仅用于说明本发明，但不能用来限制本发明的范围。
实施例1：
如图1所示，本实施方式提出基于CDN节点的一站式请求链路监测系统包括管理平台、服务节点以及数据库；
管理平台用于填写访问链接，并向服务节点发送请求；
服务节点用于部署agent并配置节点身份信息、进行tcp抓包并将请求过程识别出来、从响应头中提取出request-id并将信息存入数据库，利用agent采集请求及响应，实现消息体解析，并将数据持久化到数据库中，在系统中集成消息发送与结果查询功能，大大简化了多级系统的功能验证及问题排查环节，方便用户使用；
在管理平台上根据唯一request-id查询，数据库会返回请求中各个环节的基本信息并且查看详细内容；
利用了CDN节点主动添加的request-id，进行请求识别，避免了需要登录不同主机查询访问日志或tcp抓包的复杂环节，简化了功能验证环节，请求的各级信息一目了然。
作为优选的实施方式，在上述方式的基础上，进一步的，请求过程包括请求头、请求消息体、响应头以及响应消息体。
作为优选的实施方式，在上述方式的基础上，进一步的，存入数据库中的信息包括请求详情、request-id以及节点身份信息，通过数据库对数据进行存储，数据库中存储的信息能够向管理平台返回，从而使得用户能够查看。
作为优选的实施方式，在上述方式的基础上，进一步的，服务节点还用于解析消息类型、消息头以及消息体。
作为优选的实施方式，在上述方式的基础上，进一步的，服务节点包含各级节点采集器，各级节点采集器用于进行tcp抓包并将请求过程识别出来。
实施例2：
下面结合具体的工作方式对实施例1中的方案进行进一步的介绍，详见下文描述：
如图3所示，本实施方式提出基于CDN节点的一站式请求链路监测系统包括管理平台、服务节点以及数据库；
管理平台用于填写访问链接，并向服务节点发送请求；
服务节点用于部署agent并配置节点身份信息、进行tcp抓包并将请求过程识别出来、从响应头中提取出request-id并将信息存入数据库，利用agent采集请求及响应，实现消息体解析，并将数据持久化到数据库中，在系统中集成消息发送与结果查询功能，大大简化了多级系统的功能验证及问题排查环节，方便用户使用；
在管理平台上根据唯一request-id查询，数据库会返回请求中各个环节的基本信息并且查看详细内容；
利用了CDN节点主动添加的request-id，进行请求识别，避免了需要登录不同主机查询访问日志或tcp抓包的复杂环节，简化了功能验证环节，请求的各级信息一目了然。
作为优选的实施方式，在上述方式的基础上，进一步的，请求过程包括请求头、请求消息体、响应头以及响应消息体：
作为优选的实施方式，在上述方式的基础上，进一步的，存入数据库中的信息包括请求详情、request-id以及节点身份信息，通过数据库对数据进行存储，数据库中存储的信息能够向管理平台返回，从而使得用户能够查看。
作为优选的实施方式，在上述方式的基础上，进一步的，服务节点还用于解析消息类型、消息头以及消息体。
作为优选的实施方式，在上述方式的基础上，进一步的，服务节点包含各级节点采集器，各级节点采集器用于进行tcp抓包并将请求过程识别出来。
作为优选的实施方式，在上述方式的基础上，进一步的，数据库包括：
存储管理模块；
查询处理模块；
安全保护管理模块。
作为优选的实施方式，在上述方式的基础上，进一步的，数据库还包括发送模块，发送模块用于向管理平台发送各节点数据信息，使得用户能够通过管理平台查看相信的信息内容。
作为优选的实施方式，在上述方式的基础上，进一步的，存储管理模块负责存取原始数据，查询处理模块用于接收用户对数据库访问的语句，安全保护管理模块用于保护发生意外时的数据安全，提高数据库的安全性。
如图3所示，作为优选的实施方式，在上述方式的基础上，进一步的，还包括备用数据库，备用数据库组成部分以及存储的数据与数据库相同，在数据库发生意外时，备用数据库用于替代数据库，从而能够保证数据的不间断性，利于使用。
如图3所示，作为优选的实施方式，在上述方式的基础上，进一步的，备用数据库设置有主动备份模块，主动备份模块用于将数据库中的数据备份至备用数据库，能够保证数据库与备用数据中数据的同步性，进而使得备用数据库中的数据能够满足使用需求。
实施例3：
下面结合具体的工作方式对实施例1和实施例2中的方案进行进一步的介绍，详见下文描述：
还包括以下步骤：
步骤一：用户在管理平台上填写访问链接，发送请求；
步骤二：服务节点上部署agent并配置节点身份信息；进行tcp抓包并将请求头、请求消息体、响应头、响应消息体识别出来，从响应头中提取出request-id；将请求详情、request-id、节点身份信息一起存入数据库；
步骤三：在管理平台上根据唯一request-id查询，会返回请求中各个环节的基本信息并且可以查看详细内容。
以上实施方式仅用于说明本发明，而非对本发明的限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行各种组合、修改或者等同替换，都不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.基于CDN节点的一站式请求链路监测系统，其特征在于，包括管理平台、服务节点以及数据库；
管理平台用于填写访问链接，并向服务节点发送请求；
服务节点用于部署agent并配置节点身份信息、进行tcp抓包并将请求过程识别出来、从响应头中提取出request-id并将信息存入数据库；
在管理平台上根据唯一request-id查询，数据库会返回请求中各个环节的基本信息并且查看详细内容。
2.根据权利要求1所述的基于CDN节点的一站式请求链路监测系统，其特征在于，所述请求过程包括请求头、请求消息体、响应头以及响应消息体。
3.根据权利要求2所述的基于CDN节点的一站式请求链路监测系统，其特征在于，存入数据库中的信息包括请求详情、request-id以及节点身份信息。
4.根据权利要求3所述的基于CDN节点的一站式请求链路监测系统，其特征在于，所述服务节点还用于解析消息类型、消息头以及消息体。
5.根据权利要求4所述的基于CDN节点的一站式请求链路监测系统，其特征在于，服务节点包含各级节点采集器。
6.根据权利要求1所述的基于CDN节点的一站式请求链路监测系统，其特征在于，所述数据库包括：
存储管理模块；
查询处理模块；
安全保护管理模块。
7.根据权利要求6所述的基于CDN节点的一站式请求链路监测系统，其特征在于，所述数据库还包括发送模块，发送模块用于向管理平台发送各节点数据信息。
8.根据权利要求7所述的基于CDN节点的一站式请求链路监测系统，其特征在于，存储管理模块负责存取原始数据，查询处理模块用于接收用户对数据库访问的语句，安全保护管理模块用于保护发生意外时的数据安全。
9.根据权利要求8所述的基于CDN节点的一站式请求链路监测系统，其特征在于，还包括备用数据库，所述备用数据库组成部分以及存储的数据与数据库相同，在数据库发生意外时，备用数据库用于替代数据库。
10.根据权利要求9所述的基于CDN节点的一站式请求链路监测系统，其特征在于，所述备用数据库设置有主动备份模块，所述主动备份模块用于将数据库中的数据备份至备用数据库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211417782.XA CN115883666A (zh) | 2022-11-14 | 2022-11-14 | 基于cdn节点的一站式请求链路监测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211417782.XA CN115883666A (zh) | 2022-11-14 | 2022-11-14 | 基于cdn节点的一站式请求链路监测系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115883666A true CN115883666A (zh) | 2023-03-31 |
Family
ID=85759774
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211417782.XA Pending CN115883666A (zh) | 2022-11-14 | 2022-11-14 | 基于cdn节点的一站式请求链路监测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115883666A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112003831A (zh) * | 2020-07-29 | 2020-11-27 | 苏州玩蜂软件科技有限公司 | 一种分布式环境下的日志收集系统及日志收集方法 |
| CN114143369A (zh) * | 2021-12-09 | 2022-03-04 | 华人运通(上海)云计算科技有限公司 | 一种云平台的服务监控系统 |
| CN114500348A (zh) * | 2021-12-22 | 2022-05-13 | 天翼云科技有限公司 | 一种cdn网关测试方法及系统 |
-
2022
- 2022-11-14 CN CN202211417782.XA patent/CN115883666A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112003831A (zh) * | 2020-07-29 | 2020-11-27 | 苏州玩蜂软件科技有限公司 | 一种分布式环境下的日志收集系统及日志收集方法 |
| CN114143369A (zh) * | 2021-12-09 | 2022-03-04 | 华人运通(上海)云计算科技有限公司 | 一种云平台的服务监控系统 |
| CN114500348A (zh) * | 2021-12-22 | 2022-05-13 | 天翼云科技有限公司 | 一种cdn网关测试方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| VINCENT8080: "CDN-API类型问题排查", Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/145690649> * |
| 封万里等: "CDN日志全链路分析系统的实施", 《广东通信技术》, 15 October 2020 (2020-10-15), pages 2 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8135979B2 (en) | Collecting network-level packets into a data structure in response to an abnormal condition | |
| US8051163B2 (en) | Synthetic transactions based on system history and load | |
| US8578017B2 (en) | Automatic correlation of service level agreement and operating level agreement | |
| CN114584401B (zh) | 一种面向大规模网络攻击的追踪溯源系统及方法 | |
| KR102167613B1 (ko) | 메시지 푸시 방법 및 장치 | |
| CN101997925A (zh) | 具有预警功能的服务器监控方法及其系统 | |
| CN104219091A (zh) | 一种网络运行故障检测系统及其方法 | |
| CN110855493B (zh) | 用于混合环境的应用拓扑图绘制装置 | |
| CN112468592B (zh) | 一种基于电力信息采集的终端在线状态侦测方法及系统 | |
| CN107635003A (zh) | 系统日志的管理方法、装置及系统 | |
| CN112019330B (zh) | 一种基于联盟链的内网安全审计数据的存储方法及系统 | |
| CN107895039B (zh) | 一种校园网认证系统日志数据库的构建方法 | |
| CN111526109A (zh) | 自动检测web威胁识别防御系统的运行状态的方法及装置 | |
| CN116302862B (zh) | 一种微服务架构下监控告警方法和系统 | |
| CN117557173A (zh) | 一种基于外卖派送的订单处理方法及系统 | |
| CN115883666A (zh) | 基于cdn节点的一站式请求链路监测系统 | |
| CN113392079B (zh) | 一种分布式存储集群日志存储优化方法、系统及终端 | |
| CN113778709B (zh) | 接口调用方法、装置、服务器及存储介质 | |
| CN113965447B (zh) | 一种在线云诊断方法、装置、系统、设备及存储介质 | |
| CN114338347A (zh) | 基于Ampere平台的故障信息带外获取方法及装置 | |
| CN112148508A (zh) | 一种信息处理的方法及相关装置 | |
| CN111259383A (zh) | 一种安全管理中心系统 | |
| CN113595958A (zh) | 一种物联网设备的安全检测系统及方法 | |
| CN115277236B (zh) | 一种对域名进行请求分析的方法及其系统 | |
| CN116074388B (zh) | 一种基于日志队列的流量转发方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |