CN109831335A - 一种数据监控方法、监控终端、存储介质及数据监控系统 - Google Patents
一种数据监控方法、监控终端、存储介质及数据监控系统 Download PDFInfo
- Publication number
- CN109831335A CN109831335A CN201910138972.XA CN201910138972A CN109831335A CN 109831335 A CN109831335 A CN 109831335A CN 201910138972 A CN201910138972 A CN 201910138972A CN 109831335 A CN109831335 A CN 109831335A
- Authority
- CN
- China
- Prior art keywords
- network transmission
- transmission requests
- request
- device node
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000005540 biological transmission Effects 0.000 claims abstract description 233
- 238000012545 processing Methods 0.000 claims abstract description 81
- 238000007405 data analysis Methods 0.000 claims abstract description 50
- 230000001133 acceleration Effects 0.000 claims abstract description 16
- 238000004891 communication Methods 0.000 claims abstract description 14
- 230000004044 response Effects 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 18
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 206010010947 Coordination abnormal Diseases 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 238000004321 preservation Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 8
- 238000011835 investigation Methods 0.000 abstract description 8
- 238000005457 optimization Methods 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000005856 abnormality Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Abstract
本发明实施例涉及通信技术领域,公开了一种数据监控方法、监控终端、存储介质及数据监控系统。本发明中,获取请求终端的网络传输请求处理记录、内容分发网络CDN的网络传输请求处理记录以及源站的网络传输请求处理记录;对请求终端的网络传输请求处理记录、CDN的网络传输请求处理记录以及源站的网络传输请求处理记录进行数据分析,获得数据分析结果;根据数据分析结果产生监控控制指令。使得用户根据监控结果对网络请求加速效果进行检测、快速对网络请求故障定位排查及路径优化,从而降低了人工运维成本。
Description
技术领域
本发明实施例涉及通信技术领域,特别涉及一种数据监控方法、监控终端、存储介质及数据监控系统。
背景技术
随着移动互联网技术的发展,越来越多的用户会通过移动终端浏览新闻,购物和娱乐等信息,移动终端需要从服务器获取信息内容并进行展示,并且终端在向服务器发送请求时一般采用的是HTTP(s)协议。由于移动公共网络的不稳定性,内容分发网络(ContentDelivery Network,CDN)服务作为优化网络资源分发的一种热门技术服务,从而可以节省终端获取资源的时长,并形成了资源获取更高效的资源请求系统。
发明人发现现有技术中至少存在如下问题:在资源请求系统中,当某个环节出现异常情况时,并不能进行有效的检测、定位排查及路径优化,从而增加了厂商对请求网路故障处理的人工排查成本,与此同时也会降低用户的体验效果。
发明内容
本发明实施方式的目的在于提供一种数据监控方法、监控终端、存储介质及数据监控系统,使得能够实现对网络传输请求的全链路监控,便于用户根据监控结果对网络请求加速效果进行检测、快速对网络请求故障定位排查及路径优化,从而降低了人工运维成本。
为解决上述技术问题,本发明的实施方式提供了一种数据监控方法,包括以下步骤:获取请求终端的网络传输请求处理记录、内容分发网络(Content Delivery Network,CDN)的网络传输请求处理记录以及源站的网络传输请求处理记录;对请求终端的网络传输请求处理记录、CDN的网络传输请求处理记录以及源站的网络传输请求处理记录进行数据分析,获得数据分析结果;根据数据分析结果产生监控控制指令。
本发明的实施方式还提供了一种监控终端,包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;以及与至少一个处理器通信连接的通信组件,通信组件在处理器的控制下接收和发送数据;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如上所述的数据监控方法。
本发明的实施方式还提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时实现如上所述的数据监控方法。
本发明的实施方式还提供了一种数据监控系统,包括如上所述的监控终端。
本发明的实施方式相对于现有技术而言,通过监控终端对请求终端的网络传输请求处理记录、CDN的网络传输请求处理记录以及源站的网络传输请求处理记录进行数据分析,获得数据分析结果,并且可以根据数据分析结果产生监控控制指令,从而实现了对网络传输请求的全链路监控,便于用户根据监控结果对网络请求加速效果进行检测、快速对网络请求故障定位排查及路径优化,从而降低了人工运维成本。
另外,获取请求终端的网络传输请求处理记录、内容分发网络CDN的网络传输请求处理记录以及源站的网络传输请求处理记录,具体包括:获取预设时间内请求终端所产生的第一网络传输请求和第二网络传输请求,并将第一网络传输请求和第二网络传输请求作为请求终端的网络传输请求处理记录;获取CDN中的每一个设备节点的网络传输请求处理记录;获取源站的网络传输请求处理记录;其中,第一网络传输请求为请求终端在预设时间内所产生的全部资源请求;第二网络传输请求为第一网络传输请求中需要进行CDN网络加速的资源请求,并且第二网络传输请求的数量小于第一网络传输请求的数量。该实现中,确定所获取的请求终端的网络传输请求处理记录为预设时间内请求终端所产生的第一网络传输请求和第二网络传输请求,并且所获取的CDN网络传输请求处理记录具体指的是获取CDN中每一个设备节点的网络传输请求处理记录,从而保证监控终端所获取的监控数据更加全面准确。
另外,获取CDN中的每一个设备节点的网络传输请求处理记录,具体包括:若确定设备节点为边缘设备节点,则在确定边缘设备节点保存与第二网络传输请求所对应的资源时,获取边缘设备节点的第一响应信息,或者,在确定边缘设备节点未保存与第二网络传输请求所对应的资源时,获取边缘设备节点将第二网络传输请求传输给相邻的非边缘设备节点的第一传输信息;将第一响应信息或第一传输信息作为设备节点的网络传输请求处理记录。该实现中,在确定设备节点为边缘设备节点的情况下,针对边缘设备节点是否保存与第二网络传输请求所对应的资源的具体情况,获得边缘设备节点的第一响应信息或第一传输信息,从而实现对边缘设备节点数据的准确监控。
另外,获取CDN中的每一个设备节点的网络传输请求处理记录,具体包括:若确定设备节点为非边缘设备节点,则在确定非边缘设备节点保存与第二网络传输请求所对应的资源时,获取非边缘设备节点的第二响应信息;在确定非边缘设备节点未保存第二网络传输请求所对应的资源时,判断是否存在与非边缘设备节点相邻的非边缘设备节点,若是,则获取非边缘设备节点将第二网络传输请求传输给相邻的非边缘设备节点的第二传输信息,否则,获取非边缘设备节点将第二网络传输请求传输给源站的第三传输信息;将第二响应信息、第二传输信息或第三传输信息作为设备节点的网络传输请求处理记录。该实现中,在确定设备节点为非边缘设备节点的情况下,针对非边缘设备节点是否保存与第二网络传输请求所对应的资源的具体情况,以及在确定非边缘设备节点未保存第二网络传输请求所对应的资源情况下,针对是否存在与非边缘设备节点相邻的非边缘设备节点的具体情况,获得第二响应信息、第二传输信息或第三传输信息,从而实现了对非边缘设备节点数据的准确监控。
另外,获取CDN中的每一个设备节点的网络传输请求处理记录,具体包括:在确定第二网络传输请求为动态请求时,获取边缘设备节点和非边缘设备节点将第二网络传输传输给源站的第四传输信息;将第四传输信息作为设备节点的网络传输请求处理记录。该实现中,在确定第二网络传输请求为动态请求时,即表示需要对第二网络传输请求进行回源,此时获取缘设备节点和非边缘设备节点将第二网络传输请求传输给源站的第四传输请求,从而实现了边缘设备节点和非边缘设备节点对动态请求的准确监控。
另外,获取源站的网络传输请求处理记录,具体包括:获取源站的第三响应信息;将第三响应信息作为源站的网络传输请求处理记录。
另外,请求终端内设置有监控模块,其中,监控模块用于对请求终端的网络传输请求处理记录进行监控,并与CDN进行信息交互。
另外,CDN中的每一个设备节点上分别设置有数据监控采集组件,获取CDN中的每一个设备节点的网络传输请求处理记录,包括:获取CDN中的每一个设备节点通过数据监控采集组件所采集的网络传输请求处理记录。该实现中,通过获取CDN中的每一个设备节点上通过数据监控采集组件所采集的网络传输请求处理记录,从而保证了获取的CDN的网络传输请求处理记录的准确性与全面性。
另外,对请求终端的网络传输请求处理记录、CDN的网络传输请求处理记录以及源站的网络传输请求处理记录进行数据分析,获得数据分析结果,具体包括:根据请求终端的网络传输请求处理记录、CDN的网络传输请求处理记录以及源站的网络传输请求处理记录进行数据分析,获得请求成功率信息、加速比例信息、丢包率信息或源站响应成功率信息。该实现中,因为数据分析结果包括请求成功率信息、加速比例信息、丢包率信息或源站响应成功率信息,从而保证了数据分析结果的全面性。
另外,根据数据分析结果产生监控控制指令,具体包括:在确定请求成功率信息大于第一预设阈值时,则发出警报,指示请求失败原因,并定位失败节点位置的控制指令;在确定加速比例信息小于第二预设阈值时,则发出警报,指示回源原因,并定位回源节点位置的控制指令;在确定丢包率信息大于第三预设阈值时,则发出警报,指示请求处理路径,并定位异常节点的控制指令;在确定源站响应成功率信息低于第四预设阈值时,则发出警报,指示源站指令状态信息,并定位源站异常原因的控制指令。该实现中,在根据数据分析结果产生控制指令时,根据分析结果中的不同参数的具体数值,分别产生不同的控制指令,从而保证了获得的控制指令的多样性。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1是本申请第一实施例中数据监控方法的流程图;
图2是本申请第二实施例中数据监控方法的流程图;
图3是本申请第三实施例中监控终端的结构示意图;
图4是本申请第四实施例中数据监控系统的结构示意图;
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的各实施方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在本发明各实施方式中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请所要求保护的技术方案。
本发明的第一实施方式涉及一种数据监控方法。具体流程如图1所示,包括以下步骤:
步骤101,获取请求终端的网络传输请求处理记录、CDN的网络传输请求处理记录以及源站的网络传输请求处理记录。
具体的说,在本实施方式中,获取预设时间内请求终端所产生的第一网络传输请求和第二网络传输请求,并将第一网络传输请求和第二网络传输请求作为请求终端的网络传输请求处理记录,获取CDN中的每一个设备节点的网络传输请求处理记录,获取源站的网络传输请求处理记录。
其中,第一网络传输请求为请求终端在预设时间内所产生的全部资源请求,第二网络传输请求为第一网络传输请求中需要进行CDN网络加速的资源请求,并且第二网络传输请求的数量小于第一网络传输请求的数量。
需要说明的是,在本实施方式中,请求终端内设置有监控模块,监控模块用于对请求终端的网络传输请求处理记录进行监控,并与CDN进行信息交互。并且监控模块会对第二网络传输请求中添加标记信息,而CDN就是通过标记信息对第一请求进行识别的。在实际应用中,标记信息可以设置在第一请求的头部位置,当然还可以根据实际需要设置在第一请求的其它位置,只要能够实现CDN对第一请求的识别都是在本申请的保护范围内。并且第一网络传输请求或者第二网络传输请求可以采用HTTP(s)协议进行传输,当然,本实施方式中仅是以HTTP(s)协议为例进行说明,只要能够实现对第一网络传输请求或第二网络传输请求的传输,对于其它类型的传输协议也是在本申请的保护范围内的,本申请实施方式中不再进行赘述。
具体的说,在本实施方式中,在获取CDN中的每一个设备节点的网络的网络传输请求处理记录时,包括以下三种情况:
第一种,若确定设备节点为边缘设备节点,则在确定边缘设备节点保存与第二网络传输请求所对应的资源时,获取边缘设备节点的第一响应信息,或者,在确定边缘设备节点未保存与第二网络传输请求所对应的资源时,获取边缘设备节点将第二网络传输请求传输给相邻的非边缘设备节点的第一传输信息,并将第一响应信息或第一传输信息作为设备节点的网络传输请求处理记录;
第二种,若确定设备节点为非边缘设备节点,则在确定非边缘设备节点保存与第二网络传输请求所对应的资源时,获取非边缘设备节点的第二响应信息,在确定非边缘设备节点未保存第二网络传输请求所对应的资源时,判断是否存在与非边缘设备节点相邻的非边缘设备节点,若是,则获取非边缘设备节点将第二网络传输请求传输给相邻的非边缘设备节点的第二传输信息,否则,获取非边缘设备节点将第二网络传输请求传输给源站的第三传输信息,并将第二响应信息、第二传输信息或第三传输信息作为设备节点的网络传输请求处理记录。
第三种,在确定第二网络传输请求为动态请求时,获取边缘设备节点和非边缘设备节点将第二网络传输传输给源站的第四传输信息,并将第四传输信息作为设备节点的网络传输请求处理记录。
通过上述三种情况可以得出,对于CDN中的每一个设备节点,不论是边缘设备节点还是非边缘设备节点都会将针对第二网络传输请求的处理记录传输给监控终端。并且在CDN中的每一个设备节点上分别设置有数据监控采集组件,因此每一个设备节点是通过数据监控采集组件将每一个设备节点中的网络传输请求处理记录上传给监控终端,从而保证了第二传输请求中的每一条请求数据在CDN中加速过程的透明化,以及设备节点的网络传输请求处理记录准确性。
具体的说,在本实施方式中,监控终端还会获取源站的第三响应信息,并将第三响应信息作为源站的网络传输请求处理记录,例如,第二网络传输请求中的一条请求数据为“请求获取X视频”,在通过CDN加速将该条请求数据传输给源站后,源站会确定该条请求数据所对应的资源信息为“X视频”,则会将所保存的资源“X视频”按照该条请求数据在CDN中的传输路径原路进行返回,并传输给产生该条请求的请求终端。
需要说明的是,在本实施方式中,监控终端还会获取请求终端、CDN和源站的其他参数,如设备性能指标等,从而全面的获取资源请求系统的状态信息,因此对于获取的其他参数也是在本申请的保护范围内,本申请实施方式中不再进行赘述。
步骤102,对请求终端的网络传输请求处理记录、CDN的网络传输请求处理记录以及源站的网络传输请求处理记录进行数据分析,获得数据分析结果。
具体的说,在本实施方式中,根据请求终端的网络传输请求处理记录、CDN的网络传输请求处理记录以及源站的网络传输请求处理记录进行数据分析,获得请求成功率信息、加速比例信息、丢包率信息或源站响应成功率信息。
其中,请求成功率是指请求终端所接收到的请求资源的数目与所发送的第一网络传输请求数目的比例,例如,当确定请求终端在预设时间内所产生的第一网络传输请求的数目为10个,而请求终端所接收到的请求资源的数目为9个,因此监控终端通过计算可以得到请求成功率信息为90%;加速比例信息是指监控终端所产生的第二网络传输请求与第一网络传输请求的比例,即监控终端所产生的需要进行CDN网络加速的资源请求占所产生的全部资源的比例,例如,当确定在预设时间内第一网络传输请求的数目为20个,第二网络传输请求的数目为19个,因此监控终端通过计算可以得出加速比例信息为90%;源站响应成功率信息是指源站所返回的第三响应信息的的数目与源站所接收到的通过CDN加速的第二网络传输请求的数目的比值;丢包率信息指的是CDN中的每一个设备节点在预设时间内发送给相邻的下一个设备节点或源站的第二网络传输请求数目与从相邻的上一个节点或请求终端所接收到的第二网络传输请求数目的比值。
其中,本实施方式中仅是以获取请求成功率信息、加速比例信息、丢包率信息或源站响应成功率信息为例进行说明,对于其它类型的数据分析结果的计算过程与此大致相同,因此本实施方式中不再进行赘述。
步骤103,根据数据分析结果产生监控控制指令。
具体的说,在本实施方式中,在确定请求成功率信息大于第一预设阈值时,则发出警报,指示请求失败原因,并定位失败节点位置的控制指令;在确定加速比例信息小于第二预设阈值时,则发出警报,指示回源原因,并定位回源节点位置的控制指令;在确定丢包率信息大于第三预设阈值时,则发出警报,指示请求处理路径,并定位异常节点的控制指令;在确定源站响应成功率信息低于第四预设阈值时,则发出警报,指示源站指令状态信息,并定位源站异常原因的控制指令。
例如,对于请求成功率信息,若通过分析获得请求成功率为98%,而监控终端针对请求成功率所设定的第一预设阈值为95%,因此监控终端通过分析所获取的请求成功率大于第一预设阈值,因此确定请求成功率的状态正常;对于源站响应成功率,若通过分析获得源站响应成功率为90%,而监控终端针对源站响应成功率所设定的第四预设阈值为95%,因为监控终端通过分析所获得的源站响应成功率小于第四预设阈值,因此确定源站的响应成功率为异常状态,因此针对源站发出警报,指示源站指令状态信息,并定位源站异常原因的控制指令。本实施方式中仅是以根据请求成功率信息和源站响应成功率信息产生监控控制指令为例进行说明,针对其它类型的数据分析结果产生对应的监控控制指令的方式与此大致相同,因此本实施方式中不再进行赘述。
需要说明的是,在本实施方式中,监控终端还可以根据数据分析结果进行更合理的路径规划、节点设备资源合理分布以及网络请求高峰期时的合理调度,从而实现进一步降低人工运维成本。
与现有技术相比,本实施方式提供的数据监控方法,通过监控终端对请求终端的网络传输请求处理记录、CDN的网络传输请求处理记录以及源站的网络传输请求处理记录进行数据分析,获得数据分析结果,并且可以根据数据分析结果产生监控控制指令,从而实现了对网络传输请求的全链路监控,便于用户根据监控结果对网络请求加速效果进行检测、快速对网络请求故障定位排查及路径优化,从而降低了人工运维成本。
本发明的第二实施方式涉及一种数据监控方法。本实施方式在第一实施例的基础上做了进一步改进,具体改进之处在于:在获得数据分析结果之后增加了将数据分析结果进行显示的步骤。本实施例中的数据监控方法的流程如图2所示。具体的说,在本实施例中,包括步骤201至步骤204,其中,步骤201至步骤202与第一实施方式中的步骤101至步骤102大致相同,步骤204与第一实施方式中的步骤103大致相同,此处不再赘述,下面主要介绍不同之处,未在本实施方式中详尽描述的技术细节,可参见第一实施例所提供的数据监控法法,此处不再赘述。
在步骤201至步骤202之后,执行步骤203。
步骤203,将数据分析结果进行显示。
具体的说,在本实施方式中,在监控终端上会设置显示装置,监控终端在获得数据分析结果后,会通过显示装置将数据分析结果进行显示。显示装置会将数据分析结果中正常的参数进行显示,同时还会将数据分析结果中异常的参数进行显示。而对于数据分析结果中异常的参数,监控终端还会显示异常的原因。
例如,在确定源站的响应请求成功率为异常状态时,会将源站异常状态进行显示,同时将定位出的源站异常的原因进行显示;在确定第二网络传输请求的丢包率为异常状态时,会将丢包率异常状态进行显示,同时将定位出的CDN异常节点进行显示。当然,本实施方式中仅是举例进行说明,对于其它参数的显示原理与上述方式大致相同,因此本实施方式中不再进行赘述。
步骤204,根据数据分析结果产生监控控制指令。
与现有技术相比,本实施方式提供的数据监控方法,通过监控终端对请求终端的网络传输请求处理记录、CDN的网络传输请求处理记录以及源站的网络传输请求处理记录进行数据分析,获得数据分析结果,并且可以根据数据分析结果产生监控控制指令,从而实现了对网络传输请求的全链路监控,便于用户根据监控结果对网络请求加速效果进行检测、快速对网络请求故障定位排查及路径优化,从而降低了人工运维成本。并且在获得数据分析结果之后,监控终端会通过显示装置将数据分析结果进行显示,便于用户更直观的获取到数据分析结果,从而进一步提高了用户的体验效果。
上面各种方法的步骤划分,只是为了描述清楚,实现时可以合并为一个步骤或者对某些步骤进行拆分,分解为多个步骤,只要包括相同的逻辑关系,都在本专利的保护范围内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明的第三实施方式涉及一种监控终端,如图3所示,包括至少一个处理器501;以及,与至少一个处理器501通信连接的存储器502;以及与至少一个处理器501通信连接的通信组件503,通信组件503在处理器501的控制下接收和发送数据;其中,存储器502存储有可被至少一个处理器501执行的指令,指令被至少一个处理器501执行,以使至少一个处理器501能够执行上述实施例中的数据监控方法。
存储器502可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储选项列表等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器502可选包括相对于处理器501远程设置的存储器,这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个程序模块存储在存储器502中,当被一个或者多个处理器501执行时,执行上述任意方法实施例中的数据监控方法。
上述产品可执行本申请实施例所提供的方法,具备执行方法相应的功能模块和有益效果,未在本实施例中详尽描述的技术细节,可参见本申请实施例所提供的方法。
本发明的第五实施方式涉及一种数据监控系统,如图4所示,为本申请数据监控系统的结构示意图,包括监控终端。
其中,本实施方式中的数据监控系统还包括:请求终端、CDN和源站,请求终端用于在预设时间内产生第一网络传输请求和第二网络传输请求,将第二网络传输请求传输给CDN,并将第一网络传输请求和第二网络传输请求作为请求终端的网络传输请求处理记录传输给监控终端。并且第一网络传输请求为请求终端在预设时间内所产生的全部资源请求,第二网络传输请求为第一网络传输请求中走CDN网络加速的资源请求。
其中,CDN用于对第二网络传输请求进行CDN网络加速处理,将第二网络传输请求中需要进行回源的请求传输给源站,并将CDN中的每一个设备节点的网络传输请求处理记录传输给监控终端。源站用于响应需要进行回源的请求,并将源站的网络传输请求处理记录传输给监控终端。监控终端用于对请求终端的网络传输请求处理记录、CDN的网络传输请求处理记录以及源站的网络传输请求处理记录进行数据分析,获得数据分析结果,并根据数据分析结果产生监控控制指令。
需要说明的是,本实施方式中的CDN中包括多个设备节点,并且可以获取CDN中每一个设备节点的网络传输请求处理记录,从而保证监控终端所获取的监控数据更加全面准确。
与现有技术相比,本实施方式提供的数据监控系统,针对请求终端所发出的网络传输请求,监控终端可以获取请求终端、CDN和源站分别对网络传输请求的处理记录,从而实现了对网络传输请求的全链路监控,便于用户根据监控结果对网络请求加速效果进行检测、快速对网络请求故障定位排查及路径优化,从而降低了人工运维成本。
本发明的第五实施方式涉及一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,该计算机程序被处理器执行时能够实现本发明任意方法实施例中涉及的数据监控方法。
本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (14)
1.一种数据监控方法,其特征在于,应用于监控终端,包括:
获取请求终端的网络传输请求处理记录、内容分发网络CDN的网络传输请求处理记录以及源站的网络传输请求处理记录;
对所述请求终端的网络传输请求处理记录、所述CDN的网络传输请求处理记录以及所述源站的网络传输请求处理记录进行数据分析,获得数据分析结果;
根据所述数据分析结果产生监控控制指令。
2.根据权利要求1所述的数据监控方法,其特征在于,所述获取请求终端的网络传输请求处理记录、内容分发网络CDN的网络传输请求处理记录以及源站的网络传输请求处理记录,具体包括:
获取预设时间内请求终端所产生的第一网络传输请求和第二网络传输请求,并将所述第一网络传输请求和所述第二网络传输请求作为所述请求终端的网络传输请求处理记录;
获取所述CDN中的每一个设备节点的网络传输请求处理记录;
获取所述源站的网络传输请求处理记录;
其中,所述第一网络传输请求为所述请求终端在预设时间内所产生的全部资源请求;所述第二网络传输请求为所述第一网络传输请求中需要进行CDN网络加速的资源请求,并且所述第二网络传输请求的数量小于所述第一网络传输请求的数量。
3.根据权利要求2所述的数据监控方法,其特征在于,所述获取所述CDN中的每一个设备节点的网络传输请求处理记录,具体包括:
若确定所述设备节点为边缘设备节点,则在确定所述边缘设备节点保存与所述第二网络传输请求所对应的资源时,获取所述边缘设备节点的第一响应信息,或者,
在确定所述边缘设备节点未保存与所述第二网络传输请求所对应的资源时,获取所述边缘设备节点将所述第二网络传输请求传输给相邻的非边缘设备节点的第一传输信息;
将所述第一响应信息或所述第一传输信息作为所述设备节点的网络传输请求处理记录。
4.根据权利要求2所述的数据监控方法,其特征在于,所述获取所述CDN中的每一个所述设备节点的网络传输请求处理记录,具体包括:
若确定所述设备节点为非边缘设备节点,则在确定所述非边缘设备节点保存与所述第二网络传输请求所对应的资源时,获取所述非边缘设备节点的第二响应信息;
在确定所述非边缘设备节点未保存所述第二网络传输请求所对应的资源时,判断是否存在与所述非边缘设备节点相邻的非边缘设备节点,若是,则获取所述非边缘设备节点将所述第二网络传输请求传输给所述相邻的非边缘设备节点的第二传输信息,
否则,获取所述非边缘设备节点将所述第二网络传输请求传输给所述源站的第三传输信息;
将所述第二响应信息、所述第二传输信息或所述第三传输信息作为所述设备节点的网络传输请求处理记录。
5.根据权利要求2所述的数据监控方法,其特征在于,所述获取所述CDN中的每一个所述设备节点的网络传输请求处理记录,具体包括:
在确定所述第二网络传输请求为动态请求时,获取所述边缘设备节点和所述非边缘设备节点将所述第二网络传输传输给所述源站的第四传输信息;
将所述第四传输信息作为所述设备节点的网络传输请求处理记录。
6.根据权利要求2所述的数据监控方法,其特征在于,所述获取所述源站的网络传输请求处理记录,具体包括:
获取所述源站的第三响应信息;
将所述第三响应信息作为所述源站的网络传输请求处理记录。
7.根据权利要求2所述的数据监控方法,其特征在于,所述请求终端内设置有监控模块,其中,所述监控模块用于对所述请求终端的网络传输请求处理记录进行监控,并与所述CDN进行信息交互。
8.根据权利要求2所述的数据监控方法,其特征在于,所述CDN中的每一个设备节点上分别设置有数据监控采集组件,
所述获取所述CDN中的每一个设备节点的网络传输请求处理记录,包括:获取所述CDN中的每一个设备节点通过所述数据监控采集组件所采集的网络传输请求处理记录。
9.根据权利要求1所述的数据监控方法,其特征在于,所述对所述请求终端的网络传输请求处理记录、所述CDN的网络传输请求处理记录以及所述源站的网络传输请求处理记录进行数据分析,获得数据分析结果,具体包括:
根据所述请求终端的网络传输请求处理记录、所述CDN的网络传输请求处理记录以及所述源站的网络传输请求处理记录进行数据分析,获得请求成功率信息、加速比例信息、丢包率信息或源站响应成功率信息。
10.根据权利要求9所述的数据监控方法,其特征在于,所述根据所述数据分析结果产生监控控制指令,具体包括:
在确定所述请求成功率信息大于第一预设阈值时,则发出警报,指示请求失败原因,并定位失败节点位置的控制指令;
在确定所述加速比例信息小于第二预设阈值时,则发出警报,指示回源原因,并定位回源节点位置的控制指令;
在确定所述丢包率信息大于第三预设阈值时,则发出警报,指示请求处理路径,并定位异常节点的控制指令;
在确定所述源站响应成功率信息低于第四预设阈值时,则发出发出警报,指示源站指令状态信息,并定位源站异常原因的控制指令。
11.一种监控终端,其特征在于,包括:至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;以及
与所述至少一个处理器通信连接的通信组件,所述通信组件在所述处理器的控制下接收和发送数据;
其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至10任一项所述的数据监控方法。
12.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至10任一项所述的数据监控方法。
13.一种数据监控系统,其特征在于,包括:权利要求11所述的监控终端。
14.根据权利要求13所述的数据监控系统,其特征在于,所述数据监控系统还包括:请求终端、内容分发网络CDN和源站,
所述请求终端,用于在预设时间内产生第一网络传输请求和第二网络传输请求,将所述第二网络传输请求传输给所述CDN,并将所述第一网络传输请求和所述第二网络传输请求作为所述请求终端的网络传输请求处理记录传输给所述监控终端;
其中,所述第一网络传输请求为所述请求终端在预设时间内所产生的全部资源请求;所述第二网络传输请求为所述第一网络传输请求中走CDN网络加速的资源请求;
所述CDN,用于对所述第二网络传输请求进行CDN网络加速处理,将所述第二网络传输请求中需要进行回源的请求传输给所述源站,并将所述CDN中的每一个设备节点的网络传输请求处理记录传输给所述监控终端;
所述源站,用于响应所述需要进行回源的请求,并将所述源站的网络传输请求处理记录传输给所述监控终端;
所述监控终端,用于对所述请求终端的网络传输请求处理记录、所述CDN的网络传输请求处理记录以及所述源站的网络传输请求处理记录进行数据分析,获得数据分析结果,并根据所述数据分析结果产生监控控制指令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910138972.XA CN109831335B (zh) | 2019-02-25 | 2019-02-25 | 一种数据监控方法、监控终端、存储介质及数据监控系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910138972.XA CN109831335B (zh) | 2019-02-25 | 2019-02-25 | 一种数据监控方法、监控终端、存储介质及数据监控系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109831335A true CN109831335A (zh) | 2019-05-31 |
CN109831335B CN109831335B (zh) | 2022-04-12 |
Family
ID=66864402
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910138972.XA Expired - Fee Related CN109831335B (zh) | 2019-02-25 | 2019-02-25 | 一种数据监控方法、监控终端、存储介质及数据监控系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109831335B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110996346A (zh) * | 2020-02-28 | 2020-04-10 | 武汉慧联无限科技有限公司 | 一种下行报文轨迹追踪方法、装置及计算机可读存储介质 |
US20220272145A1 (en) * | 2021-02-20 | 2022-08-25 | Wangsu Science & Technology Co., Ltd. | Method for requesting resources and terminal |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101540775A (zh) * | 2009-04-30 | 2009-09-23 | 华为技术有限公司 | 内容分发方法、装置与内容分发网络系统 |
CN103701619A (zh) * | 2013-10-22 | 2014-04-02 | 上海交通大学 | 基于cdn和数据中心动态选择的互联网内容分发方法 |
US8745267B2 (en) * | 2012-08-19 | 2014-06-03 | Box, Inc. | Enhancement of upload and/or download performance based on client and/or server feedback information |
CN105897933A (zh) * | 2016-06-15 | 2016-08-24 | 乐视控股(北京)有限公司 | 业务请求的处理方法及装置 |
CN106453420A (zh) * | 2016-12-08 | 2017-02-22 | 郑州云海信息技术有限公司 | 一种请求处理装置、方法及终端 |
-
2019
- 2019-02-25 CN CN201910138972.XA patent/CN109831335B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101540775A (zh) * | 2009-04-30 | 2009-09-23 | 华为技术有限公司 | 内容分发方法、装置与内容分发网络系统 |
US8745267B2 (en) * | 2012-08-19 | 2014-06-03 | Box, Inc. | Enhancement of upload and/or download performance based on client and/or server feedback information |
CN103701619A (zh) * | 2013-10-22 | 2014-04-02 | 上海交通大学 | 基于cdn和数据中心动态选择的互联网内容分发方法 |
CN105897933A (zh) * | 2016-06-15 | 2016-08-24 | 乐视控股(北京)有限公司 | 业务请求的处理方法及装置 |
CN106453420A (zh) * | 2016-12-08 | 2017-02-22 | 郑州云海信息技术有限公司 | 一种请求处理装置、方法及终端 |
Non-Patent Citations (1)
Title |
---|
赵红: "CDN内容分发网络技术原理", 《2017年8月建筑科技与管理学术交流会论文集》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110996346A (zh) * | 2020-02-28 | 2020-04-10 | 武汉慧联无限科技有限公司 | 一种下行报文轨迹追踪方法、装置及计算机可读存储介质 |
CN110996346B (zh) * | 2020-02-28 | 2020-06-12 | 武汉慧联无限科技有限公司 | 一种下行报文轨迹追踪方法、装置及计算机可读存储介质 |
US20220272145A1 (en) * | 2021-02-20 | 2022-08-25 | Wangsu Science & Technology Co., Ltd. | Method for requesting resources and terminal |
US11785075B2 (en) * | 2021-02-20 | 2023-10-10 | Wangsu Science & Technology Co., Ltd. | Method for requesting resources and terminal |
Also Published As
Publication number | Publication date |
---|---|
CN109831335B (zh) | 2022-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107566786A (zh) | 一种获取监控视频的方法、装置及终端设备 | |
CN103795762B (zh) | 一种反向代理的测试方法及系统 | |
CN102916854B (zh) | 流量统计方法、装置及代理服务器 | |
CN110519177A (zh) | 一种网络流量识别方法及相关设备 | |
CN107294808A (zh) | 接口测试的方法、装置和系统 | |
CN108009028A (zh) | 消息处理方法、装置、设备及计算机可读存储介质 | |
CN105787364B (zh) | 任务的自动化测试方法、装置及系统 | |
CN102957622B (zh) | 一种数据处理的方法、装置及系统 | |
CN106155812A (zh) | 一种对虚拟主机的资源管理的方法、装置、系统及电子设备 | |
CN105052076B (zh) | 一种基于云计算的网元管理系统及网元管理方法 | |
US9104565B2 (en) | Fault tracing system and method for remote maintenance | |
CN109787827B (zh) | 一种cdn网络监控的方法及装置 | |
CN103716826A (zh) | 基于无线数据业务仿真场景的用户体验质量测试方法 | |
CN108769805A (zh) | 数据传输方法、装置、计算机设备及存储介质 | |
CN107168844B (zh) | 一种性能监控的方法及装置 | |
CN109831335A (zh) | 一种数据监控方法、监控终端、存储介质及数据监控系统 | |
CN113204599A (zh) | 基于物联网的设备监测方法及装置、监测设备和存储介质 | |
CN106888238A (zh) | 一种数据同步方法及装置 | |
CN108990092A (zh) | 通信异常定位方法和装置 | |
CN108494625A (zh) | 一种网络性能分析系统 | |
CN104483880B (zh) | 一种数据采集方法及数据采集服务器 | |
CN106130764B (zh) | 一种监控视频直播间数据服务是否可用的方法及系统 | |
CN115811484A (zh) | 网络探测方法、设备及存储介质 | |
CN115269415A (zh) | 一种基于仿真场景用例的接口测试系统和方法 | |
CN111786938B (zh) | 防止恶意获取资源的方法、系统和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220412 |