CN114095384B - 一种融合cdn的服务质量实时展示方法及系统 - Google Patents

一种融合cdn的服务质量实时展示方法及系统 Download PDF

Info

Publication number
CN114095384B
CN114095384B CN202111271190.7A CN202111271190A CN114095384B CN 114095384 B CN114095384 B CN 114095384B CN 202111271190 A CN202111271190 A CN 202111271190A CN 114095384 B CN114095384 B CN 114095384B
Authority
CN
China
Prior art keywords
domain name
specified domain
cdn
scheduling
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111271190.7A
Other languages
English (en)
Other versions
CN114095384A (zh
Inventor
陶云星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sina Technology China Co Ltd
Original Assignee
Sina Technology China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sina Technology China Co Ltd filed Critical Sina Technology China Co Ltd
Priority to CN202111271190.7A priority Critical patent/CN114095384B/zh
Publication of CN114095384A publication Critical patent/CN114095384A/zh
Application granted granted Critical
Publication of CN114095384B publication Critical patent/CN114095384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/02Capturing of monitoring data
    • H04L43/028Capturing of monitoring data by filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/04Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/06Generation of reports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level
    • H04L43/0894Packet rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例提供一种融合CDN的服务质量实时展示方法及系统,包括:所述融合CDN由多个CDN组成,所述融合CDN的服务质量实时展示方法包括:定时服务以第一预设周期定期查询第一数据库集群中所有指定域名当前对融合CDN的调度详情;针对任一指定域名,根据该指定域名当前对融合CDN的调度详情,以第二预设周期为采集频度,采集第二数据库中在所调度运营商内该指定域名的各指标数据;将在所调度运营商内该指定域名属于同一指标的指标数据汇总,并将该指定域名的每个指标的汇总数据与同一指标的历史数据共同展示。通过指定域名的调度详情,在查询数据库时对相应的指标数据做过滤,只保留与指定域名具有调度关系的统计指标数据。

Description

一种融合CDN的服务质量实时展示方法及系统
技术领域
本发明涉及融合CDN运用领域;具体涉及一种融合CDN的服务质量实时展示方法及系统。
背景技术
融合CDN服务是在传统CDN(内容分发网络)基础上,增加对网络链路的网速探测、节点服务质量的监控,再配合自研的智能调度算法,提供的优选、稳定、高效的CDN服务。目前市面上宣称能提供融合CDN服务的厂家(比如七牛云、又拍云),基本上都是将多家第三方CDN厂商的服务纳入到自己的资源池,在使用时通过自有的链路监控和调度算法来灵活选择这些厂商的节点和带宽资源,给用户提供廉价高质的CDN服务。
这其中必不可少的一点就是监控必须很到位,要能及时准确地通过第三方商业CDN提供的接口,获取它们的各项参数指标,比如:加速带宽/流量,回源带宽/流量,带宽/流量命中率,请求数,秒开率,卡顿比,http错误状态码明细,等等,来衡量这家CDN能提供服务的带宽量级,服务稳定性,计费成本,故障率,处理时效等,经过长期(至少半年)实际使用,观察,分析,并最终经过多角度比较,判断是否是性价比较高,值得我们选择的厂商。所通过多维图示展示方式展示各种指标也是一种必要的监控手段。
数据实时展示功能针对不同的第三方商业CDN来分别展示业务所需的统计指标,区分不同的省和运营商,每家CDN各对应一个实时数据展示网页,比如图8是阿里云CDN服务质量监控:
这是从网页浏览器Chrome中访问Grafana服务的DashBoard看到的效果图,图8中的网页内容称为一个看板(Dashboard),它含有4个面板(pannel),从上往下,依次是微博图片的带宽、微博图片的平均下载时间、微博视频的带宽,微博视频的psr1。每个pannel的数据源来自ClickHouse集群中的不同数据表,该数据表中的数据来自我们调用第三方商业CDN的API采集得到的数据。
上面技术方案涉及如下技术架构颗粒如图9所示:
Grafana从ClickHouse集群中读取各种参数指标(带宽、平均下载时间、psr1等)并分省运营商展示成一条条的数据曲线图,5分钟一个采样点。
ClickHouse是俄罗斯Yandex公司2016年开源的一款面向联机分析处理(OLAP)的分布式列式数据库管理系统(DBMS),简称“CK”,在数据分析中能提供高性能的查询服务。目前已被国内很多公司采用,新浪微博用它来做用户行为数据记录和分析工作。
Grafana是一个跨平台的开源的度量分析和可视化工具,可以通过将采集的数据查询然后可视化地展示,设置告警阈值后有及时通知的功能,支持诸如elasticsearch、graphite、influxdb、kafka等众多的数据源,并以功能强大的界面编辑器著称。
Grafana中每个数据源都有一个特定的查询编辑器,每个数据源的查询语言和能力都不相同,你可以把来自多个数据源(运营商)的数据组合到一个pannel中,使得在同一个pannel中每个数据源都显示为一条数据曲线。也就是说,每条曲线只能显示一个单一数据源的数据。
在实现本发明过程中,申请人发现现有技术中至少存在如下问题:
上面实时展示各家商业CDN服务质量数据的技术方案,就是只是单纯展示了带宽等统计指标,不能真实反映各省各运营商的调度变化情况,比如说,当微博视频对应的业务域名f.videoweibocdn.com在浙江电信,因为psr1质量波动,被融合故障调度,从阿里云切换到腾讯云时,上面Grafana Dashboard中的第四个pannel“f.video.weibocdn.com分省运营商PSR1”中就不能再显示“中国电信-浙江”这条数据曲线;另外还有一些因为IP库不准确导致没有调度关系的省运营商的数据曲线也会显示,其实是不应该显示的,不能避免有数据但是实际无调度关系的情况出现。
发明内容
本发明实施例提供一种融合CDN的服务质量实时展示方法及系统,通过指定域名的调度详情,在查询ClickHouse数据库时对相应的指标数据做过滤,只保留与指定域名具有调度关系的统计指标数据。
为达上述目的,一方面,本发明实施例提供一种融合内容分发网络CDN的服务质量实时展示方法,所述融合CDN由多个CDN组成,所述融合CDN的服务质量实时展示方法包括:
定时服务以第一预设周期定期查询第一数据库集群中所有指定域名当前对融合CDN的调度详情;其中,所述对融合CDN的调度详情包括指定域名在融合CDN中所调度的所有运营商;
针对任一指定域名,根据该指定域名当前对融合CDN的调度详情,以第二预设周期为采集频度,采集第二数据库中在所调度运营商内该指定域名的各指标数据;
将在所调度运营商内该指定域名属于同一指标的指标数据汇总,并将该指定域名的每个指标的汇总数据与同一指标的历史数据共同展示。
另一方面,本发明实施例提供一种融合内容分发网络CDN的服务质量实时展示系统,
所述融合CDN由多个CDN组成,所述融合内容分发网络CDN的服务质量实时展示系统包括:
定时服务单元,用于以第一预设周期定期查询第一数据库集群中所有指定域名当前对融合CDN的调度详情;其中,所述对融合CDN的调度详情包括指定域名在融合CDN中所调度的所有运营商;
指标采集单元,用于针对任一指定域名,根据该指定域名当前对融合CDN的调度详情,以第二预设周期为采集频度,采集第二数据库中在所调度运营商内该指定域名的各指标数据;
指标展示单元,用于将在所调度运营商内该指定域名属于同一指标的指标数据汇总,并将该指定域名的每个指标的汇总数据与同一指标的历史数据共同展示。
上述技术方案具有如下有益效果:通过指定域名的调度详情,在查询第二数据库(比如ClickHouse数据库)时对相应的指标数据做过滤,只保留与指定域名具有调度关系的统计指标数据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种融合内容分发网络CDN的服务质量实时展示方法的流程图;
图2是本发明实施例的一种融合内容分发网络CDN的服务质量实时展示系统的结构图;
图3是本发明实施例的另一种融合内容分发网络CDN的服务质量实时展示系统框架图;
图4是本发明实施例的获取指定域名的调度详情的流程;
图5是本发明实施例的指定域名的调度快照;
图6是本发明实施例的展示调度指标的展示面板;
图7是本发明实施例的具有多个展示面板的展示单元;
图8是现有技术中调度指标展示面板;
图9是现有技术中的调度源的数据获取方式。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,结合本发明的实施例,提供一种融合内容分发网络CDN的服务质量实时展示方法,所述融合CDN由多个CDN组成,所述融合CDN的服务质量实时展示方法包括:
S101:定时服务以第一预设周期定期查询第一数据库集群中所有指定域名当前对融合CDN的调度详情;其中,所述对融合CDN的调度详情包括指定域名在融合CDN中所调度的所有运营商;
S102:针对任一指定域名,根据该指定域名当前对融合CDN的调度详情,以第二预设周期为采集频度,采集第二数据库中在所调度运营商内该指定域名的各指标数据;
S103:将在所调度运营商内该指定域名属于同一指标的指标数据汇总,并将该指定域名的每个指标的汇总数据与同一指标的历史数据共同展示。
优选地,步骤101具体包括:
S1011:定时服务检查第一数据库集群的当前版本号;
S1012:当检查到第一数据库集群的当前版本号与定时服务自身保存的第一数据库集群的版本号相同时,退出本次查询;
S1013:当检查到第一数据库集群的当前版本号与定时服务自身保存的第一数据库集群的版本号不同时,则查找用于存储域名调度详情的第一数据表;自第一数据表内获取所有指定域名最新的调度快照,将所有指定域名最新的调度快照保存到新创建的第二数据表;所述调度快照包括所有指定域名在融合CDN中所调度的所有运营商。
优选地,包括:
S104:当任一域名在融合CDN内所调度的运营商发生变化时,在第一数据库集群的第一数据表内更新该域名的调度详情;
S105:在第一数据库集群的第一数据表内更新该域名的调度详情之后,更新该第一数据库集群的版本号。
优选地,步骤102具体包括:
S1021:在本次第二预设周期启动采集之前,当查询到该指定域名具有最新的调度快照时,根据该指定域名最新的调度快照内所有运营商更新该指定域名的脚本查询语句,采用该指定域名更新后的脚本查询语句自第二数据库中获取在所调度运营商内该指定域名的各指标数据;
S1022:本次第二预设周期启动采集之前,未查询到该指定域名具有最新的调度快照时,采用该指定域名的当前脚本查询语句直接自第二数据库中获取在所调度运行商内该指定域名的各指标数据。
优先地,在脚本查询语句中设置模板变量;
在步骤1021中,所述根据该指定域名最新的调度快照内所有运营商更新该指定域名的脚本查询语句,采用该指定域名更新后的脚本查询语句自第二数据库中获取在所调度运营商内该指定域名的各指标数据,具体包括:
将模板变量的变量值设置为该指定域名最新的调度快照内的所有运营商,根据模板变量的变量值自第二数据库中查询在所调度运行商内该指定域名的指标数据。
如图2所示,结合本发明的实施例,提供一种融合内容分发网络CDN的服务质量实时展示系统,所述融合CDN由多个CDN组成,所述融合内容分发网络CDN的服务质量实时展示系统包括:
定时服务单元21,用于以第一预设周期定期查询第一数据库集群中所有指定域名当前对融合CDN的调度详情;其中,所述对融合CDN的调度详情包括指定域名在融合CDN中所调度的所有运营商;
指标采集单元22,用于针对任一指定域名,根据该指定域名当前对融合CDN的调度详情,以第二预设周期为采集频度,采集第二数据库中在所调度运营商内该指定域名的各指标数据;
指标展示单元23,用于将在所调度运营商内该指定域名属于同一指标的指标数据汇总,并将该指定域名的每个指标的汇总数据与同一指标的历史数据共同展示。
优选地,所述定时服务单元21,具体用于:
检查第一数据库集群的当前版本号;
当检查到第一数据库集群的当前版本号与定时服务自身保存的第一数据库集群的版本号相同时,退出本次查询;
当检查到第一数据库集群的当前版本号与定时服务自身保存的第一数据库集群的版本号不同时,则查找用于存储域名调度详情的第一数据表;自第一数据表内获取所有指定域名最新的调度快照,将所有指定域名最新的调度快照保存到新创建的第二数据表;所述调度快照包括所有指定域名在融合CDN中所调度的所有运营商。
优选地,包括:
调度详情更新单元24,用于当任一域名在融合CDN内所调度的运营商发生变化时,在第一数据库集群的第一数据表内更新该域名的调度详情;
版本更新单元25,用于在第一数据库集群的第一数据表内更新该域名的调度详情之后,更新该第一数据库集群的版本号。
优选地,所述指标采集单元22,包括:
第一指标采集子单元221,用于在本次第二预设周期启动采集之前,当查询到该指定域名具有最新的调度快照时,根据该指定域名最新的调度快照内所有运营商更新该指定域名的脚本查询语句,采用该指定域名更新后的脚本查询语句自第二数据库中获取在所调度运营商内该指定域名的各指标数据;
第二指标采集子单元222,用于本次第二预设周期启动采集之前,未查询到该指定域名具有最新的调度快照时,采用该指定域名的当前脚本查询语句直接自第二数据库中获取在所调度运行商内该指定域名的各指标数据。
优选地,在脚本查询语句中设置模板变量,其中,变量是指一个值的占位符,模板是指包含变量的任何查询;
所述第一指标采集子单元221,具体用于:
将模板变量的变量值设置为该指定域名最新的调度快照内的所有运营商,根据模板变量的变量值自第二数据库中查询在所调度运行商内该指定域名的指标数据。
本发明所取得的有益效果如下:
利用模板变量技术来查询第一数据库(比如MySQL数据库)的保存有指定域名调度快照的数据表,得出当前业务域名在当前第三方商业CDN的国内省运营商的调度信息,然后在查询第二数据库(ClickHouse数据库)时对相应的指标数据做过滤,只保留与指定域名具有调度关系的统计指标数据。
下面结合具体的应用实例对本发明实施例上述技术方案进行详细说明,实施过程中没有介绍到的技术细节,可以参考前文的相关描述。
本发明为融合CDN中CDN服务质量实时数据展示系统的一种实现方法,解决了现有技术的缺点,采用最简洁最巧妙的方式,将微博图片和微博视频的调度关系,整合进上面的实时带宽展示系统中,可以只精准展示有调度关系的省运营商的业务域名组带宽等数据,便于平时更方便地分析和监控各家商业CDN的服务质量。本发明的技术方案总体框架如图3所示,技术流程说明如下:
1.调度快照抓取服务ScheduleSnapshot
定时服务以第一预设周期定期查询第一数据库集群中所有指定域名当前对融合CDN的调度详情;其中,所述对融合CDN的调度详情包括指定域名在融合CDN中所调度的所有运营商;具体包括:定时服务检查第一数据库集群的当前版本号;当检查到第一数据库集群的当前版本号与定时服务自身保存的第一数据库集群的版本号相同时,退出本次查询;当检查到第一数据库集群的当前版本号与定时服务自身保存的第一数据库集群的版本号不同时,则查找用于存储域名调度详情的第一数据表;自第一数据表内获取该所有指定域名最新的调度快照,将该所有指定域名最新的调度快照保存到新创建的第二数据表;所述调度快照包括该所有指定域名在融合CDN中所调度的所有运营商。举例如下:
用Go语言编写一个定时服务ScheduleSnapshot(即:定时服务采用Go语言进行编写),它会第一周期,比如每隔2分钟(可配置)去查询调度后台的MySQL集群(第一数据库)中、指定的域名当前在国内各省运营商上的调度详情,调度详情是指的调度到哪家CDN上,比如,weiboimgwx.grid.sinaedge.com域名,在中国-电信-广东,调度到阿里云和腾讯云。调度后台的MySQL集群就是第一数据库的一种;在数据库中保存的是有关域名调度到哪些省份运营商的记录,更加详细些,比如,weiboimgwx.grid.sinaedge.com域名,在中国-电信-广东中的各个市的覆盖请求,权重,调度方式,等等。
当任一域名在融合CDN内所调度的运营商发生变化时,在第一数据库集群的第一数据表内更新该域名的调度详情;在第一数据库集群的第一数据表内更新该域名的调度详情之后,更新该第一数据库集群的版本号。针对任一指定域名,根据该指定域名当前对融合CDN的调度详情,以第二预设周期为采集频度,采集第二数据库中在所调度运营商内该指定域名的各指标数据,具体包括:在本次第二预设周期启动采集之前,当查询到该指定域名具有最新的调度快照时,根据该指定域名最新的调度快照内所有运营商更新该指定域名的脚本查询语句,采用该指定域名更新后的脚本查询语句自第二数据库中获取在所调度运营商内该指定域名的各指标数据;本次第二预设周期启动采集之前,未查询到该指定域名具有最新的调度快照时,采用该指定域名的当前脚本查询语句直接自第二数据库中获取在所调度运行商内该指定域名的各指标数据。具体如下:
为了提高查询效率,它会首先比对当前数据库的版本号,如果检查到版本号比自己上次保存的版本号更大(约定每次更新调度信息都会更新版本号),说明调度数据有变化,就去查找一遍相关数据表(第一数据表),得到域名最新的调度快照(即得到指定grid域名在各省运营商CDN调度详情),并将最新的调度快照的信息写入到新创建的数据表domain_realtime_schedule(第二数据表)中。否则就退出本次查询,下一轮再检查。这样的设计思路可以避免很多无意义的数据库查询操作,减轻数据库查询压力。流程示意图如图4所示。
约定每次更新调度信息都会更新版本号是指:调度系统每次更新后台数据库的调度记录,会更新preference表中的一个特定的字段GTR_LAST_UPDATED_TIMESTAMP的值,每次加1,这种操作是调度系统自己约定的,其它的程序读取这个字段,与自己当前保存的这个字段的值做比较,如果比这个值小,就说明,调度信息有更新了,如果没有变,就表示调度信息没有更新;不会比这个值大,因为其它程序每次都只是读取这个值。
其中记录调度详情的domain_realtime_schedule表中的记录的信息如图5所示。这里微博视频业务域名f.video.weibocdn.com的cname域名us.grid.sinaedge.com在阿里云(aliyun),腾讯云(tencent),白山云(baishan),新浪云(sinaedge)上分别被调度到的省运营商从图中清晰可见。比如,在阿里云上当前有调度关系的省运营商分别是:
中国-电信-广东,中国-电信-江苏,中国-联通-辽宁,中国-联通-北京,中国-联通-山西,中国-联通-江苏,中国-联通-陕西,中国-电信-浙江,中国-联通-河北,中国-联通-宁夏,中国-联通-西藏,中国-电信-内蒙古,中国-移动-河南,中国-电信-云南,中国-电信-新疆,中国-联通-新疆,中国-移动-海南,中国-电信-湖南。
2.定期采集ClickHouse数据库中的统计指标(是指具体的数据)并通过模板变量获取调度信息(调度快照)过滤
根据该指定域名最新的调度快照内所有运营商更新该指定域名的脚本查询语句,采用该指定域名更新后的脚本查询语句自第二数据库中获取在所调度运营商内该指定域名的各指标数据,具体包括:将模板变量的变量值设置为该指定域名最新的调度快照内的所有运营商,根据模板变量的变量值自第二数据库中查询在所调度运行商内该指定域名的指标数据。具体如下:
在Grafana Dashboard中的pannel中配置相应的脚本查询语句就可以,图6是《f.video.weibocdn.com分省运营商PSR1》的配置截图,对微博的业务来说,主要就是两大块业务,图片和视频,分开来看,主要关注的指标有:微博图片的带宽,平均下载时间;以及微博视频的带宽,秒开率psr1。
这里配置的Grafana查询语句中用到了一个模板变量videolocations,它的作用在这里非常关键,将只有调度关系的那些省运营商信息保存下来,起到了带宽过滤的作用,将无法知道的调度关系信息在这里给出来了,使得我们在pannel上展示的信息非常精准和及时,展示方式为一个域名的一个指标为一个显示图像,比如:曲线、饼图等。从而我们得到了一个完全符合业务需求的CDN服务质量监控实时调度图,仍以阿里云CDN为例,见图7。
这里所说的模板变量,事实上是Grafana中的两个概念,变量(variable)就是一个值(metric)的占位符(placeholder),模板(template)是指包含变量的任何查询(query)。使用模板变量允许你去创建更多可交互的动态Dashboard,而不是写死一些配置后得到的多个功能单一的静态Dashboard。
最后,将在所调度运营商内该指定域名属于同一指标的指标数据汇总,并将该指定域名的每个指标的汇总数据与同一指标的历史数据共同展示。
综上,本发明使用Grafana搭建各种业务数据的Dashboard时,可以灵活巧妙利用模板变量这类工具来帮助我们解决问题。本发明技术方案的思路可以在大量类似业务环境和技术栈背景中使用,避免生硬机械地解决技术问题,是一种独创性思路。
本发明所取得的有益效果如下:
如果不使用模板向量,面临如下技术难题:
1、在Grafana的pannel中的每条数据曲线只能有一个数据源(一个运营商),现在的需求明显是要将ClickHouse的统计指标数据(带宽,平均下载时间,PSR1)和MySQL中的调度关系这两个毫不相关数据源结合起来,汇出一条数据曲线,这办不到;
2、将上面两个数据源统一为一个数据源比较困难,因为如果强行将MySQL中的调度关系数据存放到ClickHouse这种时序数据库中的时序数据表,即使能存,也会耗费大量存储空间,导致很多冗余信息,使用起来也很别扭,不明智也不可优雅。
本申请技术方案的优点,就是巧妙利用Grafana的模板变量(template variable)技术来查询MySQL的domain_realtime_schedule表得出当前业务域名在当前第三方商业CDN的国内省运营商的调度信息,然后在查询ClickHouse数据库时对相应的指标数据做过滤,只保留那些有调度关系的统计指标数据。
比如基于新浪和微博的业务特点,目前关心的指标有些许差别,比如微博图片,重点关注带宽,错误码,平均下载时间这三个指标;微博视频,重点关注带宽和秒开率。秒开率简称psr1,表示1秒内首帧(屏)加载成功比例,是一个介于0和1之间的百分比,用来衡量视频播放体验,该百分比越接近1,表示播放越流畅,用户体验越好CDN的服务质量越好。通过本发明的指标展示方法,也可以针对任何域名的在运行商的相应指标进行检测,检测到与域名真正有调度关系的运行商内相应指标。
应该明白,公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好,应该理解,过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素,并且不是要限于所述的特定顺序或层次。
在上述的详细描述中,各种特征一起组合在单个的实施方案中,以简化本公开。不应该将这种公开方法解释为反映了这样的意图,即,所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反,如所附的权利要求书所反映的那样,本发明处于比所公开的单个实施方案的全部特征少的状态。因此,所附的权利要求书特此清楚地被并入详细描述中,其中每项权利要求独自作为本发明单独的优选实施方案。
为使本领域内的任何技术人员能够实现或者使用本发明,上面对所公开实施例进行了描述。对于本领域技术人员来说;这些实施例的各种修改方式都是显而易见的,并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此,本公开并不限于本文给出的实施例,而是与本申请公开的原理和新颖性特征的最广范围相一致。
上文的描述包括一个或多个实施例的举例。当然,为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的,但是本领域普通技术人员应该认识到,各个实施例可以做进一步的组合和排列。因此,本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外,就说明书或权利要求书中使用的术语“包含”,该词的涵盖方式类似于术语“包括”,就如同“包括,”在权利要求中用作衔接词所解释的那样。此外,使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block),单元,和步骤可以通过电子硬件、电脑软件,或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability),上述的各种说明性部件(illustrative components),单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用,可以使用各种方法实现所述的功能,但这种实现不应被理解为超出本发明实施例保护的范围。
本发明实施例中所描述的各种说明性的逻辑块,或单元都可以通过通用处理器,数字信号处理器,专用集成电路(ASIC),现场可编程门阵列或其它可编程逻辑装置,离散门或晶体管逻辑,离散硬件部件,或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器,可选地,该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现,例如数字信号处理器和微处理器,多个微处理器,一个或多个微处理器联合一个数字信号处理器核,或任何其它类似的配置来实现。
本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地,存储媒介可以与处理器连接,以使得处理器可以从存储媒介中读取信息,并可以向存储媒介存写信息。可选地,存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中,ASIC可以设置于用户终端中。可选地,处理器和存储媒介也可以设置于用户终端中的不同的部件中。
在一个或多个示例性的设计中,本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现,这些功能可以存储与电脑可读的媒介上,或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如,这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置,或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外,任何连接都可以被适当地定义为电脑可读媒介,例如,如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘,磁盘通常以磁性复制数据,而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种融合内容分发网络CDN的服务质量实时展示方法,其特征在于,所述融合CDN由多个CDN组成,所述融合CDN的服务质量实时展示方法包括:
定时服务以第一预设周期定期查询第一数据库集群中所有指定域名当前对融合CDN的调度详情;其中,所述对融合CDN的调度详情包括指定域名在融合CDN中所调度的所有运营商;
针对任一指定域名,根据该指定域名当前对融合CDN的调度详情,以第二预设周期为采集频度,采集第二数据库中在所调度运营商内该指定域名的各指标数据;
将在所调度运营商内该指定域名属于同一指标的指标数据汇总,并将该指定域名的每个指标的汇总数据与同一指标的历史数据共同展示。
2.根据权利要求1所述的融合内容分发网络CDN的服务质量实时展示方法,其特征在于,所述定时服务以第一预设周期定期查询第一数据库集群中所有指定域名当前对融合CDN的调度详情,具体包括:
定时服务检查第一数据库集群的当前版本号;
当检查到第一数据库集群的当前版本号与定时服务自身保存的第一数据库集群的版本号相同时,退出本次查询;
当检查到第一数据库集群的当前版本号与定时服务自身保存的第一数据库集群的版本号不同时,则查找用于存储域名调度详情的第一数据表;自第一数据表内获取所有指定域名最新的调度快照,将所有指定域名最新的调度快照保存到新创建的第二数据表;所述调度快照包括所有指定域名在融合CDN中所调度的所有运营商。
3.根据权利要求2所述的融合内容分发网络CDN的服务质量实时展示方法,其特征在于,还包括:
当任一域名在融合CDN内所调度的运营商发生变化时,在第一数据库集群的第一数据表内更新该域名的调度详情;
在第一数据库集群的第一数据表内更新该域名的调度详情之后,更新该第一数据库集群的版本号。
4.根据权利要求2所述的融合内容分发网络CDN的服务质量实时展示方法,其特征在于,所述针对任一指定域名,根据该指定域名当前对融合CDN的调度详情,以第二预设周期为采集频度,采集第二数据库中在所调度运营商内该指定域名的各指标数据,具体包括:
在本次第二预设周期启动采集之前,当查询到该指定域名具有最新的调度快照时,根据该指定域名最新的调度快照内所有运营商更新该指定域名的脚本查询语句,采用该指定域名更新后的脚本查询语句自第二数据库中获取在所调度运营商内该指定域名的各指标数据;
本次第二预设周期启动采集之前,未查询到该指定域名具有最新的调度快照时,采用该指定域名的当前脚本查询语句直接自第二数据库中获取在所调度运行商内该指定域名的各指标数据。
5.根据权利要求4所述的融合内容分发网络CDN的服务质量实时展示方法,其特征在于,在脚本查询语句中设置模板变量;
所述根据该指定域名最新的调度快照内所有运营商更新该指定域名的脚本查询语句,采用该指定域名更新后的脚本查询语句自第二数据库中获取在所调度运营商内该指定域名的各指标数据,具体包括:
将模板变量的变量值设置为该指定域名最新的调度快照内的所有运营商,根据模板变量的变量值自第二数据库中查询在所调度运行商内该指定域名的指标数据。
6.一种融合内容分发网络CDN的服务质量实时展示系统,其特征在于,所述融合CDN由多个CDN组成,所述融合内容分发网络CDN的服务质量实时展示系统包括:
定时服务单元,用于以第一预设周期定期查询第一数据库集群中所有指定域名当前对融合CDN的调度详情;其中,所述对融合CDN的调度详情包括指定域名在融合CDN中所调度的所有运营商;
指标采集单元,用于针对任一指定域名,根据该指定域名当前对融合CDN的调度详情,以第二预设周期为采集频度,采集第二数据库中在所调度运营商内该指定域名的各指标数据;
指标展示单元,用于将在所调度运营商内该指定域名属于同一指标的指标数据汇总,并将该指定域名的每个指标的汇总数据与同一指标的历史数据共同展示。
7.根据权利要求6所述的融合内容分发网络CDN的服务质量实时展示系统,其特征在于,所述定时服务单元,具体用于:
检查第一数据库集群的当前版本号;
当检查到第一数据库集群的当前版本号与定时服务自身保存的第一数据库集群的版本号相同时,退出本次查询;
当检查到第一数据库集群的当前版本号与定时服务自身保存的第一数据库集群的版本号不同时,则查找用于存储域名调度详情的第一数据表;自第一数据表内获取所有指定域名最新的调度快照,将所有指定域名最新的调度快照保存到新创建的第二数据表;所述调度快照包括所有指定域名在融合CDN中所调度的所有运营商。
8.根据权利要求7所述的融合内容分发网络CDN的服务质量实时展示系统,其特征在于,包括:
调度详情更新单元,用于当任一域名在融合CDN内所调度的运营商发生变化时,在第一数据库集群的第一数据表内更新该域名的调度详情;
版本更新单元,用于在第一数据库集群的第一数据表内更新该域名的调度详情之后,更新该第一数据库集群的版本号。
9.根据权利要求7所述的融合内容分发网络CDN的服务质量实时展示系统,其特征在于,所述指标采集单元,包括:
第一指标采集子单元,用于在本次第二预设周期启动采集之前,当查询到该指定域名具有最新的调度快照时,根据该指定域名最新的调度快照内所有运营商更新该指定域名的脚本查询语句,采用该指定域名更新后的脚本查询语句自第二数据库中获取在所调度运营商内该指定域名的各指标数据;
第二指标采集子单元,用于本次第二预设周期启动采集之前,未查询到该指定域名具有最新的调度快照时,采用该指定域名的当前脚本查询语句直接自第二数据库中获取在所调度运行商内该指定域名的各指标数据。
10.根据权利要求9所述的融合内容分发网络CDN的服务质量实时展示系统,其特征在于,在脚本查询语句中设置模板变量;
所述第一指标采集子单元,具体用于:
将模板变量的变量值设置为该指定域名最新的调度快照内的所有运营商,根据模板变量的变量值自第二数据库中查询在所调度运行商内该指定域名的指标数据。
CN202111271190.7A 2021-10-29 2021-10-29 一种融合cdn的服务质量实时展示方法及系统 Active CN114095384B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111271190.7A CN114095384B (zh) 2021-10-29 2021-10-29 一种融合cdn的服务质量实时展示方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111271190.7A CN114095384B (zh) 2021-10-29 2021-10-29 一种融合cdn的服务质量实时展示方法及系统

Publications (2)

Publication Number Publication Date
CN114095384A CN114095384A (zh) 2022-02-25
CN114095384B true CN114095384B (zh) 2023-03-24

Family

ID=80298279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111271190.7A Active CN114095384B (zh) 2021-10-29 2021-10-29 一种融合cdn的服务质量实时展示方法及系统

Country Status (1)

Country Link
CN (1) CN114095384B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106130816A (zh) * 2016-06-24 2016-11-16 腾讯科技(深圳)有限公司 一种内容分发网络监控方法、监控服务器及系统
CN109905288A (zh) * 2018-12-21 2019-06-18 中国科学院信息工程研究所 一种应用服务分类方法及装置
CN110677307A (zh) * 2019-10-30 2020-01-10 北京博睿宏远数据科技股份有限公司 一种服务监测方法、装置、设备和存储介质
CN112039726A (zh) * 2020-08-25 2020-12-04 新浪网技术(中国)有限公司 一种内容分发网络cdn设备的数据监控方法及系统
CN113259151A (zh) * 2021-04-13 2021-08-13 新浪网技术(中国)有限公司 融合内容分发网络cdn中域名带宽明细监控方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8509072B2 (en) * 2011-03-07 2013-08-13 Comcast Cable Communications, Llc Network congestion analysis

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106130816A (zh) * 2016-06-24 2016-11-16 腾讯科技(深圳)有限公司 一种内容分发网络监控方法、监控服务器及系统
CN109905288A (zh) * 2018-12-21 2019-06-18 中国科学院信息工程研究所 一种应用服务分类方法及装置
CN110677307A (zh) * 2019-10-30 2020-01-10 北京博睿宏远数据科技股份有限公司 一种服务监测方法、装置、设备和存储介质
CN112039726A (zh) * 2020-08-25 2020-12-04 新浪网技术(中国)有限公司 一种内容分发网络cdn设备的数据监控方法及系统
CN113259151A (zh) * 2021-04-13 2021-08-13 新浪网技术(中国)有限公司 融合内容分发网络cdn中域名带宽明细监控方法及系统

Also Published As

Publication number Publication date
CN114095384A (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
US10853124B2 (en) Managing user data in a multitenant deployment
US20210216339A1 (en) Generation of bots based on observed behavior
US20180297402A1 (en) Parameterized continuous query templates
US9927992B2 (en) Segmented database migration
US9043327B1 (en) Performing flexible pivot querying of monitoring data using a multi-tenant monitoring system
CN105308592A (zh) 连续数据流中关于关系的基于值的窗口
US20120151396A1 (en) Rendering an optimized metrics topology on a monitoring tool
CN110147327B (zh) 一种基于多粒度的web自动化测试管理方法
CN113094551B (zh) 行车记录仪视频的检索方法、装置、服务端及检索系统
CN105681867A (zh) 一种视频同步播放系统及其同步播放方法
US20210182275A1 (en) Data model for emissions analysis
US8839115B2 (en) Method and system for providing interactive flow chart elements
US10534762B2 (en) Data sampling in a storage system
CN108733543A (zh) 一种日志分析的方法、装置、电子设备和可读存储介质
CN114095384B (zh) 一种融合cdn的服务质量实时展示方法及系统
CN110460876A (zh) 直播日志的处理方法、装置及电子设备
CN103179440A (zh) 一种面向3g用户的增值业务时移电视系统
US9817864B1 (en) Flexible pivot querying of monitoring data with zero setup
US20180060206A1 (en) Cloud collaboration and management application
CN104281581B (zh) 网页的推荐位内容曝光量的监测方法和系统
CN109634845B (zh) 一种生成上下文记录文本的方法及装置
US9104392B1 (en) Multitenant monitoring system storing monitoring data supporting flexible pivot querying
CN114996104A (zh) 一种数据处理方法和装置
CN111831527A (zh) 扫描数据库性能问题的方法、装置、电子设备、及介质
CN111966312A (zh) 一种支持多运营商共同管理的物联网集群显示屏

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230420

Address after: Room 501-502, 5/F, Sina Headquarters Scientific Research Building, Block N-1 and N-2, Zhongguancun Software Park, Dongbei Wangxi Road, Haidian District, Beijing, 100193

Patentee after: Sina Technology (China) Co.,Ltd.

Address before: 100193 7th floor, scientific research building, Sina headquarters, plot n-1, n-2, Zhongguancun Software Park, Dongbei Wangxi Road, Haidian District, Beijing, 100193

Patentee before: Sina.com Technology (China) Co.,Ltd.