CN114221988A - 一种内容分发网络热点分析方法和系统 - Google Patents
一种内容分发网络热点分析方法和系统 Download PDFInfo
- Publication number
- CN114221988A CN114221988A CN202111294300.1A CN202111294300A CN114221988A CN 114221988 A CN114221988 A CN 114221988A CN 202111294300 A CN202111294300 A CN 202111294300A CN 114221988 A CN114221988 A CN 114221988A
- Authority
- CN
- China
- Prior art keywords
- url
- hotspot
- log
- hot
- log data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 abstract description 10
- 238000004364 calculation method Methods 0.000 abstract description 4
- 238000004422 calculation algorithm Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000012800 visualization Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000010223 real-time analysis Methods 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Debugging And Monitoring (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例提供一种内容分发网络热点分析系统和方法，该系统包括：CDN服务器、分布式发布系统和日志分析系统；CDN服务器，用于实时检测用户访问请求，按照设定规则确定热点URL，将访问热点URL的用户访问请求添加热点标签后得到热点URL日志数据，将热点URL日志数据推送至分布式发布系统；日志分析系统，用于从分布式发布系统获取热点URL日志数据并解析，提取选定的属性特征信息，生成用于展示的热点URL日志分析结果。能够准确及时的定位网络中的热点，数据传输量和计算量小。
Description
技术领域
本发明涉及网络技术领域，尤指一种内容分发网络热点分析方法和系统。
背景技术
内容分发网络(Content Delivery Network，CDN)一般是依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块实现内容存储和分发，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率。
CDN系统在运行过程中，不可避免的会发生一些突发事件，比如：某个时间CDN各个机房的带宽需求突然增大，导致服务器带宽需求、CPU需求等都上涨，机房的交换机出口也爆满，这种情况下很可能是发生了热点事件，而想要定位热点事件的话，则需要人工去服务器上过滤日志经过正则匹配、过滤、排序等操作，确定访问最多的统一资源定位符(uniformresource locator，URL是哪一个)，但有时候用户访问最多的URL并不是导致带宽暴涨的原因，这是因为虽然用户访问的这个URL最多，但是这个URL下载下来的资源很小，所以还得结合资源的大小来进行排序，经过一系列定位，才能定位到热点URL。
现有技术中突发热点后的热点定位处理方式，存在以下问题：
1)CDN系统中由于突发热点事件是人工处理，需要人工登录一台或几台服务器来去查找访问日志、写过滤条件等，经过排序处理等一系列的处理才能定位到热点URL，导致定位过程太过繁琐。
2)由于突发热点事件人工确认的步骤程序过于复杂繁琐，日志量大、过滤条件多，导致等待时长增加，且由于人工处理不可控的原因，大大增加了定位时长，最终使得热点URL定位不够及时。
3)人工到某一台或者某几台服务器上去过滤日志，并不能代表全网CDN的访问情况，难免会出现判断错误或者判断的不全的情况，最终导致热点URL定位不够准确。
4)人工处理的结果比较粗糙、信息不全、自由度不高、且不方便查看，信息可读性差。
发明内容
本发明实施例提供一种内容分发网络热点分析方法和系统，用以解决现有技术中存在的内容分发网络热点定位不准确的问题。
本发明实施例提供了一种内容分发网络热点分析系统，包括：内容分发网络CDN服务器、分布式发布系统和日志分析系统；
CDN服务器，用于实时检测用户访问请求，按照设定规则确定热点URL，将访问热点URL的用户访问请求添加热点标签后得到热点URL日志数据，将热点URL日志数据推送至分布式发布系统；
日志分析系统，用于从分布式发布系统获取热点URL日志数据并解析，提取选定的属性特征信息，生成用于展示的热点URL日志分析结果。
在一些可选的实施例中，所述CDN服务器包括：
热点识别模块，用于实时检测内容分发网络CDN中的用户访问请求，若检测到用户访问请求中有超过预设比例阈值的访问请求访问同一个URL时，或访问一个URL的访问资源量达到预设的资源量阈值时，确定该URL为热点URL；
日志处理模块，用于将访问所述热点URL的用户访问请求添加热点标签后存储到热点日志文件中，将非热点URL存储到非热点日志文件中，以及使用配置的目的地址和路径将热点日志文件中的热点URL日志数据推送至分布式发布系统。
在一些可选的实施例中，所述日志分析系统，包括消费日志系统和日志分析引擎；
消费日志系统，用于从分布式发布系统获取热点URL日志数据，解析出热点URL日志数据中的属性信息字段，并提取选定的属性特征信息，写入日志分析引擎中；
日志分析引擎，用于基于提取的属性特征信息对热点URL日志数据进行实时分析，生成用于展示的热点URL日志分析结果。
在一些可选的实施例中，所述日志分析引擎，具体用于：
基于提取的属性特征信息确定热点URL日志数据包括的热点URL的热点类型，以及针对每个热点URL，将所涉及到的热点URL日志数据的属性特征信息进行分析处理，生成包括每个热点URL对应的热点类型和属性特征信息的热点URL日志分析结果。
在一些可选的实施例中，上述系统还包括：
可视化展示系统，用于展示所述热点URL日志分析结果。
本发明实施例还提供了一种内容分发网络热点分析方法，包括：
内容分发网络CDN服务器实时检测用户访问请求，按照设定规则确定热点URL，将访问热点URL的用户访问请求添加热点标签后得到热点URL日志数据，将热点URL日志数据推送至分布式发布系统；
日志分析系统从分布式发布系统获取热点URL日志数据并解析，提取选定的属性特征信息，生成用于展示的热点URL日志分析结果。
在一些可选的实施例中，所述按照设定规则确定热点URL，将访问热点URL的用户访问请求添加热点标签后得到热点URL日志数据，将热点URL日志数据推送至分布式发布系统，具体包括：
若检测到用户访问请求中有超过预设比例阈值的访问请求访问同一个URL时，或访问一个URL的访问资源量达到预设的资源量阈值时，确定该URL为热点URL；
将访问所述热点URL的用户访问请求添加热点标签后存储到热点日志文件中，将非热点URL存储到非热点日志文件中，以及使用配置的目的地址和路径将热点日志文件中的热点URL日志数据推送至分布式发布系统。
在一些可选的实施例中，所述日志分析系统从分布式发布系统获取热点URL日志数据并解析，提取选定的日志属性特征信息，生成用于展示的热点URL日志分析结果，包括：
消费日志系统从分布式发布系统获取热点URL日志数据，解析出热点URL日志数据中的属性信息字段，并提取选定的属性特征信息，写入日志分析引擎中；
日志分析引擎基于提取的属性特征信息对热点URL日志数据进行实时分析，生成用于展示的热点URL日志分析结果。
在一些可选的实施例中，所述基于提取的属性特征信息对热点URL日志数据进行实时分析，生成用于展示的热点URL日志分析结果，具体包括：
基于提取的属性特征信息确定热点URL日志数据包括的热点URL的热点类型，以及针对每个热点URL，将所涉及到的热点URL日志数据的属性特征信息进行分析处理，生成包括每个热点URL对应的热点类型和属性特征信息的热点URL日志分析结果。
在一些可选的实施例中，上述方法还包括：
将热点URL日志分析结果推送到可视化展示系统进行展示。
上述技术方案具有如下有益效果：
在CDN服务器端，实时检测用户访问请求，确定热点URL，将访问URL的用户访问请求写入热点URL日志数据推送至分布式发布系统，在源头上进行热点判断，只推送热点URL日志数据到发布系统，大大减少数据传输量；日志分析系统接收热点URL日志数据进行分析，相对于传统的全量日志传输和分析的方式而言，大大降低了分析数据量，减少了分析计算成本，又降低了对分析系统的硬件要求，且只分析有价值的热点URL日志数据，其针对性更强，分析结果也更准确清晰。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中内容分发网络热点分析系统的结构示意图；
图2是本发明实施例中内容分发网络热点分析系统的一种具体结构示例图；
图3是本发明实施例中内容分发网络热点分析方法的流程图；
图4是本发明实施例中内容分发网络热点分析方法的一种具体实现流程示例图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决现有技术CDN系统中存在的热点识别定位过程繁琐、定位时间长、定位不准确的问题，本发明实施例提供一种内容分发网络热点分析方法，能够快速、准确的识别定位网络中的热点。
本发明实施例提供一种内容分发网络热点分析系统，其结构如图1所示，包括：CDN服务器1、分布式发布系统2和日志分析系统3；
CDN服务器1，用于实时检测用户访问请求，按照设定规则确定热点URL，将访问热点URL的用户访问请求添加热点标签后得到热点URL日志数据，将热点URL日志数据推送至分布式发布系统2；
日志分析系统3，用于从分布式发布系统2获取热点URL日志数据并解析，提取选定的属性特征信息，生成用于展示的热点URL日志分析结果。
上述系统，在CDN服务器中，实时检测用户访问请求，确定热点URL，将热点URL日志推送至分布式发布系统，在源头上进行热点判断，只推送热点URL日志到发布系统，大大减少数据传输量；日志分析系统接收热点URL日志进行分析，相对于传统的全量日志传输和分析的方式而言，大大降低了分析数据量，减少了分析计算成本，又降低了对分析系统的硬件要求，且只分析有价值的热点URL日志，其针对性更强，分析结果也更准确清晰。
上述CDN服务器1中可以设置热点识别模块11和日志处理模块12来实现对访问请求的实时检测，以及热点URL日志的分析确定，可以通过检测大量的访问请求来确定热点URL，将热点日志和非热点日志分离开进行存储和处理。其中：
热点识别模块11，用于实时检测内容分发网络CDN中的用户访问请求，若检测到用户访问请求中有超过预设比例阈值的访问请求访问同一个URL时，或访问一个URL的访问资源量达到预设的资源量阈值时，确定该URL为热点URL。
日志处理模块12，用于将访问热点URL的用户访问请求添加热点标签后存储到热点日志文件中，将非热点URL存储到非热点日志文件中，以及使用配置的目的地址和路径将热点日志文件中的热点URL日志数据推送至分布式发布系统2。
日志分析系统3包括消费日志系统31和日志分析引擎32；
消费日志系统31，从分布式发布系统2获取热点URL日志数据，解析出热点URL日志数据中的属性信息字段，并提取选定的属性特征信息，写入日志分析引擎32中；
日志分析引擎32，用于基于提取的属性特征信息对热点URL日志数据进行实时分析，生成用于展示的热点URL日志分析结果。
日志分析引擎32，具体用于基于提取的属性特征信息确定热点URL日志数据包括的热点URL的热点类型，以及针对每个热点URL，将所涉及到的热点URL日志数据的属性特征信息进行分析处理，生成包括每个热点URL对应的热点类型和属性特征信息的热点URL日志分析结果。
可选的，上述内容分发网络热点分析系统还包括可视化展示系统4，用于展示热点URL日志分析结果。
本发明实施例提供的内容分发网络热点分析系统的一种具体架构如图2所示，包括：CDN服务器、分布式发布系统、消费日志系统、日志分析引擎和可视化日志展示系统。
CDN服务器上部署了nginx软件，用来实现从实时检测用户访问、热点URL日志识别处理到日热点URL志文件存储等相关功能。nginx是一个高性能的HTTP和反向代理web服务器，cdn中用nginx作为反向代理来转发用户访问请求，同时生成用户访问日志。nginx会实时监测用户访问请求，根据访问请求所访问的URL来识别热点，比如1000个请求中有5％的访问请求访问的URL是同一个，或者一个URL资源大小超过1G，那么会将此批请求所访问的URL识别为热点，同时将识别为热点URL对应的访问请求打上热点标签写入到热点日志文件中，没有被识别为热点URL对应的的访问请求将写入到非热点日志文件中。
CDN服务器上部署了filebeat软件，filebeat是一个轻量级的具有发送日志功能的轻量级日志工具。filebeat软件配置中指定好了热点日志文件的相关信息，可以将生成的热点日志文件中的热点URL日志数据实时传到分布式发布系统，比如kafka集群，kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。
消费日志系统可以使用消费日志工具logkit集群实现，logkit可以从不同的数据源消费日志处理后再发送到另外的数据源。如图2中所示的，logkit从kafka中消费热点URL日志数据，并将热点URL日志数据解析，解析出所需要的字段实时存入到日志分析引擎。
日志分析引擎可以采用es集群，es是elasticsearch的简称，这是一个基于Lucene协议的分布式开源搜索和分析引擎。
可视化日志展示系统可以采用grafana工具实现，grafana是一个跨平台的开源的度量分析和可视化工具,可以通过将采集的数据查询然后可视化的展示。grafana对接好es的数据源后，将会按照配置展示出热点URL的相关信息。
基于同一发明构思，本发明实施例还提供一种内容分发网络热点分析方法，其流程如图3所示，包括如下步骤：
步骤S101：CDN服务器实时检测用户访问请求，按照设定规则确定热点URL，将访问热点URL的用户访问请求添加热点标签后得到热点URL日志数据，将热点URL日志数据推送至分布式发布系统。
CDN服务器若检测到用户访问请求中有超过预设比例阈值的访问请求访问同一个URL时，或访问一个URL的访问资源量达到预设的资源量阈值时，确定该URL为热点URL；将访问所述热点URL的用户访问请求添加热点标签后存储到热点日志文件中，将非热点URL存储到非热点日志文件中，以及使用配置的目的地址和路径将热点日志文件中的热点URL日志数据推送至分布式发布系统。
步骤S102：日志分析系统从分布式发布系统获取热点URL日志数据并解析，提取选定的属性特征信息，生成用于展示的热点URL日志分析结果。
消费日志系统从分布式发布系统获取热点URL日志数据，解析出热点URL日志数据中的属性信息字段，并提取选定的属性特征信息，写入日志分析引擎中；日志分析引擎基于提取的属性特征信息对热点URL日志数据进行实时分析，生成用于展示的热点URL日志分析结果。生成用于展示的热点日志分析结果时，可以基于提取的属性特征信息确定热点URL日志数据包括的热点URL的热点类型，以及针对每个热点URL，将所涉及到的热点URL日志数据的属性特征信息进行分析处理，生成包括热点类型和热点URL日志属性特征信息的热点URL日志分析结果。
上述方法还包括将热点URL日志分析结果推送到可视化展示系统进行展示。
上述内容分发网络热点分析方法的一种具体实现流程如图4所示，包括如下步骤：
步骤S201：CDN服务器中的nginx模块实时检测用户访问请求。
步骤S202：判断用户访问请求中是否有超过预设比例阈值的访问请求访问同一个URL时，或访问一个URL的访问资源量是否达到预设的资源量阈值。若是执行步骤S204，否则执行步骤S203。
步骤S203：将判断为否的URL对应的用户访问请求写入非热点日志文件中。
步骤S204：将符合条件的URL确定为热点URL。
步骤S205：将访问热点URL的用户访问请求添加热点标签后存储到热点日志文件中。
上述步骤S201-S205实现热点的识别和热点日志的生成。
CDN服务器中的nginx模块可实现热点URL日志生成，其主要通过算法来确定用户访问请求访问的是否是热点URL，如果是热点URL就会写入到热点日志文件中，否则就写入到非热点日志文件中，这是热点日志数据传输展示的基础。
确定热点URL的算法主要是在nginx上开发的一个插件模块，此插件模块在nginx启动的时候就一直监测并计算用户的访问，算法逻辑可以根据需要设置，其目的就是为了确定出符合条件的热点URL。例如一种可能的算法逻辑可以是这样的：如果1000个用户访问请求中有5％的访问请求是访问同一个URL的或者一个URL占用的资源大小超过1G，那么会将此批用户访问请求对应的URL确定为热点，同时将识别为热点的URL打上热点标签将对应访问请求相关的信息写入到热点日志文件中，没有被识别为热点的URL对应的访问请求相关的信息将写入到非热点日志文件中。
详细的算法逻辑为：nginx启动时热点模块插件也启动，第一种基于用户访问请求所占的比例来定位热点URL的详细过程是从接收到第一个用户访问请求开始，从1开始累加，1000个访问请求秒级或者分钟级就已经达到了，如果这1000个访问请求中有5％是访问是同一个URL的，此时就会将这些访问请求及其对应的URL标记为热点，热点事件通常都是并发非常高，所以同时过来的用户访问请求也非常多，热点算法很快就可以定位到热点URL。第二种基于资源占用量来定位热点URL的详细过程是对用户的请求过程和占比并不关心，关心的是用户访问的资源大小，如果请求的资源大小大于等于1G，那么将会把此访问请求对应的URL识别为热点URL。被标记为热点的URL对应的访问请求都会写入到热点日志文件中，其余的访问请求将写入到非热点日志文件中。
上述热点URL日志生成方式具有如下特点：
1)快速的实时计算监测逻辑，上述热点算法以一个模块插件的方式嵌入到nginx中，将快速的接收到用户请求，并实时计算监测请求是否符合算法逻辑，同时热点日志也是实时生成。
2)热点算法逻辑全面清晰，上述热点算法逻辑不仅考虑到了访问次数，并且还考虑到了资源的大小，使得判断标准更加的全面清晰。
3)热点算法易维护，热点算法是以插件的形式编译到nginx中，开发成本低，无需维护额外的程序。
4)热点URL日志数据易传输，采用打标签的形式，将热点URL日志数据和非热点URL日志数据进行隔离，且落盘存储，为后面方便快捷的分析展示热点URL数据打了很好的基础。
步骤S206：CDN服务器上的filebeat模块将热点URL日志数据推送至分布式发布系统kafka。
步骤S207：消费日志工具logkit从分布式发布系统kafka中获取热点URL日志数据，对热点URL日志数据进行解析后，存入日志分析引擎es中。
步骤S208：日志分析引擎es对解析后的热点URL日志数据进行分析处理，生成热点URL日志分析结果，提供给可视化展示系统grafana。
步骤S209：可视化展示系统grafana对热点日志分析结果进行可视化展示。
上述步骤S206-S209实现热点的识别和热点URL日志数据的传输和展示。热点URL日志数据的传输展示主要是将生成的热点URL日志经过推送、消费解析、存储、展示的一个完成过程。
热点URL日志数据传输展示的详细过程如下：CDN服务器上部署好了filebeat软件，此软件中配置好了热点URL日志数据的路径和要发送的目的地kafka地址，filebeat启动后配置生效，kafka中将会接收到filebeat实时发送过来的热点URL日志数据，此时logkit也会实时的去消费kafka中的热点URL日志数据，然后进行字段的解析，热点URL日志数据中有些字段是需要的，有些字段是不需要的，所以只需要留下需要的数据字段就可以了，例如：域名、URL、资源大小、隶属于哪个互联网数据中心(Internet Data Center，IDC)机房等。解析完成之后将这些字段全部都写入es中。grafana直接配置好es的数据源，经过一系列页面的配置，就将热点数据展示好了。
上述热点日志传输展示的方法具有如下特点：
1)灵活的可视化配置。热点URL相关的数据均可在页面中选择并进行灵活配置，例如：如果是地域性的热点，可以通过搜索对应的IDC进行展示；如果是某个域名出现了热点事件，可以对该域名进行搜索找出热点URL；还可以按照请求数聚合排序、按照资源大小聚合排序等。
2)数据留存及可用性。所有的热点URL日志数据及解析后的字段数据均有落盘保存，数据异常或者网络异常等故障后均可以进行数据恢复，保证了数据的高可用性。
上述图3和图4所描述的方法流程，其相关内容已在系统部分进行描述的，在方法部分的描述中不再赘述。
本发明的上述内容分发网络热点分析方法和系统，具有如下特点：
1)热点URL定位准确。
通过开发nginx模块插件来实时计算用户的访问请求，从而来判断访问的URL是否是热点URL，突发热点事件后，nginx的热点模块插件会将符合算法的URL识别成热点URL，并同时写热点日志文件中，热点URL日志数据里面增加一个是否是热点的标识字段，此时CDN全网服务器上的热点URL日志数据会实时上报到es中进行分析，不会漏掉任何的日志分析，而不是人工抽样几台服务器来过滤日志来定位热点URL，使得热点URL点位准确。
2)热点URL定位及时。
突发热点事件后，CDN全网服务器上的热点URL日志数据已经全部上报到es中进行实时分析，热点URL日志数据已经全网CDN日志中的一少部分日志，相对来说数据量比较少，资源充足的情况下分析的非常快，使得热点URL定位很及时。
3)热点URL定位清晰。
突发热点事件后，CDN全网服务器上的热点URL日志数据已经全部上报到es中分析完毕且实时展示到grafana界面上，数据清晰明了，可分钟级定位热点URL所在。
4)热点URL增加展示界面。
使用grafana对接es的数据源来将数据友好的展示到界面上，增加了界面展示，使得展示信息更加直观。直观的可视化界面来展示热点URL的相关信息，这样可以增强可读性和用户体验性。
上述内容分发网络热点分析方法和系统，在CDN服务器中增加了热点URL算法来提前判断好热点URL，将判断的逻辑移至源头上；算法较为简单，开发成本低；基于nginx开发的模块插件，开发的功能不会影响其他功能。该方法在用户访问日志中增加了热点URL的标识，只推送热点URL的日志数据进行分析，大大减少传输和计算成本。其摒弃了传统分析CDN全量日志的方式，采用只分析有价值的热点URL日志，使得待分析的日志更清晰，自由度更高。
本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。
本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。
在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种内容分发网络热点分析系统，其特征在于，包括：内容分发网络CDN服务器、分布式发布系统和日志分析系统；
CDN服务器，用于实时检测用户访问请求，按照设定规则确定热点URL，将访问热点URL的用户访问请求添加热点标签后得到热点URL日志数据，将热点URL日志数据推送至分布式发布系统；
日志分析系统，用于从分布式发布系统获取热点URL日志数据并解析，提取选定的属性特征信息，生成用于展示的热点URL日志分析结果。
2.如权利要求1所述的系统，其特征在于，所述CDN服务器包括：
热点识别模块，用于实时检测内容分发网络CDN中的用户访问请求，若检测到用户访问请求中有超过预设比例阈值的访问请求访问同一个URL时，或访问一个URL的访问资源量达到预设的资源量阈值时，确定该URL为热点URL；
日志处理模块，用于将访问所述热点URL的用户访问请求添加热点标签后存储到热点日志文件中，将非热点URL存储到非热点日志文件中，以及使用配置的目的地址和路径将热点日志文件中的热点URL日志数据推送至分布式发布系统。
3.如权利要求1所述的系统，其特征在于，所述日志分析系统，包括消费日志系统和日志分析引擎；
消费日志系统，用于从分布式发布系统获取热点URL日志数据，解析出热点URL日志数据中的属性信息字段，并提取选定的属性特征信息，写入日志分析引擎中；
日志分析引擎，用于基于提取的属性特征信息对热点URL日志数据进行实时分析，生成用于展示的热点URL日志分析结果。
4.如权利要求3所述的系统，其特征在于，所述日志分析引擎，具体用于：
基于提取的属性特征信息确定热点URL日志数据包括的热点URL的热点类型，以及针对每个热点URL，将所涉及到的热点URL日志数据的属性特征信息进行分析处理，生成包括每个热点URL对应的热点类型和属性特征信息的热点URL日志分析结果。
5.如权利要求1-4任一所述的系统，其特征在于，还包括：
可视化展示系统，用于展示所述热点URL日志分析结果。
6.一种内容分发网络热点分析方法，其特征在于，包括：
内容分发网络CDN服务器实时检测用户访问请求，按照设定规则确定热点URL，将访问热点URL的用户访问请求添加热点标签后得到热点URL日志数据，将热点URL日志数据推送至分布式发布系统；
日志分析系统从分布式发布系统获取热点URL日志数据并解析，提取选定的属性特征信息，生成用于展示的热点URL日志分析结果。
7.如权利要求6所述的方法，其特征在于，所述按照设定规则确定热点URL，将访问热点URL的用户访问请求添加热点标签后得到热点URL日志数据，将热点URL日志数据推送至分布式发布系统，具体包括：
若检测到用户访问请求中有超过预设比例阈值的访问请求访问同一个URL时，或访问一个URL的访问资源量达到预设的资源量阈值时，确定该URL为热点URL；
将访问所述热点URL的用户访问请求添加热点标签后存储到热点日志文件中，将非热点URL存储到非热点日志文件中，以及使用配置的目的地址和路径将热点日志文件中的热点URL日志数据推送至分布式发布系统。
8.如权利要求6所述的方法，其特征在于，所述日志分析系统从分布式发布系统获取热点URL日志数据并解析，提取选定的日志属性特征信息，生成用于展示的热点URL日志分析结果，包括：
消费日志系统从分布式发布系统获取热点URL日志数据，解析出热点URL日志数据中的属性信息字段，并提取选定的属性特征信息，写入日志分析引擎中；
日志分析引擎基于提取的属性特征信息对热点URL日志数据进行实时分析，生成用于展示的热点URL日志分析结果。
9.如权利要求8所述的方法，其特征在于，所述基于提取的属性特征信息对热点URL日志数据进行实时分析，生成用于展示的热点URL日志分析结果，具体包括：
基于提取的属性特征信息确定热点URL日志数据包括的热点URL的热点类型，以及针对每个热点URL，将所涉及到的热点URL日志数据的属性特征信息进行分析处理，生成包括每个热点URL对应的热点类型和属性特征信息的热点URL日志分析结果。
10.如权利要求6-9任一所述的方法，其特征在于，还包括：
将热点URL日志分析结果推送到可视化展示系统进行展示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111294300.1A CN114221988B (zh) | 2021-11-03 | 2021-11-03 | 一种内容分发网络热点分析方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111294300.1A CN114221988B (zh) | 2021-11-03 | 2021-11-03 | 一种内容分发网络热点分析方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114221988A true CN114221988A (zh) | 2022-03-22 |
| CN114221988B CN114221988B (zh) | 2024-05-03 |
Family
ID=80696489
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111294300.1A Active CN114221988B (zh) | 2021-11-03 | 2021-11-03 | 一种内容分发网络热点分析方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114221988B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116599999A (zh) * | 2023-07-18 | 2023-08-15 | 中移(苏州)软件技术有限公司 | 预测cdn用户的实时用量数据的方法、装置及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103324637A (zh) * | 2012-03-23 | 2013-09-25 | 腾讯科技（深圳）有限公司 | 一种热点信息挖掘方法和系统 |
| US20150242431A1 (en) * | 2014-02-25 | 2015-08-27 | Ca, Inc. | Computer system log file analysis based on field type identification |
| CN107229556A (zh) * | 2017-06-09 | 2017-10-03 | 环球智达科技（北京）有限公司 | 基于elastic组件的日志分析系统 |
| CN111090625A (zh) * | 2019-10-12 | 2020-05-01 | 苏州浪潮智能科技有限公司 | 一种压缩管理日志的方法、设备及介质 |
-
2021
- 2021-11-03 CN CN202111294300.1A patent/CN114221988B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103324637A (zh) * | 2012-03-23 | 2013-09-25 | 腾讯科技（深圳）有限公司 | 一种热点信息挖掘方法和系统 |
| US20150242431A1 (en) * | 2014-02-25 | 2015-08-27 | Ca, Inc. | Computer system log file analysis based on field type identification |
| CN107229556A (zh) * | 2017-06-09 | 2017-10-03 | 环球智达科技（北京）有限公司 | 基于elastic组件的日志分析系统 |
| CN111090625A (zh) * | 2019-10-12 | 2020-05-01 | 苏州浪潮智能科技有限公司 | 一种压缩管理日志的方法、设备及介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116599999A (zh) * | 2023-07-18 | 2023-08-15 | 中移(苏州)软件技术有限公司 | 预测cdn用户的实时用量数据的方法、装置及设备 |
| CN116599999B (zh) * | 2023-07-18 | 2023-10-10 | 中移(苏州)软件技术有限公司 | 预测cdn用户的实时用量数据的方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114221988B (zh) | 2024-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110275958B (zh) | 网站信息识别方法、装置和电子设备 | |
| CN108737535B (zh) | 一种消息推送方法、存储介质和服务器 | |
| CN106528154B (zh) | 一种在线选座的方法、系统及设备 | |
| CN107784205B (zh) | 一种用户产品审核的方法、装置、服务器和存储介质 | |
| CN113872691B (zh) | 光缆自动监测管理系统、方法、计算机设备及存储介质 | |
| CN109710439B (zh) | 故障处理方法和装置 | |
| US20190372878A1 (en) | Web site reachability management for content browsing | |
| CN112269713B (zh) | 一种程序运行状态的获取方法、装置、设备及存储介质 | |
| CN110533456A (zh) | 一种优惠券信息推送方法、系统及服务器 | |
| CN111355628B (zh) | 一种模型训练方法、业务识别方法、装置和电子装置 | |
| CN114221988B (zh) | 一种内容分发网络热点分析方法和系统 | |
| CN116015842A (zh) | 一种基于用户访问行为的网络攻击检测方法 | |
| CN114629929A (zh) | 一种日志记录方法、装置及系统 | |
| CN111126071A (zh) | 提问文本数据的确定方法、装置和客服群的数据处理方法 | |
| CN106649875B (zh) | 舆情大数据的可视化系统 | |
| CN107766224B (zh) | 测试方法和测试装置 | |
| CN104461847B (zh) | 数据处理程序检测方法及装置 | |
| CN111061977A (zh) | 网站的更新方法、装置及系统 | |
| CN109791563A (zh) | 信息收集系统、信息收集方法和记录介质 | |
| CN110110197B (zh) | 信息获取方法和装置 | |
| CN116545701A (zh) | Http报文规则匹配方法、系统、设备及介质 | |
| US20130179569A1 (en) | Systems and methods for gateway status information handling | |
| CN112052368B (zh) | 自动提取列表数据的方法、系统、存储介质及电子设备 | |
| CN108920589B (zh) | 浏览劫持识别方法、装置、服务器及存储介质 | |
| CN112130944A (zh) | 页面异常的检测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230419 Address after: Room 501-502, 5/F, Sina Headquarters Scientific Research Building, Block N-1 and N-2, Zhongguancun Software Park, Dongbei Wangxi Road, Haidian District, Beijing, 100193 Applicant after: Sina Technology (China) Co.,Ltd. Address before: 100193 7th floor, scientific research building, Sina headquarters, plot n-1, n-2, Zhongguancun Software Park, Dongbei Wangxi Road, Haidian District, Beijing, 100193 Applicant before: Sina.com Technology (China) Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |