CN117353962A - 访问日志分析方法和系统、电子设备、可读介质 - Google Patents
访问日志分析方法和系统、电子设备、可读介质 Download PDFInfo
- Publication number
- CN117353962A CN117353962A CN202210754692.3A CN202210754692A CN117353962A CN 117353962 A CN117353962 A CN 117353962A CN 202210754692 A CN202210754692 A CN 202210754692A CN 117353962 A CN117353962 A CN 117353962A
- Authority
- CN
- China
- Prior art keywords
- access log
- content distribution
- operation result
- control signal
- statistics operation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 45
- 230000002776 aggregation Effects 0.000 claims abstract description 44
- 238000004220 aggregation Methods 0.000 claims abstract description 44
- 230000001133 acceleration Effects 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 16
- 230000006399 behavior Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000007726 management method Methods 0.000 description 35
- 238000005516 engineering process Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请提供了一种访问日志分析方法和系统、电子设备、计算机可读介质，访问日志分析方法包括：接收内容分发网络设备组上传的用户访问日志文件；对所述用户访问日志文件进行聚合统计运算得到的聚合统计运算结果；根据所述聚合统计运算结果向内容分发管理系统发送控制信号；所述控制信号用于指示所述内容分发管理系统对加速内容资源的管理策略和所述内容分发网络设备组中的目标内容分发网络设备的缓存策略中的至少一个进行调整。
Description
技术领域
本申请实施例涉及大数据技术领域，特别涉及访问日志分析方法和系统、电子设备、计算机可读介质。
背景技术
随着网络通信技术进步和上网用户数量的增长，内容分发网络(CDN，ContentDelivery Network)技术也取得了迅猛的发展，其旨在将请求的内容资源分发下沉到距离用户较近的节点服务器上，从而减轻源站上下行网络带宽压力，提高用户获取资源的速度。为此，CDN服务提供商在全国乃至全球范围内部署了大量的节点服务器，用来为不同内容提供商(CP，Content Provider)提供加速技术服务。由于加速资源的数量非常庞大、资源种类尤为丰富，上网用户访问喜好分地域、分时段存在差异等因素，随之也带来了加速内容资源管理困难的问题。
发明内容
本申请实施例提供一种访问日志分析方法和系统、电子设备、计算机可读介质。
第一方面，本申请实施例提供一种访问日志分析方法，该方法包括：接收内容分发网络设备组上传的用户访问日志文件；对所述用户访问日志文件进行聚合统计运算得到的聚合统计运算结果；根据所述聚合统计运算结果向内容分发管理系统发送控制信号；所述控制信号用于指示所述内容分发管理系统对加速内容资源的管理策略和所述内容分发网络设备组中的目标内容分发网络设备的缓存策略中的至少一个进行调整。
第二方面，本申请实施例提供一种访问日志分析系统，包括：日志文件获取模块，用于接收内容分发网络设备组上传的用户访问日志文件；日志文件数据处理模块，用于对所述用户访问日志文件进行聚合统计运算得到的聚合统计运算结果；控制模块，用于根据所述聚合统计运算结果向内容分发管理系统发送控制信号；所述控制信号用于指示所述内容分发管理系统对加速内容资源的管理策略和所述内容分发网络设备组中的目标内容分发网络设备的缓存策略中的至少一个进行调整。
第三方面，本申请实施例提供一种电子设备，包括：至少一个处理器；存储器，存储器上存储有至少一个程序，当所述至少一个程序被所述至少一个处理器执行时，实现上述任意一种访问日志分析方法。
第四方面，本申请实施例提供一种计算机可读介质，计算机可读介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种访问日志分析方法。
本申请实施例提供的访问日志分析方法，基于对CDN设备组上传的加速内容资源用户访问记录对进行聚合统计运算得到的聚合统计运算结果向内容分发管理系统发送控制信号，控制信号用于指示内容分发管理系统对加速内容资源的管理策略和内容分发网络设备组中的目标内容分发网络设备的缓存策略中的至少一个进行调整，简单的实现了对加速内容资源的自动管理。
附图说明
图1为本申请一个实施例提供的访问日志分析方法的流程图；
图2为本申请另一个实施例提供的访问日志分析系统的组成框图。
具体实施方式
为使本领域的技术人员更好地理解本申请的技术方案，下面结合附图对本申请提供的访问日志分析方法和系统、电子设备、计算机可读介质进行详细描述。
在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本申请透彻和完整，并将使本领域技术人员充分理解本申请的范围。
在不冲突的情况下，本申请各实施例及实施例中的各特征可相互组合。
如本文所使用的，术语“和/或”包括至少一个相关列举条目的任何和所有组合。
本文所使用的术语仅用于描述特定实施例，且不意欲限制本申请。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加至少一个其它特征、整体、步骤、操作、元件、组件和/或其群组。
除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本申请的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
图1为本申请一个实施例提供的访问日志分析方法的流程图。
第一方面，参照图1，本申请一个实施例提供一种访问日志分析方法，该方法包括：
步骤100，接收CDN设备组上传的用户访问日志文件。
在一些示例性实施例中，CDN设备组包括一个或一个以上CDN设备。
步骤101，对所述用户访问日志文件进行聚合统计运算得到的聚合统计运算结果。
在一些示例性实施例中，CDN设备组上传的用户访问日志文件包括至少一个内容资源用户访问记录，每一个加速内容资源用户访问记录包括以下至少之一：第一加速内容资源用户信息、第一CDN设备的信息、第一加速内容资源访问信息和第一服务情况信息。
其中，第一加速内容资源用户信息用于标识加速内容资源用户的情况，第一加速内容资源用户信息包括以下至少之一：加速内容资源用户所使用的终端的互联网协议(IP，Internet Protocol)地址、终端类型和上网方式。其中，终端类型包括：移动终端、平板电脑、个人电脑等中的至少一个；上网方式包括：移动数据、无线保真(WIFI，WirelessFidelity)、热点等中的至少一个。
其中，第一CDN设备的信息用于标识CDN设备组中的CDN设备的情况，CDN设备的信息包括以下至少之一：CDN设备的IP地址、端口和所在区域。其中，端口是指提供加速内容资源的端口。
其中，第一加速内容资源访问信息用于标识用户请求加速内容资源的情况，第一加速内容资源访问信息包括以下至少之一：访问的域名信息、统一资源定位符(URL，Universal Resource Locator)、访问的域名所属的内容提供商(CP，Content Provider)的信息、访问开始时间、访问结束时间、访问流量信息。
其中，第一服务情况信息用于标识第一CDN设备的服务质量情况，第一服务情况信息包括以下至少之一：请求返回状态、回源类型和回源流量。其中，请求返回状态用于标识服务是否成功，回源类型包括：本地命中、节点回源和源站回源中的任意一个。
在一些示例性实施例中，CDN设备分布在各个省市，用于缓存视频或网站资源，为用户提供加速服务。其中，网站资源包括：文本(text)、图像(image)、应用(application)、视频(video)等类型的资源。
在一些示例性实施例中，对所述用户访问日志文件进行聚合统计运算得到的聚合统计运算结果包括：根据用户访问日志文件中的加速内容资源用户访问记录中的至少一个信息，对用户访问日志文件进行聚合统计运算得到聚合统计运算结果。
在一些示例性实施例中，根据用户访问日志文件中的加速内容资源用户访问记录中的至少一个信息，对用户访问日志文件进行聚合统计运算得到聚合统计运算结果包括：统计CDN设备所在的区域为目标区域，访问开始时间在目标时间段内的加速内容资源用户访问记录数量，以及访问流量信息总和。
那么聚合统计运算结果可以包括：第二CDN设备的信息、访问开始时间段，以及CDN设备所在的区域为目标区域，访问开始时间在目标时间段内的加速内容资源用户访问记录数量，以及访问流量信息总和；其中，第二CDN设备的信息包括：CDN设备所在的区域。
例如，统计CDN设备所在的区域为北京地区，访问开始时间在12:00-12:30期间的加速内容资源用户访问记录数量，以及访问流量信息之和，即为位于北京地区的CDN设备在12:00-12:30期间被请求访问的次数(假设为10万次)，以及请求流量总和(假设为10太字节(TB))。
那么聚合统计运算结果可以包括：第二CDN设备的信息、访问开始时间段，以及第一CDN设备所在的区域为北京地区，访问开始时间在12:00-12:30期间的加速内容资源用户访问记录数量，以及访问流量信息总和；其中，第二CDN设备的信息包括：CDN设备所在的区域。
在一些示例性实施例中，根据用户访问日志文件中的加速内容资源用户访问记录中的至少一个信息，对用户访问日志文件进行聚合统计运算得到聚合统计运算结果包括：统计访问的域名信息为目标域名的加速内容资源用户访问记录数量，以及访问流量信息总和；统计访问的域名信息为目标域名的加速内容资源用户访问记录中，请求返回状态为失败的加速内容资源用户访问记录数量；统计访问的域名信息为目标域名的加速内容资源用户访问记录中，回源类型为回源的加速内容资源用户访问记录数量，以及回源类型为回源的加速内容资源用户访问记录中的回源流量总和。
那么聚合统计运算结果可以包括：第二加速内容资源访问信息，目标域名被请求访问的次数，以及请求流量总和，请求失败的次数，回源次数，回源流量总和；其中，第二加速内容资源访问信息包括：访问的域名信息。
例如，统计访问的域名信息为腾讯某域名的加速内容资源用户访问记录数量，以及访问流量信息之和，即为腾讯某域名被请求访问的次数(假设为1000次)，以及请求流量总和(假设为20GB)；进一步可以统计访问的域名信息为腾讯某域名的加速内容资源用户访问记录中，请求返回状态为失败的加速内容资源用户访问记录数量，即为请求失败的次数(假设为10次)；统计访问的域名信息为腾讯某域名的加速内容资源用户访问记录中，回源类型为回源的加速内容资源用户访问记录数量，即为回源次数(假设为50次)，以及回源类型为回源的加速内容资源用户访问记录中的回源流量之和，即为回源流量总和(假设为1GB)。
那么聚合统计运算结果可以包括：第二加速内容资源访问信息，腾讯某域名被请求访问的次数，以及请求流量总和，请求失败的次数，回源次数，回源流量总和；其中，第二加速内容资源访问信息包括：访问的域名信息。
在一些示例性实施例中，对用户访问日志文件进行聚合统计运算得到聚合统计运算结果时，可以将任务拆分为多个部分交由执行器来进行分布式并行处理，以提高数据运算效率。
在一些示例性实施例中，对用户访问日志文件进行聚合统计运算得到聚合统计运算结果之前，该方法还包括：将用户访问日志文件存储到分布式文件存储系统中；相应的，对用户访问日志文件进行聚合统计运算得到聚合统计运算结果包括：从分布式文件存储系统中获取用户访问日志文件，对获得的用户访问日志文件进行聚合统计运算得到聚合统计运算结果。
在一些示例性实施例中，将用户访问日志文件存储到分布式文件存储系统中之前，该方法还包括：对用户访问日志文件进行预处理；其中，预处理后的用户访问日志文件满足分布式文件存储系统的存储格式；相应的，将用户访问日志文件存储到分布式文件存储系统中包括：将预处理后的用户访问日志文件存储到分布式文件存储系统中。
在一些示例性实施例中，预处理包括：信息抽取、格式转换和去除不可用的异常数据。
在一些示例性实施例中，分布式文件存储系统可以包括：由分布在不同的节点上的存储单元构成的存储系统，也就是说，至少一个节点上均部署有存储单元，所有的存储单元构成了分布式文件存储系统，供所有节点共享。
在一些示例性实施例中，分布式文件存储系统可以是Hadoop分布式文件存储系统，也可以是未来的其他分布式存储系统，也可以是目前已有的其他分布式文件存储系统。
在一些示例性实施例中，除了将用户访问日志文件存储到分布式文件存储系统中之外，还可以对用户访问日志文件进行复制备份，以提高分布式存储系统的容错性和可靠性，确保发生机器宕机或磁盘损坏的情况下数据不丢失。
步骤102，根据所述聚合统计运算结果向内容分发管理系统发送控制信号；所述控制信号用于指示所述内容分发管理系统对加速内容资源的管理策略和CDN设备组中的目标CDN设备的缓存策略中的至少一个进行调整。
在一些示例性实施例中，目标CDN设备可以是CDN设备组中的任意一个CDN设备。
在一些示例性实施例中，根据所述聚合统计运算结果向内容分发管理系统发送控制信号包括：基于所述聚合统计运算结果得到用户行为分析结果；基于所述用户行为分析结果得到所述控制信号；其中，所述控制信号用于指示所述内容分发管理系统对所述加速内容资源的管理策略进行调整。
在一些示例性实施例中，基于所述聚合统计运算结果得到用户行为分析结果包括：根据所述聚合统计运算结果计算第一目标域名的访问热度值。
在一些示例性实施例中，第一目标域名的访问热度值可以是第一目标域名在目标区域和目标时间段的访问热度值。
在一些示例性实施例中，第一目标域名的访问热度值可以是第一目标域名在目标区域的访问热度值。
在一些示例性实施例中，第一目标域名的访问热度值可以是第一目标域名在目标时间段的访问热度值。
在一些示例性实施例中，对加速内容资源的管理策略进行调整可以是增加或减少位于目标区域的为第一目标域名提供加速服务的CDN设备的数量。
在一些示例性实施例中，对加速内容资源的管理策略进行调整可以是增加或减少在目标时间段内为第一目标域名提供加速服务的CDN设备的数量。
在一些示例性实施例中，对加速内容资源的管理策略进行调整可以是增加或减少在目标时间段内位于目标区域的为第一目标域名提供加速服务的CDN设备的数量。
在一些示例性实施例中，根据所述聚合统计运算结果向内容分发管理系统发送控制信号包括：基于所述聚合统计运算结果按预设策略进行处理得到告警信息；基于对所述告警信息进行分析判断得到所述控制信号；其中，所述控制信号用于指示所述内容分发管理系统对加速内容资源的管理策略和所述内容分发网络设备组中的目标内容分发网络设备的缓存策略中的至少一个进行调整。
在一些示例性实施例中，对目标CDN设备的缓存策略进行调整可以是增加或减少目标CDN设备对目标域名的缓存时间。
在一些示例性实施例中，基于所述聚合统计运算结果按预设策略进行处理得到告警信息包括：根据所述聚合统计运算结果判断第二目标域名是否具有加速权限；在所述第二目标域名不具有加速权限的情况下，生成所述告警信息。
在一些示例性实施例中，基于聚合统计运算结果按预设策略进行处理得到告警信息包括：在根据聚合统计运算结果判断出加速内容资源的访问过程中存在异常情况的情况下，生成异常情况对应的告警信息。
在一些示例性实施例中，聚合统计运算结果包括：第二加速内容资源访问信息，第二加速内容资源访问信息包括：访问的域名信息；相应的，根据聚合统计运算结果判断出加速内容资源的访问过程中存在异常情况包括：判断出访问的域名信息对应的域名(例如上述第二目标域名)没有加速权限；相应的，控制信号用于指示内容分发管理系统禁止为访问的域名信息对应的域名提供加速服务，以及删除目标CDN设备中访问的域名信息对应的域名的加速内容资源。
在一些示例性实施例中，判断出访问的域名信息对应的域名没有加速权限包括：在有加速权限的域名白名单中查找不到访问的域名信息。
在一些示例性实施例中，聚合统计运算结果包括：第二服务情况信息；相应的，根据聚合统计运算结果判断出加速内容资源的访问过程中存在异常情况包括：根据第二服务情况信息判断出加速内容资源的服务质量低于目标服务质量；或者，根据第二服务情况信息判断出加速内容资源的服务成功率小于预设阈值。
在一些示例性实施例中，聚合统计运算结果包括：第二加速内容资源访问信息和第二服务情况信息；其中，第二服务情况信息包括：目标域名被请求流量总和，回源流量总和；第二加速内容资源访问信息包括：访问的域名信息；相应的，根据第二服务情况信息判断出加速内容资源的服务质量低于目标服务质量包括：根据目标域名被请求流量总和和回源流量总和计算目标域名的服务质量，判断出目标域名的服务质量低于目标服务质量。
在一些示例性实施例中，聚合统计运算结果包括：第二加速内容资源访问信息和第二服务情况信息；其中，第二服务情况信息包括：目标域名被请求访问的次数，请求失败的次数；第二加速内容资源访问信息包括：访问的域名信息；相应的，根据第二服务情况信息判断出加速内容资源的服务成功率小于预设阈值包括：根据目标域名被请求访问的次数和请求失败的次数计算目标域名的服务成功率，判断出目标域名的服务成功率小于预设阈值。
在一些示例性实施例中，根据目标域名被请求访问的次数和请求失败的次数计算目标域名的服务成功率包括：确定目标域名的服务成功率为目标域名被请求访问的次数和请求失败的次数的差值与被请求访问的次数的比值。
在一些示例性实施例中，聚合统计运算结果包括：第二加速内容资源访问信息，第二加速内容资源访问信息包括：访问的域名信息；根据聚合统计运算结果向内容分发管理系统发送控制信号包括：根据聚合统计运算结果计算访问的域名信息对应的域名的访问热度值，根据访问的域名信息对应的域名的访问热度值向内容分发管理系统发送控制信号。
在一些示例性实施例中，在访问的域名信息对应的域名的访问热度值大于热度值门限，且变大的情况下，控制信号用于指示目标CDN设备增加访问的域名信息对应的域名的加速内容资源的缓存时间；在访问的域名信息对应的域名的访问热度值大于热度值门限，且变小的情况下，控制信号用于指示目标CDN设备减少访问的域名信息对应的域名的加速内容资源的缓存时间。
在一些示例性实施例中，访问的域名信息对应的域名的访问热度值可以根据访问的域名信息对应的域名的加速内容资源被访问的次数确定。
本申请实施例通过对缓存策略的调整可以提高硬件资源的使用率，减少硬件资源浪费。
在一些示例性实施例中，该方法还包括：将聚合统计运算结果显示在网站门户上。
在一些示例性实施例中，该方法还包括：将告警信息显示在网站门户上。
本申请实施例提供的访问日志分析方法，基于对CDN设备组上传的用户访问日志文件进行聚合统计运算得到的聚合统计运算结果向内容分发管理系统发送控制信号，控制信号用于指示内容分发管理系统对加速内容资源的管理策略和内容分发网络设备组中的目标内容分发网络设备的缓存策略中的至少一个进行调整，简单的实现了对加速内容资源的自动管理。
第二方面，本申请另一个实施例提供一种电子设备，包括：至少一个处理器；存储器，存储器上存储有至少一个程序，当至少一个程序被至少一个处理器执行时，实现上述任意一种访问日志分析方法。
其中，处理器为具有数据处理能力的器件，其包括但不限于中央处理器(CPU)等；存储器为具有数据存储能力的器件，其包括但不限于随机存取存储器(RAM，更具体如SDRAM、DDR等)、只读存储器(ROM)、带电可擦可编程只读存储器(EEPROM)、闪存(FLASH)。
在一些实施例中，处理器、存储器通过总线相互连接，进而与计算设备的其它组件连接。
第三方面，本申请另一个实施例提供一种计算机可读介质，计算机可读介质上存储有计算机程序，计算机程序被处理器执行时实现上述任意一种访问日志分析方法。
图2为本申请另一个实施例提供的访问日志分析系统的组成框图。
第四方面，参照图2，本申请另一个实施例提供一种访问日志分析系统，包括：日志文件获取模块201，用于接收内容分发网络设备组上传的用户访问日志文件；日志文件数据处理模块202，用于对所述用户访问日志文件进行聚合统计运算得到的聚合统计运算结果；控制模块203，用于根据所述聚合统计运算结果向内容分发管理系统发送控制信号；所述控制信号用于指示所述内容分发管理系统对加速内容资源的管理策略和所述内容分发网络设备组中的目标内容分发网络设备的缓存策略中的至少一个进行调整。
在一些示例性实施例中，还包括：告警模块204，用于基于所述聚合统计运算结果按预设策略进行处理得到告警信息；所述控制模块203具体用于：基于对所述告警信息进行分析判断得到所述控制信号；其中，所述控制信号用于指示所述内容分发管理系统对加速内容资源的管理策略和所述内容分发网络设备组中的目标内容分发网络设备的缓存策略中的至少一个进行调整。
在一些示例性实施例中，还包括：日志生成与传输模块205，设置在所述内容分发网络设备组中的内容分发网络设备上，用于生成所述用户访问日志文件；发送所述用户访问日志文件至日志文件获取模块201。
在一些示例性实施例中，还包括：服务器206，用于接收CDN设备中的日志生成与传输模块205发送的服务获取请求，将可用的节点的地址信息返回给CDN设备的日志生成与传输模块205，以供CDN设备的日志生成与传输模块205上传用户访问日志文件。
上述访问日志分析系统的具体实现过程与前述实施例访问日志分析方法的具体实现过程相同，这里不再赘述。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储器、或者可以用于存储期望的信息并且可以被计算机访问的任何其它的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其它传输机制之类的调制数据信号中的其它数据，并且可包括任何信息递送介质。
本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其它实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本申请的范围的情况下，可进行各种形式和细节上的改变。
Claims (12)
1.一种访问日志分析方法，该方法包括：
接收内容分发网络设备组上传的用户访问日志文件；
对所述用户访问日志文件进行聚合统计运算得到的聚合统计运算结果；
根据所述聚合统计运算结果向内容分发管理系统发送控制信号；所述控制信号用于指示所述内容分发管理系统对加速内容资源的管理策略和所述内容分发网络设备组中的目标内容分发网络设备的缓存策略中的至少一个进行调整。
2.根据权利要求1所述的访问日志分析方法，其中，所述根据所述聚合统计运算结果向内容分发管理系统发送控制信号包括：
基于所述聚合统计运算结果得到用户行为分析结果；
基于所述用户行为分析结果得到所述控制信号；其中，所述控制信号用于指示所述内容分发管理系统对所述加速内容资源的管理策略进行调整。
3.根据权利要求2所述的访问日志分析方法，其中，所述基于所述聚合统计运算结果得到用户行为分析结果包括：
根据所述聚合统计运算结果计算第一目标域名的访问热度值。
4.根据权利要求1所述的访问日志分析方法，其中，所述根据所述聚合统计运算结果向内容分发管理系统发送控制信号包括：
基于所述聚合统计运算结果按预设策略进行处理得到告警信息；
基于对所述告警信息进行分析判断得到所述控制信号；其中，所述控制信号用于指示所述内容分发管理系统对加速内容资源的管理策略和所述内容分发网络设备组中的目标内容分发网络设备的缓存策略中的至少一个进行调整。
5.根据权利要求4所述的访问日志分析方法，其中，所述基于所述聚合统计运算结果按预设策略进行处理得到告警信息包括：
根据所述聚合统计运算结果判断第二目标域名是否具有加速权限；
在所述第二目标域名不具有加速权限的情况下，生成所述告警信息。
6.根据权利要求1所述的访问日志分析方法，所述对所述用户访问日志文件进行聚合统计运算得到的聚合统计运算结果后，该方法还包括：
将所述聚合统计运算结果显示在网站门户上。
7.根据权利要求1所述的访问日志分析方法，所述对所述用户访问日志文件进行聚合统计运算得到的聚合统计运算结果之前，该方法还包括：
对所述用户访问日志文件进行预处理；其中，预处理后的用户访问日志文件满足分布式文件存储系统的存储格式。
8.一种访问日志分析系统，包括：
日志文件获取模块，用于接收内容分发网络设备组上传的用户访问日志文件；
日志文件数据处理模块，用于对所述用户访问日志文件进行聚合统计运算得到的聚合统计运算结果；
控制模块，用于根据所述聚合统计运算结果向内容分发管理系统发送控制信号；所述控制信号用于指示所述内容分发管理系统对加速内容资源的管理策略和所述内容分发网络设备组中的目标内容分发网络设备的缓存策略中的至少一个进行调整。
9.根据权利要求8所述的访问日志分析系统，还包括：
告警模块，用于基于所述聚合统计运算结果按预设策略进行处理得到告警信息；
所述控制模块具体用于：基于对所述告警信息进行分析判断得到所述控制信号；其中，所述控制信号用于指示所述内容分发管理系统对加速内容资源的管理策略和所述内容分发网络设备组中的目标内容分发网络设备的缓存策略中的至少一个进行调整。
10.根据权利要求8所述的访问日志分析系统，还包括：
日志生成与传输模块，设置在所述内容分发网络设备组中的内容分发网络设备上，用于生成所述用户访问日志文件；发送所述用户访问日志文件至所述日志文件获取模块。
11.一种电子设备，包括：
至少一个处理器；
存储器，所述存储器上存储有至少一个程序，当所述至少一个程序被所述至少一个处理器执行时，实现权利要求1-7任意一项所述的访问日志分析方法。
12.一种计算机可读介质，所述计算机可读介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任意一项所述的访问日志分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210754692.3A CN117353962A (zh) | 2022-06-29 | 2022-06-29 | 访问日志分析方法和系统、电子设备、可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210754692.3A CN117353962A (zh) | 2022-06-29 | 2022-06-29 | 访问日志分析方法和系统、电子设备、可读介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117353962A true CN117353962A (zh) | 2024-01-05 |
Family
ID=89363803
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210754692.3A Pending CN117353962A (zh) | 2022-06-29 | 2022-06-29 | 访问日志分析方法和系统、电子设备、可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117353962A (zh) |
-
2022
- 2022-06-29 CN CN202210754692.3A patent/CN117353962A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8972326B2 (en) | System and method for global load balancing of requests for content based on membership status of a user with one or more subscription services | |
| US8533293B1 (en) | Client side cache management | |
| US20150237113A1 (en) | Method and system for file transmission | |
| CN112087644B (zh) | 拉流请求处理方法、装置、系统、电子设备和存储介质 | |
| US20130346552A1 (en) | Download method, system, and device for mobile terminal | |
| CN112513830A (zh) | 内容分发网络中的回源方法及相关装置 | |
| US20150215187A1 (en) | Data Services in a Computer System | |
| CN108259207B (zh) | 流量统计方法、客户端、服务器及系统 | |
| CN110417595B (zh) | 业务服务容灾方法、装置、系统、管理服务器及电子设备 | |
| CN110838932A (zh) | 网络限流方法、装置以及电子设备 | |
| CN110830565A (zh) | 资源下载方法、装置、系统、电子设备及存储介质 | |
| KR20130135585A (ko) | 컨텐츠 캐싱 서비스 제공 방법 및 이를 위한 로컬 캐싱 장치 | |
| CN107580021A (zh) | 一种文件传输的方法和装置 | |
| CN109873855A (zh) | 一种基于区块链网络的资源获取方法和系统 | |
| WO2020082073A1 (en) | Distributed state recovery in a system having dynamic reconfiguration of participating nodes | |
| EP3579526A1 (en) | Resource file feedback method and apparatus | |
| WO2017096886A1 (zh) | 内容推送的方法、装置以及系统 | |
| CN112019604A (zh) | 边缘数据传输方法和系统 | |
| CN117353962A (zh) | 访问日志分析方法和系统、电子设备、可读介质 | |
| CN115665262A (zh) | 一种请求处理方法、装置、电子设备及存储介质 | |
| CN112131198B (zh) | 一种日志分析方法、装置及电子设备 | |
| CN114915656A (zh) | 一种车联网终端接入方法、装置、存储介质及电子设备 | |
| CN108306859B (zh) | 限制服务器访问量的方法、设备及计算机可读存储介质 | |
| KR102169717B1 (ko) | 컨텐츠 캐싱 방법 및 이를 위한 캐시 장치 | |
| CN113438494A (zh) | 数据处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |