CN113766650A - 基于动态平衡的互联网资源获取方法及系统 - Google Patents

基于动态平衡的互联网资源获取方法及系统 Download PDF

Info

Publication number
CN113766650A
CN113766650A CN202110989779.4A CN202110989779A CN113766650A CN 113766650 A CN113766650 A CN 113766650A CN 202110989779 A CN202110989779 A CN 202110989779A CN 113766650 A CN113766650 A CN 113766650A
Authority
CN
China
Prior art keywords
server
preset time
time period
source
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110989779.4A
Other languages
English (en)
Other versions
CN113766650B (zh
Inventor
唐晖
谢正强
陈宏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Tiandi Tongkuan Technology Co ltd
Original Assignee
Wuhan Tiandi Tongkuan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Tiandi Tongkuan Technology Co ltd filed Critical Wuhan Tiandi Tongkuan Technology Co ltd
Priority to CN202110989779.4A priority Critical patent/CN113766650B/zh
Publication of CN113766650A publication Critical patent/CN113766650A/zh
Application granted granted Critical
Publication of CN113766650B publication Critical patent/CN113766650B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/50—Allocation or scheduling criteria for wireless resources
    • H04W72/53—Allocation or scheduling criteria for wireless resources based on regulatory allocation policies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Telephonic Communication Services (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请涉及一种基于动态平衡的互联网资源获取方法及系统，其方法包括：监控服务器获取资源获取请求，若检测到待获取的该资源未缓存于缓存服务器中，将该请求发送到热度统计服务器；热度统计服务器获取服务器地址并计算其所属的运营商出口，获取该出口对于互联网资源的热度统计值，若热度统计值达到当前热度阈值，将该任务发送到缓存服务器；缓存服务器根据该任务下载互联网资源，并将该任务信息发送到管理服务器；管理服务器根据回源地址计算出其运营商出口，每间隔预设时间段根据用户占比和回源占比确定该出口的热度阈值修正值，热度统计服务器根据热度阈值修正值调整该出口的当前热度阈值。本申请具有实现运营商出口带宽的最优化利用的效果。

Description

基于动态平衡的互联网资源获取方法及系统
技术领域
本申请涉及互联网技术领域，尤其是涉及一种基于动态平衡的互联网资源获取方法及系统。
背景技术
随着互联网的发展，用户数和访问量越来越大，应用服务器和数据库服务器的计算量也越来越多。而服务器资源以及能接受的请求次数都是有限的，因此，为了提供尽可能大的吞吐量，互联网缓存系统应用而生。
互联网缓存系统与宽带运营商的出口相连，可以从缓存中直接获取互联网资源并返回用户，对于未缓存的互联网资源，则向源站抓取并返回用户。
但是，互联网缓存系统的回源和用户访问往往使用同样的出口，因此如果超过固定带宽一般会对回源进行强制限速，导致下载队列出现排队，影响用户访问互联网的体验；而为了要提高用户体验，往往会购买出口带宽，增加出口成本。
发明内容
为了实现运营商出口带宽的最优化利用，本申请提供一种基于动态平衡的 互联网资源获取方法及系统。
第一方面，本申请提供一种基于动态平衡的互联网资源获取方法，采用如下的技术方案：
一种基于动态平衡的互联网资源获取方法，包括：
监控服务器监控运营商出口流量，获取包含服务器地址的资源获取请求，若检测到待获取的互联网资源未缓存于缓存服务器中，则将所述资源获取请求发送到热度统计服务器；
所述热度统计服务器获取所述服务器地址，计算所述服务器地址所属的运营商出口，获取所述运营商出口对于所述互联网资源的热度统计值，若所述热度统计值达到当前热度阈值，则将包含下载地址和所述服务器地址的回源任务发送到所述缓存服务器；
所述缓存服务器根据所述回源任务下载所述互联网资源，并将回源任务信息发送到管理服务器，所述回源任务信息包括回源速率和所述回源地址；
所述管理服务器根据所述回源地址计算出所述回源地址所属的运营商出口，然后每间隔预设时间段根据所述运营商出口的用户占比、回源占比和最高速率确定所述运营商出口的热度阈值修正值，将所述热度阈值修正值发送到所述热度统计服务器；
所述热度统计服务器根据所述热度阈值修正值调整所述运营商出口的当前热度阈值。
通过采用上述技术方案，根据运营商出口的用户访问量、回源量以及最高速率对当前热度阈值进行动态调整，即得到合适的回源量，可以最大限度地利用运营商出口带宽，节约运营商出口带宽，以实现出口带宽的最优化利用；并且，在限制回源时，可以优先下载最热门的资源。
可选的，所述每间隔预设时间段根据所述出口的当前速率、回源速率和最高速率计算所述运营商出口的热度阈值修正值包括：
若与当前预设时间段相邻的第一预设时间段的回源占比与用户占比之和小于h1，则将所述热度阈值修正值设置为负数；
其中，h1的取值区间为[68%,72%]，所述第一预设时间段的回源占比f1=d1/b，所述第一预设时间段的用户占比g1=e1/b，b为所述运营商出口配置的最高速率，d1为所述第一预设时间段的所述运营商出口的回源速率，e1为所述第一预设时间段的用户速率，e1=c1-d1，c1为所述第一预设时间段的所述运营商出口的当前速率。
可选的，当所述第一预设时间段的所述回源占比与用户占比之和小于h1时，若回源占比小于h2，则将所述热度阈值修正值设置为第一负数，否则将所述热度阈值修正值设置为第二负数；
其中，h2的取值区间为[18%,22%]，所述第一负数的绝对值大于所述第二负数的绝对值。
可选的，所述每间隔预设时间段根据所述出口的当前速率、回源速率和最高速率计算所述运营商出口的热度阈值修正值包括：
若与当前预设时间段相邻的第一预设时间段的回源占比与用户占比之和大于h3，则将所述热度阈值修正值设置为正数；
其中，h3的取值区间为[93%,97%]，所述第一预设时间段的回源占比f1=d1/b，所述第一预设时间段的用户占比g1=e1/b，b为所述运营商出口配置的最高速率，d1为所述第一预设时间段的所述运营商出口的回源速率，e1为所述第一预设时间段的用户速率，e1=c1-d1，c1为所述第一预设时间段的所述运营商出口的当前速率。
可选的，当所述第一预设时间段的所述回源占比与用户占比之和小于h3时，若回源占比大于h4，则将所述热度阈值修正值设置为第一正数，否则将所述热度阈值修正值设置为第二正数；
其中，h4的取值区间为[48%,52%]，所述第一正数大于所述第二正数。
可选的，所述每间隔预设时间段根据所述出口的当前速率、回源速率和最高速率计算所述运营商出口的热度阈值修正值包括：
若与当前预设时间段相邻的第一预设时间段的回源占比与用户占比之和不小于h1且不大于h3，则分别获取与所述第一预设时间段依次相邻的第二预设时间段和第三预设时间段的回源占比和用户占比，其中，所述第二预设时间段、所述第三预设时间段的回源占比依次为f2=d2/b、f3=d3/b，用户占比依次为g2=e2/b、g3=e3/b，回源速率依次为d2、d3，用户速率依次为e2、e3，e2=c2-d2、e3=c3-d3，所述运营商出口的当前速率依次为c2、c3；
若f1+g1>f2+g2<f3+g3或者f1+g1<f2+g2>f3+g3，则将所述热度阈值修正值设置为零；
若f1+g1≤f2+g2≤f3+g3且f1+g1≤h5，则将所述热度阈值修正值设置为第三负数；
若f1+g1≤f2+g2≤f3+g3且f1+g1>h5，则将所述热度阈值修正值设置为零；
若f1+g1>f2+g2>f3+g3且g1/g2>h6且g2/g3>h6，则将所述热度阈值修正值设置为第三正数；
若f1+g1>f2+g2>f3+g3且h7<g1/g2≤h6且h7<g2/g3≤h6，则将所述热度阈值修正值设置为第四正数；
若f1+g1>f2+g2>f3+g3且f1+g1≥h5，则将所述热度阈值修正值设置为零；
若f1+g1>f2+g2>f3+g3且h8≤f1+g1<h5，则将所述热度阈值修正值设置为第四负数；
否则将所述热度阈值修正值设置为第五负数；
其中，h5、h6、h7和h8的取值区间依次为[88%,92%]、[108%,112%]、[103%,107%]、[78%,82%]；
其中，所述第一正数和第四正数均小于第三正数。
通过采用上述技术方案，根据用户访问量和回源量之间的关系实时调整当前热度阈值，在用户的下载热度未达到当前热度阈值之前，减小当前热度阈值，增加回源量，为用户提供更多下载服务；而在用户的下载热度开始升高之后，放弃下载热度较低的资源，只下载热度高的互联网资源，最大化地利用运营商出口带宽。
可选的，还包括：
若检测到所述待获取的互联网资源缓存于所述缓存服务器中，则所述监控服务器将所述资源获取请求重定向到所述缓存服务器，从所述缓存服务器获取所述互联网资源。
可选的，还包括：
在完成所述回源任务后，所述缓存服务器将缓存指示信息发送至所述监控服务器，所述缓存指示信息用于指示所述缓存服务器已缓存所述互联网资源。
通过采用上述技术方案，监控服务器自动更新缓存服务器的互联网资源下载信息，用户在发送资源获取请求时，监控服务器无需向缓存服务器请求，即可快速查询到缓存服务器中是否存在待获取的互联网资源。
第二方面，本申请提供一种基于动态平衡的互联网资源获取系统，采用如下的技术方案：
一种基于动态平衡的互联网资源获取系统，包括：监控服务器、热度统计服务器、缓存服务器和管理服务器；
监控服务器用于监控运营商出口流量，获取包含服务器地址的资源获取请求，若检测到待获取的互联网资源未缓存于缓存服务器中，则将所述资源获取请求发送到热度统计服务器；
所述热度统计服务器用于获取所述服务器地址，计算所述服务器地址所属的运营商出口，获取所述运营商出口对于所述互联网资源的热度统计值，若所述热度统计值达到当前热度阈值，则将包含下载地址和所述服务器地址的回源任务发送到所述缓存服务器；
所述缓存服务器用于根据所述回源任务下载所述互联网资源，并将回源任务信息发送到管理服务器，所述回源任务信息包括回源速率和所述回源地址；
所述管理服务器用于根据所述回源地址计算出所述回源地址所属的运营商出口，然后每间隔预设时间段根据所述运营商出口的用户占比、回源占比和最高速率确定所述运营商出口的热度阈值修正值，将所述热度阈值修正值发送到所述热度统计服务器；
所述热度统计服务器还用于根据所述热度阈值修正值调整所述运营商出口的当前热度阈值。
通过采用上述技术方案，根据运营商出口的用户访问量、回源量以及最高速率对当前热度阈值进行动态调整，即得到合适的回源量，可以最大限度地利用运营商出口带宽，节约运营商出口带宽，以实现出口带宽的最优化利用；并且，在限制回源时，可以优先下载最热门的资源。
附图说明
图1是本申请实施例的基于动态平衡的互联网资源获取系统的结构框图。
图2是本申请的实施例的一种应用于基于动态平衡的互联网资源获取系统的基于动态平衡的互联网资源获取方法的流程示意图。
具体实施方式
以下结合附图对本申请作进一步详细说明。
本具体实施例仅仅是对本申请的解释，其并不是对本申请的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面结合说明书附图对本申请实施例作进一步详细描述。
图1为本实施例提供的一种基于动态平衡的互联网资源获取系统的结构框图。
如图1所示，基于动态平衡的互联网资源获取系统包括监控服务器101、热度统计服务器102、缓存服务器103和管理服务器104。监控服务器101设置于运营商出口，并与热度统计服务器102相连接，热度统计服务器102分别与缓存服务器103和管理服务器104相连接，缓存服务器103分别与监控服务器102和管理服务器104连接。
监控服务器101采用旁路方式监控所有运营商出口流量，分析用户的协议请求类型，获取用户终端发送的包含服务器地址的资源获取请求，若检测到待获取的互联网资源未缓存于缓存服务器103中，则将资源获取请求发送到热度统计服务器102；若检测到待获取的互联网资源缓存于缓存服务器103中，则该资源获取请满足重定向请求的报文，则伪装服务器向用户终端发送重定向报文，使用户和内网的其他用户与缓存服务器103进行交换数据。
本实施例中，用户终端包括但不限于智能手机、平板电脑、PC机和台式机，对此本实施例不做具体限定。
热度统计服务器102用于获取服务器地址，计算服务器地址所属的运营商出口，获取服务器地址所属的运营商出口的热度统计值，若运营商出口的热度达到当前热度阈值，则将包含下载地址和服务器地址的回源任务发送到缓存服务器103。
对于本实施例中的热度统计值，当用户A获取互联网资源B时，监控服务器104检测到缓存服务器103中没有缓存互联网资源B，热度统计服务器102就记录互联网资源B的热度统计值为1，假如此时没有达到当前热度阈值，则先不去下载，等待；当有用户C获取互联网资源B时，热度统计服务器102记录互联网资源B的热度值变为2，直到记录的热度统计值达到当前热度阈值时，才去执行回源任务。
缓存服务器103用于根据回源任务下载互联网资源，并在缓存结束后将回源任务信息发送到管理服务器104，回源任务信息包括回源速率和回源地址。
管理服务器104用于根据回源地址计算出回源地址所属的运营商出口，然后每间隔预设时间段根据运营商出口的当前速率、回源速率和最高速率计算运营商出口的热度阈值修正值，将热度阈值修正值发送到热度统计服务器102，热度统计服务器102根据热度阈值修正值实时调整运营商出口的热度阈值。
图2为本实施例提供的一种应用于基于动态平衡的互联网资源获取系统的基于动态平衡的互联网资源获取方法的流程示意图。如图2所示，该方法的主要流程描述如下（步骤S201～S205）：
步骤S201，监控服务器101监控运营商出口流量，获取包含服务器地址的资源获取请求，若检测到待获取的互联网资源未缓存于缓存服务器102中，则将资源获取请求发送到热度统计服务器103；
若检测到待获取的互联网资源缓存于缓存服务器102中，则将资源获取请求重定向到缓存服务器102，从缓存服务器102获取互联网资源。
步骤S202，热度统计服务器103获取服务器地址，计算服务器地址所属的运营商出口，获取服务器地址所属的运营商出口的热度统计值，若运营商出口的热度达到当前热度阈值，则将包含下载地址和服务器地址的回源任务发送到缓存服务器102；
步骤S203，缓存服务器102根据回源任务下载互联网资源，并将回源任务信息发送到管理服务器104，回源任务信息包括回源速率和回源地址；
在完成回源任务后，缓存服务器103将缓存指示信息发送至监控服务器104。缓存指示信息是指缓存服务器根据回源任务下载互联网资源完成后产生的，其用于指示缓存服务器103已缓存互联网资源。
步骤S204，管理服务器104根据回源地址计算出回源地址所属的运营商出口，然后每间隔预设时间段根据运营商出口的用户占比、回源占比和最高速率运营商出口的热度阈值修正值，将热度阈值修正值发送到热度统计服务器102。
对于步骤S202中的当前热度阈值，需要根据用户访问量以及回源量之间的关系来对其进行动态修正，以得到最合适的当前热度阈值，使运营商出口宽带得到最优化的利用。
可选的，先通过运营商出口的当前速率回源速率和最高速率计算得到与当前预设时间段相邻的第一预设时间段的回源占比与用户占比之和，再根据计算结果所处的区间来对当前热度阈值进行相应修正。
其中，第一预设时间段的回源占比f1=d1/b，第一预设时间段的用户占比g1=e1/b，b为运营商出口配置的最高速率，d1为第一预设时间段的运营商出口的回源速率，d1通过管理服务器采集可得，e1为第一预设时间段的用户速率，e1=c1-d1，c1为第一预设时间段的运营商出口的当前速率，c1通过管理服务器采集可得。
下面分别以h1至h8作为区间临界值来对热度阈值修正值的取值进行具体说明。
（1）若f1+g1<h1，则将热度阈值修正值设置为负数；
其中，h1的取值区间为[68%,72%]，优选值为70%。
进一步地，还需要根据第一预设时间段的回源占比f1的大小，来对负数的绝对值进行进一步限定。
若f1<h2，则将热度阈值修正值设置为第一负数，否则将热度阈值修正值设置为第二负数。
其中，h2的取值区间为[18%,22%]，优选值为20%，第一负数的绝对值大于第二负数的绝对值，f1<h2时，回源占比低，可以进一步提高下载任务量，第一负数的优选值为-2，第二负数的优选值为-1。
（2）若f1+g1>h3，则将热度阈值修正值设置为正数；
其中，h3的取值区间为[93%,97%]，优选值为95%。
进一步地，还需要根据第一预设时间段的回源占比f1的大小，来对负数的绝对值进行进一步限定。
若f1>h4，则将热度阈值修正值设置为第一正数，否则将热度阈值修正值设置为第二正数。
其中，h4的取值区间为[48%,52%]，优选值为50%，第一正数大于第二正数。f1>h4时，回源占比较高，需要进一步降低回源，第一正数的优选值为2，第二正数的优选值为1。
（3）若h1≤f1+g1≤h3，则分别获取与第一预设时间段依次相邻的第二预设时间段和第三预设时间段的回源占比和用户占比，然后根据与第一预设时间段依次相邻的第二预设时间段和第三预设时间段的回源占比和用户占比。
本实施例中，第三预设时间段、第二预设时间段、第一预设时间段和当前预设时间段依次相邻。
其中，第二预设时间段、第三预设时间段的回源占比依次为f2=d2/b、f3=d3/b，用户占比依次为g2=e2/b、g3=e3/b，回源速率依次为d2、d3，用户速率依次为e2、e3，e2=c2-d2、e3=c3-d3，运营商出口的当前速率依次为c2、c3。
需要说明的是，第二预设时间段和、第三预设时间段的运营商出口的回源速率和当前速率的计算方式与第一预设时间段的运营商出口的回源速率和当前速率的计算方式相同，此处不再赘述。
Figure 384960DEST_PATH_IMAGE001
若f1+g1>f2+g2<f3+g3或者f1+g1<f2+g2>f3+g3，视为运营商的出口流量产生波 动，则将热度阈值修正值设置为零，暂时不对当前热度阈值进行修正。
Figure 871437DEST_PATH_IMAGE002
当f1+g1≤f2+g2≤f3+g3且f1+g1≤h5时，h5的取值区间为[88%,92%]，其中h5的 优选值为90%，运营商的出口流量下降，从而为服务更多用户，选择降低热度阈值，将热度阈 值修正值设置为第三负数，第三负数的优选值为-2。
Figure 880850DEST_PATH_IMAGE003
当f1+g1≤f2+g2≤f3+g3且f1+g1>h5时，运营商的出口流量下降，但仍然处于较 高状态，从而将热度阈值修正值设置为零，暂时不做调整。
Figure 541026DEST_PATH_IMAGE004
当f1+g1>f2+g2>f3+g3且g1/g2>h6且g2/g3>h6时，h6的取值区间为[108%, 112%]，其中h6的优选值为110%，当出现这种状况时，表示用户的资源获取请求突然到达高 峰期，未来用户占比将逐步提高，因此需要提前提高热度阈值，保证获取资源请求高的互联 网资源有限下载，从而将热度阈值修正值设置为第三正数，第三正数大于第一正数，第三正 数的优选值为4。
Figure 412030DEST_PATH_IMAGE005
当f1+g1>f2+g2>f3+g3且h7<g1/g2≤h6且h7<g2/g3≤h6时，h7的取值区间为 [103%,107%]，当出现这种状况时，表示用户的资源获取请求到达高峰期，因此需要提高热 度阈值，保证获取资源请求高的互联网资源有限下载，从而将热度阈值修正值设置为第四 正数，第四正数小于第三正数，第四正数的优选值为2。
Figure 267859DEST_PATH_IMAGE006
当1+g1>f2+g2>f3+g3且f1+g1≥h5，表示当前运营商的出口流量仍然处于运营 商的出口的最高速率范围之内，暂时不需要对热度阈值做出调整，从而将热度阈值修正值 设置为零。
Figure 120278DEST_PATH_IMAGE007
当f1+g1>f2+g2>f3+g3且h8≤f1+g1<h5时，运营商的出口流量平稳上升并且在 运营商的出口的最高速率范围之内，继续降低热度阈值为更多的用户提供服务，从而将热 度阈值修正值设置为第四负数，第四负数的优选值为-1。
当处于其他情况时，将热度阈值修正值设置为第五负数，第五负数的优选值为-1。
步骤S205，热度统计服务器102根据热度阈值修正值调整运营商出口的当前热度阈值。
本实施例中，根据运营商出口的用户访问量、回源量以及最高速率对当前热度阈值进行动态调整，即得到合适的回源量并且根据用户访问量和回源量之间的关系实时调整当前热度阈值，在用户的下载热度未达到当前热度阈值之前，减小当前热度阈值，增加回源量，为用户提供更多下载服务；而在用户的下载热度开始升高之后，放弃下载热度较低的资源，只下载热度高的互联网资源，可以最大限度地利用运营商出口带宽，节约运营商出口带宽，以实现出口带宽的最优化利用。运营商出口的热度阈值初始值与热度阈值修正值均需要根据实际需求进行配置。

Claims (9)

1.一种基于动态平衡的互联网资源获取方法，其特征在于，包括：
监控服务器监控运营商出口流量，获取包含服务器地址的资源获取请求，若检测到待获取的互联网资源未缓存于缓存服务器中，则将所述资源获取请求发送到热度统计服务器；
所述热度统计服务器获取所述服务器地址，计算所述服务器地址所属的运营商出口，获取所述运营商出口对于所述互联网资源的热度统计值，若所述热度统计值达到当前热度阈值，则将包含下载地址和所述服务器地址的回源任务发送到所述缓存服务器；
所述缓存服务器根据所述回源任务下载所述互联网资源，并将回源任务信息发送到管理服务器，所述回源任务信息包括回源速率和所述回源地址；
所述管理服务器根据所述回源地址计算出所述回源地址所属的运营商出口，然后每间隔预设时间段根据所述运营商出口的用户占比、回源占比和最高速率确定所述运营商出口的热度阈值修正值，将所述热度阈值修正值发送到所述热度统计服务器；
所述热度统计服务器根据所述热度阈值修正值调整所述运营商出口的当前热度阈值。
2.根据权利要求1所述的方法，其特征在于，所述每间隔预设时间段根据所述运营商出口的用户占比、回源占比和最高速率计算所述运营商出口的热度阈值修正值包括：
若与当前预设时间段相邻的第一预设时间段的回源占比与用户占比之和小于h1，则将所述热度阈值修正值设置为负数；
其中，h1的取值区间为[68%,72%]，所述第一预设时间段的回源占比f1=d1/b，所述第一预设时间段的用户占比g1=e1/b，b为所述运营商出口配置的最高速率，d1为所述第一预设时间段的所述运营商出口的回源速率，e1为所述第一预设时间段的用户速率，e1=c1-d1，c1为所述第一预设时间段的所述运营商出口的当前速率。
3.根据权利要求2所述的方法，其特征在于，当所述第一预设时间段的所述回源占比与用户占比之和小于h1时，若回源占比小于h2，则将所述热度阈值修正值设置为第一负数，否则将所述热度阈值修正值设置为第二负数；
其中，h2的取值区间为[18%,22%]，所述第一负数的绝对值大于所述第二负数的绝对值。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述每间隔预设时间段根据所述出口的当前速率、回源速率和最高速率计算所述运营商出口的热度阈值修正值包括：
若与当前预设时间段相邻的第一预设时间段的回源占比与用户占比之和大于h3，则将所述热度阈值修正值设置为正数；
其中，h3的取值区间为[93%,97%]，所述第一预设时间段的回源占比f1=d1/b，所述第一预设时间段的用户占比g1=e1/b，b为所述运营商出口配置的最高速率，d1为所述第一预设时间段的所述运营商出口的回源速率，e1为所述第一预设时间段的用户速率，e1=c1-d1，c1为所述第一预设时间段的所述运营商出口的当前速率。
5.根据权利要求4所述的方法，其特征在于，当所述第一预设时间段的所述回源占比与用户占比之和小于h3时，若回源占比大于h4，则将所述热度阈值修正值设置为第一正数，否则将所述热度阈值修正值设置为第二正数；
其中，h4的取值区间为[48%,52%]，所述第一正数大于所述第二正数。
6.根据权利要4所述的方法，其特征在于，所述每间隔预设时间段根据所述出口的当前速率、回源速率和最高速率计算所述运营商出口的热度阈值修正值包括：
若与当前预设时间段相邻的第一预设时间段的回源占比与用户占比之和不小于h1且不大于h3，则分别获取与所述第一预设时间段依次相邻的第二预设时间段和第三预设时间段的回源占比和用户占比，其中，所述第二预设时间段、所述第三预设时间段的回源占比依次为f2=d2/b、f3=d3/b，用户占比依次为g2=e2/b、g3=e3/b，回源速率依次为d2、d3，用户速率依次为e2、e3，e2=c2-d2、e3=c3-d3，所述运营商出口的当前速率依次为c2、c3；
若f1+g1>f2+g2<f3+g3或者f1+g1<f2+g2>f3+g3，则将所述热度阈值修正值设置为零；
若f1+g1≤f2+g2≤f3+g3且f1+g1≤h5，则将所述热度阈值修正值设置为第三负数；
若f1+g1≤f2+g2≤f3+g3且f1+g1>h5，则将所述热度阈值修正值设置为零；
若f1+g1>f2+g2>f3+g3且g1/g2>h6且g2/g3>h6，则将所述热度阈值修正值设置为第三正数；
若f1+g1>f2+g2>f3+g3且h7<g1/g2≤h6且h7<g2/g3≤h6，则将所述热度阈值修正值设置为第四正数；
若f1+g1>f2+g2>f3+g3且f1+g1≥h5，则将所述热度阈值修正值设置为零；
若f1+g1>f2+g2>f3+g3且h8≤f1+g1<h5，则将所述热度阈值修正值设置为第四负数；
否则将所述热度阈值修正值设置为第五负数；
其中，h5、h6、h7和h8的取值区间依次为[88%,92%]、[108%,112%]、[103%,107%]、[78%,82%]；
其中，所述第一正数和第四正数均小于第三正数。
7.根据权利要求1至3任一项所述的方法，其特征在于，还包括：
若检测到所述待获取的互联网资源缓存于所述缓存服务器中，则所述监控服务器将所述资源获取请求重定向到所述缓存服务器，从所述缓存服务器获取所述互联网资源。
8.根据权利要求1至3任一项所述的方法，其特征在于，还包括：
在完成所述回源任务后，所述缓存服务器将缓存指示信息发送至所述监控服务器，所述缓存指示信息用于指示所述缓存服务器已缓存所述互联网资源。
9.一种基于动态平衡的互联网资源获取系统，其特征在于，包括：监控服务器、热度统计服务器、缓存服务器和管理服务器；
监控服务器用于监控运营商出口流量，获取包含服务器地址的资源获取请求，若检测到待获取的互联网资源未缓存于缓存服务器中，则将所述资源获取请求发送到热度统计服务器；
所述热度统计服务器用于获取所述服务器地址，计算所述服务器地址所属的运营商出口，获取所述运营商出口对于所述互联网资源的热度统计值，若所述热度统计值达到当前热度阈值，则将包含下载地址和所述服务器地址的回源任务发送到所述缓存服务器；
所述缓存服务器用于根据所述回源任务下载所述互联网资源，并将回源任务信息发送到管理服务器，所述回源任务信息包括回源速率和所述回源地址；
所述管理服务器用于根据所述回源地址计算出所述回源地址所属的运营商出口，然后每间隔预设时间段根据所述运营商出口的用户占比、回源占比和最高速率确定所述运营商出口的热度阈值修正值，将所述热度阈值修正值发送到所述热度统计服务器；
所述热度统计服务器还用于根据所述热度阈值修正值调整所述运营商出口的当前热度阈值。
CN202110989779.4A 2021-08-26 2021-08-26 基于动态平衡的互联网资源获取方法及系统 Active CN113766650B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110989779.4A CN113766650B (zh) 2021-08-26 2021-08-26 基于动态平衡的互联网资源获取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110989779.4A CN113766650B (zh) 2021-08-26 2021-08-26 基于动态平衡的互联网资源获取方法及系统

Publications (2)

Publication Number Publication Date
CN113766650A true CN113766650A (zh) 2021-12-07
CN113766650B CN113766650B (zh) 2022-06-28

Family

ID=78791593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110989779.4A Active CN113766650B (zh) 2021-08-26 2021-08-26 基于动态平衡的互联网资源获取方法及系统

Country Status (1)

Country Link
CN (1) CN113766650B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117119052A (zh) * 2023-10-25 2023-11-24 腾讯科技（深圳）有限公司 数据处理方法、装置、电子设备及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130111133A1 (en) * 2011-10-31 2013-05-02 International Business Machines Corporation Dynamically adjusted threshold for population of secondary cache
CN104881369A (zh) * 2015-05-11 2015-09-02 中国人民解放军国防科学技术大学 面向混合存储系统的低内存开销热点数据识别方法
CN106657183A (zh) * 2015-10-30 2017-05-10 中兴通讯股份有限公司 缓存加速的方法及装置
CN107277093A (zh) * 2016-04-08 2017-10-20 北京优朋普乐科技有限公司 内容分发网络及其负载均衡方法
CN109104614A (zh) * 2018-07-02 2018-12-28 北京东方网信科技股份有限公司 一种直播缓存系统及方法
CN113037869A (zh) * 2021-04-14 2021-06-25 北京百度网讯科技有限公司 用于内容分发网络系统的回源的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130111133A1 (en) * 2011-10-31 2013-05-02 International Business Machines Corporation Dynamically adjusted threshold for population of secondary cache
CN104881369A (zh) * 2015-05-11 2015-09-02 中国人民解放军国防科学技术大学 面向混合存储系统的低内存开销热点数据识别方法
CN106657183A (zh) * 2015-10-30 2017-05-10 中兴通讯股份有限公司 缓存加速的方法及装置
CN107277093A (zh) * 2016-04-08 2017-10-20 北京优朋普乐科技有限公司 内容分发网络及其负载均衡方法
CN109104614A (zh) * 2018-07-02 2018-12-28 北京东方网信科技股份有限公司 一种直播缓存系统及方法
CN113037869A (zh) * 2021-04-14 2021-06-25 北京百度网讯科技有限公司 用于内容分发网络系统的回源的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈则维: "《流媒体边缘云的智能存储资源调度策略研究》", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117119052A (zh) * 2023-10-25 2023-11-24 腾讯科技（深圳）有限公司 数据处理方法、装置、电子设备及计算机可读存储介质
CN117119052B (zh) * 2023-10-25 2024-01-19 腾讯科技（深圳）有限公司 数据处理方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN113766650B (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
US20220353324A1 (en) System and method for global load balancing of requests for content
US11038942B2 (en) Optimizing adaptive bit rate streaming at edge locations
US11064230B2 (en) Optimizing adaptive bit rate streaming for content delivery
CN109190070B (zh) 一种数据处理方法、装置、系统及应用服务器
US10757176B1 (en) Systems, methods, devices and arrangements for server load distribution
US9178929B2 (en) Client-side class-of-service-based bandwidth management in over-the-top video delivery
US10917462B2 (en) Selecting a content delivery network
WO2013149203A1 (en) Adaptive traffic management in cellular wireless networks
WO2008013651A1 (en) Glitch-free media streaming
CN102761572B (zh) 动态调整数据流量的方法及系统
WO2017125017A1 (zh) 缓存内容的调整方法、装置及系统
US8787882B2 (en) Resource profile adjustment for pre-fetching of assets to user equipment
US20020165970A1 (en) System and method for intelligent bit rate and buffer selection
CN113766650B (zh) 基于动态平衡的互联网资源获取方法及系统
CN110690988A (zh) 带宽控制方法、带宽控制平台、服务器及存储介质
CN109951399A (zh) 数据请求的处理方法、服务器以及交换机
CN113038187A (zh) 一种视频体验质量公平的实用网络带宽分配方法
US20170201805A1 (en) Adapting a Video Compression for a Mobile Server
EP2503762A1 (en) Method, apparatus and system for cache collaboration
CN114745572B (zh) 视频缓存控制方法、装置、设备及存储介质
CN108347734A (zh) 一种认知无线通信系统中基于时间均衡的资源分配方法
CN111278039B (zh) 用户感知压抑识别方法、装置、设备及介质
KR101999719B1 (ko) 컨텐츠 관리장치 및 방법
CN113872871A (zh) 网络加速方法及系统
CN114077483A (zh) 数据资源调度方法、服务器、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant