CN110381153A - 一种文件部署方法、部署设备、系统及介质 - Google Patents

一种文件部署方法、部署设备、系统及介质 Download PDF

Info

Publication number
CN110381153A
CN110381153A CN201910673691.4A CN201910673691A CN110381153A CN 110381153 A CN110381153 A CN 110381153A CN 201910673691 A CN201910673691 A CN 201910673691A CN 110381153 A CN110381153 A CN 110381153A
Authority
CN
China
Prior art keywords
flow
file
deployment
collection
collection result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910673691.4A
Other languages
English (en)
Inventor
刘晓威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Onething Technology Co Ltd
Original Assignee
Shenzhen Onething Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Onething Technology Co Ltd filed Critical Shenzhen Onething Technology Co Ltd
Priority to CN201910673691.4A priority Critical patent/CN110381153A/zh
Publication of CN110381153A publication Critical patent/CN110381153A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/06—Generation of reports
    • H04L43/067—Generation of reports using time frame reporting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682—Policies or rules for updating, deleting or replacing the stored data

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种文件部署方法、部署设备、系统及介质。该方法的步骤包括：获取文件的流量采集结果，流量采集结果为按照采集周期对文件的流量进行统计而产生；判断当前获取流量采集结果经过的总采集时长是否大于或等于预设窗口时长；其中，预设窗口时长大于单个采集周期的时长；如果是，则追溯包括当前采集周期在内的预设窗口时长内的历史流量采集结果，并对历史流量采集结果进行流量汇总统计，生成流量汇总结果；判断流量汇总结果是否满足预设部署条件；若是，将对文件进行部署。本方法相对降低了部署设备与共享边缘节点之间的数据通信压力。此外，本发明还提供一种部署设备、文件部署系统及计算机可读存储介质，有益效果同上所述。

Description

一种文件部署方法、部署设备、系统及介质
技术领域
本发明涉及云计算领域，特别是涉及一种文件部署方法、部署设备、系统及介质。
背景技术
随着云计算的不断发展，基于CDN网络模式的云服务器架构在应用方面不断取得实质性的进展，当前基于CDN网络模式的云服务器架构主要的用途之一是根据用户的访问需求提供相应的数据文件。为了更进一步的增加CDN网络模式下数据节点的量级，当前基于CDN网络模式的共享边缘节点云服务器架构，逐渐成为当前的发展趋势。
共享边缘节点指的是用户的个人节点，基于CDN网络模式的共享边缘节点云服务器架构，也就是大量用户的个人节点基于CDN网络模式构成的云服务器架构，数据文件以数据片段的形式分布式部署在各个共享边缘节点中。当用户通过用户终端访问数据文件时，首先向调度节点发起数据访问请求，进而调度节点根据数据访问请求获取对应数据文件的索引信息并提供给用户终端，索引信息记录的是分布式存储有该数据文件的共享边缘节点，用户终端在收到索引信息后，根据索引信息中提供的共享边缘节点访问途径，获取相应共享边缘节点的数据片段，并合并为完整的数据文件。
由于共享边缘节点是用户的个人节点，因此相比于传统的服务器而言，各方面资源相对有限，为了提高共享边缘节点中数据片段的使用率，进而保证共享边缘节点的分享收益，当前往往实时将流量较大的数据内容分布式部署在共享边缘节点中。
当前在用户终端向调度节点发起数据访问请求时，调度节点根据对不同数据文件的数据访问请求针对各类数据文件进行相应的流量采集，并依照预设采集周期将流量采集结果提供给部署设备，部署设备依照预设汇聚周期，对该预设汇聚周期内获取到的流量采集结果进行汇总统计各类数据文件的流量结果，进而根据各类数据文件的流量结果选择目标数据文件部署在共享边缘节点中。随着用户生活节奏的加快，碎片化时间增多，用户获取的数据内容类型相对分散，长时间持续关注的数据内容相对较少，继续沿用当前以固定时间切片进行流量采集结果的汇总统计，则可能造成各类数据文件对应的流量结果出现相对频繁的变化，流量整体热度较为分散，从而对于部署数据文件的时效性要求更高，频繁的更改向共享边缘节点部署的数据文件，会增加部署设备与共享边缘节点之间的数据通信压力，并且难以确保对部分有部署价值的数据文件的持续部署，从而降低部署的准确性。
由此可见，提供一种文件部署方法，以相对降低部署文件时的数据通信压力，并且相对保证部署文件时的整体准确性，是本领域技术人员需要解决的问题。
发明内容
本发明的目的是提供一种文件部署方法、部署设备、系统及介质，以相对降低部署文件时的数据通信压力，并且相对保证部署文件时的整体准确性。
为解决上述技术问题，本发明提供一种文件部署方法，包括：
获取文件的流量采集结果，流量采集结果为按照采集周期对文件的流量进行统计而产生；
判断当前获取流量采集结果经过的总采集时长是否大于或等于预设窗口时长；其中，预设窗口时长大于单个采集周期的时长；
如果是，则追溯包括当前采集周期在内的预设窗口时长内的历史流量采集结果，并对历史流量采集结果进行流量汇总统计，生成流量汇总结果；
判断流量汇总结果是否满足预设部署条件；
若是，将对文件进行部署。
优选的，在判断当前获取流量采集结果经过的总采集时长是否大于或等于预设窗口时长之后，方法还包括：
若否，则获取总采集时长内对应的历史流量采集结果，并对历史流量采集结果进行流量汇总统计，生成流量汇总结果。
优选的，判断流量汇总结果是否满足预设部署条件，包括：
判断流量汇总结果是否达到热度阈值。
优选的，在对文件进行部署之前，方法还包括：
根据流量汇总结果以及文件的需求总量计算部署总量；
对文件进行部署，包括：
根据部署总量对文件进行部署。
优选的，根据部署总量对文件进行部署，包括：
根据部署总量对文件进行依照预设部署周期的部署或实时部署。
优选的，对历史流量采集结果进行流量汇总统计，包括：
对满足流量特征的历史流量采集结果进行流量汇总统计，特征类型包括流量产生的区域、流量产生所基于的运营商、流量所对应的数据文件的文件名以及流量产生的时间戳。
优选的，对满足流量特征的历史流量采集结果进行流量汇总统计，包括：
在同一台设备中对满足流量特征的历史流量采集结果进行流量汇总统计。
优选的，对历史流量采集结果进行流量汇总统计，包括：
对满足预设统计条件的历史流量采集结果进行流量汇总统计，预设统计条件包括文件大小小于空间阈值、具有回源信息以及未记录于黑名单。
此外，本发明还提供一种部署设备，部署设备包括存储器、处理器和总线，存储器上存储有可由总线传输至处理器并在处理器上运行的节点数据部署程序，节点数据部署程序被处理器执行时实现如上述的文件部署方法。
此外，本发明还提供一种文件部署系统，系统包括：
采集获取模块，用于获取文件的流量采集结果，流量采集结果为按照采集周期对文件的流量进行统计而产生；
周期判断模块，用于判断当前获取流量采集结果经过的总采集时长是否大于或等于预设窗口时长，若是，则调用追溯汇总模块；其中，预设窗口时长大于单个采集周期的时长；
追溯汇总模块，用于追溯包括当前采集周期在内的预设窗口时长内的历史流量采集结果，并对历史流量采集结果进行流量汇总统计，生成流量汇总结果；
部署判断模块，用于判断流量汇总结果是否满足预设部署条件，若是，则调用文件部署模块；
文件部署模块，用于对文件进行部署。
此外，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有节点数据部署程序，节点数据部署程序可被一个或者多个处理器执行，以实现如上述的文件部署方法。
本发明所提供的文件部署方法，首先获取文件的流量采集结果，流量采集结果为按照采集周期对文件的流量进行统计而产生；进而判断当前获取流量采集结果经过的总采集时长是否大于或等于预设窗口时长，预设窗口时长大于单个采集周期的时长，如果是，则追溯包括当前采集周期在内的预设窗口时长内的历史流量采集结果，进而对历史流量采集结果进行流量汇总统计，生成流量汇总结果，并判断流量汇总结果是否满足预设部署条件，若是，将对文件进行部署。由于本方法在接收到调度节点提供的流量采集结果后，当总采集周期时长大于或等于预设窗口时长时，是以当前采集周期的流量采集结果作为起始，向之前采集周期的流量采集结果进行赘述的方式，获取预设窗口时长的采集周期对应的历史流量采集结果并进行流量汇总统计，因此相比于现有技术依照预设汇聚周期，对该预设汇聚周期内获取到的流量采集结果进行汇总统计的方式而言，本方法能够在确保汇总统计的时效性的同时，尽可能提高各个采集周期的流量采集结果被用于流量汇总统计的整体次数，进而在流量结果出现相对频繁变化的前提下，最大程度的分析具有热度的流量，相对保证了文件部署的整体准确性，避免了频繁的更改所部署的数据文件，相对降低了整体数据通信压力。此外，本发明还提供一种部署设备、文件部署系统及计算机可读存储介质，有益效果同上所述。
附图说明
为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种文件部署方法的流程图；
图2(a)为本发明实施例提供的一种基于预设窗口时长生成流量汇总结果的示意图；
图2(b)为本发明实施例提供的另一种基于预设窗口时长生成流量汇总结果的示意图；
图3为本发明实施例提供的另一种文件部署方法的流程图；
图4为本发明实施例提供的一种部署设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。
当前在用户终端向调度节点发起数据访问请求时，调度节点根据对不同数据文件的数据访问请求针对各类数据文件进行相应的流量采集，并依照预设采集周期将流量采集结果提供给部署设备，部署设备依照预设汇聚周期，对该预设汇聚周期内获取到的流量采集结果进行汇总统计各类数据文件的流量结果，进而根据各类数据文件的流量结果选择目标数据文件部署在共享边缘节点中。随着用户生活节奏的加快，碎片化时间增多，用户获取的数据内容类型相对分散，长时间持续关注的数据内容相对较少，继续沿用当前以固定时间切片进行流量采集结果的汇总统计，则可能造成各类数据文件对应的流量结果出现相对频繁的变化，流量整体热度较为分散，从而对于部署数据文件的时效性要求更高，频繁的更改向共享边缘节点部署的数据文件，会增加部署设备与共享边缘节点之间的数据通信压力，并且难以确保对部分有部署价值的数据文件的持续部署，从而降低部署的准确性。
为此，本发明的核心是提供一种文件部署方法，以相对降低部署设备与共享边缘节点之间的数据通信压力，并且相对保证部署设备向共享边缘节点部署数据文件的整体准确性。此外，本发明还提供一种部署设备、文件部署系统及计算机可读存储介质，有益效果如上所述。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。
图1为本发明实施例提供的一种数据部署方法的流程图。请参考图1，文件部署方法的具体步骤包括：
步骤S10：获取文件的流量采集结果。
流量采集结果为按照采集周期对文件的流量进行统计而产生。
需要说明的是，在本步骤中部署设备在调度节点统计产生流量采集结果后，获取调度节点传入的流量采集结果。其中，调度节点按照其自身预设的采集周期根据用户终端向其发起的数据访问请求，对数据访问请求所对应的数据文件被用户所访问的流量进行统计。采集周期可以根据调度节点所处的具体应用场景下用户的访问频率决定，如用户访问频率较高时，则说明调度节点单位时间内能够接收到的数据访问请求较多，短时间内即可采集具有广泛代表性的流量采集结果，因此在此情况下采集周期可以相对较短；同理的，如用户访问频率较低时，则说明调度节点单位时间接收到的数据访问请求较少，进而导致短时间的流量采集结果往往不具有代表性，因此在此情况下采集周期可以相对较长。需要强调的是，本步骤中部署设备是实时接收调度节点依照采集周期对数据文件的流量进行统计并传入的流量采集结果，也就是说，每当调度节点的采集周期结束时，部署设备即实时接收该采集周期结束时调度节点产生并传入的流量采集结果。
步骤S11：判断当前获取流量采集结果经过的总采集时长是否大于或等于预设窗口时长，如果是，则执行步骤S12。
步骤S12：追溯包括当前采集周期在内的预设窗口时长内的历史流量采集结果，并对历史流量采集结果进行流量汇总统计，生成流量汇总结果。
其中，预设窗口时长大于单个采集周期的时长。
需要说明的是，本步骤是判断当前调度节点传入流量采集结果所经过的采集周期总时长是否已经达到预设窗口时长，进而当采集周期总时长达到预设窗口时长时，追溯包括最新采集周期所对应的流量采集结果在内的预设窗口时长的历史流量采集结果进行流量汇总统计，生成流量汇总结果。其中，预设窗口时长是根据调度节点的采集周期而定的，预设窗口时长应大于采集周期，并且为采集周期的整数倍，目的是为了确保根据预设窗口时长获取的历史流量采集结果中能够涵盖调度节点在多个采集周期下的数据采集结果，进而在进行流量汇总统计时，能够实现对一段连续采集周期内的数据采集结果进行汇总统计的目的。与每次流量汇总都以周期为单位进行，并且流量汇总的数据对象都是该周期内调度节点的全部流量采集结果的现有技术方案不同的是，本步骤是在当前获取流量采集结果经过的总采集周期时长大于或等于预设窗口时长之后，每次获取到新采集周期对应的流量采集结果时，均是以包括最新采集周期所对应的流量采集结果在内的预设窗口时长的历史流量采集结果进行流量汇总统计，也就是说，本步骤进行流量汇总统计的频率增加，确保了汇总统计过程的整体实时性，并且相邻执行的流量汇总统计操作均采用内容冗余的历史流量采集结果进行，因此流量汇总结果在具有更高时效性的同时，能够尽可能提高各个采集周期的流量采集结果被用于流量汇总统计的整体次数，进而通过流量汇总最大程度的体现热点数据。
步骤S13：判断流量汇总结果是否满足预设部署条件，如果是，则执行步骤S14。
步骤S14：对文件进行部署。
需要说明的是，本步骤是在获取到流量汇总结果后，进一步对流量汇总结果是否能够部署与共享边缘节点进行相应的判定，判定分为两方面，一方面为数据文件所对应的汇总结果本身是否满足预设部署条件，另一方面为满足预设部署条件的数据文件是否具有被部署的需求，即是否产生对数据文件的部署需求，只有当流量汇总结果满足预设部署条件，且产生有对数据文件的部署需求时，才将数据文件部署至共享边缘节点。
在一种具体的情况下，共享边缘节点满足部署某一数据文件的条件，并且尚未部署有该数据文件，则认为该共享边缘节点产生有对该数据文件的部署需求；同理的，当共享边缘节点满足部署某一数据文件的条件，但是已经部署有该数据文件，则认为该共享边缘节点不具有对该数据文件的部署需求。
本发明所提供的文件部署方法，首先获取文件的流量采集结果，流量采集结果为按照采集周期对文件的流量进行统计而产生；进而判断当前获取流量采集结果经过的总采集时长是否大于或等于预设窗口时长，预设窗口时长大于单个采集周期的时长，如果是，则追溯包括当前采集周期在内的预设窗口时长内的历史流量采集结果，进而对历史流量采集结果进行流量汇总统计，生成流量汇总结果，并判断流量汇总结果是否满足预设部署条件，若是，将对文件进行部署。由于本方法在接收到调度节点提供的流量采集结果后，当总采集周期时长大于或等于预设窗口时长时，是以当前采集周期的流量采集结果作为起始，向之前采集周期的流量采集结果进行赘述的方式，获取预设窗口时长的采集周期对应的历史流量采集结果并进行流量汇总统计，因此相比于现有技术依照预设汇聚周期，对该预设汇聚周期内获取到的流量采集结果进行汇总统计的方式而言，本方法能够在确保汇总统计的时效性的同时，尽可能提高各个采集周期的流量采集结果被用于流量汇总统计的整体次数，进而在流量结果出现相对频繁变化的前提下，最大程度的分析具有热度的流量，相对保证了文件部署的整体准确性，避免了频繁的更改所部署的数据文件，相对降低了整体数据通信压力。
为了加深对本发明中的预设窗口时长的具体理解，请参考图2(a)以及图2(b)中所提供的基于预设窗口时长生成流量汇总结果的示意图。其中，图2(a)以及图2(b)处于调度节点相邻的采集周期，图2(a)以及图2(b)中的虚线框部分相当于预设窗口，预设窗口中所对应的时间长度即为预设窗口时长，也就是说，预设窗口时长相当于一定数量采集周期的总时长，预设窗口内所包含的数据采集周期对应的数据采集结果(QPS)即为每次进行流量汇总统计时所使用的历史流量采集结果，当新的数据采集周期对应的数据采集结果到达时，预设窗口向最新采集周期对应的数据采集结果方向移动，即追溯包括最新采集周期在内的预设窗口时长内的历史流量采集结果。
图3为本发明实施例提供的另一种文件部署方法的流程图。请参考图3，文件部署方法的具体步骤包括：
步骤S20：获取文件的流量采集结果。
流量采集结果为按照采集周期对文件的流量进行统计而产生。
步骤S21：判断当前获取流量采集结果经过的总采集时长是否大于或等于预设窗口时长，如果是，则执行步骤S22，否则，执行步骤S23。
步骤S22：追溯包括当前采集周期在内的预设窗口时长内的历史流量采集结果，并对历史流量采集结果进行流量汇总统计，生成流量汇总结果。
步骤S23：获取总采集时长内对应的历史流量采集结果，并对历史流量采集结果进行流量汇总统计，生成流量汇总结果。
其中，预设窗口时长大于采集周期的时长。
步骤S24：判断流量汇总结果是否满足预设部署条件，如果是，则执行步骤S25。
步骤S25：对文件进行部署。
需要说明的是，本实施例的重点在于在当前获取流量采集结果经过的总采集周期时长小于预设窗口时长时，即调度节点生成流量采集结果所经过的总采集周期的时长尚未达到预设窗口时长时，获取当前的总采集周期时长内对应的历史流量采集结果，并对历史流量采集结果进行流量汇总统计，生成流量汇总结果，以此能够确保调度节点新产生的流量采集结果能够第一时间用于流量汇总统计，进而确保了流量汇总结果的时效性，进而保证了对数据文件的部署准确性。
此外，作为一种优选的实施方式，判断流量汇总结果是否满足预设部署条件，包括：
判断流量汇总结果是否达到热度阈值。
需要说明的是，本实施方式的重点是将流量汇总结果的流量数据值是否达到热度阈值作为判定数据文件是否部署至共享边缘节点的依据，也就是说，当流量汇总结果中表征用户终端访问次数的流量数值达到预设次数，即流量汇总结果的流量数值达到热度阈值，且产生有共享边缘节点对数据文件的部署需求时，才将数据文件部署至该共享边缘节点。由于用户终端向调度节点发起对数据文件发起的数据访问请求而产生的流量汇总结果的流量数值能够直接体现用户终端对于数据文件的需求程度，因此本实施方式将流量汇总结果中具体的流量数值作为是否部署数据文件的依据，能够进一步确保对数据文件的部署准确性。
此外，作为一种优选的实施方式，在对文件进行部署之前，方法还包括：
根据流量汇总结果以及文件的需求总量计算部署总量；
对文件进行部署，包括：
根据部署总量对文件进行部署。
需要说明的是，本实施方式的重点在于对文件进行部署的总数量根据流量汇总结果以及文件被节点的需求量共同计算生成。考虑到可能存在节点中已经预先部署有目标文件的情况，即该节点对目标文件没有需求，需求总量中不包括该节点，因此无需再向该节点部署目标文件，进而目标文件的部署总量应相对低于该目标文件的流量汇总结果。本实施方式通过流量汇总结果以及文件的需求总量计算部署总量，能够进一步提高文件部署的整体准确性，避免频繁的更改所部署的数据文件，进而降低了整体数据通信压力。
此外，作为一种优选的实施方式，根据部署总量对文件进行部署，包括：
根据部署总量对文件进行依照预设部署周期的部署或实时部署。
需要说明的是，实时部署是将文件一次性部署至全部节点中，进而可以根据各任务分配时间、部署优先级，确定部署顺序，并通过grpc协议，将文件按照部署顺序实时下发至对应节点，能够相对提高部署效率。
根据部署总量对文件进行周期性部署是指周期性的为节点刷新待部署文件任务队列，并下发。未避免单个节点过于频繁的刷新待部署任务下载队列，控制对单个节点任务下发频率，另外下发频率由文件平均下载完成时间决定。能够相对降低部署过程中节点的通信压力。
此外，作为一种优选的实施方式，对历史流量采集结果进行流量汇总统计，包括：
对满足预设统计条件的历史流量采集结果进行流量汇总统计，预设统计条件包括文件大小小于空间阈值，具有回源信息以及未记录于黑名单。
需要说明的是，由于考虑到在实际应用场景中，可能存在数据文件大小超过共享边缘节点承载能力、数据文件不具有回源信息以及数据文件被记录于黑名单的情况。当数据文件大小超过共享边缘节点的承载能力时，极易造成共享边缘节点的工作稳定性降低；当数据文件不具有回源信息时，会导致无法通过数据源正常下载数据文件并部署于共享边缘节点中；而数据文件被记录于黑名单时，则说明数据文件存在不合法的情况，因此为了相对确保最终部署在共享边缘节点中的数据文件的可用性以及可靠性，本实施方式仅追溯包括最新采集周期在内的预设窗口时长内满足文件大小小于空间阈值、具有回源信息，且未被记录于黑名单的历史流量采集结果，进而对上述类型数据文件的历史流量采集结果进行流量汇总统计。
当判断当前获取流量采集结果经过的总采集周期时长是否大于或等于预设窗口时长的结果为否时，作为一种优选的实施方式，获取总采集周期时长内对应的历史流量采集结果，并对历史流量采集结果进行流量汇总统计，生成流量汇总结果，包括：
获取总采集周期时长内对应的满足文件大小小于空间阈值、具有回源信息，且未被记录于黑名单的历史流量采集结果，并对历史流量采集结果进行流量汇总统计，生成流量汇总结果。
同理的，本实施方式同样能够确保最终部署在共享边缘节点中的数据文件的可用性以及可靠性。
此外，作为一种优选的实施方式，对历史流量采集结果进行流量汇总统计，包括：
按照流量特征对历史流量采集结果进行分类汇总统计；
相应的，当流量汇总结果满足预设部署条件时，且产生有共享边缘节点对数据文件的部署需求时，将数据文件部署至与流量特征相匹配的节点。
需要说明的是，由于考虑到在实际场景中，调度节点依照采集周期统计流量采集结果时，往往是按照对数据文件进行访问的用户终端的流量特征对流量进行不同特征方向的对应采集，例如将访问数据文件的用户终端的流量按照用户终端所处的不同地理区域进行分别统计，或按照同一用户终端单位时间的访问频率进行分别统计等，上述的地理区域以及单位时间访问频率即为流量采集结果的流量特征，因此本实施方式在进行流量汇总时，是以历史流量采集结果的流量特征为汇总标准对历史流量采集结果进行流量汇总，也就是按照不同流量特征的历史流量采集结果进行相应流量特征方面的流量汇总，以此相对提高流量汇总的整体细致程度，提高流量汇总结果的整体精确性。更进一步的，基于流量特征为汇总标准对历史流量采集结果进行流量汇总后，当流量汇总结果满足预设部署条件时，且产生有共享边缘节点对数据文件的部署需求时，将数据文件部署至与流量特征相匹配的共享边缘节点，能够相对确保对共享边缘节点进行数据文件部署的整体准确性。
其中，历史流量采集结果的流量特征包括流量产生的区域、流量产生所基于的运营商、流量所对应的数据文件的文件名以及流量产生的时间戳。
需要说明的是，由于流量产生的区域、流量产生所基于的运营商、数据文件的文件名以及数据文件的流量产生的时间戳是共享边缘节点部署时相对重要的参考因素，因此历史流量采集结果的流量特征包括流量产生的区域、流量产生所基于的运营商、流量所对应的数据文件的文件名以及流量产生的时间戳，能够进一步确保数据文件部署的整体准确性。
在此基础上，作为一种优选的实施方式，可以在同一台设备中对满足流量特征的历史流量采集结果进行流量汇总统计，以此确保满足相同流量特征的历史流量采集结果能够被汇总至同一台设备，进而能够进一步确保流量汇总统计结果的整体准确性。
再进一步的，在进行流量汇总时，可以预先对汇总目标流量特征的设备标注该目标流量特征对应的hash特征值，进而当产生历史流量采集结果时，通过对历史流量采集结果对应流量特征进行hash运算生成流量特征相应的hash特征值，并根据hash特征值唯一确定对历史流量采集结果进行汇总的目标设备，以此能够进一步提高流量汇总的效率以及整体准确性。
在上文中对于文件部署方法的实施例进行了详细的描述，本发明还提供一种与该方法对应的部署设备，由于部署设备部分的实施例与方法部分的实施例相互对应，部署设备部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
图4为本发明实施例提供的一种部署设备的结构图。
请参考图4，本发明实施例提供的部署设备1包括存储器11、处理器12和总线13，存储器11上存储有可由总线13传输至处理器12并在处理器12上运行的节点数据部署程序，节点数据部署程序被处理器12执行时实现如上述的文件部署方法。
该部署设备1可以是组成CDN网络或者区块链网络的节点。可以是组成CDN网络或者区块链网络的节点。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是部署设备1的内部存储单元，例如该部署设备1的硬盘。存储器11在另一些实施例中也可以是部署设备1的外部存储设备，例如部署设备1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括部署设备1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于部署设备1的应用软件及各类数据，例如视频转码程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行视频转码程序等。
该总线13可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
本发明所提供的部署设备，首先获取文件的流量采集结果，流量采集结果为按照采集周期对文件的流量进行统计而产生；进而判断当前获取流量采集结果经过的总采集时长是否大于或等于预设窗口时长，预设窗口时长大于单个采集周期的时长，如果是，则追溯包括当前采集周期在内的预设窗口时长内的历史流量采集结果，进而对历史流量采集结果进行流量汇总统计，生成流量汇总结果，并判断流量汇总结果是否满足预设部署条件，若是，将对文件进行部署。由于本部署设备在接收到调度节点提供的流量采集结果后，当总采集周期时长大于或等于预设窗口时长时，是以当前采集周期的流量采集结果作为起始，向之前采集周期的流量采集结果进行赘述的方式，获取预设窗口时长的采集周期对应的历史流量采集结果并进行流量汇总统计，因此相比于现有技术依照预设汇聚周期，对该预设汇聚周期内获取到的流量采集结果进行汇总统计的方式而言，本部署设备能够在确保汇总统计的时效性的同时，尽可能提高各个采集周期的流量采集结果被用于流量汇总统计的整体次数，进而在流量结果出现相对频繁变化的前提下，最大程度的分析具有热度的流量，相对保证了文件部署的整体准确性，避免了频繁的更改所部署的数据文件，相对降低了整体数据通信压力。
本发明还提供一种文件部署系统，系统包括：
采集获取模块，用于获取文件的流量采集结果，流量采集结果为按照采集周期对文件的流量进行统计而产生；
周期判断模块，用于判断当前获取流量采集结果经过的总采集时长是否大于或等于预设窗口时长，若是，则调用追溯汇总模块；其中，预设窗口时长大于单个采集周期的时长；
追溯汇总模块，用于追溯包括当前采集周期在内的预设窗口时长内的历史流量采集结果，并对历史流量采集结果进行流量汇总统计，生成流量汇总结果；
部署判断模块，用于判断流量汇总结果是否满足预设部署条件，若是，则调用文件部署模块；
文件部署模块，用于对文件进行部署。
本发明所提供的文件部署系统，首先获取文件的流量采集结果，流量采集结果为按照采集周期对文件的流量进行统计而产生；进而判断当前获取流量采集结果经过的总采集时长是否大于或等于预设窗口时长，预设窗口时长大于单个采集周期的时长，如果是，则追溯包括当前采集周期在内的预设窗口时长内的历史流量采集结果，进而对历史流量采集结果进行流量汇总统计，生成流量汇总结果，并判断流量汇总结果是否满足预设部署条件，若是，将对文件进行部署。由于本系统在接收到调度节点提供的流量采集结果后，当总采集周期时长大于或等于预设窗口时长时，是以当前采集周期的流量采集结果作为起始，向之前采集周期的流量采集结果进行赘述的方式，获取预设窗口时长的采集周期对应的历史流量采集结果并进行流量汇总统计，因此相比于现有技术依照预设汇聚周期，对该预设汇聚周期内获取到的流量采集结果进行汇总统计的方式而言，本系统能够在确保汇总统计的时效性的同时，尽可能提高各个采集周期的流量采集结果被用于流量汇总统计的整体次数，进而在流量结果出现相对频繁变化的前提下，最大程度的分析具有热度的流量，相对保证了文件部署的整体准确性，避免了频繁的更改所部署的数据文件，相对降低了整体数据通信压力。
此外，本发明还提供一种计算机可读存储介质，其特征在于，计算机可读存储介质上存储有节点数据部署程序，节点数据部署程序可被一个或者多个处理器执行，以实现如上述的文件部署方法。
本发明所提供的计算机可读存储介质，首先获取文件的流量采集结果，流量采集结果为按照采集周期对文件的流量进行统计而产生；进而判断当前获取流量采集结果经过的总采集时长是否大于或等于预设窗口时长，预设窗口时长大于单个采集周期的时长，如果是，则追溯包括当前采集周期在内的预设窗口时长内的历史流量采集结果，进而对历史流量采集结果进行流量汇总统计，生成流量汇总结果，并判断流量汇总结果是否满足预设部署条件，若是，将对文件进行部署。由于本计算机可读存储介质在接收到调度节点提供的流量采集结果后，当总采集周期时长大于或等于预设窗口时长时，是以当前采集周期的流量采集结果作为起始，向之前采集周期的流量采集结果进行赘述的方式，获取预设窗口时长的采集周期对应的历史流量采集结果并进行流量汇总统计，因此相比于现有技术依照预设汇聚周期，对该预设汇聚周期内获取到的流量采集结果进行汇总统计的方式而言，本计算机可读存储介质能够在确保汇总统计的时效性的同时，尽可能提高各个采集周期的流量采集结果被用于流量汇总统计的整体次数，进而在流量结果出现相对频繁变化的前提下，最大程度的分析具有热度的流量，相对保证了文件部署的整体准确性，避免了频繁的更改所部署的数据文件，相对降低了整体数据通信压力。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种文件部署方法，其特征在于，包括：
获取文件的流量采集结果，所述流量采集结果为按照采集周期对文件的流量进行统计而产生；
判断当前获取所述流量采集结果经过的总采集时长是否大于或等于预设窗口时长；其中，所述预设窗口时长大于单个所述采集周期的时长；
如果是，则追溯包括当前采集周期在内的所述预设窗口时长内的历史流量采集结果，并对所述历史流量采集结果进行流量汇总统计，生成流量汇总结果；
判断所述流量汇总结果是否满足预设部署条件；
若是，将对所述文件进行部署。
2.根据权利要求1所述的文件部署方法，其特征在于，所述判断所述流量汇总结果是否满足预设部署条件，包括：
判断所述流量汇总结果是否达到热度阈值。
3.根据权利要求1所述的文件部署方法，其特征在于，在所述对所述文件进行部署之前，所述方法还包括：
根据所述流量汇总结果以及所述文件的需求总量计算部署总量；
所述对所述文件进行部署，包括：
根据所述部署总量对所述文件进行部署。
4.根据权利要求3所述的文件部署方法，其特征在于，所述根据所述部署总量对所述文件进行部署，包括：
根据所述部署总量对所述文件进行依照预设部署周期的部署或实时部署。
5.根据权利要求1所述的文件部署方法，其特征在于，所述对所述历史流量采集结果进行流量汇总统计，包括：
对满足流量特征的所述历史流量采集结果进行所述流量汇总统计，所述特征类型包括流量产生的区域、流量产生所基于的运营商、流量所对应的数据文件的文件名以及流量产生的时间戳。
6.根据权利要求5所述的文件部署方法，其特征在于，所述对满足流量特征的所述历史流量采集结果进行所述流量汇总统计，包括：
在同一台设备中对满足所述流量特征的所述历史流量采集结果进行所述流量汇总统计。
7.根据权利要求1至6任意一项所述的文件部署方法，其特征在于，所述对所述历史流量采集结果进行流量汇总统计，包括：
对满足预设统计条件的所述历史流量采集结果进行所述流量汇总统计，所述预设统计条件包括文件大小小于空间阈值、具有回源信息以及未记录于黑名单。
8.一种部署设备，其特征在于，所述部署设备包括存储器、处理器和总线，所述存储器上存储有可由所述总线传输至所述处理器并在所述处理器上运行的节点数据部署程序，所述节点数据部署程序被所述处理器执行时实现如权利要求1至7任一项所述的文件部署方法。
9.一种文件部署系统，其特征在于，所述系统包括：
采集获取模块，用于获取文件的流量采集结果，所述流量采集结果为按照采集周期对文件的流量进行统计而产生；
周期判断模块，用于判断当前获取所述流量采集结果经过的总采集时长是否大于或等于预设窗口时长，若是，则调用追溯汇总模块；其中，所述预设窗口时长大于单个所述采集周期的时长；
所述追溯汇总模块，用于追溯包括当前采集周期在内的所述预设窗口时长内的历史流量采集结果，并对所述历史流量采集结果进行流量汇总统计，生成流量汇总结果；
部署判断模块，用于判断所述流量汇总结果是否满足预设部署条件，若是，则调用文件部署模块；
所述文件部署模块，用于对所述文件进行部署。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有节点数据部署程序，所述节点数据部署程序可被一个或者多个处理器执行，以实现如权利要求1至6中任一项所述的文件部署方法。
CN201910673691.4A 2019-07-24 2019-07-24 一种文件部署方法、部署设备、系统及介质 Pending CN110381153A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910673691.4A CN110381153A (zh) 2019-07-24 2019-07-24 一种文件部署方法、部署设备、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910673691.4A CN110381153A (zh) 2019-07-24 2019-07-24 一种文件部署方法、部署设备、系统及介质

Publications (1)

Publication Number Publication Date
CN110381153A true CN110381153A (zh) 2019-10-25

Family

ID=68255737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910673691.4A Pending CN110381153A (zh) 2019-07-24 2019-07-24 一种文件部署方法、部署设备、系统及介质

Country Status (1)

Country Link
CN (1) CN110381153A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114616807A (zh) * 2019-11-08 2022-06-10 华为技术有限公司 用于管理和控制通信网络的方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101753625A (zh) * 2009-12-28 2010-06-23 北京理工大学 对等网络环境下副本服务的部署及副本创建方法
WO2015062316A1 (zh) * 2013-10-30 2015-05-07 华为技术有限公司 一种休眠磁盘的数据操作方法和装置
CN105808620A (zh) * 2014-12-31 2016-07-27 华为技术有限公司 一种管理磁盘文件的方法和装置
CN108090089A (zh) * 2016-11-23 2018-05-29 北京国双科技有限公司 探测网站中热点数据的方法、装置和系统
CN108874311A (zh) * 2018-05-29 2018-11-23 北京盛和大地数据科技有限公司 融合存储系统中的数据迁移方法和装置
CN110008199A (zh) * 2019-03-25 2019-07-12 华南理工大学 一种基于访问热度的数据迁移部署方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101753625A (zh) * 2009-12-28 2010-06-23 北京理工大学 对等网络环境下副本服务的部署及副本创建方法
WO2015062316A1 (zh) * 2013-10-30 2015-05-07 华为技术有限公司 一种休眠磁盘的数据操作方法和装置
CN105808620A (zh) * 2014-12-31 2016-07-27 华为技术有限公司 一种管理磁盘文件的方法和装置
CN108090089A (zh) * 2016-11-23 2018-05-29 北京国双科技有限公司 探测网站中热点数据的方法、装置和系统
CN108874311A (zh) * 2018-05-29 2018-11-23 北京盛和大地数据科技有限公司 融合存储系统中的数据迁移方法和装置
CN110008199A (zh) * 2019-03-25 2019-07-12 华南理工大学 一种基于访问热度的数据迁移部署方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114616807A (zh) * 2019-11-08 2022-06-10 华为技术有限公司 用于管理和控制通信网络的方法和系统
US11622252B2 (en) 2019-11-08 2023-04-04 Huawei Technologies Co., Ltd. Methods and systems for management and control of communication network
CN114616807B (zh) * 2019-11-08 2023-09-01 华为技术有限公司 用于管理和控制通信网络的方法和系统

Similar Documents

Publication Publication Date Title
CN108694241B (zh) 一种数据的存储方法及设备
CN101005381B (zh) 一种在终端上实现的基于用户业务的流量统计系统与方法
CN103095684B (zh) 获取关注用户聚合信息的方法、装置及系统
WO2021051839A1 (zh) 一种数据处理方法、装置、系统及存储介质
CN102142990A (zh) 业务用量监控方法及设备
CN102157057A (zh) 基于Wi-Fi的无线抄表装置
CN103269493A (zh) 一种推送带宽业务的方法及设备
CN109377389A (zh) 一种缴费提醒方法、服务器及计算机可读存储介质
CN108880934A (zh) 一种基于区块链的数据流量统计方法和装置
CN110839069B (zh) 一种节点数据部署方法、部署节点、系统及介质
CN104104521A (zh) 一种基于实际用量的云计算服务弹性计费方法
CN109064732A (zh) 一种电表数据采集方法、装置、系统及可读存储介质
CN108573029A (zh) 一种获取网络访问关系数据的方法、装置及存储介质
CN104468257A (zh) 基于移动用户时空行为的云应用可用性预测方法与系统
CN109547356A (zh) 一种电能计量的数据传输方法、系统、设备及计算机存储介质
CN202948362U (zh) 一种新型网络服务器
CN108259207A (zh) 流量统计方法、客户端、服务器及系统
CN115225138A (zh) 一种卫星通信业务的业务数据处理方法、装置以及系统
CN110381153A (zh) 一种文件部署方法、部署设备、系统及介质
Chang et al. Time dependent adaptive pricing for mobile internet access
WO2021057981A1 (zh) 云计费方法、装置、云管理平台、系统及存储介质
CN103036688A (zh) 一种用户使用云存储服务的计费管理方法
CN103338132B (zh) 一种设备接入管理平台的验证方法及系统
CN109428733A (zh) 一种定向流量计费的方法及装置
CN104317717B (zh) 一种基于量纲转换的嵌入式软件测试方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191025