CN110839069B - 一种节点数据部署方法、部署节点、系统及介质 - Google Patents

一种节点数据部署方法、部署节点、系统及介质 Download PDF

Info

Publication number
CN110839069B
CN110839069B CN201911067388.6A CN201911067388A CN110839069B CN 110839069 B CN110839069 B CN 110839069B CN 201911067388 A CN201911067388 A CN 201911067388A CN 110839069 B CN110839069 B CN 110839069B
Authority
CN
China
Prior art keywords
deployment
target data
data file
node
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911067388.6A
Other languages
English (en)
Other versions
CN110839069A (zh
Inventor
刘晓威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Onething Technology Co Ltd
Original Assignee
Shenzhen Onething Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Onething Technology Co Ltd filed Critical Shenzhen Onething Technology Co Ltd
Priority to CN201911067388.6A priority Critical patent/CN110839069B/zh
Publication of CN110839069A publication Critical patent/CN110839069A/zh
Priority to PCT/CN2020/090809 priority patent/WO2021088351A1/zh
Application granted granted Critical
Publication of CN110839069B publication Critical patent/CN110839069B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种节点数据部署方法、部署节点、系统及介质。该方法的步骤包括：获取历史周期内流量占比达到预设值的目标数据文件；统计目标数据文件在历史周期内的最小请求数；获取部署配置参数，部署配置参数中至少包括部署放大比例、历史周期内的请求并发数；根据最小请求数以及部署配置参数计算冗余系数；利用冗余系数对目标数据文件进行冗余部署。本方法避免了对目标数据文件的部署占用过多的节点资源或无法满足用户终端访问需求量的情况产生。此外，本发明还提供一种部署节点、节点数据部署系统及计算机可读存储介质，有益效果同上所述。

Description

一种节点数据部署方法、部署节点、系统及介质
技术领域
本发明涉及云计算领域，特别是涉及一种节点数据部署方法、部署节点、系统及介质。
背景技术
随着云计算的不断发展，基于CDN网络模式的云服务器架构在应用方面不断取得实质性的进展，当前基于CDN网络模式的云服务器架构主要的用途之一是根据用户的访问需求提供相应的数据文件。
基于CDN网络模式的服务节点云服务器架构，也就是大量用户的个人节点基于CDN网络模式构成的云服务器架构，数据文件以数据片段的形式分布式部署在各个服务节点中。当用户通过用户终端访问数据文件时，首先向调度节点发起数据访问请求，进而调度节点根据数据访问请求获取对应数据文件的索引信息并提供给用户终端，索引信息记录的是分布式存储有该数据文件的服务节点，用户终端在收到索引信息后，根据索引信息中提供的服务节点访问途径，获取相应服务节点的数据片段，并合并为完整的数据文件。
当前在用户终端向调度节点发起数据访问请求时，调度节点根据对不同数据文件的数据访问请求对各类数据文件被访问的流量进行相应的采集并提供给部署节点根据流量采集结果进行汇总统计，进而根据各类数据文件的流量总数选择热度相对较高的目标目标数据文件部署在服务节点中。由于数据文件的热度往往是动态变化的，部署节点统计生成的流量总数仅能够反映数据文件在一段周期内的热度，而未来周期内的热度可能会随着实际情况而发生变化，因此仅依照数据文件在过去一段周期内的流量确定该数据文件的部署总数量，往往会与该数据文件在未来周期中的实际流量情况存在一定的偏差，进而导致对数据文件的部署占用过多的服务节点资源或无法满足用户终端的访问需求量。
由此可见，提供一种数据部署方法，以相对确保对数据文件的部署数量的准确性，相对避免对数据文件的部署占用过多的节点资源或无法满足用户终端的访问需求量，是本领域技术人员需要解决的技术问题。
发明内容
本发明的目的是提供一种节点数据部署方法、部署节点、系统及介质，以相对确保对目标数据文件的部署数量的准确性，相对避免对目标数据文件的部署占用过多的节点资源或无法满足用户终端的访问需求量。
为解决上述技术问题，本发明提供一种节点数据部署方法，包括：
获取历史周期内流量占比达到预设值的目标数据文件；
统计目标数据文件在历史周期内的最小请求数；
获取部署配置参数，部署配置参数中至少包括部署放大比例、历史周期内的请求并发数；
根据最小请求数以及部署配置参数计算冗余系数；
利用冗余系数对目标数据文件进行冗余部署。
优选的，根据最小请求数以及部署配置参数计算冗余系数，包括：
利用部署放大比例与最小请求数进行乘积运算，生成最大部署数量；
根据请求并发数计算最小部署数量；
计算最大部署数量与最小部署数量的比值，生成冗余系数。
优选的，部署配置参数还包括历史周期内对目标数据文件的请求分布占比；
在生成最大部署数量之后，方法还包括：
根据请求分布占比调整最大部署数量；
计算最大部署数量与最小部署数量的比值，包括：
计算调整后的最大部署数量与最小部署数量的比值。
优选的，部署配置参数还包括目标数据文件的当前部署数量以及待部署节点的性能参数；
在生成冗余系数之后，方法还包括：
根据当前部署数量以及待部署节点的性能参数对冗余系数进行调整；
利用冗余系数对目标数据文件进行冗余部署，包括：
利用调整后的冗余系数对目标数据文件进行冗余部署。
优选的，部署配置参数还包括冗余系数范围；
根据当前部署数量以及待部署节点的性能参数对冗余系数进行调整，包括：
根据当前部署数量以及待部署节点的性能参数对冗余系数进行冗余系数范围内的调整。
优选的，部署配置参数还包括目标数据文件的文件大小以及文件大小分布。
此外，本发明还提供一种部署节点，部署节点包括存储器、处理器和总线，存储器上存储有可由总线传输至处理器并在处理器上运行的节点数据部署程序，节点数据部署程序被处理器执行时实现如上述的节点数据部署方法。
优选的，部署节点为组成CDN网络或者区块链网络的节点。
此外，本发明还提供一种节点数据部署系统，包括：
数据文件获取模块，用于获取历史周期内流量占比达到预设值的目标数据文件；
请求数计算模块，用于统计目标数据文件在历史周期内的最小请求数；
配置参数获取模块，用于获取部署配置参数，部署配置参数中至少包括部署放大比例、历史周期内的请求并发数；
冗余系数计算模块，用于根据最小请求数以及部署配置参数计算冗余系数；
数据部署模块，用于利用冗余系数对目标数据文件进行冗余部署。
此外，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有节点数据部署程序，节点数据部署程序可被一个或者多个处理器执行，以实现如上述的节点数据部署方法。
此外，本发明还提供一种计算机程序产品，包括计算机指令，当其在计算机上运行时，使得计算机可以执行如上述的节点数据部署方法。
本发明所提供的节点数据部署方法，首先获取历史周期内流量占比达到预设值的目标数据文件，并统计目标数据文件在该历史周期内的最小请求数，进而获取至少包括部署放大比例、历史周期内的请求并发数的部署配置参数，并根据最小请求数以及部署配置参数计算冗余系数，最终根据冗余系数对目标数据文件进行冗余部署。本方法根据历史周期中用户对目标数据文件的访问特征，以及针对于节点数据部署而设置的参数对部署目标数据文件所参考的冗余系数进行综合的计算，相对避免了因直接根据流量总数确定需要进行目标数据文件部署的服务节点数，而导致的目标数据文件的部署总量与实际流量需求存在偏差的情况，进而确保了对目标数据文件的部署数量的准确性，并且避免了对目标数据文件的部署占用过多的节点资源或无法满足用户终端访问需求量的情况产生。此外，本发明还提供一种部署节点、节点数据部署系统及计算机可读存储介质，有益效果同上所述。
附图说明
为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种节点数据部署方法的流程图；
图2为本发明实施例提供的另一种节点数据部署方法的流程图；
图3为本发明实施例提供的另一种节点数据部署方法的流程图；
图4为本发明实施例提供的另一种节点数据部署方法的流程图；
图5为本发明实施例提供的一种部署节点的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。
当前在用户终端向调度节点发起数据访问请求时，调度节点根据对不同目标数据文件的数据访问请求对各类目标数据文件被访问的流量进行相应的采集并提供给部署节点根据流量采集结果进行汇总统计，进而根据各类目标数据文件的流量总数选择热度相对较高的目标目标数据文件部署在服务节点中。由于目标数据文件的热度往往是动态变化的，部署节点统计生成的流量总数仅能够反映目标数据文件在一段周期内的热度，而未来周期内的热度可能会随着实际情况而发生变化，因此仅依照目标数据文件在过去一段周期内的流量确定该目标数据文件的部署总数量，往往会与该目标数据文件在未来周期中的实际流量情况存在一定的偏差，进而导致对目标数据文件的部署占用过多的服务节点资源或无法满足用户终端的访问需求量。
本发明的核心是提供一种节点数据部署方法，以相对确保对目标数据文件的部署数量的准确性，相对避免对目标数据文件的部署占用过多的节点资源或无法满足用户终端的访问需求量。此外，本发明还提供一种部署节点、节点数据部署系统及计算机可读存储介质，有益效果如上所述。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。
图1为本发明实施例提供的一种节点数据部署方法的流程图。请参考图1，节点数据部署方法的具体步骤包括：
步骤S10：获取历史周期内流量占比达到预设值的目标数据文件。
需要说明的是，本步骤中的历史周期流量指的是在对目标数据文件进行部署之前的一段时间周期，各类数据文件在历史周期中均可能受到用户的访问，产生相应的流量。另外，流量占比指的是当前目标数据文件的被请求产生的流量占全部所有数据文件因被请求而产生流量的比重，本步骤中所选取目标数据文件的流量需要在整体数据文件流量中所占的比重达到预设值，也就是说，本步骤是在所有被请求的数据文件中筛选达到一定文件数据量比例的目标数据文件进行后续的部署。
步骤S11：统计目标数据文件在历史周期内的最小请求数。
在获取到历史周期内流量占比达到预设值的目标数据文件之后，本方法进一步对目标数据文件在历史周期内的最小请求数进行统计，最小请求数指的是在历史周期内目标数据文件受到用户并发访问时，访问请求最少时刻所对应的数量。
步骤S12：获取部署配置参数，部署配置参数中至少包括部署放大比例、历史周期内的请求并发数。
本步骤是在获取到历史周期内流量占比达到预设值的目标数据文件，并获取到该目标数据文件在历史周期内的最小请求数之后，进一步获取至少包含有部署放大比例、历史周期内的请求并发数，其中，部署放大比例指的是，对于目标数据文件进行部署的数量进行增加的比例，另外，历史周期内的请求并发数指的是在历史周期内访问请求并发的次数。
步骤S13：根据最小请求数以及部署配置参数计算冗余系数。
步骤S14：利用冗余系数对目标数据文件进行冗余部署。
在获取到目标数据文件在历史周期内的最小请求数以及部署配置参数后，进一步根据最小请求数以及部署配置参数综合计算对目标数据文件进行配置时所采用的冗余系数，冗余系数指的是在对目标数据文件进行部署时的冗余比例，本步骤的重点在于冗余系数是根据最小请求数以及一些列部署配置参数综合计算产生，因此冗余系数的产生至少参考了目标数据文件在历史周期内的最小请求数、部署放大比例以及历史周期内的请求并发数。
本发明所提供的节点数据部署方法，首先获取历史周期内流量占比达到预设值的目标数据文件，并统计目标数据文件在该历史周期内的最小请求数，进而获取至少包括部署放大比例、历史周期内的请求并发数的部署配置参数，并根据最小请求数以及部署配置参数计算冗余系数，最终根据冗余系数对目标数据文件进行冗余部署。本方法根据历史周期中用户对目标数据文件的访问特征，以及针对于节点数据部署而设置的参数对部署目标数据文件所参考的冗余系数进行综合的计算，相对避免了因直接根据流量总数确定需要进行目标数据文件部署的服务节点数，而导致的目标数据文件的部署总量与实际流量需求存在偏差的情况，进而确保了对目标数据文件的部署数量的准确性，并且避免了对目标数据文件的部署占用过多的节点资源或无法满足用户终端访问需求量的情况产生。
图2为本发明实施例提供的另一种节点数据部署方法的流程图。请参考图2，节点数据部署方法的具体步骤包括：
步骤S20：获取历史周期内流量占比达到预设值的目标数据文件。
步骤S21：统计目标数据文件在历史周期内的最小请求数。
步骤S22：获取部署配置参数，部署配置参数中至少包括部署放大比例、历史周期内的请求并发数。
步骤S23：利用部署放大比例与最小请求数进行乘积运算，生成最大部署数量。
步骤S24：根据请求并发数计算最小部署数量。
步骤S25：计算最大部署数量与最小部署数量的比值，生成冗余系数。
步骤S26：利用冗余系数对目标数据文件进行冗余部署。
需要说明的是，本实施例利用部署放大比例与最小请求数进行乘积运算的方式计算对于目标数据文件的最大部署数量，进而根据请求并发数，计算对于目标数据文件的最小部署数量，在计算出对于目标数据文件的最大部署数量以及最小部署数量之后，进一步计算最大部署数量与最小部署数量之间的比值，也就是通过最大部署数量与最小部署数量进行商运算，最大部署数量与最小部署数量之间的数量区间可以认为是对目标数据文件进行部署的数量的取值区间，进而本实施例进一步根据最大部署数量与最小部署数量之间差距，计算相应的冗余系数，以此能够相对确保冗余系数的准确性，进而提高对目标数据文件进行部署的数量准确性。
图3为本发明实施例提供的另一种节点数据部署方法的流程图。请参考图3，节点数据部署方法的具体步骤包括：
步骤S30：获取历史周期内流量占比达到预设值的目标数据文件。
步骤S31：统计目标数据文件在历史周期内的最小请求数。
步骤S32：获取部署配置参数，部署配置参数中至少包括部署放大比例、历史周期内的请求并发数以及历史周期内对目标数据文件的请求分布占比。
需要说明的是，本实施例中历史周期内对目标数据文件的请求分布占比，指的是在历史周期内用户对于目标数据文件进行访问请求的时段分布以及该时段时长在整体历史周期中的占比。
步骤S33：利用部署放大比例与最小请求数进行乘积运算，生成最大部署数量。
步骤S34：根据请求分布占比调整最大部署数量。
步骤S35：根据请求并发数计算最小部署数量。
步骤S36：计算调整后的最大部署数量与最小部署数量的比值，生成冗余系数。
步骤S37：利用冗余系数对目标数据文件进行冗余部署。
本实施例根据历史周期内用户对于目标数据文件进行访问请求的时段分布以及该时段时长在整体历史周期中的占比，即请求分布占比，进一步将请求分布占比作为调整最大部署数量的依据，对最大部署数量的值进行调整，以此通过增加最大部署数量的生成因素而进一步提高最大部署数量的准确性，进而本实施方式能够相对进一步提高冗余系数的准确性，确保了对目标数据文件进行部署的准确。
图4为本发明实施例提供的另一种节点数据部署方法的流程图。请参考图4，节点数据部署方法的具体步骤包括：
步骤S40：获取历史周期内流量占比达到预设值的目标数据文件。
步骤S41：统计目标数据文件在历史周期内的最小请求数。
步骤S42：获取部署配置参数，部署配置参数中至少包括部署放大比例、历史周期内的请求并发数、目标数据文件的当前部署数量以及待部署节点的性能参数。
步骤S43：利用部署放大比例与最小请求数进行乘积运算，生成最大部署数量。
步骤S44：根据请求并发数计算最小部署数量。
步骤S45：计算最大部署数量与最小部署数量的比值，生成冗余系数。
步骤S46：根据当前部署数量以及待部署节点的性能参数对冗余系数进行调整。
步骤S47：利用调整后的冗余系数对目标数据文件进行冗余部署。
需要说明的是，本实施例部署配置参数中包含的目标数据文件的当前部署数量，指的是当前已经在待部署节点中完成部署的目标数据文件的数量，而待部署节点的性能参数指的是用于部署目标数据文件的节点的工况性能参数，表征节点能够承载的目标数据文件的数量。由于目标数据文件的当前部署数量以及待部署节点的性能参数，决定着对目标数据文件的部署是否会造成待部署节点中资源的浪费以及是否会降低待部署节点的工作稳定性，因此本实施例将目标数据文件的当前部署数量以及待部署节点的性能参数共同作为生成冗余系数的因素，能够进一步提高冗余系数的准确性，确保了对目标数据文件进行部署的准确。
在上述实施例的基础上，作为一种优选的实施方式，部署配置参数还包括冗余系数范围；
根据当前部署数量以及待部署节点的性能参数对冗余系数进行调整，包括：
根据当前部署数量以及待部署节点的性能参数对冗余系数进行冗余系数范围内的调整。
需要说明的是，本实施方式中的冗余系数范围指的是冗余系数的取值范围，冗余系数范围是对于冗余系统取值的制约条件，能够相对确保冗余系数的取值处于相对合理的范围，进而本实施方式中，根据当前部署数量以及待部署节点的性能参数对冗余系数进行冗余系数范围内的调整，能够相对确保冗余系数的可控性以及准确性。
更进一步的，作为一种优选的实施方式，部署配置参数还包括目标数据文件的文件大小以及文件大小分布。
需要说明的是，本实施方式中目标数据文件的文件大小指的是该目标数据文件的数据量大小；文件大小分布指的是该目标数据文件的数据量在全部类型目标数据文件的数据量中所处的分布区间。本实施方式在生成冗余系数时，进一步考虑到目标数据文件的文件大小以及目标数据文件在全部目标数据文件中的文件大小的分布关系，因此能够进一步增加冗余系数的准确性，进而确保了对目标数据文件进行部署的准确。
为了加深对于上述技术方案的理解，下面提供一种具体场景下的场景实施例进行整体说明。
当根据实际需求而设置的预设值为80％时，首先在历史周期内的全部目标数据文件中，找到流量占比为80％的按请求数排序的流的最小请求数，即最小请求数，也就是说，流量占比80％的流，如果在生命周期里被请求了500次，而这些流对应目标数据文件每一次都能得到100％的分享，若要达到放大比例是10％，那么给这个文件最多能部署50份，即最大部署份数。
但是在实际情况中，难以达到目标数据文件被100％的分享的，比如在目标数据文件新来的过程中，可能前5min都是部署中，这5min我们认为完全没分享，如果这500次都集中在这5分钟请求的，那不部署是最合适的，但是实际情况并不会这么极端，所以统计里历史周期内的请求分布占比是用于表征请求到来的时段分布，例如500次请求在历史周期的0min—5min时段中的请求数量的分布为50次，5min之后的剩余时段中的请求数量的分布为450次。
另外，如果同时在线用户数就是500的话(可能这500个用户一直持续在线)，部署50个就不合适了，50个待部署节点可能没办法服务500个sdk，所以要用历史周期内最大用户在线数的某个分位数算一个最小部署份数，进而冗余系数＝冗余系数可以简单用最大部署份数/最小部署份数，在计算得到冗余系数后，再跟进当前部署份数和当前的小矿机占比，在冗余系数范围内上下调整当前对目标数据文件的部署份数。
在上文中对于数据部署方法的实施例进行了详细的描述，本发明还提供一种与该方法对应的部署节点，由于部署节点部分的实施例与方法部分的实施例相互对应，部署节点部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
图5为本发明实施例提供的一种部署节点的结构图。
请参考图5，本发明实施例提供的一种部署节点1包括存储器11、处理器12和总线13，存储器11上存储有可由总线13传输至处理器12并在处理器12上运行的节点数据部署程序，节点数据部署程序被处理器12执行时实现如上述的节点数据部署方法。
该部署节点1可以是组成CDN网络或者区块链网络的节点。可以是组成CDN网络或者区块链网络的节点。
其中，存储器11至少包括一种类型的可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是部署节点1的内部存储单元，例如该部署节点1的硬盘。存储器11在另一些实施例中也可以是部署节点1的外部存储设备，例如部署节点1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。进一步地，存储器11还可以既包括部署节点1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于部署节点1的应用软件及各类数据，例如视频转码程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行视频转码程序等。
该总线13可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
本发明所提供的部署节点，首先获取历史周期内流量占比达到预设值的目标数据文件，并统计目标数据文件在该历史周期内的最小请求数，进而获取至少包括部署放大比例、历史周期内的请求并发数的部署配置参数，并根据最小请求数以及部署配置参数计算冗余系数，最终根据冗余系数对目标数据文件进行冗余部署。本部署节点根据历史周期中用户对目标数据文件的访问特征，以及针对于节点数据部署而设置的参数对部署目标数据文件所参考的冗余系数进行综合的计算，相对避免了因直接根据流量总数确定需要进行目标数据文件部署的服务节点数，而导致的目标数据文件的部署总量与实际流量需求存在偏差的情况，进而确保了对目标数据文件的部署数量的准确性，并且避免了对目标数据文件的部署占用过多的节点资源或无法满足用户终端访问需求量的情况产生。
本发明还提供一种节点数据部署系统，系统包括：
数据文件获取模块，用于获取历史周期内流量占比达到预设值的目标数据文件；
请求数计算模块，用于统计目标数据文件在历史周期内的最小请求数；
配置参数获取模块，用于获取部署配置参数，部署配置参数中至少包括部署放大比例、历史周期内的请求并发数；
冗余系数计算模块，用于根据最小请求数以及部署配置参数计算冗余系数；
数据部署模块，用于利用冗余系数对目标数据文件进行冗余部署。
本发明所提供的节点数据部署系统，首先获取历史周期内流量占比达到预设值的目标数据文件，并统计目标数据文件在该历史周期内的最小请求数，进而获取至少包括部署放大比例、历史周期内的请求并发数的部署配置参数，并根据最小请求数以及部署配置参数计算冗余系数，最终根据冗余系数对目标数据文件进行冗余部署。本系统根据历史周期中用户对目标数据文件的访问特征，以及针对于节点数据部署而设置的参数对部署目标数据文件所参考的冗余系数进行综合的计算，相对避免了因直接根据流量总数确定需要进行目标数据文件部署的服务节点数，而导致的目标数据文件的部署总量与实际流量需求存在偏差的情况，进而确保了对目标数据文件的部署数量的准确性，并且避免了对目标数据文件的部署占用过多的节点资源或无法满足用户终端访问需求量的情况产生。
此外，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有节点数据部署程序，节点数据部署程序可被一个或者多个处理器执行，以实现如上述的节点数据部署方法。
本发明所提供的计算机可读存储介质，首先获取历史周期内流量占比达到预设值的目标数据文件，并统计目标数据文件在该历史周期内的最小请求数，进而获取至少包括部署放大比例、历史周期内的请求并发数的部署配置参数，并根据最小请求数以及部署配置参数计算冗余系数，最终根据冗余系数对目标数据文件进行冗余部署。本计算机可读存储介质根据历史周期中用户对目标数据文件的访问特征，以及针对于节点数据部署而设置的参数对部署目标数据文件所参考的冗余系数进行综合的计算，相对避免了因直接根据流量总数确定需要进行目标数据文件部署的服务节点数，而导致的目标数据文件的部署总量与实际流量需求存在偏差的情况，进而确保了对目标数据文件的部署数量的准确性，并且避免了对目标数据文件的部署占用过多的节点资源或无法满足用户终端访问需求量的情况产生。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种节点数据部署方法，其特征在于，包括：
获取历史周期内流量占比达到预设值的目标数据文件；
统计所述目标数据文件在所述历史周期内的最小请求数；
获取部署配置参数，所述部署配置参数中至少包括部署放大比例、所述历史周期内的请求并发数；
利用所述部署放大比例与所述最小请求数进行乘积运算，生成最大部署数量；根据所述请求并发数计算最小部署数量；计算所述最大部署数量与所述最小部署数量的比值，生成冗余系数；
利用所述冗余系数对所述目标数据文件进行冗余部署；
其中，所述最小请求数为在所述历史周期内所述目标数据文件收到用户并发访问时、访问请求最少时刻所对应的数量；所述部署放大比例为对于所述目标数据文件进行部署的数量进行增加的比例；所述历史周期内的请求并发数为在所述历史周期内访问请求并发的次数。
2.根据权利要求1所述的节点数据部署方法，其特征在于，所述部署配置参数还包括所述历史周期内对所述目标数据文件的请求分布占比；
在所述生成最大部署数量之后，所述方法还包括：
根据所述请求分布占比调整所述最大部署数量；
所述计算所述最大部署数量与所述最小部署数量的比值，包括：
计算调整后的所述最大部署数量与所述最小部署数量的比值。
3.根据权利要求1所述的节点数据部署方法，其特征在于，所述部署配置参数还包括所述目标数据文件的当前部署数量以及待部署节点的性能参数；
在所述生成所述冗余系数之后，所述方法还包括：
根据所述当前部署数量以及所述待部署节点的性能参数对所述冗余系数进行调整；
所述利用所述冗余系数对所述目标数据文件进行冗余部署，包括：
利用调整后的所述冗余系数对所述目标数据文件进行冗余部署。
4.根据权利要求3所述的节点数据部署方法，其特征在于，所述部署配置参数还包括冗余系数范围；
所述根据所述当前部署数量以及所述待部署节点的性能参数对所述冗余系数进行调整，包括：
根据所述当前部署数量以及所述待部署节点的性能参数对所述冗余系数进行所述冗余系数范围内的调整。
5.根据权利要求1至4任意一项所述的节点数据部署方法，其特征在于，所述部署配置参数还包括所述目标数据文件的文件大小以及文件大小分布。
6.一种部署节点，其特征在于，所述部署节点包括存储器、处理器和总线，所述存储器上存储有可由所述总线传输至所述处理器并在所述处理器上运行的节点数据部署程序，所述节点数据部署程序被所述处理器执行时实现如权利要求1至5任一项所述的节点数据部署方法。
7.根据权利要求6所述的部署节点，其特征在于，所述部署节点为组成CDN网络或者区块链网络的节点。
8.一种节点数据部署系统，其特征在于，包括：
数据文件获取模块，用于获取历史周期内流量占比达到预设值的目标数据文件；
请求数计算模块，用于统计所述目标数据文件在所述历史周期内的最小请求数；
配置参数获取模块，用于获取部署配置参数，所述部署配置参数中至少包括部署放大比例、所述历史周期内的请求并发数；
冗余系数计算模块，用于利用所述部署放大比例与所述最小请求数进行乘积运算，生成最大部署数量；根据所述请求并发数计算最小部署数量；计算所述最大部署数量与所述最小部署数量的比值，生成冗余系数；
数据部署模块，用于利用所述冗余系数对所述目标数据文件进行冗余部署；
其中，所述最小请求数为在所述历史周期内所述目标数据文件收到用户并发访问时、访问请求最少时刻所对应的数量；所述部署放大比例为对于所述目标数据文件进行部署的数量进行增加的比例；所述历史周期内的请求并发数为在所述历史周期内访问请求并发的次数。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有节点数据部署程序，所述节点数据部署程序可被一个或者多个处理器执行，以实现如权利要求1至5中任一项所述的节点数据部署方法。
CN201911067388.6A 2019-11-04 2019-11-04 一种节点数据部署方法、部署节点、系统及介质 Active CN110839069B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911067388.6A CN110839069B (zh) 2019-11-04 2019-11-04 一种节点数据部署方法、部署节点、系统及介质
PCT/CN2020/090809 WO2021088351A1 (zh) 2019-11-04 2020-05-18 一种节点数据部署方法、部署节点、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911067388.6A CN110839069B (zh) 2019-11-04 2019-11-04 一种节点数据部署方法、部署节点、系统及介质

Publications (2)

Publication Number Publication Date
CN110839069A CN110839069A (zh) 2020-02-25
CN110839069B true CN110839069B (zh) 2021-09-24

Family

ID=69576065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911067388.6A Active CN110839069B (zh) 2019-11-04 2019-11-04 一种节点数据部署方法、部署节点、系统及介质

Country Status (2)

Country Link
CN (1) CN110839069B (zh)
WO (1) WO2021088351A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110839069B (zh) * 2019-11-04 2021-09-24 深圳市网心科技有限公司 一种节点数据部署方法、部署节点、系统及介质
CN111770180B (zh) * 2020-06-29 2023-06-30 百度在线网络技术（北京）有限公司 部署方法、装置、设备以及存储介质
CN112130931B (zh) * 2020-09-27 2023-01-06 联想(北京)有限公司 一种应用部署方法、节点、系统及存储介质
CN116600015B (zh) * 2023-07-18 2023-10-10 湖南快乐阳光互动娱乐传媒有限公司 一种资源节点调整方法、系统、电子设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103974138A (zh) * 2014-04-15 2014-08-06 上海聚力传媒技术有限公司 用于在内容分发网络中预加载视频的方法与设备
CN105450535A (zh) * 2015-11-10 2016-03-30 深圳市网心科技有限公司 一种海量的cdn节点资源部署系统和方法
CN109522151A (zh) * 2017-09-15 2019-03-26 北京京东尚科信息技术有限公司 用于数据冗余储存的方法及装置
CN109634915A (zh) * 2018-11-28 2019-04-16 深圳市网心科技有限公司 文件部署方法、云服务器、系统及存储介质
CN110290399A (zh) * 2019-06-25 2019-09-27 深圳市网心科技有限公司 一种数据分发方法、系统、装置及计算机可读存储介质
CN110351374A (zh) * 2019-07-16 2019-10-18 深圳市网心科技有限公司 一种文件部署方法、装置及设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8250171B2 (en) * 2007-06-22 2012-08-21 Pioneer Corporation Content delivery apparatus, content delivery method, and content delivery program
WO2011055976A2 (ko) * 2009-11-03 2011-05-12 (주)피스페이스 분산 저장 시스템에서 파일을 관리하는 장치 및 방법
CN103118133B (zh) * 2013-02-28 2015-09-02 浙江大学 基于文件访问频次的混合云存储方法
CN103475709B (zh) * 2013-09-09 2017-01-04 国家电网公司 一种面向云计算平台的副本动态控制方法及其系统
WO2015177505A1 (en) * 2014-05-21 2015-11-26 British Telecommunications Public Limited Company Methods and apparatus for storing electronic documents
CN107302561B (zh) * 2017-05-23 2019-08-13 南京邮电大学 一种云存储系统中热点数据副本放置方法
CN108536552A (zh) * 2018-04-17 2018-09-14 北京搜狐新媒体信息技术有限公司 数据的冗余备份处理方法及装置
CN110035306A (zh) * 2019-04-23 2019-07-19 深圳市网心科技有限公司 文件的部署方法及装置、调度方法及装置
CN110839069B (zh) * 2019-11-04 2021-09-24 深圳市网心科技有限公司 一种节点数据部署方法、部署节点、系统及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103974138A (zh) * 2014-04-15 2014-08-06 上海聚力传媒技术有限公司 用于在内容分发网络中预加载视频的方法与设备
CN105450535A (zh) * 2015-11-10 2016-03-30 深圳市网心科技有限公司 一种海量的cdn节点资源部署系统和方法
CN109522151A (zh) * 2017-09-15 2019-03-26 北京京东尚科信息技术有限公司 用于数据冗余储存的方法及装置
CN109634915A (zh) * 2018-11-28 2019-04-16 深圳市网心科技有限公司 文件部署方法、云服务器、系统及存储介质
CN110290399A (zh) * 2019-06-25 2019-09-27 深圳市网心科技有限公司 一种数据分发方法、系统、装置及计算机可读存储介质
CN110351374A (zh) * 2019-07-16 2019-10-18 深圳市网心科技有限公司 一种文件部署方法、装置及设备

Also Published As

Publication number Publication date
WO2021088351A1 (zh) 2021-05-14
CN110839069A (zh) 2020-02-25

Similar Documents

Publication Publication Date Title
CN110839069B (zh) 一种节点数据部署方法、部署节点、系统及介质
CN108683720B (zh) 一种容器集群服务配置方法及装置
US9491313B2 (en) Optimizing storage between mobile devices and cloud storage providers
US8612615B2 (en) Systems and methods for identifying usage histories for producing optimized cloud utilization
CN108090225B (zh) 数据库实例的运行方法、装置、系统及计算机可读存储介质
Li et al. Pricing and repurchasing for big data processing in multi-clouds
US10783002B1 (en) Cost determination of a service call
US20120221454A1 (en) Systems and methods for generating marketplace brokerage exchange of excess subscribed resources using dynamic subscription periods
US20180373615A1 (en) Tunable, efficient monitoring of capacity usage in distributed storage systems
CN110138883B (zh) 混合云资源分配方法和装置
Wang et al. Optimal online multi-instance acquisition in IaaS clouds
CN108574645A (zh) 一种队列调度方法及装置
CN115469813A (zh) 数据处理方法及装置、存储介质、电子装置
US8294593B2 (en) Method and data processing system for collecting usage data of an on-demand service
CN113079062A (zh) 一种资源调整方法、装置、计算机设备和存储介质
CN114070847A (zh) 服务器的限流方法、装置、设备及存储介质
CN109144689B (zh) 任务调度方法、装置及计算机程序产品
CN112583609A (zh) 一种云计费方法、装置、云管理平台、系统及存储介质
JP2019160130A (ja) 利用料決定プログラム、利用料決定方法、及び情報処理装置
CN116996440A (zh) 流量控制方法、装置、电子设备、存储介质及程序产品
CN110708374B (zh) 一种边缘节点的分配方法、分配装置及可读存储介质
KR101725192B1 (ko) 자원 템플릿 관리를 통한 자원 정보 관리 및 데이터 저장 시스템
CN112491939B (zh) 多媒体资源调度方法及系统
CN115080220A (zh) 云资源分配方法及设备
CN115469975A (zh) 容器资源调整方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant