CN108989442A - 数据分发方法、系统及控制节点 - Google Patents

数据分发方法、系统及控制节点 Download PDF

Info

Publication number
CN108989442A
CN108989442A CN201810842636.9A CN201810842636A CN108989442A CN 108989442 A CN108989442 A CN 108989442A CN 201810842636 A CN201810842636 A CN 201810842636A CN 108989442 A CN108989442 A CN 108989442A
Authority
CN
China
Prior art keywords
data
level
distribution
node
diostribution device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810842636.9A
Other languages
English (en)
Inventor
房宗启
张世富
裴宏祥
王鹏
刘乾
曹朦胧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN201810842636.9A priority Critical patent/CN108989442A/zh
Publication of CN108989442A publication Critical patent/CN108989442A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例提供一种数据分发方法、系统及控制节点。该方法包括：监控第一级分发装置和第二级分发装置的运行情况，获取监控数据，所述监控数据包括以下至少一项：数据积压量、数据积压速度、实时分发速度和数据分发时延；根据监控数据，对第一级分发装置和第二级分发装置进行调整。本发明实施例的方法，提高了资源利用率和分发效率。

Description

数据分发方法、系统及控制节点
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种数据分发方法、系统及控制节点。
背景技术
数据分发装置可以根据一定的分发规则，对输入的数据进行分组，然后将分组后的数据分发给更多的业务处理模块进行处理，以此来提高系统的并行能力和吞吐量。在规划部署工作节点和分发通道时，通常以数据流速达到峰值时，待处理数据不积压为准。
在空闲时段，由于数据流量较小，大量工作节点处于空闲等待状态，资源浪费严重，资源利用率低。当生产数据增多，数据产生积压时，需手动增加工作节点和分发通道。当扩充的工作节点数量增多时，节点之间通信交互的开销增大、分发效率降低，严重制约了系统的实时性和吞吐量。
综上所述，现有数据分发技术资源利用率低、分发效率低。
发明内容
本发明实施例提供一种数据分发方法、系统及控制节点，用以解决现有数据分发技术资源利用率低、分发效率低的问题。
第一方面，本发明实施例提供一种数据分发方法，应用于控制节点，控制节点应用于数据分发系统，数据分发系统还包括第一级分发装置和第二级分发装置，第一级分发装置包括至少两个一级分发节点，第二级分发装置包括至少一个二级分发节点，一级分发节点的数量大于二级分发节点的数量，包括：
监控第一级分发装置和第二级分发装置的运行情况，获取监控数据，监控数据包括以下至少一项：数据积压量、数据积压速度、实时分发速度和数据分发时延；
根据监控数据，对第一级分发装置和第二级分发装置进行调整。
在一种可能的实现方式中，根据监控数据，对第一级分发装置和第二级分发装置进行调整包括：
若至少一个一级分发节点的数据积压量大于第一预设数据积压量，且数据积压速度大于第一预设数据积压速度，则增加第一级分发装置中包括的一级分发节点的数量；
和/或，
若至少一个二级分发节点的数据积压量大于第二预设数据积压量，且数据积压速度大于第二预设数据积压速度，则增加第二级分发装置中包括的二级分发节点的数量。
在一种可能的实现方式中，根据监控数据，对第一级分发装置和第二级分发装置进行调整包括：
若至少一个一级分发节点的数据积压量小于第三预设数据积压量，数据积压速度小于第三预设数据积压速度，且实时分发速度小于第一预设分发速度，则减少第一级分发装置中包括的一级分发节点的数量；
和/或，
若至少一个二级分发节点的数据积压量小于第四预设数据积压量，数据积压速度小于第四预设数据积压速度，且实时分发速度小于第二预设分发速度，则减少第二级分发装置中包括的二级分发节点的数量。
在一种可能的实现方式中，根据监控数据，对第一级分发装置和第二级分发装置进行调整包括：
若至少一个一级分发节点的数据分发时延大于第一预设时延，则增加第一级分发装置中包括的一级分发节点的数量；
和/或，
若至少一个二级分发节点的数据分发时延大于第二预设时延，则增加第二级分发装置中包括的二级分发节点的数量。
第二方面，本发明实施例提供一种数据分发系统，包括：
第一级分发装置、第二级分发装置和控制节点，第一级分发装置包括至少两个一级分发节点，第二级分发装置包括至少一个二级分发节点，一级分发节点的数量大于二级分发节点的数量；
第一级分发装置，用于根据第一预设规则将输入数据分发至第二级分发装置；
第二级分发装置，用于根据第二预设规则将接收到的数据分发至多个数据处理节点，数据处理节点用于对接收到的数据进行处理；
控制节点，用于根据如第一方面任一项所述的方法，对第一级分发装置和第二级分发装置进行调整。
在一种可能的实现方式中，第一级分发装置，用于根据第一预设规则将输入数据分发至第二级分发装置包括：
第一级分发装置，用于将具有相同数据标识的输入数据分发至至少一个二级分发节点中的一个二级分发节点。
在一种可能的实现方式中，第二级分发装置，用于根据第二预设规则将接收到的数据分发至多个数据处理节点包括：
针对第二级分发装置中的每一个二级分发节点，根据二级分发节点的额定分发速度和数据处理节点的额定处理速度，确定与二级分发节点对应的数据处理节点的个数；
二级分发节点将具有相同数据标识的数据分发至与二级分发节点对应的多个数据处理节点中的一个数据处理节点。
第三方面，本发明实施例提供一种控制节点，应用于数据分发系统，数据分发系统还包括第一级分发装置和第二级分发装置，第一级分发装置包括至少两个一级分发节点，第二级分发装置包括至少一个二级分发节点，一级分发节点的数量大于二级分发节点的数量，包括：
监控模块，用于监控第一级分发装置和第二级分发装置的运行情况，获取监控数据，监控数据包括：数据积压量、数据积压速度、实时分发速度和数据分发时延；
处理模块，用于根据监控数据，对第一级分发装置和第二级分发装置进行调整。
第四方面，本发明实施例提供一种控制节点，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面任一项所述的方法。
第五方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如第一方面任一项所述的方法。
本发明实施例提供的数据分发方法、系统及控制节点，通过控制节点对第一级分发装置和第二级分发装置的运行情况进行监控，并根据获取到的监控数据对第一级分发装置和第二级分发装置进行实时调整，不仅解决了空闲时段分发节点资源浪费问题，提高了资源利用率，而且能够解决数据积压，导致数据处理时延增大的问题，提高了用户体验。通过采用分级分发的策略，先将输入数据由一级分发节点进行第一次分发，然后由二级分发节点对分流后的数据进行第二次分发，减小了节点之间通信交互的开销，提高了单节点的分发效率，提高了系统的扩展能力和吞吐量。综上所述，本发明实施例提供的数据分发系统提高了资源利用率和分发效率，提升了用户体验。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1为现有数据分发系统的结构示意图；
图2为本发明提供的数据分发系统一实施例的结构示意图；
图3为本发明提供的数据分发方法一实施例的流程图；
图4为本发明提供的控制节点一实施例的结构示意图；
图5为本发明提供的控制节点又一实施例的结构示意图。
通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
本发明的说明书和权利要求书中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明中的“第一”和“第二”只起标识作用，而不能理解为指示或暗示顺序关系、相对重要性或者隐含指明所指示的技术特征的数量。“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本发明的说明书中通篇提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
图1为现有数据分发系统的结构示意图。如图1所示，现有数据分发系统只包括一级分发装置11用于将输入数据10根据一定的分发规则，分发至数据处理装置12中的各个数据处理节点进行处理。其中，分发装置11包括Q个分发节点，数据处理装置12包括H个数据处理节点。在分布式数据处理系统中，H个数据处理节点可以分布在多个数据处理设备中，本实施例对比不做限制。为了提高系统的并行能力和吞吐量，通常可以设置H大于Q。为了避免数据产生积压，处理时延增大，降低用户体验，在规划部署节点和分发通道时，通常以数据流速达到峰值时，待处理数据不积压为准。因此，势必会造成了空闲时段，数据流量较少，大量节点处于空闲等待状态，资源浪费严重。
而且在生产数据增多，数据产生积压时，需手工增加节点和分通道，并停服重启系统中的所有节点，这种扩充通道的操作工作量大、出错率高、耗费大量人员精力，而且在停服期间会产生大量数据积压，影响用户体验。当扩充的节点数量增多时，节点之间通信交互的开销增大、分发效率降低，严重制约了系统的实时性和吞吐量。
以电信运营商的用户计费数据作为输入数据，由于该计费数据包括了众多用户的数据，而为了避免同一用户的计费数据由多个数据处理节点进行处理造成的异步问题，需要将同一用户的计费数据分发给同一个数据处理节点进行处理。因此，数据处理装置12中的每一个数据处理节点需要与分发装置11中的全部分发节点进行连接。即分发装置11与数据处理装置12之间的数据分发通道的数量为Q*H。假如在系统设计之初，Q＝40，H＝60，则分发通道数量为2400；后续随着生产数据的增多，经扩充Q＝60，H＝90，则分发通道数量为5400。可见，经过节点扩充，节点之间通信交互的开销大幅增大，单个分发节点的分发效率降低，严重制约了系统的实时性和吞吐量。
图2为本发明提供的数据分发系统一实施例的结构示意图。如图2所示，本实施例提供的数据分发系统，可以包括：第一级分发装置21、第二级分发装置22和控制节点23。
其中，第一级分发装置21包括至少两个一级分发节点，第二级分发装置22包括至少一个二级分发节点，一级分发节点的数量大于二级分发节点的数量。本实施例中，第一级分发装置21包括N个一级分发节点，第二级分发装置22包括M个二级分发节点，N>M。
第一级分发装置21，用于根据第一预设规则将输入数据20分发至第二级分发装置22。
可选的，第一级分发装置21，可以用于将具有相同数据标识的输入数据分发至至少一个二级分发节点中的一个二级分发节点。同理，为了使具有相同数据标识的数据由同一数据处理节点进行处理，本实施例中每一个二级分发节点需要与第一级分发装置21中的全部N个一级分发节点连接。
第二级分发装置22，用于根据第二预设规则将接收到的数据分发至数据分发装置24中的多个数据处理节点，数据处理节点用于对接收到的数据进行处理。
可选的，针对第二级分发装置22中的每一个二级分发节点，根据二级分发节点的额定分发速度和数据处理节点的额定处理速度，确定与二级分发节点对应的数据处理节点的个数。二级分发节点将具有相同数据标识的数据分发至与二级分发节点对应的多个数据处理节点中的一个数据处理节点。
其中，额定分发速度用于表示分发节点单位时间内可以分发的最大数据量；额定处理速度用于表示数据处理节点单位时间内可以处理的最大数据量。
可选的，可以设置第一级分发装置21中N个一级分发节点具有相同的额定分发速度V1S，第二级分发装置22中M个二级分发节点具有相同的额定分发速度V2S，数据处理装置24中的P个数据处理节点具有相同的额定处理速度VR。
可选的，可以根据ceil(V2S/VR)确定与一个二级分发节点对应的数据处理节点的个数，其中，ceil表示向上取整。本实施例中一个二级分发节点将接收到的数据分发至3个数据处理节点进行处理。
控制节点23，用于监控第一级分发装置21和第二级分发装置22的运行情况，获取监控数据，监控数据包括以下至少一项：数据积压量、数据积压速度、实时分发速度和数据分发时延。根据监控数据，对第一级分发装置21和第二级分发装置22进行调整。
可选的，对第一级分发装置21和第二级分发装置22的调整可以包括调整一级分发节点的数量、二级分发节点的数量以及对应的分发通道信息。
下面通过一个具体的例子来说明本实施例提供的数据分发系统如何减小节点之间进行通信交互的开销。例如，设置N＝60，M＝30，P＝90，本实施例提供的数据分发系统供包括60*30+90＝1890个分发通道，相较于现有数据分发系统所包括的5400个分发通道，使得节点之间通信交互的开销大幅减小。
可选的，本实施例提供的数据分发系统，还可以包括配置节点，用于存储配置信息。
本实施例提供的数据分发系统，通过控制节点对第一级分发装置和第二级分发装置的运行情况进行监控，并根据获取到的监控数据对第一级分发装置和第二级分发装置进行实时调整，不仅解决了空闲时段分发节点资源浪费问题，提高了资源利用率，而且能够解决数据积压，导致数据处理时延增大的问题，提高了用户体验。通过采用分级分发的策略，先将输入数据由一级分发节点进行第一次分发，然后由二级分发节点对分流后的数据进行第二次分发，减小了节点之间通信交互的开销，提高了单节点的分发效率，提高了系统的扩展能力和吞吐量。综上所述，本实施例提供的数据分发系统提高了资源利用率和分发效率，提升了用户体验。
图3为本发明提供的数据分发方法一实施例的流程图。本发明实施例提供的方法可以应用于控制节点，控制节点可以应用于数据分发系统，数据分发系统还包括第一级分发装置和第二级分发装置，第一级分发装置包括至少两个一级分发节点，第二级分发装置包括至少一个二级分发节点，一级分发节点的数量大于二级分发节点的数量。如图3所示，本实施例提供的方法可以包括：
步骤S301、监控第一级分发装置和第二级分发装置的运行情况，获取监控数据，监控数据包括以下至少一项：数据积压量、数据积压速度、实时分发速度和数据分发时延。
可选的，控制节点可以对第一级分发装置中的每一个一级分发节点以及第二级分发装置中的每一个二级分发节点进行监控，获知各个分发节点的运行情况。
步骤S302、根据监控数据，对第一级分发装置和第二级分发装置进行调整。
可选的，当数据产生积压，数据分发时延较大时，可以增加分发节点；当实时分发速度较小，可以减少分发节点。
本实施例提供的方法，通过监控第一级分发装置和第二级分发装置的运行情况，获取监控数据，并根据监控数据，对第一级分发装置和第二级分发装置进行实时调整。解决了空闲时段分发节点资源浪费问题，提高了资源利用率，而且能够解决数据积压，导致数据处理时延增大的问题，提高了用户体验。
在上述实施例的基础上，下面通过几个具体的实施例，对图3所示方法实施例中根据监控数据，对第一级分发装置和第二级分发装置进行调整的技术方案进行详细说明。
可选的，根据监控数据，对第一级分发装置和第二级分发装置进行调整，可以包括：
若至少一个一级分发节点的数据积压量大于第一预设数据积压量，且数据积压速度大于第一预设数据积压速度，则增加第一级分发装置中包括的一级分发节点的数量；
和/或，
若至少一个二级分发节点的数据积压量大于第二预设数据积压量，且数据积压速度大于第二预设数据积压速度，则增加第二级分发装置中包括的二级分发节点的数量。
其中，第一预设数据积压量、第二预设数据积压量、第一预设数据积压速度与第二预设数据积压速度可以根据实际情况进行设置，本实施例对此不做限制。
例如，可以根据
确定需要增加的一级分发节点的数量。其中，ΔN1表示需要增加的一级分发节点数，ΔI1表示一级分发节点的数据积压速度，V1S表示一级分发节点的额定分发速度。当有多个一级分发节点满足上述条件时，ΔI1可以表示所有满足条件的一级分发节点的数据积压速度之和，表示向上取整。
例如，可以根据
确定需要增加的二级分发节点的数量。其中，ΔM1表示需要增加的二级分发节点数，ΔI2表示二级分发节点的数据积压速度，V2S表示二级分发节点的额定分发速度。当有多个二级分发节点满足上述条件时，ΔI2可以表示所有满足条件的二级分发节点的数据积压速度之和，表示向上取整。
可选的，根据监控数据，对第一级分发装置和第二级分发装置进行调整，可以包括：
若至少一个一级分发节点的数据积压量小于第三预设数据积压量，数据积压速度小于第三预设数据积压速度，且实时分发速度小于第一预设分发速度，则减少第一级分发装置中包括的一级分发节点的数量；
和/或，
若至少一个二级分发节点的数据积压量小于第四预设数据积压量，数据积压速度小于第四预设数据积压速度，且实时分发速度小于第二预设分发速度，则减少第二级分发装置中包括的二级分发节点的数量。
其中，第三预设数据积压量可以小于第一预设数据积压量，第三预设数据积压速度可以小于第一预设数据积压速度；第四预设数据积压量可以小于第二预设数据积压量，第四预设数据积压速度可以小于第二预设数据积压速度。
第一预设分发速度可以根据一级分发节点的额定分发速度确定，例如可以设置为(1/10)V1S；第二预设分发速度可以根据二级分发节点的额定分发速度确定，例如可以设置为(1/10)V2S。
例如，可以根据以下公式：
确定需要减少的一级分发节点的数量。其中，ΔN2表示需要减少的一级分发节点数量，N表示一级分发节点的总数，v1i表示第i个一级分发节点的实时分发速度，V1S表示一级分发节点的额定分发速度。
例如，可以根据以下公式：
确定需要减少的二级分发节点的数量。其中，ΔM2表示需要减少的二级分发节点数量，M表示二级分发节点的总数，v2i表示第i个二级分发节点的实时分发速度，V2S表示二级分发节点的额定分发速度。
可选的，根据监控数据，对第一级分发装置和第二级分发装置进行调整，可以包括：
若至少一个一级分发节点的数据分发时延大于第一预设时延，则增加第一级分发装置中包括的一级分发节点的数量；
和/或，
若至少一个二级分发节点的数据分发时延大于第二预设时延，则增加第二级分发装置中包括的二级分发节点的数量。
需要说明的是，无论是增加还是减少节点的数量，相应的分发通道信息以及相应的节点信息都需要进行相应调整。以图2所示数据分发系统为例，当增加一个二级分发节点S2M+1时，需要同步增加3个数据处理节点RP+1、RP+2和RP+3。同理，当减少一个二级分发节点S2M时，需要同步减少N个一级分发节点至该二级分发节点的分发通道，以及与该二级分发节点对应的数据处理节点RP-2、RP-1和RP。
可选的，当分发通道中的数据分布不均衡时，可以执行负载均衡策略，使数据在各个分发通道中均匀分布。
本发明实施例还提供一种控制节点，应用于数据分发系统，数据分发系统还包括第一级分发装置和第二级分发装置，第一级分发装置包括至少两个一级分发节点，第二级分发装置包括至少一个二级分发节点，一级分发节点的数量大于二级分发节点的数量。请参见图4所示，本发明实施例仅以图4为例进行说明，并不表示本发明仅限于此。本发明实施例提供的控制节点，可以是一种控制设备，也可以是用于控制设备中的部件，如芯片、集成电路等。图4为本发明提供的控制节点一实施例的结构示意图。如图4所示，本实施例提供的控制节点40可以包括：监控模块401和处理模块402。
监控模块401，用于监控第一级分发装置和第二级分发装置的运行情况，获取监控数据，监控数据包括：数据积压量、数据积压速度、实时分发速度和数据分发时延；
处理模块402，用于根据监控数据，对第一级分发装置和第二级分发装置进行调整。
本实施例的装置，可以用于执行图3所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
可选的，处理模块402具体可以用于，
若至少一个一级分发节点的数据积压量大于第一预设数据积压量，且数据积压速度大于第一预设数据积压速度，则增加第一级分发装置中包括的一级分发节点的数量；
和/或，
若至少一个二级分发节点的数据积压量大于第二预设数据积压量，且数据积压速度大于第二预设数据积压速度，则增加第二级分发装置中包括的二级分发节点的数量。
可选的，处理模块402具体还可以用于，
若至少一个一级分发节点的数据积压量小于第三预设数据积压量，数据积压速度小于第三预设数据积压速度，且实时分发速度小于第一预设分发速度，则减少第一级分发装置中包括的一级分发节点的数量；
和/或，
若至少一个二级分发节点的数据积压量小于第四预设数据积压量，数据积压速度小于第四预设数据积压速度，且实时分发速度小于第二预设分发速度，则减少第二级分发装置中包括的二级分发节点的数量。
可选的，处理模块402具体还可以用于，
若至少一个一级分发节点的数据分发时延大于第一预设时延，则增加第一级分发装置中包括的一级分发节点的数量；
和/或，
若至少一个二级分发节点的数据分发时延大于第二预设时延，则增加第二级分发装置中包括的二级分发节点的数量。
本发明实施例还提供一种控制节点，应用于数据分发系统，数据分发系统还包括第一级分发装置和第二级分发装置，第一级分发装置包括至少两个一级分发节点，第二级分发装置包括至少一个二级分发节点，一级分发节点的数量大于二级分发节点的数量。请参见图5所示，本发明实施例仅以图5为例进行说明，并不表示本发明仅限于此。本发明实施例提供的控制节点，可以是一种控制设备，也可以是用于控制设备中的部件，如芯片、集成电路等。图5为本发明提供的控制节点又一实施例的结构示意图。如图5所示，本实施例提供的控制节点50可以包括：存储器501、处理器502和总线503。其中，总线503用于实现各元件之间的连接。
存储器501中存储有计算机程序，计算机程序被处理器502执行时可以实现上述任一方法实施例提供的，应用于控制节点的数据分发方法的技术方案。
其中，存储器501和处理器502之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可以通过一条或者多条通信总线或信号线实现电性连接，如可以通过总线503连接。存储器501中存储有实现上述任一方法实施例提供的，应用于控制节点的数据分发方法的的计算机程序，包括至少一个可以软件或固件的形式存储于存储器501中的软件功能模块，处理器502通过运行存储在存储器501内的软件程序以及模块，从而执行各种功能应用以及数据处理。
存储器501可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(ProgrammableRead-Only Memory，简称：PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，简称：EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，简称：EEPROM)等。其中，存储器501用于存储程序，处理器502在接收到执行指令后，执行程序。进一步地，上述存储器501内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。
处理器502可以是一种集成电路芯片，具有信号的处理能力。上述的处理器502可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(Network Processor，简称：NP)等。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。可以理解，图5的结构仅为示意，还可以包括比图5中所示更多或者更少的组件，或者具有与图5所示不同的配置。图5中所示的各组件可以采用硬件和/或软件实现。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时可以实现上述任一方法实施例提供的，应用于控制节点的数据分发方法。本实施例中的计算机可读存储介质可以是计算机能够存取的任何可用介质，或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备，可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如SSD)等。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种数据分发方法，应用于控制节点，所述控制节点应用于数据分发系统，所述数据分发系统还包括第一级分发装置和第二级分发装置，所述第一级分发装置包括至少两个一级分发节点，所述第二级分发装置包括至少一个二级分发节点，所述一级分发节点的数量大于所述二级分发节点的数量，其特征在于，包括：
监控所述第一级分发装置和所述第二级分发装置的运行情况，获取监控数据，所述监控数据包括以下至少一项：数据积压量、数据积压速度、实时分发速度和数据分发时延；
根据所述监控数据，对所述第一级分发装置和所述第二级分发装置进行调整。
2.根据权利要求1所述的方法，其特征在于，所述根据所述监控数据，对所述第一级分发装置和所述第二级分发装置进行调整包括：
若至少一个一级分发节点的数据积压量大于第一预设数据积压量，且数据积压速度大于第一预设数据积压速度，则增加第一级分发装置中包括的一级分发节点的数量；
和/或，
若至少一个二级分发节点的数据积压量大于第二预设数据积压量，且数据积压速度大于第二预设数据积压速度，则增加第二级分发装置中包括的二级分发节点的数量。
3.根据权利要求1所述的方法，其特征在于，所述根据所述监控数据，对所述第一级分发装置和所述第二级分发装置进行调整包括：
若至少一个一级分发节点的数据积压量小于第三预设数据积压量，数据积压速度小于第三预设数据积压速度，且实时分发速度小于第一预设分发速度，则减少第一级分发装置中包括的一级分发节点的数量；
和/或，
若至少一个二级分发节点的数据积压量小于第四预设数据积压量，数据积压速度小于第四预设数据积压速度，且实时分发速度小于第二预设分发速度，则减少第二级分发装置中包括的二级分发节点的数量。
4.根据权利要求1所述的方法，其特征在于，所述根据所述监控数据，对所述第一级分发装置和所述第二级分发装置进行调整包括：
若至少一个一级分发节点的数据分发时延大于第一预设时延，则增加第一级分发装置中包括的一级分发节点的数量；
和/或，
若至少一个二级分发节点的数据分发时延大于第二预设时延，则增加第二级分发装置中包括的二级分发节点的数量。
5.一种数据分发系统，其特征在于，包括：
第一级分发装置、第二级分发装置和控制节点，所述第一级分发装置包括至少两个一级分发节点，所述第二级分发装置包括至少一个二级分发节点，所述一级分发节点的数量大于所述二级分发节点的数量；
所述第一级分发装置，用于根据第一预设规则将输入数据分发至所述第二级分发装置；
所述第二级分发装置，用于根据第二预设规则将接收到的数据分发至多个数据处理节点，所述数据处理节点用于对接收到的数据进行处理；
所述控制节点，用于根据权利要求1-4任一项所述的方法，对所述第一级分发装置和所述第二级分发装置进行调整。
6.根据权利要求5所述的系统，其特征在于，所述第一级分发装置，用于根据第一预设规则将输入数据分发至所述第二级分发装置包括：
所述第一级分发装置，用于将具有相同数据标识的输入数据分发至所述至少一个二级分发节点中的一个二级分发节点。
7.根据权利要求5所述的系统，其特征在于，所述第二级分发装置，用于根据第二预设规则将接收到的数据分发至多个数据处理节点包括：
针对所述第二级分发装置中的每一个二级分发节点，根据所述二级分发节点的额定分发速度和所述数据处理节点的额定处理速度，确定与所述二级分发节点对应的所述数据处理节点的个数；
所述二级分发节点将具有相同数据标识的数据分发至与所述二级分发节点对应的多个数据处理节点中的一个数据处理节点。
8.一种控制节点，应用于数据分发系统，所述数据分发系统还包括第一级分发装置和第二级分发装置，所述第一级分发装置包括至少两个一级分发节点，所述第二级分发装置包括至少一个二级分发节点，所述一级分发节点的数量大于所述二级分发节点的数量，其特征在于，包括：
监控模块，用于监控所述第一级分发装置和所述第二级分发装置的运行情况，获取监控数据，所述监控数据包括：数据积压量、数据积压速度、实时分发速度和数据分发时延；
处理模块，用于根据所述监控数据，对所述第一级分发装置和所述第二级分发装置进行调整。
9.一种控制节点，其特征在于，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-4任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-4任一项所述的方法。
CN201810842636.9A 2018-07-27 2018-07-27 数据分发方法、系统及控制节点 Pending CN108989442A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810842636.9A CN108989442A (zh) 2018-07-27 2018-07-27 数据分发方法、系统及控制节点

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810842636.9A CN108989442A (zh) 2018-07-27 2018-07-27 数据分发方法、系统及控制节点

Publications (1)

Publication Number Publication Date
CN108989442A true CN108989442A (zh) 2018-12-11

Family

ID=64551727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810842636.9A Pending CN108989442A (zh) 2018-07-27 2018-07-27 数据分发方法、系统及控制节点

Country Status (1)

Country Link
CN (1) CN108989442A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111447255A (zh) * 2020-03-02 2020-07-24 中国平安人寿保险股份有限公司 基于分布式的数据分发方法、电子装置及存储介质
CN112565651A (zh) * 2020-11-30 2021-03-26 深圳数字电视国家工程实验室股份有限公司 数据传输方法、电子设备及计算机可读存储介质
CN113422734A (zh) * 2021-06-16 2021-09-21 北京百度网讯科技有限公司 资源分发方法、装置、电子设备以及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1996931A (zh) * 2005-12-31 2007-07-11 迈普（四川）通信技术有限公司 网络组播方法
CN101022333A (zh) * 2007-02-01 2007-08-22 华为技术有限公司 组密钥控制报文的分发系统、方法和装置
CN101582826A (zh) * 2009-06-25 2009-11-18 北京洲洋伟业信息技术有限公司 一种互联网课堂中基于动态二叉树子侄双路数据传输方法
CN105159775A (zh) * 2015-08-05 2015-12-16 浪潮(北京)电子信息产业有限公司 基于负载均衡器的云计算数据中心的管理系统和管理方法
CN105897507A (zh) * 2016-03-31 2016-08-24 杭州数梦工场科技有限公司 节点设备的状态检测方法和装置
CN106484528A (zh) * 2016-09-07 2017-03-08 北京百度网讯科技有限公司 分布式框架中用于实现集群动态伸缩的方法及装置
CN107025139A (zh) * 2017-03-21 2017-08-08 北京天云融创软件技术有限公司 一种基于云计算的高性能计算调度框架
US9756122B2 (en) * 2015-03-20 2017-09-05 Yahoo Holdings, Inc. Using hierarchical reservoir sampling to compute percentiles at scale

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1996931A (zh) * 2005-12-31 2007-07-11 迈普（四川）通信技术有限公司 网络组播方法
CN101022333A (zh) * 2007-02-01 2007-08-22 华为技术有限公司 组密钥控制报文的分发系统、方法和装置
CN101582826A (zh) * 2009-06-25 2009-11-18 北京洲洋伟业信息技术有限公司 一种互联网课堂中基于动态二叉树子侄双路数据传输方法
US9756122B2 (en) * 2015-03-20 2017-09-05 Yahoo Holdings, Inc. Using hierarchical reservoir sampling to compute percentiles at scale
CN105159775A (zh) * 2015-08-05 2015-12-16 浪潮(北京)电子信息产业有限公司 基于负载均衡器的云计算数据中心的管理系统和管理方法
CN105897507A (zh) * 2016-03-31 2016-08-24 杭州数梦工场科技有限公司 节点设备的状态检测方法和装置
CN106484528A (zh) * 2016-09-07 2017-03-08 北京百度网讯科技有限公司 分布式框架中用于实现集群动态伸缩的方法及装置
CN107025139A (zh) * 2017-03-21 2017-08-08 北京天云融创软件技术有限公司 一种基于云计算的高性能计算调度框架

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111447255A (zh) * 2020-03-02 2020-07-24 中国平安人寿保险股份有限公司 基于分布式的数据分发方法、电子装置及存储介质
CN112565651A (zh) * 2020-11-30 2021-03-26 深圳数字电视国家工程实验室股份有限公司 数据传输方法、电子设备及计算机可读存储介质
WO2022110918A1 (zh) * 2020-11-30 2022-06-02 深圳数字电视国家工程实验室股份有限公司 数据传输方法、电子设备及计算机可读存储介质
CN112565651B (zh) * 2020-11-30 2022-10-21 深圳数字电视国家工程实验室股份有限公司 数据传输方法、电子设备及计算机可读存储介质
CN113422734A (zh) * 2021-06-16 2021-09-21 北京百度网讯科技有限公司 资源分发方法、装置、电子设备以及存储介质
CN113422734B (zh) * 2021-06-16 2022-08-26 北京百度网讯科技有限公司 资源分发方法、装置、电子设备以及存储介质

Similar Documents

Publication Publication Date Title
US11888756B2 (en) Software load balancer to maximize utilization
CN105940377B (zh) 用于基于云的虚拟化编排器的方法、系统和计算机可读介质
US9838483B2 (en) Methods, systems, and computer readable media for a network function virtualization information concentrator
US20160323880A1 (en) Application Driven and Adaptive Unified Resource Management For Data Centers with Multi-Resource Schedulable Unit (MRSU)
US9330199B2 (en) Striping of directed graphs and nodes with improved functionality
CN104202264A (zh) 云化数据中心网络的承载资源分配方法、装置及系统
CN108989442A (zh) 数据分发方法、系统及控制节点
CN104601492A (zh) 一种nfv架构下进行业务流控的方法及装置
CN103391206B (zh) 一种任务调度方法及其装置
CN103746911A (zh) 一种sdn网络结构及其通信方法
CN105335229A (zh) 一种业务资源的调度方法和装置
CN107977254B (zh) 云数据系统中请求的响应方法和计算机可读存储介质
CN104239150A (zh) 一种硬件资源调整的方法及装置
CN107277156A (zh) 一种基于nb‑iot的光伏数据传输方法及系统
CN104714845A (zh) 资源动态调整方法、装置及多内核操作系统
Li et al. Traffic-aware virtual machine placement in cloudlet mesh with adaptive bandwidth
Xu et al. Reliable service function chain provisioning in software-defined networking
CN104811403A (zh) 基于开放流的组表处理方法、装置及组表配置单元
CN103874133A (zh) 一种带宽控制的方法、装置及接入点设备
CN105430028A (zh) 服务调用方法、提供方法及节点
CN105656794B (zh) 数据分发方法、装置及计算机可读存储介质
JP6256167B2 (ja) データセンターネットワークにおけるリスク軽減
Di et al. Cost efficient virtual infrastructure mapping using subgraph isomorphism
US20160006617A1 (en) Cloud application bandwidth modeling
CN115794423A (zh) 一种智能机房的管理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181211

RJ01 Rejection of invention patent application after publication