CN105262808B - 一种在大数据背景下的负载平衡系统 - Google Patents

一种在大数据背景下的负载平衡系统 Download PDF

Info

Publication number
CN105262808B
CN105262808B CN201510626705.9A CN201510626705A CN105262808B CN 105262808 B CN105262808 B CN 105262808B CN 201510626705 A CN201510626705 A CN 201510626705A CN 105262808 B CN105262808 B CN 105262808B
Authority
CN
China
Prior art keywords
node
parameter
big data
load
transient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510626705.9A
Other languages
English (en)
Other versions
CN105262808A (zh
Inventor
陈虹宇
罗阳
苗宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Shenhu Technology Co ltd
Original Assignee
SICHUAN SHENHU TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SICHUAN SHENHU TECHNOLOGY Co Ltd filed Critical SICHUAN SHENHU TECHNOLOGY Co Ltd
Priority to CN201510626705.9A priority Critical patent/CN105262808B/zh
Publication of CN105262808A publication Critical patent/CN105262808A/zh
Application granted granted Critical
Publication of CN105262808B publication Critical patent/CN105262808B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

公开了一种在大数据背景下的负载平衡系统，该系统包括：用于通过有线或无线通信方式接收待处理的大数据并确认大数据的完整性和有效性的第一部件；用于确定待处理的大数据的大小并进行目的地空间判断的第二部件；用于使用规则划分待处理的大数据并进行校验的第三部件；用于对待处理的大数据进行分布的第四部件；以及用于在任务运行时进行负载平衡的第五部件。该系统既不影响系统的整体性能，又减少了平衡负载的资源消耗，并且有效地保障了由于各种不可控的原因或者故障导致的大数据安全性、负载平衡的效果和准确性。

Description

一种在大数据背景下的负载平衡系统
技术领域
本发明属于电数据数字处理技术领域，涉及一种针对大数据背景下的数据处理系统，更具体而言，涉及一种在大数据背景下的负载平衡系统。
背景技术
随着社会工业化、信息化水平的不断提高，如今数据已取代计算成为信息计算的中心，云计算、大数据正在成为一种趋势和潮流。包括存储容量、可用性、I/O性能、数据安全性、可扩展性等诸多方面。大数据是规模非常巨大和复杂的数据集。大数据有4V：Volume(大量)，数据量持续快速增加；Velocity(高速)，数据I/O速度更快；Variety(多样)，数据类型和来源多样化；Value(价值)，其存在各方面的可用价值。另外,大数据除了表示海量的信息,同时还是人们获得新认知、创造新价值的源泉，其开启了一次重大的时代转型,随着大数据时代的到来,我们需要以全新的眼光去审视和挖掘数据的潜在价值。
大数据的影响渗透到了各行业，对未来的科技和经济发展带来深远影响。其中，传统节点通过改进以兼容大数据技术,以用于大数据管理、分析和挖掘；还推出了新型软硬件产品。大数据是对传统数据节点的补充和延伸。然而，如何合理地存储和处理大数据是一大难题。现有技术中已经有诸多可提供有效和强大的并行处理方法,但是由于数据偏态(skew)的存在，在大数据分布不均衡时,节点会在运行时负载不平衡,部分任务会拖整个任务的后退,导致系统的性能降低,延长整个任务的时间。
对此，提出了负载平衡的概念，负载平衡是一种计算能力共享的形式，其是为了改善系统的性能,通过在处理结点之间重新分配负载,把当前重载处理结点的任务传送到轻载的处理结点执行，目的是使各处理结点之间的负载基本均衡。
但是，现有技术中的负载平衡方案或者影响系统的整体性能，或者增加了平衡负载的资源消耗，而且由于各种不可控的原因或者故障，大数据的安全性、负载平衡的效果和准确性不能够得到有效的保障。有鉴于此，本发明提出一种在大数据背景下的负载平衡系统，其能够有效地解决上述技术问题。
发明内容
本发明的目的之一是提供一种在大数据背景下的负载平衡系统，该系统不影响系统的整体性能，而且减少了平衡负载的资源消耗，并且有效地保障了由于各种不可控的原因或者故障导致的大数据安全性、负载平衡的效果和准确性。
本发明为解决上述技术问题而采取的技术方案为：一种在大数据背景下的负载平衡系统，包括：用于通过有线或无线通信方式接收待处理的大数据并确认大数据的完整性和有效性的第一部件；用于确定待处理的大数据的大小并进行目的地空间判断的第二部件；用于使用规则划分待处理的大数据并进行校验的第三部件；用于对待处理的大数据进行分布的第四部件；以及用于在任务运行时进行负载平衡的第五部件。
根据本发明的一个方面，进一步包括：用于仅仅在初始阶段将节点分为实体节点和临时节点并据此进行再次负载平衡的第六部件；其中第六部件进一步包括第六一子部件，用于：在任务执行且使用实体节点和临时节点期间，撷取执行的任务中的一个或多个实体节点和一个或多个临时节点。第六部件进一步包括第六二子部件，用于：使计算器计算撷取的实体节点和临时节点的第二利用参数Ui’，其数量为其中Φj表示撷取的实体节点和临时节点中每个节点的权重，Λj表示撷取的实体节点和临时节点中每个节点的使用次数，q为包括能够执行功能的硬件模块的节点j的节点数量。第六部件进一步包括第六三子部件，用于：使计算器计算差值的第三利用参数UiT’，其值是针对的撷取的实体节点和临时节点的Ui’的均值或者最小二乘值。第六部件进一步包括用于基于比较平衡负载的第六四子部件。第六部件进一步包括第六五子部件，用于：在一个任务完成后，控制器根据该任务执行过程中节点的使用频率和性能重新划分实体节点和临时节点，如果使用频率高且性能经评估器评估为良好的节点优先成为实体节点，在实体节点数量满足之后终止重新划分过程，或者在使用频率为低且性能经评估器评估为一般的临时节点数量满足之后终止重新划分过程。
根据本发明的另一个方面，第五部件进一步包括：第五一子部件，用于：确定节点的利用参数，该利用参数表示节点被利用的程度，并且被表示为利用参数其中i表示第i个节点，i是正整数；Li表示第i个节点的负载参数，而L'表示各个节点的标称负载参数，负载参数和标称负载参数是第i个节点的负载的函数表示，具体为Li＝f(i),L'＝f‘(i)；该标称负载参数L'是各个节点负载参数的平均值，或者该标称负载参数L'是各个节点负载参数的最小二乘值。第五部件进一步包括第五二子部件，用于：定期检测一个或多个或所有节点的负载利用参数，以根据每个节点的利用参数的值，将负载在节点之间移动以进行平衡，该检测采用随机信号发生器触发，进而使能检测器来执行。第五部件进一步包括第五三子部件，用于：当一个节点的利用参数大于零时，该节点向管理节点发送请求；管理节点获得该请求的节点的最邻近节点的利用参数；管理节点判断最邻近节点的利用参数，然后将有关利用参数小于零的最空闲相邻节点的详细信息发送到请求的节点，接下来请求的节点继续工作，其将选择最邻近节点；如果管理节点判断最邻近节点的利用参数的步骤中，参数都大于零，然后将有关最相邻节点的利用参数小于零的最空闲相邻节点的详细信息发送到请求的节点，接下来请求的节点继续工作，其将选择最相邻节点的最空闲相邻节点；第五部件进一步包括第五四子部件，用于：使每个节点保持缓存区以接收负载请求，消息递送接口管理该缓存区，主要的线程检测缓存序列并服务接收的请求。
附图说明
在附图中通过实例的方式而不是通过限制的方式来示出本发明的实施例，其中相同的附图标记表示相同的元件，其中：
图1图示在大数据背景下的负载平衡方法的流程图。
图2图示在大数据背景下的负载平衡系统的框图。
具体实施方式
在下面的描述中，参考附图并以图示的方式示出几个具体的实施例。将理解的是：可设想并且可做出其他实施例而不脱离本公开的范围或精神。因此，以下详细描述不应被认为具有限制意义。
在下面的描述中，参考附图并以图示的方式示出几个具体的实施例。将理解的是：可设想并且可做出其他实施例而不脱离本公开的范围或精神。因此，以下详细描述不应被认为具有限制意义。
根据本发明的实施例，图1图示在大数据背景下的负载平衡方法的流程图，包括但不限于以下步骤：
在步骤S1中，通过有线或无线通信方式接收待处理的大数据，确认大数据的完整性和有效性；
在步骤S2中，确定待处理的大数据的大小，并进行目的地空间判断；
在步骤S3中，使用规则划分待处理的大数据并进行校验；
在步骤S4中，对待处理的大数据进行分布；
在步骤S5中，在任务运行时进行负载平衡。
步骤S1具体而言：通过有线或无线通信方式接收待处理的大数据，确认大数据的完整性和有效性，如果大数据完整且有效则进行下一步操作，否则返回给发送方，以提示重新发送。
步骤S2具体而言：确定待处理的大数据的大小，并进行目的地空间判断；如果待处理的大数据的大小大于诸如数据节点之类的目的地空间的单位单元的大小，则用前者除以后者，以确定处理的单位单元的数量。如果相除结果不大于一，则确定数量为一个；否则按“进一法”确定单位单元数量，例如，如果是4.2，则确定使用5个单位单元。
步骤S3具体而言：使用规则划分待处理的大数据并进行校验；将大数据划分为N个数据片段，其中N是正整数；并进行进一步校验。
步骤S4具体而言：对待处理的大数据进行均衡分布，因为一般大数据由多个子节点保存，所以每个节点保存一部分片段，每个节点都是由一个主要子节点和多个辅助子节点组成的集群，借此保证大数据的安全。
在步骤S5中，在任务运行时进行负载平衡。步骤S5具体而言：步骤S51，确定节点的利用参数，其表示节点被利用的程度，其被表示为利用参数其中i表示第i个节点，i是正整数；Li表示第i个节点的负载参数，而L'表示各个节点的标称负载参数，负载参数和标称负载参数是第i个节点的负载的函数表示，具体为Li＝f(i),L'＝f‘(i)。优选地，该标称负载参数L'是各个节点负载参数的平均值；或者优选地，该标称负载参数L'是各个节点负载参数的最小二乘值。当利用参数大于零时表示负载大于标称负载参数，而如果小于零时表示负载小于标称负载参数，等于零时表示负载正好等于标称负载参数。步骤S52，定期检测一个或多个或所有节点的负载利用参数，以根据每个节点的利用参数的值，将负载在节点之间移动以进行平衡。优选地，定期检测的时间可以根据需要来定；因为所有节点的检测虽然全面但是耗时，所以一般都是检测一部分，优选地，该检测采用随机信号发生器触发，进而使能检测器来执行。步骤S53，当一个节点的利用参数大于零时，该节点向管理节点发送请求；管理节点获得该请求的节点的最邻近节点的利用参数；管理节点判断最邻近节点的利用参数，然后将有关利用参数小于零的最空闲相邻节点的详细信息发送到请求的节点，接下来请求的节点继续工作，其将选择最邻近节点；如果管理节点判断最邻近节点的利用参数的步骤中，参数都大于零，然后将有关最相邻节点的利用参数小于零的最空闲相邻节点的详细信息发送到请求的节点，接下来请求的节点继续工作，其将选择最相邻节点的最空闲相邻节点。步骤S54，每个节点保持缓存区以接收负载请求，消息递送接口管理该缓存区，主要的线程检测缓存序列并服务接收的请求。
通过该方法的以上步骤，能够既不影响系统的整体性能也减少平衡负载的资源消耗。
另外，由于系统难免由于各种原因而发生故障或者执行错误，如果在此情况下上述过程的步骤S5执行结果失效或者操作者认为结果不理想或者执行过程中断或者结果不准确，可继续以下步骤，即在大数据背景下的负载平衡方法进一步包括以下步骤：在步骤S6中，仅仅在初始阶段，将节点分为实体节点和临时节点，并据此进行再次负载平衡。在该次任务中，实体节点的使用优先权和频率高于临时节点，二者的比例可被设置为固定值，优选地，其比例为1:1或者2:1或者10:1。优选地，在一个任务完成后，控制器可根据使用频率和节点性能重新划分实体节点和临时节点，各节点的特征和上述的该次任务中的一样。本领域技术人员将理解的是：仅在一个任务的初始阶段将节点分为实体节点和临时节点进而进行处理和平衡。上述的两种节点中的任一个并非永远是其中的某一种类型，而是可根据其性能和使用频率进行均衡，以保证负载平衡的准确性并减少资源消耗。步骤S6具体而言包括以下步骤：步骤S61，在任务执行且使用实体节点和临时节点期间，撷取执行的任务中的一个或多个实体节点和一个或多个临时节点。步骤S62，计算器计算撷取的实体节点和临时节点的第二利用参数Ui’，其数量为其中Φj表示撷取的实体节点和临时节点中每个节点的权重，Λj表示撷取的实体节点和临时节点中每个节点的使用次数，q为包括能够执行功能的硬件模块的节点j的节点数量。步骤S63，计算器计算差值的第三利用参数UiT’，其值是针对的撷取的实体节点和临时节点的Ui’的均值或者最小二乘值。步骤S64，比较器先比较所有撷取的实体节点的第二利用参数和第三利用参数，如果(1)前者都比后者大，则继续比较撷取的临时节点的第二利用参数和第三利用参数，如果(11)比较结果都为大，则继续撷取其他临时节点，直至撷取的其他临时节点的第二利用参数小于第三利用参数，即采用该撷取的其他临时节点；如果(12)比较结果中有某个或某些为小，则采用该撷取的临时节点来平衡负载；如果(2)结果中有前者比后者小，则采用该比较结果为小的撷取的实体节点来均衡比较结果为大的撷取的实体节点，如果依旧不足以平衡，则继续撷取其他临时节点，直至其第二利用参数小于第三利用参数，即采用该撷取的其他临时节点。优选地，步骤S6还包括以下步骤：步骤S65，在一个任务完成后，控制器根据该任务执行过程中节点的使用频率和性能重新划分实体节点和临时节点，如果使用频率高且性能经评估器评估为良好的节点优先成为实体节点，在实体节点数量满足之后终止重新划分过程，或者在使用频率为低且性能经评估器评估为一般的临时节点数量满足之后终止重新划分过程。该步骤的执行时为了将性能较好的节点充分利用起来，保证下一次负载平衡的效果和准确性。
可替代地，上述步骤S5中的各个子步骤S51-S54可由子步骤S61-64或者S61-S65完全代替以省略前者，或者子步骤S51-S54可在子步骤S61-64或者S61-S65之后执行。
根据本发明的实施例，图2图示在大数据背景下的负载平衡系统的框图，该系统包括但不限于以下部件：
第一部件，用于通过有线或无线通信方式接收待处理的大数据并确认大数据的完整性和有效性；
第二部件，用于确定待处理的大数据的大小并进行目的地空间判断；
第三部件，用于使用规则划分待处理的大数据并进行校验；
第四部件，用于对待处理的大数据进行分布；
第五部件，用于在任务运行时进行负载平衡。
第一部件具体而言包括第一子部件，用于：通过有线或无线通信方式接收待处理的大数据，确认大数据的完整性和有效性，如果大数据完整且有效则进行下一步操作，否则返回给发送方，以提示重新发送。
第二部件具体而言包括第二子部件，用于：确定待处理的大数据的大小，并进行目的地空间判断；如果待处理的大数据的大小大于诸如数据节点之类的目的地空间的单位单元的大小，则用前者除以后者，以确定处理的单位单元的数量。如果相除结果不大于一，则确定数量为一个；否则按“进一法”确定单位单元数量，例如，如果是4.2，则确定使用5个单位单元。
第三部件具体而言包括第三子部件，用于：使用规则划分待处理的大数据并进行校验；将大数据划分为N个数据片段，其中N是正整数；并进行进一步校验。
第四部件具体而言包括第四子部件，用于：对待处理的大数据进行均衡分布，因为一般大数据由多个子节点保存，所以每个节点保存一部分片段，每个节点都是由一个主要子节点和多个辅助子节点组成的集群，借此保证大数据的安全。
第五部件用于在任务运行时进行负载平衡。第五部件具体而言包括以下子部件：第五一子部件，用于确定节点的利用参数，该利用参数表示节点被利用的程度，并且被表示为利用参数其中i表示第i个节点，i是正整数；Li表示第i个节点的负载参数，而L'表示各个节点的标称负载参数，负载参数和标称负载参数是第i个节点的负载的函数表示，具体为Li＝f(i),L'＝f‘(i)。优选地，该标称负载参数L'是各个节点负载参数的平均值；或者优选地，该标称负载参数L'是各个节点负载参数的最小二乘值。当利用参数大于零时表示负载大于标称负载参数，而如果小于零时表示负载小于标称负载参数，等于零时表示负载正好等于标称负载参数。第五部件进一步包括第五二子部件，用于定期检测一个或多个或所有节点的负载利用参数，以根据每个节点的利用参数的值，将负载在节点之间移动以进行平衡。优选地，定期检测的时间可以根据需要来定；因为所有节点的检测虽然全面但是耗时，所以一般都是检测一部分，优选地，该检测采用随机信号发生器触发，进而使能检测器来执行。第五部件进一步包括第五三子部件，用于当一个节点的利用参数大于零时，该节点向管理节点发送请求；管理节点获得该请求的节点的最邻近节点的利用参数；管理节点判断最邻近节点的利用参数，然后将有关利用参数小于零的最空闲相邻节点的详细信息发送到请求的节点，接下来请求的节点继续工作，其将选择最邻近节点；如果管理节点判断最邻近节点的利用参数的步骤中，参数都大于零，然后将有关最相邻节点的利用参数小于零的最空闲相邻节点的详细信息发送到请求的节点，接下来请求的节点继续工作，其将选择最相邻节点的最空闲相邻节点。第五部件进一步包括第五四子部件，用于：将每个节点保持缓存区以接收负载请求，消息递送接口管理该缓存区，主要的线程检测缓存序列并服务接收的请求。
通过该系统，能够既不影响系统的整体性能也减少平衡负载的资源消耗。
另外，由于该系统难免由于各种原因而发生故障或者执行错误，如果在此情况下上述第五部件执行结果失效或者操作者认为结果不理想或者执行过程中断或者结果不准确，可继续由以下部件或子部件来执行，即在大数据背景下的负载平衡系统进一步包括以下部件或子部件：第六部件，用于：仅仅在初始阶段，将节点分为实体节点和临时节点，并据此进行再次负载平衡。在该次任务中，实体节点的使用优先权和频率高于临时节点，二者的比例可被设置为固定值，优选地，其比例为1:1或者2:1或者10:1。优选地，在一个任务完成后，控制器可根据使用频率和节点性能重新划分实体节点和临时节点，各节点的特征和上述的该次任务中的一样。本领域技术人员将理解的是：仅在一个任务的初始阶段将节点分为实体节点和临时节点进而进行处理和平衡。上述的两种节点中的任一个并非永远是其中的某一种类型，而是可根据其性能和使用频率进行均衡，以保证负载平衡的准确性并减少资源消耗。第六部件进一步包括第六一子部件，用于：在任务执行且使用实体节点和临时节点期间，撷取执行的任务中的一个或多个实体节点和一个或多个临时节点。第六部件进一步包括第六二子部件，用于：使计算器计算撷取的实体节点和临时节点的第二利用参数Ui’，其数量为其中Φj表示撷取的实体节点和临时节点中每个节点的权重，Λj表示撷取的实体节点和临时节点中每个节点的使用次数，q为包括能够执行功能的硬件模块的节点j的节点数量。第六部件进一步包括第六三子部件，用于：使计算器计算差值的第三利用参数UiT’，其值是针对的撷取的实体节点和临时节点的Ui’的均值或者最小二乘值。第六部件进一步包括第六四子部件，用于：使比较器先比较所有撷取的实体节点的第二利用参数和第三利用参数，如果(1)前者都比后者大，则继续比较撷取的临时节点的第二利用参数和第三利用参数，如果(11)比较结果都为大，则继续撷取其他临时节点，直至撷取的其他临时节点的第二利用参数小于第三利用参数，即采用该撷取的其他临时节点；如果(12)比较结果中有某个或某些为小，则采用该撷取的临时节点来平衡负载；如果(2)结果中有前者比后者小，则采用该比较结果为小的撷取的实体节点来均衡比较结果为大的撷取的实体节点，如果依旧不足以平衡，则继续撷取其他临时节点，直至其第二利用参数小于第三利用参数，即采用该撷取的其他临时节点。优选地，第六部件进一步包括第六五子部件，用于：在一个任务完成后，控制器根据该任务执行过程中节点的使用频率和性能重新划分实体节点和临时节点，如果使用频率高且性能经评估器评估为良好的节点优先成为实体节点，在实体节点数量满足之后终止重新划分过程，或者在使用频率为低且性能经评估器评估为一般的临时节点数量满足之后终止重新划分过程。该系统的该六五子部件为了将性能较好的节点充分利用起来，保证下一次负载平衡的效果和准确性。
通过使用该系统，其执行过程既不影响系统的整体性能，还减少了平衡负载的资源消耗，并且有效地保障了由于各种不可控的原因或者故障导致的大数据安全性、负载平衡的效果和准确性。
本文所述的节点可以是本领域技术人员所理解的一般意义上的数据节点。优选地，该节点可包括但不限于处理器、控制器、易失性和/或非易失性存储器等模块。
将理解的是：可以硬件、软件或硬件和软件的组合的形式实现本发明的示例和实施例。如上所述，可存储任何执行这种方法的主体，以易失性或非易失性存储的形式，例如存储设备，像ROM，无论可擦除或可重写与否，或者以存储器的形式，诸如例如RAM、存储器芯片、设备或集成电路或在光或磁可读的介质上，诸如例如CD、DVD、磁盘或磁带。将理解的是：存储设备和存储介质是适合于存储一个或多个程序的机器可读存储的示例，当被执行时，所述一个或多个程序实现本发明的示例。经由任何介质，诸如通过有线或无线连接载有的通信信号，可以电子地传递本发明的示例，并且示例适当地包含相同内容。
应当注意的是：因为本发明解决了在大数据背景下的负载平衡的资源消耗减少、大数据安全性、负载平衡的效果以及准确性的技术问题，采用了计算机领域中技术人员在阅读本说明书之后根据其教导所能理解的技术手段，并获得了负载平衡的资源消耗减少、大数据安全性、负载平衡的准确性的有益技术效果，所以在所附权利要求中要求保护的方案属于专利法意义上的技术方案。另外，因为所附权利要求要求保护的技术方案可以在工业中制造或使用，因此该方案具备实用性。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应包涵在本发明的保护范围之内。，除非以其他方式明确陈述，否则公开的每个特征仅是一般系列的等效或类似特征的一个示例。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种在大数据背景下的负载平衡系统，包括：
用于通过有线或无线通信方式接收待处理的大数据并确认大数据的完整性和有效性的第一部件；
用于确定待处理的大数据的大小并进行目的地空间判断的第二部件；
用于使用规则划分待处理的大数据并进行校验的第三部件；
用于对待处理的大数据进行分布的第四部件；以及
用于在任务运行时进行负载平衡的第五部件；
其中该系统进一步包括：用于仅仅在初始阶段将节点分为实体节点和临时节点并据此进行再次负载平衡的第六部件；其中第六部件进一步包括第六一子部件，用于：在任务执行且使用实体节点和临时节点期间，撷取执行的任务中的一个或多个实体节点和一个或多个临时节点；
其中第六部件进一步包括第六二子部件，用于：使计算器计算撷取的实体节点和临时节点的第二利用参数Ui’，其数量为其中Φj表示撷取的实体节点和临时节点中每个节点的权重，Λj表示撷取的实体节点和临时节点中每个节点的使用次数，q为包括能够执行功能的硬件模块的节点j的节点数量；
其中第六部件进一步包括第六三子部件，用于：使计算器计算差值的第三利用参数UiT’，其值是针对的撷取的实体节点和临时节点的Ui’的均值或者最小二乘值；
其中第六部件进一步包括第六四子部件，用于：使比较器先比较所有撷取的实体节点的第二利用参数和第三利用参数，如果(1)前者都比后者大，则继续比较撷取的临时节点的第二利用参数和第三利用参数，如果(11)比较结果都为大，则继续撷取其他临时节点，直至撷取的其他临时节点的第二利用参数小于第三利用参数，即采用该撷取的其他临时节点；如果(12)比较结果中有某个或某些为小，则采用该撷取的临时节点来平衡负载；如果(2)结果中有前者比后者小，则采用该比较结果为小的撷取的实体节点来均衡比较结果为大的撷取的实体节点，如果依旧不足以平衡，则继续撷取其他临时节点，直至其第二利用参数小于第三利用参数，即采用该撷取的其他临时节点；
其中可根据其性能和使用频率来均衡所述实体节点和临时节点，以保证负载平衡的准确性并减少资源消耗。
2.如权利要求1所述的在大数据背景下的负载平衡系统，第六部件进一步包括第六五子部件，用于：在一个任务完成后，控制器根据该任务执行过程中节点的使用频率和性能重新划分实体节点和临时节点，如果使用频率高且性能经评估器评估为良好的节点优先成为实体节点，在实体节点数量满足之后终止重新划分过程，或者在使用频率为低且性能经评估器评估为一般的临时节点数量满足之后终止重新划分过程。
3.如权利要求1或2所述的在大数据背景下的负载平衡系统，其中第五部件进一步包括：第五一子部件，用于：确定节点的利用参数，该利用参数表示节点被利用的程度，并且被表示为利用参数其中i表示第i个节点，i是正整数；Li表示第i个节点的负载参数，而L'表示各个节点的标称负载参数，负载参数和标称负载参数是第i个节点的负载的函数表示，具体为Li＝f(i),L'＝f‘(i)；该标称负载参数L'是各个节点负载参数的平均值，或者该标称负载参数L'是各个节点负载参数的最小二乘值。
4.如权利要求3所述的在大数据背景下的负载平衡系统，其中第五部件进一步包括第五二子部件，用于：定期检测一个或多个或所有节点的负载利用参数，以根据每个节点的利用参数的值，将负载在节点之间移动以进行平衡，该检测采用随机信号发生器触发，进而使能检测器来执行。
5.如权利要求4所述的在大数据背景下的负载平衡系统，其中第五部件进一步包括第五三子部件，用于：当一个节点的利用参数大于零时，该节点向管理节点发送请求；管理节点获得该请求的节点的最邻近节点的利用参数；管理节点判断最邻近节点的利用参数，然后将有关利用参数小于零的最空闲相邻节点的详细信息发送到请求的节点，接下来请求的节点继续工作，其将选择最邻近节点；如果管理节点判断最邻近节点的利用参数的步骤中，参数都大于零，然后将有关最相邻节点的利用参数小于零的最空闲相邻节点的详细信息发送到请求的节点，接下来请求的节点继续工作，其将选择最相邻节点的最空闲相邻节点；第五部件进一步包括第五四子部件，用于：使每个节点保持缓存区以接收负载请求，消息递送接口管理该缓存区，主要的线程检测缓存序列并服务接收的请求。
6.如权利要求5所述的在大数据背景下的负载平衡系统，其中：
第一部件进一步包括第一子部件，用于：通过有线或无线通信方式接收待处理的大数据，确认大数据的完整性和有效性，如果大数据完整且有效则进行下一步操作，否则返回给发送方，以提示重新发送；
第二部件进一步包括第二子部件，用于：确定待处理的大数据的大小，并进行目的地空间判断；如果待处理的大数据的大小大于诸如数据节点之类的目的地空间的单位单元的大小，则用前者除以后者，以确定处理的单位单元的数量；
第三部件进一步包括第三子部件，用于：使用规则划分待处理的大数据并进行校验；将大数据划分为N个数据片段，其中N是正整数；并进行进一步校验；以及
第四部件进一步包括第四子部件，用于：对待处理的大数据进行均衡分布，因为一般大数据由多个子节点保存，所以每个节点保存一部分片段，每个节点都是由一个主要子节点和多个辅助子节点组成的集群，借此保证大数据的安全。
CN201510626705.9A 2015-09-28 2015-09-28 一种在大数据背景下的负载平衡系统 Active CN105262808B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510626705.9A CN105262808B (zh) 2015-09-28 2015-09-28 一种在大数据背景下的负载平衡系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510626705.9A CN105262808B (zh) 2015-09-28 2015-09-28 一种在大数据背景下的负载平衡系统

Publications (2)

Publication Number Publication Date
CN105262808A CN105262808A (zh) 2016-01-20
CN105262808B true CN105262808B (zh) 2019-01-25

Family

ID=55102312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510626705.9A Active CN105262808B (zh) 2015-09-28 2015-09-28 一种在大数据背景下的负载平衡系统

Country Status (1)

Country Link
CN (1) CN105262808B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108696594A (zh) * 2018-05-27 2018-10-23 佛山市虚拟现实大数据产业研究院有限公司 一种市场监管区块链的大数据传输负载均衡方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103595805A (zh) * 2013-11-22 2014-02-19 浪潮电子信息产业股份有限公司 一种基于分布式集群的数据放置方法
CN103763378A (zh) * 2014-01-24 2014-04-30 中国联合网络通信集团有限公司 基于分布式流式计算系统的任务处理方法、系统及节点

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102207891B (zh) * 2011-06-10 2013-03-06 浙江大学 对数据划分分布式环境实现动态划分和负载均衡的方法
CN104754000B (zh) * 2013-12-30 2018-08-24 国家电网公司 一种负载均衡方法及系统
CN103731498B (zh) * 2013-12-31 2017-01-25 浙江鸿程计算机系统有限公司 一种基于副本选择的大数据实时查询系统负载均衡方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103595805A (zh) * 2013-11-22 2014-02-19 浪潮电子信息产业股份有限公司 一种基于分布式集群的数据放置方法
CN103763378A (zh) * 2014-01-24 2014-04-30 中国联合网络通信集团有限公司 基于分布式流式计算系统的任务处理方法、系统及节点

Also Published As

Publication number Publication date
CN105262808A (zh) 2016-01-20

Similar Documents

Publication Publication Date Title
US20220078036A1 (en) Asset management with respect to a shared pool of configurable computing resources
CN102724277B (zh) 虚拟机热迁移和部署的方法、服务器及集群系统
US11403220B2 (en) Method and apparatus for adaptive cache load balancing for SSD-based cloud computing storage system
CN102822798B (zh) 用于虚拟容器系统内的资源容量评估的方法和装置
US9483288B2 (en) Method and system for running a virtual appliance
JPWO2008102739A1 (ja) 仮想サーバシステム及び物理サーバ選択方法
US20240064196A1 (en) Weighted auto-sharding
US10356150B1 (en) Automated repartitioning of streaming data
US20110161483A1 (en) Virtual server system and physical server selection method
CN102523158A (zh) 一种基于权重的元数据服务器集群负载均衡方法
WO2012033909A2 (en) Method and system of simulating a data center
CN108063784B (zh) 一种云环境下应用集群资源分配的方法、装置和系统
CN111880939A (zh) 容器动态迁移方法、装置及电子设备
CN116954929B (zh) 一种实时迁移的动态gpu调度方法及系统
CN105204945B (zh) 一种在大数据背景下的负载平衡装置
EP4170491A1 (en) Resource scheduling method and apparatus, electronic device, and computer-readable storage medium
CN106569892A (zh) 资源调度方法与设备
CN106534359A (zh) 一种基于存储熵的存储负载均衡方法
CN110493317B (zh) 处理云平台资源碎片的方法及相关设备
JP5515889B2 (ja) 仮想マシンシステム、自動マイグレーション方法および自動マイグレーションプログラム
CN105262808B (zh) 一种在大数据背景下的负载平衡系统
CN114564313A (zh) 负载调整方法、装置、电子设备及存储介质
US10387578B1 (en) Utilization limiting for nested object queries
CN105204946B (zh) 一种在大数据背景下的负载平衡方法
Gao et al. A load-aware data migration scheme for distributed surveillance video processing with hybrid storage architecture

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230607

Address after: F13, Building 11, Zone D, New Economic Industrial Park, No. 99, West Section of Hupan Road, Xinglong Street, Tianfu New District, Chengdu, Sichuan, 610000

Patentee after: Sichuan Shenhu Technology Co.,Ltd.

Address before: No. 5, 1st Floor, Unit 1, Building 19, No. 177, Middle Section of Tianfu Avenue, High tech Zone, Chengdu, Sichuan, 610043

Patentee before: SICHUAN CINGHOO TECHNOLOGY Co.,Ltd.