CN105204945B - 一种在大数据背景下的负载平衡装置 - Google Patents
一种在大数据背景下的负载平衡装置 Download PDFInfo
- Publication number
- CN105204945B CN105204945B CN201510626156.5A CN201510626156A CN105204945B CN 105204945 B CN105204945 B CN 105204945B CN 201510626156 A CN201510626156 A CN 201510626156A CN 105204945 B CN105204945 B CN 105204945B
- Authority
- CN
- China
- Prior art keywords
- node
- big data
- parameter
- load
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Mobile Radio Communication Systems (AREA)
Abstract
公开了一种在大数据背景下的负载平衡装置，该装置包括：用于接收待处理的大数据并确认大数据的完整性和有效性的第一部件；用于估计待处理的大数据大小并进行目的地空间判断的第二部件；用于划分待处理的大数据的第三部件；用于对待处理的大数据进行分布的第四部件；以及用于在任务运行时进行负载平衡的第五部件。该装置既不影响系统的整体性能，又减少了平衡负载的资源消耗，并且有效地保障了由于各种不可控的原因或者故障导致的大数据安全性、负载平衡的效果和准确性。
Description
技术领域
本发明属于电数据数字处理技术领域，涉及一种针对大数据背景下的数据处理装置，更具体而言，涉及一种在大数据背景下的负载平衡装置。
背景技术
随着社会工业化、信息化水平的不断提高，如今数据已取代计算成为信息计算的中心，云计算、大数据正在成为一种趋势和潮流。包括存储容量、可用性、I/O性能、数据安全性、可扩展性等诸多方面。大数据是规模非常巨大和复杂的数据集。大数据有4V：Volume(大量)，数据量持续快速增加；Velocity(高速)，数据I/O速度更快；Variety(多样)，数据类型和来源多样化；Value(价值)，其存在各方面的可用价值。另外,大数据除了表示海量的信息,同时还是人们获得新认知、创造新价值的源泉，其开启了一次重大的时代转型,随着大数据时代的到来,我们需要以全新的眼光去审视和挖掘数据的潜在价值。
大数据的影响渗透到了各行业，对未来的科技和经济发展带来深远影响。其中，传统节点通过改进以兼容大数据技术,以用于大数据管理、分析和挖掘；还推出了新型软硬件产品。大数据是对传统数据节点的补充和延伸。然而，如何合理地存储和处理大数据是一大难题。现有技术中已经有诸多可提供有效和强大的并行处理方法,但是由于数据偏态(skew)的存在，在大数据分布不均衡时,节点会在运行时负载不平衡,部分任务会拖整个任务的后退,导致系统的性能降低,延长整个任务的时间。
对此，提出了负载平衡的概念，负载平衡是一种计算能力共享的形式，其是为了改善系统的性能,通过在处理结点之间重新分配负载,把当前重载处理结点的任务传送到轻载的处理结点执行，目的是使各处理结点之间的负载基本均衡。
但是，现有技术中的负载平衡方案或者影响系统的整体性能，或者增加了平衡负载的资源消耗，而且由于各种不可控的原因或者故障，大数据的安全性、负载平衡的效果和准确性不能够得到有效的保障。有鉴于此，本发明提出一种在大数据背景下的负载平衡装置，其能够有效地解决上述技术问题。
发明内容
本发明的目的之一是提供一种在大数据背景下的负载平衡装置，该装置不影响系统的整体性能，而且减少了平衡负载的资源消耗，并且有效地保障了由于各种不可控的原因或者故障导致的大数据安全性、负载平衡的效果和准确性。
本发明为解决上述技术问题而采取的技术方案为：一种在大数据背景下的负载平衡装置，包括：用于接收待处理的大数据并确认大数据的完整性和有效性的第一部件；用于估计待处理的大数据大小并进行目的地空间判断的第二部件；用于划分待处理的大数据的第三部件；用于对待处理的大数据进行分布的第四部件；以及用于在任务运行时进行负载平衡的第五部件。
根据本发明的一个方面，第一部件进一步包括第一子部件，用于：接收待处理的大数据，确认大数据的完整性和有效性，如果大数据完整且有效则进行下一步操作，否则返回给发送方，以提示重新发送。
根据本发明的另一个方面，第二部件进一步包括第二子部件，用于：估计待处理的大数据大小，并进行目的地空间判断；如果待处理的大数据大小大于诸如数据节点之类的目的地空间的单位单元的大小，则用前者除以后者，以确定处理的单位单元的数量。
根据本发明的另一个方面，第三部件进一步包括第三子部件，用于：划分待处理的大数据；将大数据划分为N个数据片段，其中N是正整数。
根据本发明的另一个方面，第四部件进一步包括第四子部件，用于：对待处理的大数据进行均衡分布，因为一般大数据由多个子节点保存，所以每个节点保存一部分片段，每个节点都是由一个主要子节点和多个辅助子节点组成的集群，借此保证大数据的安全。
根据本发明的另一个方面，第五部件进一步包括：第五一子部件，用于：确定节点的利用参数，该利用参数表示节点被利用的程度，并且被表示为利用参数其中i表示第i个节点，i是正整数；Li表示第i个节点的负载参数，而L'表示各个节点的标称负载参数，负载参数和标称负载参数是第i个节点的负载的函数表示，具体为Li＝f(i),L'＝f‘(i)；该标称负载参数L'是各个节点负载参数的平均值，或者该标称负载参数L'是各个节点负载参数的最小二乘值。
根据本发明的另一个方面，第五部件进一步包括第五二子部件，用于：定期检测一个或多个或所有节点的负载利用参数，以根据每个节点的利用参数的值，将负载在节点之间移动以进行平衡，该检测采用随机信号发生器触发，进而使能检测器来执行。
根据本发明的另一个方面，第五部件进一步包括第五三子部件，用于：当一个节点的利用参数大于零时，该节点向管理节点发送请求；管理节点获得该请求的节点的最邻近节点的利用参数；管理节点判断最邻近节点的利用参数，然后将有关利用参数小于零的最空闲相邻节点的详细信息发送到请求的节点，接下来请求的节点继续工作，其将选择最邻近节点；如果管理节点判断最邻近节点的利用参数的步骤中，参数都大于零，然后将有关最相邻节点的利用参数小于零的最空闲相邻节点的详细信息发送到请求的节点，接下来请求的节点继续工作，其将选择最相邻节点的最空闲相邻节点。
根据本发明的另一个方面，第五部件进一步包括第五四子部件，用于：使每个节点保持缓存区以接收负载请求，消息递送接口管理该缓存区，主要的线程检测缓存序列并服务接收的请求。
根据本发明的另一个方面，该装置还包括第六部件，用于：仅在初始阶段，将节点分为实体节点和临时节点，并据此进行负载平衡；在任务执行且使用实体节点和临时节点期间，撷取执行的任务中的一个或多个实体节点和一个或多个临时节点；计算撷取的实体节点和临时节点的第二利用参数Ui’，其数量为其中Φj表示撷取的实体节点和临时节点中每个节点的权重，Λj表示撷取的实体节点和临时节点中每个节点的使用次数，q为包括能够执行功能的硬件模块的节点j的节点数量；计算差值的第三利用参数UiT’，其值是针对的撷取的实体节点和临时节点的Ui’的均值或者最小二乘值，比较器根据撷取的实体节点的第二利用参数和第三利用参数来进行负载平衡。
附图说明
在附图中通过实例的方式而不是通过限制的方式来示出本发明的实施例，其中相同的附图标记表示相同的元件，其中：
图1图示在大数据背景下的负载平衡方法的流程图。
图2图示在大数据背景下的负载平衡装置的框图。
具体实施方式
在下面的描述中，参考附图并以图示的方式示出几个具体的实施例。将理解的是：可设想并且可做出其他实施例而不脱离本公开的范围或精神。因此，以下详细描述不应被认为具有限制意义。
在下面的描述中，参考附图并以图示的方式示出几个具体的实施例。将理解的是：可设想并且可做出其他实施例而不脱离本公开的范围或精神。因此，以下详细描述不应被认为具有限制意义。
根据本发明的实施例，图1图示在大数据背景下的负载平衡方法的流程图，包括但不限于以下步骤：
在步骤S1中，接收待处理的大数据，确认大数据的完整性和有效性；
在步骤S2中，估计待处理的大数据大小，并进行目的地空间判断；
在步骤S3中，划分待处理的大数据；
在步骤S4中，对待处理的大数据进行分布；
在步骤S5中，在任务运行时进行负载平衡。
步骤S1具体而言：接收待处理的大数据，确认大数据的完整性和有效性，如果大数据完整且有效则进行下一步操作，否则返回给发送方，以提示重新发送。
步骤S2具体而言：估计待处理的大数据大小，并进行目的地空间判断；如果待处理的大数据大小大于诸如数据节点之类的目的地空间的单位单元的大小，则用前者除以后者，以确定处理的单位单元的数量。如果相除结果不大于一，则确定数量为一个；否则按“进一法”确定单位单元数量，例如，如果是4.2，则确定使用5个单位单元。
步骤S3具体而言：划分待处理的大数据；将大数据划分为N个数据片段，其中N是正整数。
步骤S4具体而言：对待处理的大数据进行均衡分布，因为一般大数据由多个子节点保存，所以每个节点保存一部分片段，每个节点都是由一个主要子节点和多个辅助子节点组成的集群，借此保证大数据的安全。
在步骤S5中，在任务运行时进行负载平衡。步骤S5具体而言：步骤S51，确定节点的利用参数，其表示节点被利用的程度，其被表示为利用参数其中i表示第i个节点，i是正整数；Li表示第i个节点的负载参数，而L'表示各个节点的标称负载参数，负载参数和标称负载参数是第i个节点的负载的函数表示，具体为Li＝f(i),L'＝f‘(i)。优选地，该标称负载参数L'是各个节点负载参数的平均值；或者优选地，该标称负载参数L'是各个节点负载参数的最小二乘值。当利用参数大于零时表示负载大于标称负载参数，而如果小于零时表示负载小于标称负载参数，等于零时表示负载正好等于标称负载参数。步骤S52，定期检测一个或多个或所有节点的负载利用参数，以根据每个节点的利用参数的值，将负载在节点之间移动以进行平衡。优选地，定期检测的时间可以根据需要来定；因为所有节点的检测虽然全面但是耗时，所以一般都是检测一部分，优选地，该检测采用随机信号发生器触发，进而使能检测器来执行。步骤S53，当一个节点的利用参数大于零时，该节点向管理节点发送请求；管理节点获得该请求的节点的最邻近节点的利用参数；管理节点判断最邻近节点的利用参数，然后将有关利用参数小于零的最空闲相邻节点的详细信息发送到请求的节点，接下来请求的节点继续工作，其将选择最邻近节点；如果管理节点判断最邻近节点的利用参数的步骤中，参数都大于零，然后将有关最相邻节点的利用参数小于零的最空闲相邻节点的详细信息发送到请求的节点，接下来请求的节点继续工作，其将选择最相邻节点的最空闲相邻节点。步骤S54，每个节点保持缓存区以接收负载请求，消息递送接口管理该缓存区，主要的线程检测缓存序列并服务接收的请求。
通过该方法的以上步骤，能够既不影响系统的整体性能也减少平衡负载的资源消耗。
另外，由于系统难免由于各种原因而发生故障或者执行错误，如果在此情况下上述过程的步骤S5执行结果失效或者操作者认为结果不理想或者执行过程中断或者结果不准确，可继续以下步骤，即在大数据背景下的负载平衡方法进一步包括以下步骤：在步骤S6中，仅仅在初始阶段，将节点分为实体节点和临时节点，并据此进行负载平衡。在该次任务中，实体节点的使用优先权和频率高于临时节点，二者的比例可被设置为固定值，优选地，其比例为1:1或者2:1或者10:1。优选地，在一个任务完成后，控制器可根据使用频率和节点性能重新划分实体节点和临时节点，各节点的特征和上述的该次任务中的一样。本领域技术人员将理解的是：仅在一个任务的初始阶段将节点分为实体节点和临时节点进而进行处理和平衡。上述的两种节点中的任一个并非永远是其中的某一种类型，而是可根据其性能和使用频率进行均衡，以保证负载平衡的准确性并减少资源消耗。步骤S6具体而言包括以下步骤：步骤S61，在任务执行且使用实体节点和临时节点期间，撷取执行的任务中的一个或多个实体节点和一个或多个临时节点。步骤S62，计算器计算撷取的实体节点和临时节点的第二利用参数Ui’，其数量为其中Φj表示撷取的实体节点和临时节点中每个节点的权重，Λj表示撷取的实体节点和临时节点中每个节点的使用次数，q为包括能够执行功能的硬件模块的节点j的节点数量。步骤S63，计算器计算差值的第三利用参数UiT’，其值是针对的撷取的实体节点和临时节点的Ui’的均值或者最小二乘值。步骤S64，比较器先比较所有撷取的实体节点的第二利用参数和第三利用参数，如果(1)前者都比后者大，则继续比较撷取的临时节点的第二利用参数和第三利用参数，如果(11)比较结果都为大，则继续撷取其他临时节点，直至撷取的其他临时节点的第二利用参数小于第三利用参数，即采用该撷取的其他临时节点；如果(12)比较结果中有某个或某些为小，则采用该撷取的临时节点来平衡负载；如果(2)结果中有前者比后者小，则采用该比较结果为小的撷取的实体节点来均衡比较结果为大的撷取的实体节点，如果依旧不足以平衡，则继续撷取其他临时节点，直至其第二利用参数小于第三利用参数，即采用该撷取的其他临时节点。优选地，步骤S6还包括以下步骤：步骤S65，在一个任务完成后，控制器根据该任务执行过程中节点的使用频率和性能重新划分实体节点和临时节点，如果使用频率高且性能经评估器评估为良好的节点优先成为实体节点，在实体节点数量满足之后终止重新划分过程，或者在使用频率为低且性能经评估器评估为一般的临时节点数量满足之后终止重新划分过程。该步骤的执行时为了将性能较好的节点充分利用起来，保证下一次负载平衡的效果和准确性。
可替代地，上述步骤S5中的各个子步骤S51-S54可由子步骤S61-64或者S61-S65完全代替以省略前者，或者子步骤S51-S54可在子步骤S61-64或者S61-S65之后执行。
根据本发明的实施例，图2图示在大数据背景下的负载平衡装置的框图，该装置包括但不限于以下部件：
第一部件，用于接收待处理的大数据并确认大数据的完整性和有效性；
第二部件，用于估计待处理的大数据大小并进行目的地空间判断；
第三部件，用于划分待处理的大数据；
第四部件，用于对待处理的大数据进行分布；
第五部件，用于在任务运行时进行负载平衡。
第一部件具体而言包括第一子部件，用于：接收待处理的大数据，确认大数据的完整性和有效性，如果大数据完整且有效则进行下一步操作，否则返回给发送方，以提示重新发送。
第二部件具体而言包括第二子部件，用于：估计待处理的大数据大小，并进行目的地空间判断；如果待处理的大数据大小大于诸如数据节点之类的目的地空间的单位单元的大小，则用前者除以后者，以确定处理的单位单元的数量。如果相除结果不大于一，则确定数量为一个；否则按“进一法”确定单位单元数量，例如，如果是4.2，则确定使用5个单位单元。
第三部件具体而言包括第三子部件，用于：划分待处理的大数据；将大数据划分为N个数据片段，其中N是正整数。
第四部件具体而言包括第四子部件，用于：对待处理的大数据进行均衡分布，因为一般大数据由多个子节点保存，所以每个节点保存一部分片段，每个节点都是由一个主要子节点和多个辅助子节点组成的集群，借此保证大数据的安全。
第五部件用于在任务运行时进行负载平衡。第五部件具体而言包括以下子部件：第五一子部件，用于确定节点的利用参数，该利用参数表示节点被利用的程度，并且被表示为利用参数其中i表示第i个节点，i是正整数；Li表示第i个节点的负载参数，而L'表示各个节点的标称负载参数，负载参数和标称负载参数是第i个节点的负载的函数表示，具体为Li＝f(i),L'＝f‘(i)。优选地，该标称负载参数L'是各个节点负载参数的平均值；或者优选地，该标称负载参数L'是各个节点负载参数的最小二乘值。当利用参数大于零时表示负载大于标称负载参数，而如果小于零时表示负载小于标称负载参数，等于零时表示负载正好等于标称负载参数。第五部件进一步包括第五二子部件，用于定期检测一个或多个或所有节点的负载利用参数，以根据每个节点的利用参数的值，将负载在节点之间移动以进行平衡。优选地，定期检测的时间可以根据需要来定；因为所有节点的检测虽然全面但是耗时，所以一般都是检测一部分，优选地，该检测采用随机信号发生器触发，进而使能检测器来执行。第五部件进一步包括第五三子部件，用于当一个节点的利用参数大于零时，该节点向管理节点发送请求；管理节点获得该请求的节点的最邻近节点的利用参数；管理节点判断最邻近节点的利用参数，然后将有关利用参数小于零的最空闲相邻节点的详细信息发送到请求的节点，接下来请求的节点继续工作，其将选择最邻近节点；如果管理节点判断最邻近节点的利用参数的步骤中，参数都大于零，然后将有关最相邻节点的利用参数小于零的最空闲相邻节点的详细信息发送到请求的节点，接下来请求的节点继续工作，其将选择最相邻节点的最空闲相邻节点。第五部件进一步包括第五四子部件，用于：将每个节点保持缓存区以接收负载请求，消息递送接口管理该缓存区，主要的线程检测缓存序列并服务接收的请求。
通过该装置，能够既不影响系统的整体性能也减少平衡负载的资源消耗。
另外，由于该装置难免由于各种原因而发生故障或者执行错误，如果在此情况下上述第五部件执行结果失效或者操作者认为结果不理想或者执行过程中断或者结果不准确，可继续由以下部件或子部件来执行，即在大数据背景下的负载平衡装置进一步包括以下部件或子部件：第六部件，用于：仅仅在初始阶段，将节点分为实体节点和临时节点，并据此进行负载平衡。在该次任务中，实体节点的使用优先权和频率高于临时节点，二者的比例可被设置为固定值，优选地，其比例为1:1或者2:1或者10:1。优选地，在一个任务完成后，控制器可根据使用频率和节点性能重新划分实体节点和临时节点，各节点的特征和上述的该次任务中的一样。本领域技术人员将理解的是：仅在一个任务的初始阶段将节点分为实体节点和临时节点进而进行处理和平衡。上述的两种节点中的任一个并非永远是其中的某一种类型，而是可根据其性能和使用频率进行均衡，以保证负载平衡的准确性并减少资源消耗。步骤S6具体而言包括以下步骤：第六部件进一步包括第六一子部件，用于：在任务执行且使用实体节点和临时节点期间，撷取执行的任务中的一个或多个实体节点和一个或多个临时节点。第六部件进一步包括第六二子部件，用于：使计算器计算撷取的实体节点和临时节点的第二利用参数Ui’，其数量为其中Φj表示撷取的实体节点和临时节点中每个节点的权重，Λj表示撷取的实体节点和临时节点中每个节点的使用次数，q为包括能够执行功能的硬件模块的节点j的节点数量。第六部件进一步包括第六三子部件，用于：使计算器计算差值的第三利用参数UiT’，其值是针对的撷取的实体节点和临时节点的Ui’的均值或者最小二乘值。第六部件进一步包括第六四子部件，用于：使比较器先比较所有撷取的实体节点的第二利用参数和第三利用参数，如果(1)前者都比后者大，则继续比较撷取的临时节点的第二利用参数和第三利用参数，如果(11)比较结果都为大，则继续撷取其他临时节点，直至撷取的其他临时节点的第二利用参数小于第三利用参数，即采用该撷取的其他临时节点；如果(12)比较结果中有某个或某些为小，则采用该撷取的临时节点来平衡负载；如果(2)结果中有前者比后者小，则采用该比较结果为小的撷取的实体节点来均衡比较结果为大的撷取的实体节点，如果依旧不足以平衡，则继续撷取其他临时节点，直至其第二利用参数小于第三利用参数，即采用该撷取的其他临时节点。优选地，第六部件进一步包括第六五子部件，用于：在一个任务完成后，控制器根据该任务执行过程中节点的使用频率和性能重新划分实体节点和临时节点，如果使用频率高且性能经评估器评估为良好的节点优先成为实体节点，在实体节点数量满足之后终止重新划分过程，或者在使用频率为低且性能经评估器评估为一般的临时节点数量满足之后终止重新划分过程。该装置的该六五子部件为了将性能较好的节点充分利用起来，保证下一次负载平衡的效果和准确性。
通过使用该装置，其执行过程既不影响系统的整体性能，还减少了平衡负载的资源消耗，并且有效地保障了由于各种不可控的原因或者故障导致的大数据安全性、负载平衡的效果和准确性。
本文所述的节点可以是本领域技术人员所理解的一般意义上的数据节点。优选地，该节点可包括但不限于处理器、控制器、易失性和/或非易失性存储器等模块。
将理解的是：可以硬件、软件或硬件和软件的组合的形式实现本发明的示例和实施例。如上所述，可存储任何执行这种方法的主体，以易失性或非易失性存储的形式，例如存储设备，像ROM，无论可擦除或可重写与否，或者以存储器的形式，诸如例如RAM、存储器芯片、设备或集成电路或在光或磁可读的介质上，诸如例如CD、DVD、磁盘或磁带。将理解的是：存储设备和存储介质是适合于存储一个或多个程序的机器可读存储的示例，当被执行时，所述一个或多个程序实现本发明的示例。经由任何介质，诸如通过有线或无线连接载有的通信信号，可以电子地传递本发明的示例，并且示例适当地包含相同内容。
应当注意的是：因为本发明解决了在大数据背景下的负载平衡的资源消耗减少、大数据安全性、负载平衡的效果以及准确性的技术问题，采用了计算机领域中技术人员在阅读本说明书之后根据其教导所能理解的技术手段，并获得了负载平衡的资源消耗减少、大数据安全性、负载平衡的准确性的有益技术效果，所以在所附权利要求中要求保护的方案属于专利法意义上的技术方案。另外，因为所附权利要求要求保护的技术方案可以在工业中制造或使用，因此该方案具备实用性。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应包涵在本发明的保护范围之内。，除非以其他方式明确陈述，否则公开的每个特征仅是一般系列的等效或类似特征的一个示例。因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (2)
1.一种在大数据背景下的负载平衡装置，包括：
用于接收待处理的大数据并确认大数据的完整性和有效性的第一部件；
用于估计待处理的大数据大小并进行目的地空间判断的第二部件；
用于划分待处理的大数据的第三部件；
用于对待处理的大数据进行分布的第四部件；以及
用于在任务运行时进行负载平衡的第五部件；
其中第一部件进一步包括第一子部件，用于：接收待处理的大数据，确认大数据的完整性和有效性，如果大数据完整且有效则进行下一步操作，否则返回给发送方，以提示重新发送；
第二部件进一步包括第二子部件，用于：估计待处理的大数据大小，并进行目的地空间判断；如果待处理的大数据大小大于目的地空间的单位单元的大小，则用前者除以后者，以确定处理的单位单元的数量；
第三部件进一步包括第三子部件，用于：划分待处理的大数据；将大数据划分为N个数据片段，其中N是正整数；
第四部件进一步包括第四子部件，用于：对待处理的大数据进行均衡分布，因为一般大数据由多个子节点保存，所以每个节点保存一部分片段，每个节点都是由一个主要子节点和多个辅助子节点组成的集群，借此保证大数据的安全；
其中第五部件进一步包括：第五一子部件，用于：确定节点的利用参数，该利用参数表示节点被利用的程度，并且被表示为利用参数其中i表示第i个节点，i是正整数；Li表示第i个节点的负载参数，而L'表示各个节点的标称负载参数，负载参数和标称负载参数是第i个节点的负载的函数表示，具体为Li＝f(i),L'＝f‘(i)；该标称负载参数L'是各个节点负载参数的平均值，或者该标称负载参数L'是各个节点负载参数的最小二乘值；以及
第五部件进一步包括第五二子部件，用于：定期检测一个或多个或所有节点的负载利用参数，以根据每个节点的利用参数的值，将负载在节点之间移动以进行平衡，该检测采用随机信号发生器触发，进而使能检测器来执行；
第五部件进一步包括第五三子部件，用于：当一个节点的利用参数大于零时，该节点向管理节点发送请求；管理节点获得该请求的节点的最邻近节点的利用参数；管理节点判断最邻近节点的利用参数，然后将有关利用参数小于零的最空闲相邻节点的详细信息发送到请求的节点，接下来请求的节点继续工作，其将选择最邻近节点；如果管理节点判断最邻近节点的利用参数的步骤中，参数都大于零，然后将有关最相邻节点的利用参数小于零的最空闲相邻节点的详细信息发送到请求的节点，接下来请求的节点继续工作，其将选择最相邻节点的最空闲相邻节点；
第五部件进一步包括第五四子部件，用于：使每个节点保持缓存区以接收负载请求，消息递送接口管理该缓存区，主要的线程检测缓存序列并服务接收的请求；以及
该装置还包括第六部件，用于：仅在初始阶段，将节点分为实体节点和临时节点，并据此进行负载平衡；实体节点的使用优先权和频率高于临时节点，二者的比例被设置为固定值。
2.如权利要求1所述的在大数据背景下的负载平衡装置，其中该装置包括的第六部件还用于：在一个任务完成后，控制器根据该任务执行过程中节点的使用频率和性能重新划分实体节点和临时节点，如果使用频率高且性能经评估器评估为良好的节点优先成为实体节点，在实体节点数量满足之后终止重新划分过程，或者在使用频率为低且性能经评估器评估为一般的临时节点数量满足之后终止重新划分过程；其中实体节点与临时节点的比例为1:1或者2:1或者10:1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510626156.5A CN105204945B (zh) | 2015-09-28 | 2015-09-28 | 一种在大数据背景下的负载平衡装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510626156.5A CN105204945B (zh) | 2015-09-28 | 2015-09-28 | 一种在大数据背景下的负载平衡装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105204945A CN105204945A (zh) | 2015-12-30 |
| CN105204945B true CN105204945B (zh) | 2019-07-23 |
Family
ID=54952640
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510626156.5A Expired - Fee Related CN105204945B (zh) | 2015-09-28 | 2015-09-28 | 一种在大数据背景下的负载平衡装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105204945B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108449376A (zh) * | 2018-01-31 | 2018-08-24 | 合肥和钧正策信息技术有限公司 | 一种服务于企业的大数据计算节点的负载均衡方法 |
| CN110881058B (zh) * | 2018-09-06 | 2022-04-12 | 阿里巴巴集团控股有限公司 | 请求调度方法、装置、服务器及存储介质 |
| CN111459617B (zh) * | 2020-04-03 | 2023-07-11 | 南方电网科学研究院有限责任公司 | 基于云平台的容器化应用自动分配优化系统及其方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102207891A (zh) * | 2011-06-10 | 2011-10-05 | 浙江大学 | 对数据划分分布式环境实现动态划分和负载均衡的方法 |
| CN103595805A (zh) * | 2013-11-22 | 2014-02-19 | 浪潮电子信息产业股份有限公司 | 一种基于分布式集群的数据放置方法 |
| CN103731498A (zh) * | 2013-12-31 | 2014-04-16 | 浙江鸿程计算机系统有限公司 | 一种基于副本选择的大数据实时查询系统负载均衡方法 |
| CN103763378A (zh) * | 2014-01-24 | 2014-04-30 | 中国联合网络通信集团有限公司 | 基于分布式流式计算系统的任务处理方法、系统及节点 |
-
2015
- 2015-09-28 CN CN201510626156.5A patent/CN105204945B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102207891A (zh) * | 2011-06-10 | 2011-10-05 | 浙江大学 | 对数据划分分布式环境实现动态划分和负载均衡的方法 |
| CN103595805A (zh) * | 2013-11-22 | 2014-02-19 | 浪潮电子信息产业股份有限公司 | 一种基于分布式集群的数据放置方法 |
| CN103731498A (zh) * | 2013-12-31 | 2014-04-16 | 浙江鸿程计算机系统有限公司 | 一种基于副本选择的大数据实时查询系统负载均衡方法 |
| CN103763378A (zh) * | 2014-01-24 | 2014-04-30 | 中国联合网络通信集团有限公司 | 基于分布式流式计算系统的任务处理方法、系统及节点 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105204945A (zh) | 2015-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5218390B2 (ja) | 自律制御サーバ、仮想サーバの制御方法及びプログラム | |
| WO2018014566A1 (zh) | 一种负载均衡的方法、装置、计算机可读存储介质及系统 | |
| TWI755415B (zh) | 雲端環境下應用集群資源分配的方法、裝置和系統 | |
| CN104375897B (zh) | 基于最小相对负载不均衡度的云计算资源调度方法 | |
| JP5664098B2 (ja) | 複合イベント分散装置、複合イベント分散方法および複合イベント分散プログラム | |
| US20150295970A1 (en) | Method and device for augmenting and releasing capacity of computing resources in real-time stream computing system | |
| WO2019192263A1 (zh) | 一种任务的分配方法、装置及设备 | |
| US10356150B1 (en) | Automated repartitioning of streaming data | |
| US10282236B2 (en) | Dynamic load balancing for data allocation to servers | |
| US8898422B2 (en) | Workload-aware distributed data processing apparatus and method for processing large data based on hardware acceleration | |
| CN111880939A (zh) | 容器动态迁移方法、装置及电子设备 | |
| CN102232282A (zh) | 一种实现数据中心资源负载均衡的方法及装置 | |
| US20150007177A1 (en) | Virtual machine management method and information processing apparatus | |
| CN102523158A (zh) | 一种基于权重的元数据服务器集群负载均衡方法 | |
| CN105204945B (zh) | 一种在大数据背景下的负载平衡装置 | |
| EP3423940A1 (en) | A method and device for scheduling resources | |
| CN110493317B (zh) | 处理云平台资源碎片的方法及相关设备 | |
| CN116954929B (zh) | 一种实时迁移的动态gpu调度方法及系统 | |
| CN110650209A (zh) | 实现负载均衡的方法和装置 | |
| US9983911B2 (en) | Analysis controller, analysis control method and computer-readable medium | |
| CN114564313A (zh) | 负载调整方法、装置、电子设备及存储介质 | |
| CN107395708A (zh) | 一种处理下载请求的方法和装置 | |
| CN114064260B (zh) | 数据去倾斜方法、装置、电子设备及存储介质 | |
| CN105740077A (zh) | 一种适用于云计算的任务分配方法 | |
| CN105262808B (zh) | 一种在大数据背景下的负载平衡系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190723 Termination date: 20190928 |