CN115878331A - 一种数据分配方法、装置、设备及计算机可读存储介质 - Google Patents
一种数据分配方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN115878331A CN115878331A CN202310087481.3A CN202310087481A CN115878331A CN 115878331 A CN115878331 A CN 115878331A CN 202310087481 A CN202310087481 A CN 202310087481A CN 115878331 A CN115878331 A CN 115878331A
- Authority
- CN
- China
- Prior art keywords
- node
- data
- data processing
- processing node
- nearest neighbor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000009826 distribution Methods 0.000 title claims abstract description 81
- 238000012545 processing Methods 0.000 claims abstract description 363
- 238000004364 calculation method Methods 0.000 claims abstract description 50
- 238000013507 mapping Methods 0.000 claims abstract description 36
- 230000008569 process Effects 0.000 claims abstract description 16
- 230000036541 health Effects 0.000 claims description 47
- 230000002159 abnormal effect Effects 0.000 claims description 32
- 238000012508 change request Methods 0.000 claims description 24
- 230000009467 reduction Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000004806 packaging method and process Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 230000003862 health status Effects 0.000 claims description 4
- 230000008602 contraction Effects 0.000 claims description 2
- 238000007726 management method Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 20
- 230000007246 mechanism Effects 0.000 description 7
- 238000012423 maintenance Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种数据分配方法装置、设备及计算机可读存储介质，包括：获取各数据处理节点，并根据各数据处理节点生成数据环形链；各数据处理节点在数据环形链中均匀分布；接收待分配的各目标数据，并分别获取各目标数据的唯一标识；对各唯一标识进行哈希计算；将各哈希计算结果映射至数据环形链；根据映射结果，按照预设时针方向从各数据处理节点中查找各目标数据分别对应的最近邻数据处理节点；将各目标数据分配至各自对应的最近邻数据处理节点，以利用各最近邻数据处理节点对各目标数据进行处理。本发明保证不会由于单个节点的负载率过高而出现服务闪断，不需要过多的学习和设备成本，提升数据处理效率。
Description
技术领域
本发明涉及数据处理技术领域，特别是涉及一种数据分配方法、装置、设备及计算机可读存储介质。
背景技术
在大数据爆发的今天，随着存储、服务器等IT（Internet Technology，互联网技术）产品的大规模交付使用，客户对提升故障处理效率的需求越来越强烈。针对大规模的服务集群时，传统的服务支持方式为全人工本地服务，在故障发现环节，技术服务人员面临着问题发现不及时、信息传递不到位的挑战。
建立一个集服务管理、远程维护、自动建单、预测预防等功能的统一数据管理平台，即可在降低设备的管控成本的基础上，全方位提升客户的运维能力并将潜在风险转为可计划的维护动作。管控平台在接收来自各个服务设备的数据通讯时，往往需要面临海量数据的分流处理的问题。面临此场景，行业内主要的处理方式往往使用Kubernetes来实现服务高可用，但针对于海量数据的接收和分发这个场景来说，Kubernetes显得有些过于复杂、笨重，需要付出过多的学习和设备成本。
综上所述，如何有效地解决现有的通过Kubernetes进行海量数据的接收和分发，复杂、笨重，需要付出过多的学习和设备成本等问题，是目前本领域技术人员急需解决的问题。
发明内容
本发明的目的是提供一种数据分配方法，该方法保证不会由于单个节点的负载率过高而出现服务闪断，不需要过多的学习和设备成本，提升了数据处理效率；本发明的另一目的是提供一种数据分配装置、设备及计算机可读存储介质。
为解决上述技术问题，本发明提供如下技术方案：
一种数据分配方法，包括：
获取各数据处理节点，并根据各所述数据处理节点生成数据环形链；其中，各所述数据处理节点在所述数据环形链中均匀分布；
接收待分配的各目标数据，并分别获取各所述目标数据的唯一标识；
对各所述唯一标识进行哈希计算，得到各哈希计算结果；
将各所述哈希计算结果映射至所述数据环形链，得到映射结果；
根据所述映射结果，按照预设时针方向从各所述数据处理节点中查找各所述目标数据分别对应的最近邻数据处理节点；
将各所述目标数据分配至各自对应的最近邻数据处理节点，以利用各所述最近邻数据处理节点对各所述目标数据进行处理。
在本发明的一种具体实施方式中，接收待分配的各目标数据，包括：
通过数据网关中提供对外应用程序接口封装能力的对外接口接收待分配的各所述目标数据。
在本发明的一种具体实施方式中，在接收待分配的各目标数据之后，还包括：
将各所述目标数据存储至数据网关中的数据缓存。
在本发明的一种具体实施方式中，获取各数据处理节点，并根据各所述数据处理节点生成数据环形链，包括：
利用节点监控器监控节点仓库内各数据处理节点的健康状态，并根据各数据处理节点的健康状态生成节点管理通知，将所述节点管理通知发送至节点控制器；
利用所述节点控制器根据所述节点管理通知确定所述节点仓库中可用的各数据处理节点，并根据可用的各数据处理节点生成所述数据环形链。
在本发明的一种具体实施方式中，在根据各所述数据处理节点生成数据环形链之后，还包括：
利用节点控制器获取各所述数据处理节点在所述数据环形链中的分布结果，并根据所述分布结果生成数据路由链；
将所述数据路由链存储至数据网关中的路由缓存。
在本发明的一种具体实施方式中，在将所述数据路由链存储至数据网关中的路由缓存之后，还包括：
利用节点监控器接收节点数量变更请求，并根据所述节点数量变更请求生成节点调整通知，将所述节点调整通知发送给所述节点控制器；
利用所述节点控制器根据所述节点调整通知进行数据路由链重构。
在本发明的一种具体实施方式中，利用所述节点监控器接收节点数量变更请求，并根据所述节点数量变更请求生成节点调整通知，将所述节点调整通知发送给所述节点控制器，包括：
利用所述节点监控器接收节点接入请求，并根据所述节点接入请求生成节点接入通知，将所述节点接入通知发送给所述节点控制器；
利用所述节点控制器根据所述节点调整通知进行数据路由链重构，包括：
利用所述节点控制器根据所述节点接入通知进行数据路由链重构。
在本发明的一种具体实施方式中，在利用所述节点控制器根据所述节点接入通知进行数据路由链重构之后，还包括：
利用所述节点监控器按照预设周期对重构得到的数据路由链中包含的各数据处理节点进行健康状态检查。
在本发明的一种具体实施方式中，在利用所述节点监控器按照预设周期对重构得到的数据路由链中包含的各数据处理节点进行健康状态检查之后，还包括：
当检查到存在状态异常的数据处理节点时，利用所述节点监控器生成节点注销通知，并将所述节点注销通知发送给所述节点控制器；
利用所述节点控制器注销状态异常的数据处理节点，直至状态异常的数据处理节点恢复正常时控制恢复后的数据处理节点重新接入。
在本发明的一种具体实施方式中，当检查到存在状态异常的数据处理节点时，利用所述节点监控器生成节点注销通知，包括：
当检查到存在状态异常的数据处理节点时，利用所述节点监控器对状态异常的数据处理节点进行心跳检查；
当心跳检查通过时，将所述状态异常的数据处理节点恢复为健康状态；
当心跳检查未通过时，执行所述利用所述节点监控器生成节点注销通知的步骤。
在本发明的一种具体实施方式中，利用所述节点监控器接收节点数量变更请求，并根据所述节点数量变更请求生成节点调整通知，将所述节点调整通知发送给所述节点控制器，包括：
利用所述节点监控器接收节点注销请求，并根据所述节点注销请求生成节点注销通知，将所述节点注销通知发送给所述节点控制器；
利用所述节点控制器根据所述节点调整通知进行数据路由链重构，包括：
利用所述节点控制器根据所述节点注销通知进行数据路由链重构。
在本发明的一种具体实施方式中，还包括：
当通过数据网关检测到存在网络丢包或程序卡顿的数据处理节点时，利用所述节点监控器对所述网络丢包或程序卡顿的数据处理节点进行健康状态检测；
当健康状态检测为可用时，利用所述节点监控器将所述网络丢包或程序卡顿的数据处理节点由亚健康状态恢复至健康状态。
在本发明的一种具体实施方式中，按照预设时针方向从各所述数据处理节点中查找各所述目标数据分别对应的最近邻数据处理节点，包括：
按照顺时针方向从各所述数据处理节点中查找各所述目标数据分别对应的最近邻数据处理节点。
在本发明的一种具体实施方式中，分别获取各所述目标数据的唯一标识，包括：
分别获取各所述目标数据的数据流水号；
对各所述唯一标识进行哈希计算，包括：
对各所述数据流水号进行哈希计算。
在本发明的一种具体实施方式中，在按照预设时针方向从各所述数据处理节点中查找各所述目标数据分别对应的最近邻数据处理节点之后，将各所述目标数据分配至各自对应的最近邻数据处理节点之前，还包括：
判断是否存在故障的最近邻数据处理节点；
若否，则执行所述将各所述目标数据分配至各自对应的最近邻数据处理节点的步骤；
若是，则将故障的最近邻数据处理节点标记为亚健康状态，并沿所述预设时针方向查找故障的最近邻数据处理节点的下一个健康状态的目标数据处理节点，将相应目标数据分配至所述目标数据处理节点，以利用所述目标数据处理节点对相应目标数据进行处理，并针对除故障的最近邻数据处理节点之外的其他最近邻数据处理节点执行所述将各所述目标数据分配至各自对应的最近邻数据处理节点的步骤。
在本发明的一种具体实施方式中，还包括：
利用资源管理器对节点仓库内的数据处理节点进行扫描，得到扫描结果；
当所述扫描结果满足预设扩缩容条件时，利用所述资源管理器对所述节点仓库内的数据处理节点进行对应的扩缩容操作。
在本发明的一种具体实施方式中，利用所述资源管理器对所述节点仓库内的数据处理节点进行对应的扩缩容操作，包括：
利用所述资源管理器通过对配置的资源进行相应的开机或关机操作，以使所述节点仓库内的数据处理节点进行对应的扩缩容。
一种数据分配装置，包括：
节点分布模块，用于获取各数据处理节点，并根据各所述数据处理节点生成数据环形链；其中，各所述数据处理节点在所述数据环形链中均匀分布；
标识获取模块，用于接收待分配的各目标数据，并分别获取各所述目标数据的唯一标识；
哈希计算模块，用于对各所述唯一标识进行哈希计算，得到各哈希计算结果；
结果映射模块，用于将各所述哈希计算结果映射至所述数据环形链，得到映射结果；
节点查找模块，用于根据所述映射结果，按照预设时针方向从各所述数据处理节点中查找各所述目标数据分别对应的最近邻数据处理节点；
数据分配模块，用于将各所述目标数据分配至各自对应的最近邻数据处理节点，以利用各所述最近邻数据处理节点对各所述目标数据进行处理。
一种数据分配设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如前所述数据分配方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述数据分配方法的步骤。
本发明所提供的数据分配方法，获取各数据处理节点，并根据各数据处理节点生成数据环形链；其中，各数据处理节点在数据环形链中均匀分布；接收待分配的各目标数据，并分别获取各目标数据的唯一标识；对各唯一标识进行哈希计算，得到各哈希计算结果；将各哈希计算结果映射至数据环形链，得到映射结果；根据映射结果，按照预设时针方向从各数据处理节点中查找各目标数据分别对应的最近邻数据处理节点；将各目标数据分配至各自对应的最近邻数据处理节点，以利用各最近邻数据处理节点对各目标数据进行处理。
由上述技术方案可知，通过创建一套路由均衡策略，在多客户端数据海量数据上报的场景下，尽可能的将上报数据均匀的分配至各数据处理节点，从而保证在后续的数据路由环节，每个数据处理节点都有相同的机会获得数据处理的权限，保证不会由于单个节点的负载率过高而出现服务闪断。不需要过多的学习和设备成本，提升了数据处理效率。
相应的，本发明还提供了与上述数据分配方法相对应的数据分配装置、设备和计算机可读存储介质，具有上述技术效果，在此不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种数据分配方法的实施流程图；
图2为本发明实施例中一种数据分配系统的结构框图；
图3为本发明实施例中一种数据路由机制的示意图；
图4为一种数据处理节点初始化时哈希计算产生的数据路由机制的示意图；
图5为本发明实施例中一种数据分配系统的整体架构图；
图6为本发明实施例中另一种数据分配方法的实施流程图；
图7为本发明实施例中一种数据分配方法的服务标准处理流程图；
图8为本发明实施例中一种数据环形链重构的示意图；
图9为本发明实施例中另一种数据环形链重构的示意图；
图10为本发明实施例中一种数据处理节点动态扩缩容的示意图；
图11为本发明实施例中一种数据分配装置的结构框图；
图12为本发明实施例中一种数据分配设备的结构框图；
图13为本实施例提供的一种数据分配设备的具体结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1为本发明实施例中一种数据分配方法的实施流程图，该方法可以包括以下步骤：
S101：获取各数据处理节点，并根据各数据处理节点生成数据环形链；其中，各数据处理节点在数据环形链中均匀分布。
可以在节点仓库中预先存储各数据处理节点，获取各数据处理节点，并将各数据处理节点等距排布，在排布完成之后，将排在首位的数据处理节点与排在尾部的节点相连，两者之间的连接距离也保持与其他相邻两数据处理节点之间的距离相同，从而根据各数据处理节点生成数据环形链，各数据处理节点在数据环形链中均匀分布。通过将各数据处理节点均匀分布至数据环形链，保证了在后续的数据路由环节，每个数据处理节点都有相同的机会获得数据处理的权限。
参见图2，图2为本发明实施例中一种数据分配系统的结构框图。存储A、存储B、服务器、混合机等源数据设备生成待分配的数据，数据接收层接收海量的数据，并预先设置如何找到合理的处理节点，处理节点出现故障后，如何快速响应，敏捷应对，如何高效的扩容、缩容节点等机制，利用数据处理层中包含的处理节点A、处理节点B、处理节点C等处理节点进行数据处理。
参见图3，图3为本发明实施例中一种数据路由机制的示意图。处理节点初始化固定值均衡分配节点至数据环形链上，在数据接收后，将上报数据唯一标识哈希后放入到数据环形链中，利用数据环形链的机制寻找处理节点。
参见图4，图4为一种数据处理节点初始化时哈希计算产生的数据路由机制的示意图。由于对数据处理节点初始化，使得节点A和节点C过近，造成数据哈希后寻找相关节点时，极少数数据会落入节点A，与之对应的过多的数据会落入节点B，造成节点B的繁忙。
基于上述情况，本发明实施例处理节点在初始化时不进行哈希计算，而是直接进行均匀分布可以防止如图4中处理节点数量较少或极端情况下，哈希后的节点槽位过于集中，造成数据处理节点整体利用率过低的问题。
在本发明的一种具体实施方式中，步骤S101可以包括以下步骤：
步骤一：利用节点监控器监控节点仓库内各数据处理节点的健康状态，并根据各数据处理节点的健康状态生成节点管理通知，将节点管理通知发送至节点控制器；
步骤二：利用节点控制器根据节点管理通知确定节点仓库中可用的各数据处理节点，并根据可用的各数据处理节点生成数据环形链；其中，各数据处理节点在数据环形链中均匀分布。
为方便描述，可以将上述两个步骤结合起来进行说明。
参见图5，图5为本发明实施例中一种数据分配系统的整体架构图。预先设置对数据处理节点的健康状态进行监控的节点监控器，并设置根据节点的健康状态进行可用数据处理节点筛选并进行数据环形链生成的节点控制器，服务启动后，节点控制器会首先启动。节点控制器准备就绪后，节点监控器随后启动。节点仓库中保存接入节点的信息，包含节点地址、基础信息、性能信息、健康状态等，利用节点监控器监控节点仓库内各数据处理节点的健康状态，并根据各数据处理节点的健康状态生成节点管理通知，将节点管理通知发送至节点控制器，利用节点控制器根据节点管理通知确定节点仓库中可用的各数据处理节点，并根据可用的各数据处理节点生成数据环形链，各可用的数据处理节点在数据环形链中均匀分布。通过节点监控器对节点健康状态进行监控，根据各数据处理节点的健康状态调用节点控制器的节点管控能力，由节点控制器对节点仓库进行维护操作，从而实现对数据环形链的有效创建。
在本发明的一种具体实施方式中，在根据各数据处理节点生成数据环形链之后，该方法还可以包括以下步骤：
步骤一：利用节点控制器获取各数据处理节点在数据环形链中的分布结果，并根据分布结果生成数据路由链；
步骤二：将数据路由链存储至数据网关中的路由缓存。
为方便描述，可以将上述两个步骤结合起来进行说明。
如图5所示，预先设置数据网关，数据网关作为数据接收的入口，提供核心的数据路由接收和数据能力。数据网关中包含对数据路由链进行缓存的路由缓存，在根据各数据处理节点生成数据环形链之后，利用节点控制器获取各数据处理节点在数据环形链中的分布结果，并根据分布结果生成数据路由链，将数据路由链存储至数据网关中的路由缓存，从而方便后续根据路由缓存中存储的数据路由链进行数据分配。
在本发明的一种具体实施方式中，在将数据路由链存储至数据网关中的路由缓存之后，该方法还可以包括以下步骤：
步骤一：利用节点监控器接收节点数量变更请求，并根据节点数量变更请求生成节点调整通知，将节点调整通知发送给节点控制器；
步骤二：利用节点控制器根据节点调整通知进行数据路由链重构。
为方便描述，可以将上述两个步骤结合起来进行说明。
在将数据路由链存储至数据网关中的路由缓存之后，当需要进行节点数据变更时，用户终端会生成节点数量变更请求，并向节点监控器发送节点数量变更请求，利用节点监控器接收节点数量变更请求，并根据节点数量变更请求生成节点调整通知，将节点调整通知发送给节点控制器，利用节点控制器根据节点调整通知进行数据路由链重构，从而使得节点控制器根据节点调整通知进行相应的节点的接入或注销调整，根据接入或注销调整后的各数据处理节点构建新的数据路由链。
在本发明的一种具体实施方式中，利用节点监控器接收节点数量变更请求，并根据节点数量变更请求生成节点调整通知，将节点调整通知发送给节点控制器，可以包括以下步骤：
利用节点监控器接收节点接入请求，并根据节点接入请求生成节点接入通知，将节点接入通知发送给节点控制器；
相应的，利用节点控制器根据节点调整通知进行数据路由链重构，可以包括以下步骤：
利用节点控制器根据节点接入通知进行数据路由链重构。
参见图8，图8为本发明实施例中一种数据环形链重构的示意图。当有新节点需要进行接入时，用户终端会生成节点接入请求，并向节点监控器发送节点接入请求，利用节点监控器接收节点接入请求，并根据节点接入请求生成节点接入通知，将节点接入通知发送给节点控制器，利用节点控制器根据节点接入通知进行数据路由链重构。从而使得节点控制器根据节点接入通知进行节点的接入调整，根据新节点接入后的各数据处理节点构建新的数据路由链，实现了数据处理节点的动态扩容。
在本发明的一种具体实施方式中，在利用节点控制器根据节点接入通知进行数据路由链重构之后，该方法还可以包括以下步骤：
利用节点监控器按照预设周期对重构得到的数据路由链中包含的各数据处理节点进行健康状态检查。
在利用节点控制器根据节点接入通知进行数据路由链重构之后，利用节点监控器按照预设周期对重构得到的数据路由链中包含的各数据处理节点进行健康状态检查，从而实现对各数据处理节点健康状态的定期检查。
在本发明的一种具体实施方式中，在利用节点监控器按照预设周期对重构得到的数据路由链中包含的各数据处理节点进行健康状态检查之后，该方法还可以包括以下步骤：
步骤一：当检查到存在状态异常的数据处理节点时，利用节点监控器生成节点注销通知，并将节点注销通知发送给节点控制器；
步骤二：利用节点控制器注销状态异常的数据处理节点，直至状态异常的数据处理节点恢复正常时控制恢复后的数据处理节点重新接入。
为方便描述，可以将上述两个步骤结合起来进行说明。
在利用节点监控器按照预设周期对重构得到的数据路由链中包含的各数据处理节点进行健康状态检查之后，当检查到存在状态异常的数据处理节点时，利用节点监控器生成节点注销通知，并将节点注销通知发送给节点控制器，利用节点控制器注销状态异常的数据处理节点，直至状态异常的数据处理节点恢复正常时控制恢复后的数据处理节点重新接入。通过利用节点控制器负责管理已接入的数据处理节点，对外提供节点接入以及节点注销接口。每当数据处理节点状态发生变化时（即新节点接入或已有节点下线），触发数据路由链的重构操作。
在本发明的一种具体实施方式中，当检查到存在状态异常的数据处理节点时，利用节点监控器生成节点注销通知，可以包括以下步骤：
步骤一：当检查到存在状态异常的数据处理节点时，利用节点监控器对状态异常的数据处理节点进行心跳检查；
步骤二：当心跳检查通过时，将状态异常的数据处理节点恢复为健康状态；
步骤三：当心跳检查未通过时，利用节点监控器生成节点注销通知。
为方便描述，可以将上述三个步骤结合起来进行说明。
当检查到存在状态异常的数据处理节点时，即数据路由链中出现亚健康节点时，利用节点监控器对状态异常的数据处理节点进行心跳检查，确认此节点是否可继续进行工作，当心跳检查通过时，将状态异常的数据处理节点恢复为健康状态，当心跳检查未通过时，利用节点监控器生成节点注销通知。通过利用节点监控器对状态异常的数据处理节点进行心跳检查，当心跳检查通过时，利用节点监控器直接将状态异常的数据处理节点恢复为健康状态，省去了通知节点控制器进行节点管控的环节，提升了对数据处理节点的管控效率。
在本发明的一种具体实施方式中，利用节点监控器接收节点数量变更请求，并根据节点数量变更请求生成节点调整通知，将节点调整通知发送给节点控制器，可以包括以下步骤：
利用节点监控器接收节点注销请求，并根据节点注销请求生成节点注销通知，将节点注销通知发送给节点控制器；
相应的，利用节点控制器根据节点调整通知进行数据路由链重构，可以包括以下步骤：
利用节点控制器根据节点注销通知进行数据路由链重构。
参见图9，图9为本发明实施例中另一种数据环形链重构的示意图。当存在亚健康状态的数据处理节点时，用户终端会生成节点注销请求，并向节点监控器发送节点注销请求，利用节点监控器接收节点注销请求，并根据节点注销请求生成节点注销通知，将节点注销通知发送给节点控制器，利用节点控制器根据节点注销通知进行数据路由链重构。从而当某个数据处理节点出现网络波动甚至服务闪断时，可以快速识别到节点出现问题，并将问题节点从正常的服务节点中移除，保证不会因为单个节点故障而造成大量的数据堆积。使得节点控制器根据节点注销通知进行节点的注销调整，根据新节点注销后的各数据处理节点构建新的数据路由链，实现了数据处理节点的动态缩容。
在本发明的一种具体实施方式中，该方法还可以包括以下步骤：
步骤一：当通过数据网关检测到存在网络丢包或程序卡顿的数据处理节点时，利用节点监控器对网络丢包或程序卡顿的数据处理节点进行健康状态检测；
步骤二：当健康状态检测为可用时，利用节点监控器将网络丢包或程序卡顿的数据处理节点由亚健康状态恢复至健康状态。
为方便描述，可以将上述两个步骤结合起来进行说明。
当通过数据网关检测到存在网络丢包或程序卡顿的数据处理节点时，利用节点监控器对网络丢包或程序卡顿的数据处理节点进行健康状态检测，当健康状态检测为可用时，利用节点监控器将网络丢包或程序卡顿的数据处理节点由亚健康状态恢复至健康状态。通过数据网关实时主动对数据处理节点进行网络丢包及程序卡顿现象检测，不需要等待节点监控器的检测周期，省去数据路由链重构的过程，进一步提高了数据处理节点维护效率。
S102：接收待分配的各目标数据，并分别获取各目标数据的唯一标识。
在将各数据处理节点均匀分布至预生成的数据环形链之后，接收待分配的各目标数据，每个目标数据均存在各自对应的唯一标识（key），分别获取各目标数据的唯一标识。
在本发明的一种具体实施方式中，接收待分配的各目标数据，可以包括以下步骤：
通过数据网关中提供对外应用程序接口封装能力的对外接口接收待分配的各目标数据。
数据网关中存在对外接口，通过对外接口提供对外应用程序接口封装能力，在数据接收时，通过数据网关中提供对外应用程序接口封装能力的对外接口接收待分配的各目标数据，从而实现对待分配的各目标数据进行有效接收。
在本发明的一种具体实施方式中，在接收待分配的各目标数据之后，该方法还可以包括以下步骤：
将各目标数据存储至数据网关中的数据缓存。
数据网关中预先设置有数据缓存，数据缓存作为上报数据中转站，在接收待分配的各目标数据之后，将各目标数据存储至数据网关中的数据缓存，从而方便后续的数据分配。
S103：对各唯一标识进行哈希计算，得到各哈希计算结果。
在分别获取各目标数据的唯一标识之后，对各唯一标识进行哈希（hash）计算，得到各哈希计算结果。
在本发明的一种具体实施方式中，分别获取各目标数据的唯一标识，可以包括以下步骤：
分别获取各目标数据的数据流水号；
相应的，对各唯一标识进行哈希计算，可以包括以下步骤：
对各数据流水号进行哈希计算。
在接收到待分配的各目标数据之后，分别获取各目标数据的数据流水号，对各数据流水号进行哈希计算，充分利用了数据流水号的唯一性。
S104：将各哈希计算结果映射至数据环形链，得到映射结果。
在得到各哈希计算结果之后，将各哈希计算结果映射至数据环形链，得到映射结果，从而实现将哈希计算结果到数据环形链的具体位置的映射。
S105：根据映射结果，按照预设时针方向从各数据处理节点中查找各目标数据分别对应的最近邻数据处理节点。
预先设置查找各目标数据在数据环形链中对应的数据处理节点的查找方向，如可以设置按照顺时针方向进行数据处理节点查找，也可以设置按照逆时针方向进行数据处理节点查找。在将各哈希计算结果映射至数据环形链之后，根据映射结果，按照预设时针方向从各数据处理节点中查找各目标数据分别对应的最近邻数据处理节点。
在本发明的一种具体实施方式中，按照预设时针方向从各数据处理节点中查找各目标数据分别对应的最近邻数据处理节点，可以包括以下步骤：
按照顺时针方向从各数据处理节点中查找各目标数据分别对应的最近邻数据处理节点。
预先设置按照顺时针方向查找各目标数据在数据环形链中对应的数据处理节点，在将各哈希计算结果映射至数据环形链之后，根据映射结果，按照顺时针方向从各数据处理节点中查找各目标数据分别对应的最近邻数据处理节点。通过将每个目标数据按照顺时针方向寻找健康状态的处理节点，在寻找到第一个可用节点时，该数据将会被分发至该节点处理，保证了各目标数据对应的数据处理节点的唯一性。
S106：将各目标数据分配至各自对应的最近邻数据处理节点，以利用各最近邻数据处理节点对各目标数据进行处理。
在按照预设时针方向从各数据处理节点中查找各目标数据分别对应的最近邻数据处理节点之后，将各目标数据分配至各自对应的最近邻数据处理节点，从而利用各最近邻数据处理节点对各目标数据进行处理。通过创建一套路由均衡策略，在多客户（Client）端海量数据上报的场景下，尽可能的将上报数据均匀的分配至各数据处理节点，保证不会出现单个节点的负载率过高而出现服务闪断，保障了数据接收服务的稳定性。
由上述技术方案可知，通过创建一套路由均衡策略，在多客户端数据海量数据上报的场景下，尽可能的将上报数据均匀的分配至各数据处理节点，从而保证在后续的数据路由环节，每个数据处理节点都有相同的机会获得数据处理的权限，保证不会由于单个节点的负载率过高而出现服务闪断。不需要过多的学习和设备成本，提升了数据处理效率。
需要说明的是，基于上述实施例，本发明实施例还提供了相应的改进方案。在后续实施例中涉及与上述实施例中相同步骤或相应步骤之间可相互参考，相应的有益效果也可相互参照，在下文的改进实施例中不再一一赘述。
在本发明的一种具体实施方式中，该方法还可以包括以下步骤：
步骤一：利用资源管理器对节点仓库内的数据处理节点进行扫描，得到扫描结果；
步骤二：当扫描结果满足预设扩缩容条件时，利用资源管理器对节点仓库内的数据处理节点进行对应的扩缩容操作。
为方便描述，可以将上述两个步骤结合起来进行说明。
如图5所示，还预先设置有资源管理器，资源管理器具有扩展功能，用户可使用其进行节点的动态扩展、缩容。资源管理器可以具备资源管控和脚本管理的功能，资源管控是指管控预设的服务资源，为节点的动态拓展使用，脚本管理是针对节点的拓展和缩容需要提供相关的预设脚本。还设置有配置中心，配置中心读取平台的初始化配置，并提供热更新能力。
参见图10，图10为本发明实施例中一种数据处理节点动态扩缩容的示意图。预先设置扩缩容条件，例如可以设置节点仓库中各节点的平均CPU（central processing unit，中央处理器）利用率、各节点的平均内存占用率、最大节点数量、最小节点数量等作为预设扩缩容条件。利用资源管理器对节点仓库内的数据处理节点进行扫描，得到扫描结果，当扫描结果满足预设扩缩容条件时，利用资源管理器对节点仓库内的数据处理节点进行对应的扩缩容操作。在数据上报激增或节点异常离线时，现有节点的承载压力会明显增大。节点的动态扩容则可以在高压情况下自动启用备用资源，而服务资源空闲时释放备用资源，进行数据处理节点的敏捷高效管理，保证了在高压力环境下系统可自动增减节点，尽可能提升每个数据处理节点的可用性，保障服务的稳定运行。
在本发明的一种具体实施方式中，利用资源管理器对节点仓库内的数据处理节点进行对应的扩缩容操作，可以包括以下步骤：
利用资源管理器通过对配置的资源进行相应的开机或关机操作，以使节点仓库内的数据处理节点进行对应的扩缩容。
在对节点仓库内的数据处理节点进行扩缩容时，利用资源管理器通过对配置的资源进行相应的开机或关机操作，从而能够实现快速地对节点仓库内的数据处理节点进行对应的扩缩容。
参见图6，图6为本发明实施例中另一种数据分配方法的实施流程图，该方法可以包括以下步骤：
S601：获取各数据处理节点，并根据各数据处理节点生成数据环形链；其中，各数据处理节点在数据环形链中均匀分布。
S602：接收待分配的各目标数据，并分别获取各目标数据的唯一标识。
S603：对各唯一标识进行哈希计算，得到各哈希计算结果。
S604：将各哈希计算结果映射至数据环形链，得到映射结果。
S605：根据映射结果，按照预设时针方向从各数据处理节点中查找各目标数据分别对应的最近邻数据处理节点。
S606：判断是否存在故障的最近邻数据处理节点，若是，则执行步骤S607，若否，则执行步骤S608。
在查找到各目标数据分别对应的最近邻数据处理节点之后，判断是否存在故障的最近邻数据处理节点，若是，则说明当前查找到的故障的最近邻数据处理节点不可用，执行步骤S607，若否，则说明查找到的各最近邻数据处理节点均可用，执行步骤S608。
S607：将故障的最近邻数据处理节点标记为亚健康状态，并沿预设时针方向查找故障的最近邻数据处理节点的下一个健康状态的目标数据处理节点，将相应目标数据分配至目标数据处理节点，以利用目标数据处理节点对相应目标数据进行处理，并针对除故障的最近邻数据处理节点之外的其他最近邻数据处理节点，将各目标数据分配至各自对应的最近邻数据处理节点，以利用各最近邻数据处理节点对各目标数据进行处理。
当确定存在故障的最近邻数据处理节点时，说明当前查找到的故障的最近邻数据处理节点不可用，将故障的最近邻数据处理节点标记为亚健康状态，并沿预设时针方向查找故障的最近邻数据处理节点的下一个健康状态的目标数据处理节点，将相应目标数据分配至目标数据处理节点，从而利用目标数据处理节点对相应目标数据进行处理，并针对除故障的最近邻数据处理节点之外的其他最近邻数据处理节点，将各目标数据分配至各自对应的最近邻数据处理节点，从而利用各最近邻数据处理节点对各目标数据进行处理。通过设置的故障转移机制，保证了各目标数据均能分配到合适的数据处理节点进行处理，进一步保障了数据接收服务的稳定性。
S608：将各目标数据分配至各自对应的最近邻数据处理节点，以利用各最近邻数据处理节点对各目标数据进行处理。
当确定存在故障的最近邻数据处理节点时，说明查找到的各最近邻数据处理节点均可用，将各目标数据分配至各自对应的最近邻数据处理节点，从而利用各最近邻数据处理节点对各目标数据进行处理。
参见图7，图7为本发明实施例中一种数据分配方法的服务标准处理流程图。服务启动之后，首先启动节点控制器，利用节点控制器动态维护数据环形链，其次启动节点监控器，监控节点的接入、注销，再启动数据网关，通过数据网关接收各存储上报的数据，并利用数据网关进行数据路由。
相应于上面的方法实施例，本发明还提供了一种数据分配装置，下文描述的数据分配装置与上文描述的数据分配装置可相互对应参照。
参见图11，图11为本发明实施例中一种数据分配装置的结构框图，该装置可以包括：
节点分布模块111，用于获取各数据处理节点，并根据各数据处理节点生成数据环形链；其中，各数据处理节点在数据环形链中均匀分布；
标识获取模块112，用于接收待分配的各目标数据，并分别获取各目标数据的唯一标识；
哈希计算模块113，用于对各唯一标识进行哈希计算，得到各哈希计算结果；
结果映射模块114，用于将各哈希计算结果映射至数据环形链，得到映射结果；
节点查找模块115，用于根据映射结果，按照预设时针方向从各数据处理节点中查找各目标数据分别对应的最近邻数据处理节点；
数据分配模块116，用于将各目标数据分配至各自对应的最近邻数据处理节点，以利用各最近邻数据处理节点对各目标数据进行处理。
由上述技术方案可知，通过创建一套路由均衡策略，在多客户端数据海量数据上报的场景下，尽可能的将上报数据均匀的分配至各数据处理节点，从而保证在后续的数据路由环节，每个数据处理节点都有相同的机会获得数据处理的权限，保证不会由于单个节点的负载率过高而出现服务闪断。不需要过多的学习和设备成本，提升了数据处理效率。
在本发明的一种具体实施方式中，标识获取模块112具体为通过数据网关中提供对外应用程序接口封装能力的对外接口接收待分配的各目标数据的模块。
在本发明的一种具体实施方式中，该装置还可以包括：
数据缓存模块，用于在接收待分配的各目标数据之后，将各目标数据存储至数据网关中的数据缓存。
在本发明的一种具体实施方式中，节点分布模块111包括：
管理通知发送子模块，用于利用节点监控器监控节点仓库内各数据处理节点的健康状态，并根据各数据处理节点的健康状态生成节点管理通知，将节点管理通知发送至节点控制器；
节点分布子模块，用于利用节点控制器根据节点管理通知确定节点仓库中可用的各数据处理节点，并根据可用的各数据处理节点生成数据环形链。
在本发明的一种具体实施方式中，该装置还可以包括：
路由链生成模块，用于在根据各数据处理节点生成数据环形链之后，利用节点控制器获取各数据处理节点在数据环形链中的分布结果，并根据分布结果生成数据路由链；
路由链存储模块，用于将数据路由链存储至数据网关中的路由缓存。
在本发明的一种具体实施方式中，该装置还可以包括：
调整通知发送模块，用于在将数据路由链存储至数据网关中的路由缓存之后，利用节点监控器接收节点数量变更请求，并根据节点数量变更请求生成节点调整通知，将节点调整通知发送给节点控制器；
路由链重构模块，用于利用节点控制器根据节点调整通知进行数据路由链重构。
在本发明的一种具体实施方式中，调整通知发送模具体为利用节点监控器接收节点接入请求，并根据节点接入请求生成节点接入通知，将节点接入通知发送给节点控制器的模块；
路由链重构模块具体为利用节点控制器根据节点接入通知进行数据路由链重构的模块。
在本发明的一种具体实施方式中，该装置还可以包括：
第一健康状态检查模块，用于在利用节点控制器根据节点接入通知进行数据路由链重构之后，利用节点监控器按照预设周期对重构得到的数据路由链中包含的各数据处理节点进行健康状态检查。
在本发明的一种具体实施方式中，该装置还可以包括：
注销通知发送模块，用于在利用节点监控器按照预设周期对重构得到的数据路由链中包含的各数据处理节点进行健康状态检查之后，当检查到存在状态异常的数据处理节点时，利用节点监控器生成节点注销通知，并将节点注销通知发送给节点控制器；
节点重新接入模块，用于利用节点控制器注销状态异常的数据处理节点，直至状态异常的数据处理节点恢复正常时控制恢复后的数据处理节点重新接入。
在本发明的一种具体实施方式中，注销通知发送模块包括：
心跳检查子模块，用于当检查到存在状态异常的数据处理节点时，利用节点监控器对状态异常的数据处理节点进行心跳检查；
健康状态回复子模块，用于当心跳检查通过时，将状态异常的数据处理节点恢复为健康状态；
注销通知生成子模块，用于当心跳检查未通过时，利用节点监控器生成节点注销通知。
在本发明的一种具体实施方式中，调整通知发送模块具体为利用节点监控器接收节点注销请求，并根据节点注销请求生成节点注销通知，将节点注销通知发送给节点控制器的模块；
路由链重构模块具体为利用节点控制器根据节点注销通知进行数据路由链重构的模块。
在本发明的一种具体实施方式中，该装置还可以包括：
第二健康状态检查模块，用于当通过数据网关检测到存在网络丢包或程序卡顿的数据处理节点时，利用节点监控器对网络丢包或程序卡顿的数据处理节点进行健康状态检测；
健康状态恢复模块，用于当健康状态检测为可用时，利用节点监控器将网络丢包或程序卡顿的数据处理节点由亚健康状态恢复至健康状态。
在本发明的一种具体实施方式中，节点查找模块115具体为按照顺时针方向从各数据处理节点中查找各目标数据分别对应的最近邻数据处理节点的模块。
在本发明的一种具体实施方式中，标识获取模块112具体为分别获取各目标数据的数据流水号的模块；
哈希计算模块具体为对各数据流水号进行哈希计算的模块。
在本发明的一种具体实施方式中，该装置还可以包括：
判断模块，用于在按照预设时针方向从各数据处理节点中查找各目标数据分别对应的最近邻数据处理节点之后，将各目标数据分配至各自对应的最近邻数据处理节点之前，判断是否存在故障的最近邻数据处理节点；
数据分配模块116具体为当确定不存在故障的最近邻数据处理节点时，将各目标数据分配至各自对应的最近邻数据处理节点的模块；
节点标记模块，用于当确定存在故障的最近邻数据处理节点时，将故障的最近邻数据处理节点标记为亚健康状态，并沿预设时针方向查找故障的最近邻数据处理节点的下一个健康状态的目标数据处理节点，将相应目标数据分配至目标数据处理节点，以利用目标数据处理节点对相应目标数据进行处理，并针对除故障的最近邻数据处理节点之外的其他最近邻数据处理节点执行将各目标数据分配至各自对应的最近邻数据处理节点的步骤。
在本发明的一种具体实施方式中，该装置还可以包括：
节点扫描模块，用于利用资源管理器对节点仓库内的数据处理节点进行扫描，得到扫描结果；
节点扩缩容模块，用于当扫描结果满足预设扩缩容条件时，利用资源管理器对节点仓库内的数据处理节点进行对应的扩缩容操作。
在本发明的一种具体实施方式中，节点扩缩容模块具体为利用资源管理器通过对配置的资源进行相应的开机或关机操作，以使节点仓库内的数据处理节点进行对应的扩缩容的模块。
相应于上面的方法实施例，参见图12，图12为本发明所提供的数据分配设备的示意图，该设备可以包括：
存储器332，用于存储计算机程序；
处理器322，用于执行计算机程序时实现上述方法实施例的数据分配方法的步骤。
具体的，请参考图13，图13为本实施例提供的一种数据分配设备的具体结构示意图，该数据分配设备可因配置或性能不同而产生比较大的差异，可以包括处理器（centralprocessing units，CPU）322（例如，一个或一个以上处理器）和存储器332，存储器332存储有一个或一个以上的计算机程序342或数据344。其中，存储器332可以是短暂存储或持久存储。存储在存储器332的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地，处理器322可以设置为与存储器332通信，在数据分配设备301上执行存储器332中的一系列指令操作。
数据分配设备301还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341。
上文所描述的数据分配方法中的步骤可以由数据分配设备的结构实现。
相应于上面的方法实施例，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如下步骤：
获取各数据处理节点，并根据各数据处理节点生成数据环形链；其中，各数据处理节点在数据环形链中均匀分布；接收待分配的各目标数据，并分别获取各目标数据的唯一标识；对各唯一标识进行哈希计算，得到各哈希计算结果；将各哈希计算结果映射至数据环形链，得到映射结果；根据映射结果，按照预设时针方向从各数据处理节点中查找各目标数据分别对应的最近邻数据处理节点；将各目标数据分配至各自对应的最近邻数据处理节点，以利用各最近邻数据处理节点对各目标数据进行处理。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
对于本发明提供的计算机可读存储介质的介绍请参照上述方法实施例，本发明在此不做赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (20)
1.一种数据分配方法，其特征在于，包括：
获取各数据处理节点，并根据各所述数据处理节点生成数据环形链；其中，各所述数据处理节点在所述数据环形链中均匀分布；
接收待分配的各目标数据，并分别获取各所述目标数据的唯一标识；
对各所述唯一标识进行哈希计算，得到各哈希计算结果；
将各所述哈希计算结果映射至所述数据环形链，得到映射结果；
根据所述映射结果，按照预设时针方向从各所述数据处理节点中查找各所述目标数据分别对应的最近邻数据处理节点；
将各所述目标数据分配至各自对应的最近邻数据处理节点，以利用各所述最近邻数据处理节点对各所述目标数据进行处理。
2.根据权利要求1所述的数据分配方法，其特征在于，接收待分配的各目标数据，包括：
通过数据网关中提供对外应用程序接口封装能力的对外接口接收待分配的各所述目标数据。
3.根据权利要求1所述的数据分配方法，其特征在于，在接收待分配的各目标数据之后，还包括：
将各所述目标数据存储至数据网关中的数据缓存。
4.根据权利要求1所述的数据分配方法，其特征在于，获取各数据处理节点，并根据各所述数据处理节点生成数据环形链，包括：
利用节点监控器监控节点仓库内各数据处理节点的健康状态，并根据各数据处理节点的健康状态生成节点管理通知，将所述节点管理通知发送至节点控制器；
利用所述节点控制器根据所述节点管理通知确定所述节点仓库中可用的各数据处理节点，并根据可用的各数据处理节点生成所述数据环形链。
5.根据权利要求1所述的数据分配方法，其特征在于，在根据各所述数据处理节点生成数据环形链之后，还包括：
利用节点控制器获取各所述数据处理节点在所述数据环形链中的分布结果，并根据所述分布结果生成数据路由链；
将所述数据路由链存储至数据网关中的路由缓存。
6.根据权利要求5所述的数据分配方法，其特征在于，在将所述数据路由链存储至数据网关中的路由缓存之后，还包括：
利用节点监控器接收节点数量变更请求，并根据所述节点数量变更请求生成节点调整通知，将所述节点调整通知发送给所述节点控制器；
利用所述节点控制器根据所述节点调整通知进行数据路由链重构。
7.根据权利要求6所述的数据分配方法，其特征在于，利用所述节点监控器接收节点数量变更请求，并根据所述节点数量变更请求生成节点调整通知，将所述节点调整通知发送给所述节点控制器，包括：
利用所述节点监控器接收节点接入请求，并根据所述节点接入请求生成节点接入通知，将所述节点接入通知发送给所述节点控制器；
利用所述节点控制器根据所述节点调整通知进行数据路由链重构，包括：
利用所述节点控制器根据所述节点接入通知进行数据路由链重构。
8.根据权利要求7所述的数据分配方法，其特征在于，在利用所述节点控制器根据所述节点接入通知进行数据路由链重构之后，还包括：
利用所述节点监控器按照预设周期对重构得到的数据路由链中包含的各数据处理节点进行健康状态检查。
9.根据权利要求8所述的数据分配方法，其特征在于，在利用所述节点监控器按照预设周期对重构得到的数据路由链中包含的各数据处理节点进行健康状态检查之后，还包括：
当检查到存在状态异常的数据处理节点时，利用所述节点监控器生成节点注销通知，并将所述节点注销通知发送给所述节点控制器；
利用所述节点控制器注销状态异常的数据处理节点，直至状态异常的数据处理节点恢复正常时控制恢复后的数据处理节点重新接入。
10.根据权利要求9所述的数据分配方法，其特征在于，当检查到存在状态异常的数据处理节点时，利用所述节点监控器生成节点注销通知，包括：
当检查到存在状态异常的数据处理节点时，利用所述节点监控器对状态异常的数据处理节点进行心跳检查；
当心跳检查通过时，将所述状态异常的数据处理节点恢复为健康状态；
当心跳检查未通过时，执行所述利用所述节点监控器生成节点注销通知的步骤。
11.根据权利要求6所述的数据分配方法，其特征在于，利用所述节点监控器接收节点数量变更请求，并根据所述节点数量变更请求生成节点调整通知，将所述节点调整通知发送给所述节点控制器，包括：
利用所述节点监控器接收节点注销请求，并根据所述节点注销请求生成节点注销通知，将所述节点注销通知发送给所述节点控制器；
利用所述节点控制器根据所述节点调整通知进行数据路由链重构，包括：
利用所述节点控制器根据所述节点注销通知进行数据路由链重构。
12.根据权利要求11所述的数据分配方法，其特征在于，还包括：
当通过数据网关检测到存在网络丢包或程序卡顿的数据处理节点时，利用所述节点监控器对所述网络丢包或程序卡顿的数据处理节点进行健康状态检测；
当健康状态检测为可用时，利用所述节点监控器将所述网络丢包或程序卡顿的数据处理节点由亚健康状态恢复至健康状态。
13.根据权利要求1所述的数据分配方法，其特征在于，按照预设时针方向从各所述数据处理节点中查找各所述目标数据分别对应的最近邻数据处理节点，包括：
按照顺时针方向从各所述数据处理节点中查找各所述目标数据分别对应的最近邻数据处理节点。
14.根据权利要求1所述的数据分配方法，其特征在于，分别获取各所述目标数据的唯一标识，包括：
分别获取各所述目标数据的数据流水号；
对各所述唯一标识进行哈希计算，包括：
对各所述数据流水号进行哈希计算。
15.根据权利要求1所述的数据分配方法，其特征在于，在按照预设时针方向从各所述数据处理节点中查找各所述目标数据分别对应的最近邻数据处理节点之后，将各所述目标数据分配至各自对应的最近邻数据处理节点之前，还包括：
判断是否存在故障的最近邻数据处理节点；
若否，则执行所述将各所述目标数据分配至各自对应的最近邻数据处理节点的步骤；
若是，则将故障的最近邻数据处理节点标记为亚健康状态，并沿所述预设时针方向查找故障的最近邻数据处理节点的下一个健康状态的目标数据处理节点，将相应目标数据分配至所述目标数据处理节点，以利用所述目标数据处理节点对相应目标数据进行处理，并针对除故障的最近邻数据处理节点之外的其他最近邻数据处理节点执行所述将各所述目标数据分配至各自对应的最近邻数据处理节点的步骤。
16.根据权利要求1至15任一项所述的数据分配方法，其特征在于，还包括：
利用资源管理器对节点仓库内的数据处理节点进行扫描，得到扫描结果；
当所述扫描结果满足预设扩缩容条件时，利用所述资源管理器对所述节点仓库内的数据处理节点进行对应的扩缩容操作。
17.根据权利要求16所述的数据分配方法，其特征在于，利用所述资源管理器对所述节点仓库内的数据处理节点进行对应的扩缩容操作，包括：
利用所述资源管理器通过对配置的资源进行相应的开机或关机操作，以使所述节点仓库内的数据处理节点进行对应的扩缩容。
18.一种数据分配装置，其特征在于，包括：
节点分布模块，用于获取各数据处理节点，并根据各所述数据处理节点生成数据环形链；其中，各所述数据处理节点在所述数据环形链中均匀分布；
标识获取模块，用于接收待分配的各目标数据，并分别获取各所述目标数据的唯一标识；
哈希计算模块，用于对各所述唯一标识进行哈希计算，得到各哈希计算结果；
结果映射模块，用于将各所述哈希计算结果映射至所述数据环形链，得到映射结果；
节点查找模块，用于根据所述映射结果，按照预设时针方向从各所述数据处理节点中查找各所述目标数据分别对应的最近邻数据处理节点；
数据分配模块，用于将各所述目标数据分配至各自对应的最近邻数据处理节点，以利用各所述最近邻数据处理节点对各所述目标数据进行处理。
19.一种数据分配设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至17任一项所述数据分配方法的步骤。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至17任一项所述数据分配方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310087481.3A CN115878331A (zh) | 2023-02-09 | 2023-02-09 | 一种数据分配方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310087481.3A CN115878331A (zh) | 2023-02-09 | 2023-02-09 | 一种数据分配方法、装置、设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115878331A true CN115878331A (zh) | 2023-03-31 |
Family
ID=85760945
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310087481.3A Pending CN115878331A (zh) | 2023-02-09 | 2023-02-09 | 一种数据分配方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115878331A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108345659A (zh) * | 2018-01-31 | 2018-07-31 | 平安科技（深圳）有限公司 | 一种数据处理方法、装置、设备及计算机可读存储介质 |
| CN109254729A (zh) * | 2018-08-24 | 2019-01-22 | 杭州宏杉科技股份有限公司 | 一种对象存储的方法和装置 |
| CN111563070A (zh) * | 2020-05-15 | 2020-08-21 | 苏州浪潮智能科技有限公司 | 一种Hash算法的结果存储的方法和设备 |
| CN113778645A (zh) * | 2021-08-18 | 2021-12-10 | 煤炭科学研究总院 | 基于边缘计算的任务调度方法、装置、设备及存储介质 |
| CN115113997A (zh) * | 2022-06-17 | 2022-09-27 | 云知声智能科技股份有限公司 | 一种任务调度方法、装置、电子设备及存储介质 |
-
2023
- 2023-02-09 CN CN202310087481.3A patent/CN115878331A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108345659A (zh) * | 2018-01-31 | 2018-07-31 | 平安科技（深圳）有限公司 | 一种数据处理方法、装置、设备及计算机可读存储介质 |
| CN109254729A (zh) * | 2018-08-24 | 2019-01-22 | 杭州宏杉科技股份有限公司 | 一种对象存储的方法和装置 |
| CN111563070A (zh) * | 2020-05-15 | 2020-08-21 | 苏州浪潮智能科技有限公司 | 一种Hash算法的结果存储的方法和设备 |
| WO2021227557A1 (zh) * | 2020-05-15 | 2021-11-18 | 苏州浪潮智能科技有限公司 | 一种Hash算法的结果存储的方法和设备 |
| CN113778645A (zh) * | 2021-08-18 | 2021-12-10 | 煤炭科学研究总院 | 基于边缘计算的任务调度方法、装置、设备及存储介质 |
| CN115113997A (zh) * | 2022-06-17 | 2022-09-27 | 云知声智能科技股份有限公司 | 一种任务调度方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10983880B2 (en) | Role designation in a high availability node | |
| CN110830283B (zh) | 故障检测方法、装置、设备和系统 | |
| TWI701916B (zh) | 用於在分布式系統中使管理能力自恢復的方法和裝置 | |
| CN112181660A (zh) | 一种基于服务器集群的高可用方法 | |
| CN111949444A (zh) | 一种基于分布式服务集群的数据备份与恢复系统及方法 | |
| KR101211207B1 (ko) | 캐시 클라우드 구조를 이용한 캐시 시스템 및 캐싱 서비스 제공 방법 | |
| CN114338670B (zh) | 一种边缘云平台和具有其的网联交通三级云控平台 | |
| CN113946408A (zh) | 云原生边缘容器控制方法、系统及存储介质 | |
| CN107071189B (zh) | 一种通讯设备物理接口的连接方法 | |
| US20130205162A1 (en) | Redundant computer control method and device | |
| CN111988347A (zh) | 跳板机系统的数据处理方法和跳板机系统 | |
| CN114760192A (zh) | 容器切换方法及节点设备 | |
| JP2016177324A (ja) | 情報処理装置、情報処理システム、情報処理方法、及びプログラム | |
| CN115878331A (zh) | 一种数据分配方法、装置、设备及计算机可读存储介质 | |
| CN110545197B (zh) | 节点状态监控方法及装置 | |
| KR101883671B1 (ko) | 노드 분산 방법 및 이를 수행하는 관리 서버 | |
| CN110365936B (zh) | 码流获取方法、装置及系统 | |
| CN113518131B (zh) | 一种网络异常的传输数据容错处理方法、装置及系统 | |
| CN114116178A (zh) | 集群框架任务管理方法以及相关装置 | |
| US20200296607A1 (en) | Channel establishment method and base station | |
| CN115145782A (zh) | 一种服务器切换方法，MooseFS系统及存储介质 | |
| JP5631285B2 (ja) | 障害監視システムおよび障害監視方法 | |
| Kitamura et al. | Development of File Management System for a Peer-to-Peer Method Server Management System | |
| US7484124B2 (en) | Method and system for fault protection in communication networks, related network and computer program product | |
| CN117478488B (zh) | 一种云管理平台切换的系统、方法、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230331 |
|
| RJ01 | Rejection of invention patent application after publication |