CN115509549B - 一种数据元件加工处理方法及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种数据元件加工处理方法及计算机可读存储介质，本发明是给不同类型的资源服务器节点维护不同的群标识GroupID，不同类型的资源空间和资源服务器节点建立对应关系，对应的服务绑定合适的资源空间和资源服务器节点，在部署过程中，基于服务的不同类型，选择不同的匹配条件，以保证计算资源的机器不会和应用资源机器共享，从而实现数据元件加工部署的全自动化，同时简化整个部署步骤，进而提高部署效率提升用户体验。

Description

一种数据元件加工处理方法及计算机可读存储介质

技术领域

本发明涉及计算机技术领域，特别是涉及一种数据元件加工处理方法及计算机可读存储介质。

背景技术

现有针对数据元件加工的部署，通常是由服务器进行配置，然后在通过参数调整来实现，具体首先是基于zip包或者tar包安装基础组件，比如：msyql、jdk，docker等安装，然后是基于服务包来进行部署，但是各种不同服务配置文件需要验证且各不同服务配置文件之间存在依赖关系。这就导致现有对数据元件的加工步骤相对繁琐，需要人工协调才能最终实现对数据元件的加工处理。

发明内容

本发明提供了一种数据元件加工处理方法及计算机可读存储介质，以解决现有技术中不能自动实现对数据元件的加工处理的问题。

第一方面，本发明提供了一种数据元件加工处理方法，该方法包括：对所部署的加工处理数据元件的资源服务器按其资源空间类型进行资源服务器的节点划分，所述资源空间类型包括管理类型资源空间、计算类型资源空间、应用类型资源空间和区块链类型资源空间，所述资源服务器的节点包括管理节点、计算节点、应用节点和区块链节点；对每一种类型的资源服务器的节点设置与该类型节点相唯一对应的群标识Group ID，并将同一种类型下的节点均与其对应的Group ID进行关联和绑定；在对数据元件加工处理时，基于所述数据元件加工处理所需的资源空间类型和节点的Group ID匹配出最适合的资源服务器，并通过所匹配的资源服务器完成对所述数据元件的加工处理。

可选地，基于历史各个资源空间类型的资源空间使用情况的数据训练得到SARIMA时序模型，通过所述SARIMA时序模型预测预设时间周期内每种资源空间类型的资源消耗值，并根据所述资源消耗值调整各资源服务器的资源空间类型。

可选地，根据所述资源消耗值调整各资源服务器的资源空间类型，包括：根据每种资源空间类型的资源消耗值，判断在预设周期内任一资源空间类型的剩余资源空间是否小于预设阈值，如果是，则将剩余资源最多的资源空间类型的资源空间调整给剩余资源空间小于预设阈值的资源空间类型。

可选地，所述资源服务器的节点还包括通用节点，根据所述资源消耗值调整各资源服务器的资源空间类型，还包括：查询每种资源空间类型的资源消耗值，判断在预设周期内任一资源空间类型的剩余资源空间是否持续小于预设阈值，如果是，则将所述通用节点的资源空间设定为剩余资源空间持续小于预设阈值的资源空间类型。

可选地，当剩余资源空间持续小于预设阈值的资源空间类型为多个，则将所述通用节点的资源空间按预设划分规则分配给各剩余资源空间持续小于预设阈值的资源空间类型，以满足各个资源空间类型的资源空间需求。

可选地，所述预设划分规则为平均分配原则。

可选地，根据所述资源消耗值调整各资源服务器的资源空间类型，还包括：更改资源服务器的节点的资源空间类型，并将更改资源空间类型的资源服务器的节点与对应资源空间类型的Group ID进行关联和绑定。

可选地，所述方法还包括：实时监控每种资源空间类型下的资源空间使用情况，如果在预设周期内资源空间使用率持续小于第一预设资源空间使用率阈值，则下调该种资源空间类型下的资源空间量，如果在预设周期内资源空间使用率持续大于第二预设资源空间使用率阈值，则上调该种资源空间类型下的资源空间量。

可选地，同一种类型下的节点均与其对应的Group ID进行关联和绑定，包括：通过config-map对同一种类型下的节点均与其对应的Group ID进行关联和绑定。

第二方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有信号映射的计算机程序，所述计算机程序被至少一个处理器执行时，以实现上述任一种所述的数据元件加工处理方法。

本发明有益效果如下：

本发明是给不同类型的资源服务器节点维护不同的群标识GroupID，不同类型的资源空间和资源服务器节点建立对应关系，对应的服务绑定合适的资源空间和资源服务器节点，在部署过程中，基于服务的不同类型，选择不同的匹配条件，以保证计算资源的机器不会和应用资源机器共享，从而实现数据元件加工部署的全自动化，同时简化整个部署步骤，进而提高部署效率提升用户体验。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明第一实施例提供的一种数据元件加工处理方法的流程示意图。

具体实施方式

本发明针对现有不能自动实现对数据元件的加工处理的问题，通过给不同类型的资源服务器节点维护不同的群标识GroupID，不同类型的资源空间和资源服务器节点建立对应关系，对应的服务绑定合适的资源空间和资源服务器节点，在部署过程中，基于服务的不同类型，选择不同的匹配条件，以保证计算资源的机器不会和应用资源机器共享，从而实现数据元件加工部署的全自动化，同时简化整个部署步骤，进而提高部署效率提升用户体验。以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。

本发明第一实施例提供了一种数据元件加工处理方法，参见图1，该方法包括：

S101、对所部署的加工处理数据元件的资源服务器按其资源空间类型进行资源服务器的节点划分；

本发明实施例所述的资源空间类型包括管理类型资源空间、计算类型资源空间、应用类型资源空间和区块链类型资源空间，当然在具体实施时，本领域技术人员也可以设置其他类型的资源空间类型，例如，将所述计算类型资源空间进一步划分为普通计算类型资源空间和AI计算类型资源空间，等等。具体本领域技术人员可以根据实际需要进行划分，本发明对此不作详细限定。

与资源空间类型相对应的，本发明实施例中的资源服务器的节点可以包括管理节点、计算节点、应用节点和区块链节点等等。

需要说明的是，本发明实施例中所述的资源服务器的节点也可以仅是管理组件、计算组件、应用组件和区块链组件等等，也即，本发明实施例中各种资源空间类型可以对应的是具体组件，也可以是对应具体的节点，具体本发明实施例不作具体限定。

本发明实施例所述方法强调的是根据各种资源空间类型来对资源空间进行划分，使得不同的资源空间之间是物理隔绝的。

并且，本发明实施例中的数据元件是通过所述数据元件模型按照预设处理方法处理而得到的具有预设功能的数据集或者数据特征集，也即本发明实施例中的数据元件是具有某种功能或性能的一类数据，本发明实施例通过以数据元件的形式来进行后续的数据买卖、共享等数据交易过程，可以在最大程度上保证用户数据的安全性，从而提高用户体验，并且由于本发明可以有效保证数据的安全性，所以本发明能够在最大程度上提高的数据价值的体现，从而为数据流程提供强有力的基础。同时，本发明实施例所述的方法通过设置不同的资源服务器的节点来对数据元件进行加工处理，能够有效提升数据的处理效率，从而最大程度上挖掘数据的价值。

S102、对每一种类型的资源服务器的节点设置与该类型节点相唯一对应的群标识Group ID，并将同一种类型下的节点均与其对应的Group ID进行关联和绑定；

具体实施时，本发明实施例是对不同资源空间类型的资源空间来通过群标识Group ID进行绑定，即，将相同资源空间类型的资源空间绑定在一起，不同的资源空间类型的资源空间相隔离，在部署过程中，能够保证计算资源的机器不会和应用资源机器共享，所以本发明可以实现基于服务的不同类型，选择不同的匹配条件来实现数据元件全自动化加工部署，继而有效提升用户体验。

需要说明的是，本发明实施例中所述的群标识Group ID是与资源服务类型相一一对应的，即有一种资源服务类型就有其对应的Group ID，后续在进行数据元件加工部署时，会根据加工的具体需要来通过该Group ID找到对应资源服务类型的资源空间，然后再根据预设的匹配条件来进行资源空间的匹配，从而完成对数据元件的加工处理。

S103、在对数据元件加工处理时，基于所述数据元件加工处理所需的资源空间类型和节点的Group ID匹配出最适合的资源服务器，并通过所匹配的资源服务器完成对所述数据元件的加工处理。

具体实施是，本发明实施例中进行数据元件全自动化加工部署过程中，在对相同资源空间类型的资源空间中进行资源空间的分配时，本发明实施例是基于预设的匹配条件来进行资源空间的匹配的，该匹配条件可以根据实际需要具体进行设置，如基于数据元件生产部署所需的资源空间量来进行分配，等等，本发明对此不作具体限定，只要能够满足数据数据处理的需要即可。

在具体实施时，本发明实施例所述方法还包括：基于历史各个资源空间类型的资源空间使用情况的数据来训练得到SARIMA时序模型，并通过所述SARIMA时序模型预测预设时间周期内每种资源空间类型的资源消耗值，并根据所述资源消耗值调整各资源服务器的资源空间类型。

具体来说，本发明实施例是基于历史数据来训练得到SARIMA时序模型，然后通过该SARIMA时序模型来预测每种资源空间类型的资源消耗值，从而指导后续资源空间的分配和调整。

进一步地，对于如何根据所述资源消耗值调整各资源服务器的资源空间类型，本发明实施例可以直接在现有的各种资源空间类型的资源空间之间调整，也可以通过设置通用节点，然后以该通用节点为准来对各种资源空间类型的资源空间进行调整。

具体来说，本发明实施例是根据每种资源空间类型的资源消耗值，判断在预设周期内任一资源空间类型的剩余资源空间是否小于预设阈值，如果是，则将剩余资源最多的资源空间类型的资源空间调整给剩余资源空间小于预设阈值的资源空间类型。

也就是说，本发明实施例可以是在现有已经部署的资源空间中将剩余资源空间多的资源空间，调整给剩余资源空间小于预设阈值的类型的资源空间，以确保各种资源空间类型的资源都能够保证数据元件加工的使用需求。

或者，本发明实施例也可以是：设置通用节点，在某个类型的资源空间持续小于预设阈值时，通过该通用节点的资源空间来对其进行扩充，具体来说，本发明实施例是通过实时查询每种资源空间类型的资源消耗值，判断在预设周期内任一资源空间类型的剩余资源空间是否持续小于预设阈值，如果是，则将所述通用节点的资源空间设定为剩余资源空间持续小于预设阈值的资源空间类型。

简单来说，本发明实施例是先根据资源空间类型来设置管理类型资源空间、计算类型资源空间、应用类型资源空间和区块链类型资源空间，并基于上述的资源空间类型来进行资源空间的划分，然后在数据元件加工过程中，再根据各个类型的资源空间的实际使用情况，对各个类型的资源空间进行调整，以最大程度上满足数据加工使用需求，提高用户的使用体验。

在实际实施过程中，如果剩余资源空间持续小于预设阈值的资源空间类型为多个，则将所述通用节点的资源空间按预设划分规则分配给各剩余资源空间持续小于预设阈值的资源空间类型，使得调整以后的各个类型的资源空间都能够满足数据加工的使用需求。

具体来说，本发明实施例可以将通用节点的资源空间平均分配给各个满足预设阈值的资源空间，当然也可以根据预设的不同资源空间类型的重要等级，将通用节点的资源空间按照预设比例进行资源空间的分配，等等，对于通用节点的资源空间分配可以根据需要进行设置，本发明不作具体限定。

在进行资源空间调整后，或者在对通用节点的资源空间分配后，将产生变更的资源服务器的节点的资源空间类型进行调整，以将更改资源空间类型的资源服务器的节点与对应资源空间类型的Group ID进行关联和绑定。具体可以是通过config-map来对同一种类型下的节点均与其对应的Group ID进行关联和绑定。当然在具体实施时，也可以通过其他方式来将资源空间与Group ID进行关联和绑定，本发明对此不作具体限定。

进一步地，本发明实施例所述的方法还包括：实时监控每种资源空间类型下的资源空间使用情况，如果在预设周期内资源空间使用率持续小于第一预设资源空间使用率阈值，则下调该种资源空间类型下的资源空间量，如果在预设周期内资源空间使用率持续大于第二预设资源空间使用率阈值，则上调该种资源空间类型下的资源空间量。

也即，本发明实施例还可以通过监测资源空间使用率，并基于资源空间使用率来调整一下相应类型下的资源空间量，从在满足数据元件加工的基础上，最大化利用资源空间。

下面将通过一个具体的例子来对本发明实施例所述的方法进行详细的解释和说明：

步骤1.所有的部署采用离线部署的形式，以确保元件开发商的环境的稳定性，在离线部署之前会将所有的rpm包和镜像包以及服务包，以分片形式上传到目标资源服务器；

步骤2.整个集群环境以及涉及到的公共组件的部署，采用的都是智能脚本化的离线部署的形式；

步骤3.首先确定本次部署涉及到的组件清单，组件清单会根据组件的类型分为管理组件，应用组件，大数据计算组件，AI计算组件，区块链组件；

上述的各个组件即为本发明实施例所述的管理类型资源空间、计算类型资源空间、应用类型资源空间和区块链类型资源空间，本发明实施例是将各种组件设置在对应类型的资源空间内，并通过该组件在资源空间内完成对数据元件的管理、计算等各种处理操作。

步骤4.其次动态检测到将要安装的组件和数据仓库的数据资源情况，组件运行资源和数据资源的线性关系，将部署机器进行智能的规划和划分。分为管理节点、大数据计算节点、应用节点、AI计算节点、区块链节点等，并且一台机器只能为一种节点类型，不可以并行，当系统检测到出现一个节点配置多种类型，可以自动检测，出现中断和报错；

也即，本发明实施例是将不同类型的资源空间所对应节点进行相互隔离，从而保证每种服务处理仅能在其对应的节点上来进行，避免由于服务随机部署和频繁部署所带来的稳定性差等问题。

步骤5.初始设置的不同类型的节点要根据组件运行资源和数据资源的线性关系，满足系统配置的资源值，如果没有配置默认值为50%，也可以根据具体的使用方式、机器情况进行调整和配置；

步骤6.其他剩余资源节点统一标注为通用节点，有了通用节点，这些节点可以作为其他类型资源的抢占机器节点；

步骤7.不同的部署机器会根据节点的类型去绑定GroupID，每一种的类型的节点会对应一个相同的GroupID；

步骤8.根据资源空间的类型和节点的GroupID建立关联和绑定关系。部署过程中基于这种规则进行资源匹配和逻辑综合分析处理计算；并且在集群搭建后，也支持在线扩容绑定节点的类型，会根据扩容节点类型进行按比例自动扩容。

例如：A租户本来占用30%比例的总计算节点资源，当扩容一台新机器后，设置新机器为计算类型，那么当完成扩容后，系统会自动把A租户的总资源进行一定比例的扩容匹配。同样的，针对增加的机器当不需要后，系统会进行对应的缩容，此时系统自动检测变化，检测到变化后，会同步触发资源空间的串行修改，确保都可以修改成功。

步骤9.根据应用的场景和类型匹配出最适合的资源服务器；

例如：元数据的服务，那么首先会找到对应的应用类型的worker标签的节点机器，同时元数据服务需要分布在不同节点机器上面，并且要保证不能选择计算节点和管理节点的机器部署；如果需要部署计算的任务，那么计算的任务只会选择计算节点的机器进行调度。所有的计算节点任务可以做到资源共享，排队抢占资源。应用的节点资源基本是独占，不会被抢占。系统管理节点保证系统运行的最小可用资源。

步骤10.通用节点为不同类型的资源都可以抢占的资源；

步骤11.以7天一周为周期，训练SARIMA时序模型，分别对5类组件消耗的资源进行时序预测，预测出每天每个组件可能的消耗值；训练后的模型会每日自动更新模型效果，上线的模型对通用节点进行预测判定，针对判定后的机器节点，系统会进行标签修改处理，同时基于所述SARIMA时序模型的预测结果结合实际资源情况，来对所述SARIMA时序模型进行调优处理，以使得所述SARIMA时序模型的预测结果能够更符合实际；

步骤12.动态调节通用节点的标签到特定类型节点标签上，以满足特定类型节点资源消耗不低于预测值的50%。当系统自动完成通用节点动态调节后，会针对机器资源的占用情况自动重新分配当前资源，把资源占用高的机器上的服务进行滚动下线，同时安全的平移到预算法分配的通用节点上面，保证对外围的整体无感，但是整体系统使用率会更加平滑和均衡分配。

通过上述可知，本发明能够让整个数据元件的部署变得更加简单便捷，同时还能够有效保证数据元件部署的稳定性和智能性，最终有效提升用户体验。

相应地，本发明第二实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有信号映射的计算机程序，所述计算机程序被至少一个处理器执行时，以实现本发明第一实施例中任一种所述的数据元件加工处理方法。

本发明实施例的相关内容可参见本发明第一实施例进行理解，在此不做详细论述。

尽管为示例目的，已经公开了本发明的优选实施例，本领域的技术人员将意识到各种改进、增加和取代也是可能的，因此，本发明的范围应当不限于上述实施例。

Claims (8)

1.一种数据元件加工处理方法，其特征在于，包括：

对所部署的加工处理数据元件的资源服务器按其资源空间类型进行资源服务器的节点划分，所述资源空间类型包括管理类型资源空间、计算类型资源空间、应用类型资源空间和区块链类型资源空间，所述资源服务器的节点包括管理节点、计算节点、应用节点和区块链节点；

对每一种类型的资源服务器的节点设置与该类型节点相唯一对应的群标识Group ID，并将同一种类型下的节点均与其对应的Group ID进行关联和绑定；

在对数据元件加工处理时，基于所述数据元件加工处理所需的资源空间类型和节点的Group ID匹配出最适合的资源服务器，并通过所匹配的资源服务器完成对所述数据元件的加工处理；

基于历史各个资源空间类型的资源空间使用情况的数据来训练得到SARIMA时序模型，通过所述SARIMA时序模型预测预设时间周期内每种资源空间类型的资源消耗值，并根据所述资源消耗值调整各资源服务器的资源空间类型；

所述资源服务器的节点还包括通用节点，根据所述资源消耗值调整各资源服务器的资源空间类型，还包括：

查询每种资源空间类型的资源消耗值，判断在预设周期内任一资源空间类型的剩余资源空间是否持续小于预设阈值，如果是，则将所述通用节点的资源空间设定为剩余资源空间持续小于预设阈值的资源空间类型。

2.根据权利要求1所述的方法，其特征在于，根据所述资源消耗值调整各资源服务器的资源空间类型，包括：

根据每种资源空间类型的资源消耗值，判断在预设周期内任一资源空间类型的剩余资源空间是否小于预设阈值，如果是，则将剩余资源最多的资源空间类型的资源空间调整给剩余资源空间小于预设阈值的资源空间类型。

3.根据权利要求1所述的方法，其特征在于，

当剩余资源空间持续小于预设阈值的资源空间类型为多个，则将所述通用节点的资源空间按预设划分规则分配给各剩余资源空间持续小于预设阈值的资源空间类型，以满足各个资源空间类型的资源空间需求。

4.根据权利要求3所述的方法，其特征在于，

所述预设划分规则为平均分配原则。

5.根据权利要求1所述的方法，其特征在于，根据所述资源消耗值调整各资源服务器的资源空间类型，还包括：

更改资源服务器的节点的资源空间类型，并将更改资源空间类型的资源服务器的节点与对应资源空间类型的Group ID进行关联和绑定。

6.根据权利要求1-5中任意一项所述的方法，其特征在于，所述方法还包括：

实时监控每种资源空间类型下的资源空间使用情况，如果在预设周期内资源空间使用率持续小于第一预设资源空间使用率阈值，则下调该种资源空间类型下的资源空间量，如果在预设周期内资源空间使用率持续大于第二预设资源空间使用率阈值，则上调该种资源空间类型下的资源空间量。

7.根据权利要求1-5中任意一项所述的方法，其特征在于，同一种类型下的节点均与其对应的Group ID进行关联和绑定，包括：

通过config-map对同一种类型下的节点均与其对应的Group ID进行关联和绑定。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有信号映射的计算机程序，所述计算机程序被至少一个处理器执行时，以实现权利要求1-7中任意一项所述的数据元件加工处理方法。

Images