CN117170690B - 一种分布式构件管理系统 - Google Patents

Abstract

本发明涉及数据处理领域，尤其涉及一种分布式构件管理系统，包括：构件存储单元，用以储存待选取构件；数据处理单元，用以处理绑定目标的数据请求；数据采集单元，其与所述数据处理单元相连，用以采集待分析信息；数据分析单元，用以根据数据处理模块的绑定目标的数量确定数据处理模块的调控模式并且根据待调控模块的绑定目标的数据统一度确定待调控模块的处理模式；构件管理单元，用以根据第二处理模式的待调控模块的绑定目标单个检测周期内的数据请求总次数的对待调控模块进行划分以判定不同的划分目标及其对应的生成子处理模块；本发明在保证数据处理安全的前提下，提高了数据处理效率。

Description

一种分布式构件管理系统

技术领域

本发明涉及数据处理领域，尤其涉及一种分布式构件管理系统。

背景技术

银行信息服务系统属于关键基础设施，承载了大量的数据服务，并维护用户信息的安全。在当下业务的高速发展形势下，需要银行信息服务系统支持银行业务的高速发展；在保证用户信息安全的同时，提高系统运行速度以及稳定性，因此，如何在保证用户信息安全的同时，根据用户请求处理的不同对应生成相应的服务系统，是当下人们亟待解决的问题。

中国专利公开号CN115757552A公布了一种基于分布式微服务的银行历史数据管理系统，包括：数据源层用于实时提供银行系统的业务源数据；历史数据查询子系统用于对数据源层的业务源数据进行批次加工处理，并利用巨杉数据库的多副本机制进行存储管理，以及通过统一服务接口为数据应用层提供联机交易查询服务；数据应用层用于通过zookeeper注册中心管控历史数据查询子系统的统一服务接口的注册发布和各个消费方应用的服务订阅，并响应于各个消费方应用的联机交易查询请求，以及通过统一服务接口获取业务数据并发送至各个消费方应用；另外，中国专利申请公开号CN111984403A公布了一种分布式系统下软件构件的分配部署方法及系统，包括：步骤M1：将应用程序分解为具有层次依赖关系的多个软件构件；步骤M2：统计与应用程序有关的所有软件构件的各类资源的峰值需求；步骤M3：统计服务器能够稳定提供的资源；步骤M4：根据遗传算法，随机生成多个软件构件的部署策略；步骤M5：对多个软件构件的部署策略进行适应度评估；步骤M6：选择符合预设条件适应度的软件构件的部署策略；步骤M7：基于符合预设条件适应度的软件构件的部署策略，对部署策略进行交叉和/或变异，重复执行步骤M5至步骤M7，直至部署策略不再变化。上述技术方案存在以下问题：无法在保证用户信息安全的前提下，根据用户的请求数据以及用户操作次数生成对应调节数据处理系统参数，导致系统数据处理能力差。

发明内容

为此，本发明提供一种分布式构件管理系统，用以克服现有技术中无法根据用户处理数据的不同对数据处理系统进行对应调节导致系统处理效率差的问题。

为实现上述目的，本发明提供一种分布式构件管理系统，包括：

构件存储单元，用以储存待选取构件，待选取构件包括数据存储功能构件、安全性能构件、数据处理功能构件、网络构件、客户端构件以及监控构件；

数据处理单元，其包括若干数据处理模块，每个数据处理模块对应若干绑定目标，用以处理绑定目标的数据请求；

数据采集单元，其与所述数据处理单元相连，用以采集待分析信息，包括各所述数据处理模块对应的绑定目标的数量、数据统一度、绑定目标的数据请求次数以及数据请求中的敏感数据量；

数据分析单元，其与所述构件存储单元以及数据采集单元相连，用以根据数据处理模块的绑定目标的数量确定数据处理模块的调控模式，并且根据待调控模块的绑定目标的数据统一度确定待调控模块的处理模式，以及，根据第一处理模式的待调控模块的绑定目标的数量确定数据处理功能构件的增加量；

构件管理单元，其与所述数据分析单元以及数据采集单元相连，用以根据第二处理模式的待调控模块的绑定目标单个检测周期内的数据请求总次数对待调控模块进行划分以判定不同的划分目标及其对应的生成子处理模块，且，数据请求总次数处于预设请求次数阈值时，根据第二类划分目标的敏感数据量确定是否需要二次划分；

其中，所述处理模式包括增加待调控模块的数据处理功能构件的第一处理模式以及对待调控模块进行拆分处理的第二处理模式，所述待调控模块为绑定目标的数量大于预设绑定目标数量参考值的数据处理模块，所述数据统一度根据各绑定目标的单个检测周期内数据请求的总数据量计算得到。

进一步地，所述数据分析单元根据单个数据处理模块的绑定目标的数量确定数据处理模块的调控模式；

若绑定目标的数量大于预设绑定目标数量参考值，数据分析单元判定将数据处理模块记为待调控模块并根据待调控模块的绑定目标的数据统一度确定待调控模块的处理方式；

若绑定目标的数量小于或等于预设绑定目标数量参考值，数据分析单元判定记录数据处理模块为稳定数据处理模块。

进一步地，所述数据分析单元根据待调控模块的绑定目标的数据统一度确定待调控模块的处理模式；

若数据统一度处于第一预设数据统一度范围，所述数据分析单元判定增加待调控模块的数据处理功能构件；

若数据统一度处于第二预设数据统一度范围，所述数据分析单元判定对待调控模块进行拆分处理。

进一步地，所述数据分析单元在第一调控条件下根据待调控模块的绑定目标的数量与预设绑定目标数量参考值的数量差值确定数据处理功能构件的增加量；

所述数据处理功能构件的增加量与所述数量差值为正相关关系；

其中，所述第一调控条件为所述数据统一度处于第一预设数据统一度范围。

进一步地，所述构件管理单元在第一管理条件下根据待调控模块的绑定目标单个检测周期内的数据请求总次数对所述待调控模块进行划分；

若单一绑定目标的数据请求次数处于第一请求处理次数范围，构件管理单元判定单一绑定目标为第一类划分目标并对应第一类划分目标数量生成第一子处理模块；

若单一绑定目标的数据请求次数处于第二请求处理次数范围，构件管理单元判定单一绑定目标为第二类划分目标并根据第二类划分目标的敏感数据量确定是否需要二次划分；

其中，所述第一管理条件为数据统一度处于第二预设数据统一度范围。

进一步地，所述构件管理单元根据第一类划分目标数量确定第一子处理模块的数据处理功能构件的数量；

所述第一子处理模块的数据处理功能构件的数量与第一类划分目标数量为正相关关系。

进一步地，所述构件管理单元在第二管理条件下检测第二类划分目标的敏感数据量，并根据第二类划分目标的敏感数据量与超额敏感数据量参考值的大小关系确定是否对第二类划分目标进行二次划分；

若第二类划分目标的敏感数据量小于超额敏感数据量参考值，所述构件管理单元对应第二类划分目标数量生成第二子处理模块；若第二类划分目标的敏感数据量大于超额敏感数据量参考值，所述构件管理单元判定对第二类划分目标进行二次划分；

其中，所述第二管理条件为单一绑定目标的数据请求次数处于第二请求处理次数范围。

进一步地，所述构件管理单元根据第二类划分目标的敏感数据量总量与超额敏感数据量参考值的敏感数据差值确定二次划分的划分数量。

进一步地，所述构件管理单元针对构件储存库内的安全性能构件进行检索，并根据吞吐量选取合格安全性能构件。

进一步地，所述构件管理单元针对合格安全性能构件进行速度检测，提取其中响应速度最大的安全性能构件，将其确定为第i子处理模块的安全性能构件；

其中，合格安全性能构件为吞吐量大于吞吐量标准的安全性能构件，i＝3,4,5,……，n；其中，n为划分数量。

与现有技术相比，本发明的有益效果在于，本发明数据分析单元根据数据处理模块的绑定目标的数量确定数据处理模块的调控模式，避免了数据处理模块并发任务数过大或处理数据量超负载导致运行不稳定，本发明根据待调控模块的绑定目标的数据统一度确定待调控模块的处理模式，针对绑定目标的请求数据不同进行用户分类，若各绑定目标的请求数据的数据量相近，则通过提高数据处理功能构件以提高系统运行能力，若各绑定目标的请求数据的数据量不相近，则进行分类，以生成更加符合绑定目标需求的数据处理模块，本发明在保证数据处理模块的安全性能的前提下，实现针对性的数据处理模块的生成，进一步提高了本发明构件管理效率，并提高了数据处理速度。

进一步地，本发明中所述构件管理单元在第一管理条件下根据待调控模块的绑定目标单个检测周期内的数据请求总次数的对待调控模块进行划分，根据数据请求次数对绑定目标进行初次划分，以此反映绑定目标对于数据处理模块数据处理能力的需求，并对应确定数据处理功能构件的数量，进一步提高了构件管理效率，进一步提高了系统数据处理速度。

进一步地，本发明中所述构件管理单元在第二管理条件下检测第二类划分目标的敏感数据量，若第二类划分目标的敏感数据量大于超额敏感数据量参考值，所述构件管理单元判定对第二类划分目标进行二次划分，针对数据请求次数大且敏感数据量大的绑定目标进行划分，且针对性地选择数据处理模块的安全性能构件，以避免系统发生安全问题。

进一步地，本发明中所述构件管理单元根据所有第二类划分目标的敏感数据量总量与超额敏感数据量参考值的敏感数据差值确定二次划分的划分数量，将绑定目标划分数量增加，以降低对应生成的数据处理模块的负载压力，同时也保证了绑定目标的安全性能，进一步提高了本发明的构件管理效率。

附图说明

图1为本发明所述分布式构件管理系统的单元连接图；

图2为数据处理单元的模块关系图。

实施方式

为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。

需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。

请参阅图1至图2所示，本发明提供一种分布式构件管理系统，包括：

构件存储单元，用以储存待选取构件，待选取构件包括数据存储功能构件、安全性能构件、数据处理功能构件、网络构件、客户端构件以及监控构件；

数据处理单元，其包括若干数据处理模块，每个数据处理模块对应若干绑定目标，用以处理绑定目标的数据请求；

数据采集单元，其与所述数据处理单元相连，用以采集待分析信息，包括各所述数据处理模块对应的绑定目标的数量、数据统一度、绑定目标的数据请求次数以及数据请求中的敏感数据量；

数据分析单元，其与所述构件存储单元以及数据采集单元相连，用以根据数据处理模块的绑定目标的数量确定数据处理模块的调控模式，并且根据待调控模块的绑定目标的数据统一度确定待调控模块的处理模式，以及，根据第一处理模式的待调控模块的绑定目标的数量确定数据处理功能构件的增加量；

构件管理单元，其与所述数据分析单元以及数据采集单元相连，用以根据第二处理模式的待调控模块的绑定目标单个检测周期内的数据请求总次数对待调控模块进行划分以判定不同的划分目标及其对应的生成子处理模块，且，数据请求总次数处于预设请求次数阈值时，根据第二类划分目标的敏感数据量确定是否需要二次划分；

其中，所述处理模式包括增加待调控模块的数据处理功能构件的第一处理模式以及对待调控模块进行拆分处理的第二处理模式，所述待调控模块为绑定目标的数量大于预设绑定目标数量参考值的数据处理模块，所述数据统一度根据各绑定目标的单个检测周期内数据请求的总数据量计算得到；所述各功能构件均为本领域技术人员掌握的内容，具体构件包括内容根据本发明实际应用场景确定，在此不作赘述。

具体而言，所述数据分析单元根据单个数据处理模块的绑定目标的数量确定数据处理模块的调控模式；

若绑定目标的数量大于预设绑定目标数量参考值，数据分析单元判定将数据处理模块记为待调控模块并根据待调控模块的绑定目标的数据统一度确定待调控模块的处理方式；

若绑定目标的数量小于或等于预设绑定目标数量参考值，数据分析单元判定记录数据处理模块为稳定数据处理模块。

具体而言，绑定目标的数量反映了数据处理模块的负载压力，预设绑定目标数量参考值与数据处理模块的最大处理能力有关，即用户能够根据实验以及技术经验获取数据处理模块所能实现的单位时间内最大数据处理量，并结合绑定目标的数据处理速度需求确定预设绑定目标数量参考值的取值。

具体而言，所述数据分析单元根据待调控模块的绑定目标的数据统一度确定待调控模块的处理模式；

若数据统一度处于第一预设数据统一度范围，所述数据分析单元判定增加待调控模块的数据处理功能构件；

若数据统一度处于第二预设数据统一度范围，所述数据分析单元判定对待调控模块进行拆分处理。

所述数据统一度S由式（1）确定：

，

式中，δ由式（2）确定：

，

式中，由式（3）确定：

，

其中，Xu为第u个绑定目标单个检测周期内的数据请求的数据量，umax为绑定目标的总数量，数据量的单位为字节。

具体而言，所述预设数据统一度范围的取值可通过实验获取，即用户可根据实验获取相同数量的绑定目标在单个检测周期内数据请求的不同数据量下的数据统一度，并结合实际工作场景确定预设数据统一度范围的取值。

具体而言，所述数据分析单元在第一调控条件下根据待调控模块的绑定目标的数量与预设绑定目标数量参考值的数量差值确定数据处理功能构件的增加量；

所述数据处理功能构件的增加量与所述数量差值为正相关关系；

其中，所述第一调控条件为所述数据统一度处于第一预设数据统一度范围。

所述预设绑定目标数量参考值的取值为第二预设数据统一度范围的最小值。

具体而言，所述构件管理单元在第一管理条件下根据待调控模块的绑定目标单个检测周期内的数据请求总次数对所述待调控模块进行划分；

若单一绑定目标的数据请求次数处于第一请求处理次数范围，构件管理单元判定单一绑定目标为第一类划分目标并对应第一类划分目标数量生成第一子处理模块；

若单一绑定目标的数据请求次数处于第二请求处理次数范围，构件管理单元判定单一绑定目标为第二类划分目标并根据第二类划分目标的敏感数据量确定是否需要二次划分；

其中，所述第一管理条件为数据统一度处于第二预设数据统一度范围。

其中，所述数据请求次数反映了数据处理模块的数据处理的繁忙度，即单个检测周期内数据处理单元的数据处理次数，数据请求次数越大，数据处理模块的数据处理能力的需求则越大，所述请求处理次数范围的取值与数据处理模块的处理速度有关，即用户能够根据实验以及数据处理模块本身参数确定数据处理模块对于不同的数据量的处理时长，并结合实际工作场景确定请求处理次数范围的取值，值得注意的是，第一请求处理次数范围的取值应保证数据处理模块对于该范围内的数据处理能力满足用户需求。

具体而言，所述构件管理单元根据第一类划分目标数量确定第一子处理模块的数据处理功能构件的数量；

所述第一子处理模块的数据处理功能构件的数量与第一类划分目标数量为正相关关系。

具体而言，所述构件管理单元在第二管理条件下检测第二类划分目标的敏感数据量，并根据第二类划分目标的敏感数据量与超额敏感数据量参考值的大小关系确定是否对第二类划分目标进行二次划分；

若第二类划分目标的敏感数据量小于超额敏感数据量参考值，所述构件管理单元对应第二类划分目标数量生成第二子处理模块；若第二类划分目标的敏感数据量大于超额敏感数据量参考值，所述构件管理单元判定对第二类划分目标进行二次划分；

所述第二子处理模块的数据处理功能构件的数量与所述第二类划分目标数量为正相关关系；

其中，所述第二管理条件为单一绑定目标的数据请求次数处于第二请求处理次数范围。

具体而言，所述超额敏感数据量参考值的取值与本发明实际应用场景有关，即绑定目标的敏感数据量越大，则对于绑定目标的数据处理速度以及对应的数据处理模块的安全性能应越高，因此将绑定目标进行划分，以对应生成更加稳定且安全的数据处理模块，用户可结合实际应用场景以及用户对于敏感数据的保护需求确定超额敏感数据参考值的取值。

具体而言，所述构件管理单元根据第二类划分目标的敏感数据量总量与超额敏感数据量参考值的敏感数据差值确定二次划分的划分数量。

具体而言，所述构件管理单元针对构件储存库内的安全性能构件进行检索，提取吞吐量大于吞吐量标准的安全性能构件并记为合格安全性能构件；

所述二次划分为将第二类划分目标以均匀数量划分为第i类划分目标并对应生成第i子处理模块，i＝3,4,5,……，n；

其中，n为划分数量，n的数值与所述敏感数据差值为正相关关系；所述构件管理单元将所述第i子处理模块的数据处理功能构件的数量与所述第二类划分目标数量为正相关关系。

具体而言，吞吐量反映了指构件在单位时间内能够处理的数据量或事务数量，本发明采用每秒钟能够处理的请求数来衡量，吞吐量是衡量系统性能的重要指标之一，因此需保证安全性能构件的吞吐量以提高数据处理的稳定性，避免发生数据安全问题，吞吐量标准的取值可以通过实验获得，即用户能够通过实验确定满足用户处理速度需求的吞吐量，将其记为吞吐量标准。

具体而言，所述构件管理单元针对安全性能构件进行速度检测，提取其中响应速度最大的安全性能构件，将其确定为第i子处理模块的安全性能构件。

实施例：在本实施例中，针对银行数据处理平台进行分布式构件管理；

数据分析单元的工作参数为：

预设绑定目标数量参考值为30个，第一预设数据统一度范围为[0，200]，第二预设数据统一度范围为大于200，单位为字节；

构件管理单元的工作参数为：

第一请求处理次数范围为[0,20]，第二请求次数处理范围为大于20，单位为次；

超额敏感数据量参考值为50兆字节；

吞吐量标准为5000字节。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种分布式构件管理系统，其特征在于，包括：

构件存储单元，用以储存待选取构件，待选取构件包括数据存储功能构件、安全性能构件、数据处理功能构件、网络构件、客户端构件以及监控构件；

数据处理单元，其包括若干数据处理模块，每个数据处理模块对应若干绑定目标，用以处理绑定目标的数据请求；

数据采集单元，其与所述数据处理单元相连，用以采集待分析信息，包括各所述数据处理模块对应的绑定目标的数量、数据统一度、绑定目标的数据请求次数以及数据请求中的敏感数据量；

数据分析单元，其与所述构件存储单元以及数据采集单元相连，用以根据数据处理模块的绑定目标的数量确定数据处理模块的调控模式，并且根据待调控模块的绑定目标的数据统一度确定待调控模块的处理模式，以及，根据第一处理模式的待调控模块的绑定目标的数量确定数据处理功能构件的增加量；

构件管理单元，其与所述数据分析单元以及数据采集单元相连，用以根据第二处理模式的待调控模块的绑定目标单个检测周期内的数据请求总次数对待调控模块进行划分以判定不同的划分目标及其对应的生成子处理模块，且，数据请求总次数处于预设请求次数阈值时，根据第二类划分目标的敏感数据量确定是否需要二次划分；

其中，所述处理模式包括增加待调控模块的数据处理功能构件的第一处理模式以及对待调控模块进行拆分处理的第二处理模式，所述待调控模块为绑定目标的数量大于预设绑定目标数量参考值的数据处理模块，所述数据统一度根据各绑定目标的单个检测周期内数据请求的总数据量计算得到；

所述数据分析单元根据单个数据处理模块的绑定目标的数量确定数据处理模块的调控模式；

若绑定目标的数量大于预设绑定目标数量参考值，数据分析单元判定将数据处理模块记为待调控模块并根据待调控模块的绑定目标的数据统一度确定待调控模块的处理方式；

若绑定目标的数量小于或等于预设绑定目标数量参考值，数据分析单元判定记录数据处理模块为稳定数据处理模块；

所述数据分析单元根据待调控模块的绑定目标的数据统一度确定待调控模块的处理模式；

若数据统一度处于第一预设数据统一度范围，所述数据分析单元判定增加待调控模块的数据处理功能构件；

若数据统一度处于第二预设数据统一度范围，所述数据分析单元判定对待调控模块进行拆分处理；

所述数据分析单元在第一调控条件下根据待调控模块的绑定目标的数量与预设绑定目标数量参考值的数量差值确定数据处理功能构件的增加量；

所述数据处理功能构件的增加量与所述数量差值为正相关关系；

其中，所述第一调控条件为所述数据统一度处于第一预设数据统一度范围；

所述构件管理单元在第一管理条件下根据待调控模块的绑定目标单个检测周期内的数据请求总次数对所述待调控模块进行划分；

若单一绑定目标的数据请求次数处于第一请求处理次数范围，构件管理单元判定单一绑定目标为第一类划分目标并对应第一类划分目标数量生成第一子处理模块；

若单一绑定目标的数据请求次数处于第二请求处理次数范围，构件管理单元判定单一绑定目标为第二类划分目标并根据第二类划分目标的敏感数据量确定是否需要二次划分；

其中，所述第一管理条件为数据统一度处于第二预设数据统一度范围；

所述构件管理单元根据第一类划分目标数量确定第一子处理模块的数据处理功能构件的数量；

所述第一子处理模块的数据处理功能构件的数量与第一类划分目标数量为正相关关系；

所述构件管理单元在第二管理条件下检测第二类划分目标的敏感数据量，并根据第二类划分目标的敏感数据量与超额敏感数据量参考值的大小关系确定是否对第二类划分目标进行二次划分；

若第二类划分目标的敏感数据量小于超额敏感数据量参考值，所述构件管理单元对应第二类划分目标数量生成第二子处理模块；若第二类划分目标的敏感数据量大于超额敏感数据量参考值，所述构件管理单元判定对第二类划分目标进行二次划分；

其中，所述第二管理条件为单一绑定目标的数据请求次数处于第二请求处理次数范围；

所述数据统一度S由式（1）确定：

，

式中，δ由式（2）确定：

，

式中，由式（3）确定：

，

其中，Xu为第u个绑定目标单个检测周期内的数据请求的数据量，umax为绑定目标的总数量，数据量的单位为字节。

2.根据权利要求1所述的分布式构件管理系统，其特征在于，所述构件管理单元根据第二类划分目标的敏感数据量总量与超额敏感数据量参考值的敏感数据差值确定二次划分的划分数量。

3.根据权利要求2所述的分布式构件管理系统，其特征在于，所述构件管理单元针对构件储存库内的安全性能构件进行检索，并根据吞吐量选取合格安全性能构件。

4.根据权利要求3所述的分布式构件管理系统，其特征在于，所述构件管理单元针对合格安全性能构件进行速度检测，提取其中响应速度最大的安全性能构件，将其确定为第i子处理模块的安全性能构件；

其中，合格安全性能构件为吞吐量大于吞吐量标准的安全性能构件，i＝3,4,5,……，n；其中，n为划分数量。