CN113419843B - 一种基于nas的分布式资源管理系统 - Google Patents

Abstract

本发明公开了一种基于NAS的分布式资源管理系统，包括资源传输、资源存储子系统，其中资源存储子系统设有抽象操纵子模块、略操纵子模块等，通过抽象操纵子模块将输入的共性数据反序列化为数据载荷对象，策略操纵子模块根据注册的修饰算法对象实现数据载荷对象的载荷拼接和/或变换修饰，再由发布操纵子模块将修饰后的数据载荷对象信息化并发布至服务端Redis通道；服务端在监听到Redis通道中发布的信息化通用资源对象时，启动一个独立线程在NAS系统中执行资源操作。本发明能够利用NAS系统的自有功能，确保资源储存安全性，提供了保密共性数据反序列化、修饰转化及信息化的一整套流程，提高了开发维护效率，以及系统内部稳定性。

Description

一种基于NAS的分布式资源管理系统

技术领域

本发明涉及一种基于NAS的分布式资源管理系统，属于网络微服务、计算机软件领域。

背景技术

自计算机系统问世以来，如何共享资源成为其文件系统分支上的一项重要议题。由于随着经济及计算机应用的自然发展，文件系统对资源共享的需求与效率显著提高，因此，如何有效的组织长期共享设备与其资源数据则尤为重要。其中，分布式文件系统(DFSs)凭借其独特的分区-协同组织架构成为了上述议题的一种重要解决设计。

Synology-NAS是由群辉科技开发的网络附属存储(Net Attachment System)系统。该系统将共享数据存储在长期共享设备上，通过网络获取共享数据。该系统相较于传统共享设备，具有更高效率的资源共享及数据备份能力。同时，相对于商业化云存储服务，其对隐私数据具有更强的安全性。

在真实场景下，工程系统往往会随着业务需求的增加而变得更加复杂且精细。尤其是，当真实业务要求其下属多个子工程串联成网。那么，对于处于该业务拓扑网络体系中的每个节点子工程而言，标准化的资源或信息必然要求在其间共享并流通。例如，某业务要求下属所有企业公务子工程串联并入总集性公务系统中，以提高各个企业公务子节点间沟通效率。然而，对于上述业务需求，相较于普通的具有串联网络拓扑的工程系统最大的不同点是：各个企业节点具有相当程度的独立性且储存了大量节点内部的保密信息，即处于网络中的每个子节点均具有一定的绝缘性，仅对外暴露部分资源信息，并且传输过程中需要较高的保密性要求。

针对上述应用场景抽象得到问题：存在绝缘系统X & Y，如何将共性系统数据在双系统中保密传递。对于该问题，如图1所示，绝缘系统X、Y中的部分共性数据(Generic Data)作为共享数据，由于其自身的绝缘态，无法直接传递。因此，需要一种有效的资源管理系统M用于组织共性数据与串联网络中的各个绝缘系统，并且约束资源在其间双向加密传输。

发明内容

发明目的：针对上述现有技术存在的问题，为实现共性保密数据在不同绝缘系统间传输，本发明目的在于提供一种基于NAS的分布式资源管理系统，能够兼顾存储设备-共享数据间组织效率与共享数据传输、存储的安全性。

技术方案：为实现上述发明目的，本发明提供的一种基于NAS的分布式资源管理系统，包括：

资源传输子系统，用于提供绝缘系统间共性数据的加密传输及传输权限控制；

以及资源存储子系统，基于NAS系统实现绝缘系统间共性数据的存储；包括操纵端功能域和服务端功能域，所述操纵端功能域，包括：

抽象操纵子模块，用于将输入的共性数据反序列化为数据载荷对象，所述数据载荷对象为资源管理系统内部流通的通用资源对象；

策略操纵子模块，用于根据注册的修饰算法对象实现数据载荷对象的载荷拼接和/或变换修饰；

以及，发布操纵子模块，用于将修饰后的数据载荷对象信息化并发布至服务端Redis通道；

所述服务端功能域，包括受体服务子模块和交换服务子模块；

所述受体服务子模块，用于监听Redis通道，并在监听到Redis通道中发布的信息化通用资源对象时，实例化交换服务子模块为一个独立线程在NAS系统中执行资源操作。

作为优选，所述抽象操纵子模块采用工厂设计，注册有各种通用资源类，并通过输入共性资源类别标识，生产相应的通用资源对象并填充静态载荷。

作为优选，所述通用资源对象包括静态载荷，以及资源反序列化工具和/或信息化工具；所述反序列化工具接收JSON式数据，进行数据清洗、校验和静态载荷填充；所述信息化工具采用二进制算法信息化静态载荷。

作为优选，所述策略操纵子模块采用策略模式设计，其注册的修饰算法ALG对象包括策略元件与策略序列，策略元件包含单个修饰策略，策略序列由多个策略元件或策略子序列组织而成。

作为优选，所述载荷拼接是在修饰算法对象指导下，静态载荷内部数据拼接重组，或多个通用资源对象间静态载荷重组。

作为优选，所述变换修饰是在修饰算法对象指导下由现有数据即时渲染产生新的数据并加入静态载荷。

作为优选，所述发布操纵子模块是一个Redis代理客户端，维护一个通用资源对象队列，依次调用通用资源对象的自身信息化工具，并将信息化的通用资源对象发布至目标Redis通道。

作为优选，所述受体服务子模块是一个Redis代理客户端，其中定义有各个Redis通道的处理任务及反馈任务，所述处理任务即时单独实例化交换服务子模块，用于完成资源操作，反馈任务用于收集操作过程中的异常及输出结果。

作为优选，所述反馈任务以HOOK方式传入交换服务子模块，或者以RPC方式定义于受体服务子模块内嵌的RPC私有通道。

作为优选，所述交换服务子模块是一个NAS代理客户端，其中嵌入NAS系统API交互驱动，用于调用NAS系统原生操作接口，实现资源操作。

有益效果：本发明提供的基于NAS的分布式资源管理系统，作为核心的调度及处理模块连接了上游应用层及下游文件系统，使得外周绝缘系统的共性数据能够通过本发明系统适配的应用层实现数据传输。业务上，由于外周绝缘系统的保密性要求，共性数据使用本发明传输需经历负责数据内容处理的操纵端功能域与负责数据文件处理的服务端功能域，且通过Redis实现低耦合的分布式结构。由于真实业务中保密需求，共性数据需经过复杂的内容处理才能进行文件处理，如文件模板即时渲染、数据拼接等过程，而操纵端负责数据抽象、反序列化、修饰与信息化数据内容处理过程。其中，修饰过程完成主要的保密数据处理，该过程由操纵端中策略操纵子模块承担。该子模型通过策略修饰模型中的向前算法执行修饰序列，确保每步处理的原子性，利于错误回滚与忽略。与现有技术相比，本发明具有如下优点：

1、本发明能够在通过NAS系统原生操作接口实现复杂资源文件操作流程的同时，兼顾这些操作过程的稳定性，并且能够利用NAS系统的自有功能，如定时资源备份等，确保资源储存安全性。

2、本发明提供了共性数据反序列化、修饰转化及信息化的一整套流程，编写人员无需关心系统中各个模块间对接流程，只需专注于精细的资源操作任务定义，这不仅提高了开发维护效率，也提高了系统内部稳定性。

附图说明

图1为本发明中系统互作抽象关系示意图。

图2为本发明中系统交互架构图。

图3为本发明中数据流通模型示意图。

图4为本发明中策略修饰模型示意图。

具体实施方式

下面将结合附图和具体实施例，对本发明的技术方案进行清楚、完整的描述。

为了解决绝缘系统间共性数据保密传输的问题，如图1、2所示，本发明实施例提供的一种基于NAS的分布式资源管理系统(Resource Management based on NAS，nRM)，作为中转系统M，与绝缘系统X & Y共同组成了共性数据的闭合传递回路。nRM系统具有资源传输和资源存储两个重要功能域，主要包括：

1) 资源传输子系统，提供绝缘系统间共性数据的加密传输及传输权限控制。加密传输和权限控制绝缘系统与中转系统约定和配置，为现有成熟技术，本发明不再赘述。

2) 资源存储子系统，基于NAS系统实现绝缘系统间共性数据的存储（本发明用共性数据表示各个绝缘系统中所需传输的数据总类，即包括系统中的资源、反序列化的资源、信息化的资源等各类流通数据）。本发明实施例的NAS采用群辉科技开发的网络附属存储系统，即Synology-NAS。nRM作为桥梁节点能够有效整合其关联绝缘系统，形成一个围绕nRM组织而成的共性数据闭合传递回路，信息流在回路中传递具有完备性及安全性；在nRM内部，为了高效对接远端NAS，设计了基于Redis订阅发布的分布式档案服务，以负责共享数据传输、存储调度。

nRM系统作为核心的调度及处理模块连接了上游应用层及下游文件系统，使得外周绝缘系统的共性数据能够通过本系统适配的应用层实现数据传输。业务上，由于外周绝缘系统的保密性要求，共性数据使用本系统传输需经历负责数据内容处理的操纵端功能域与负责数据文件处理的服务端功能域，且通过Redis实现低耦合的分布式结构。下面结合图3对nRM系统地数据流通模型进行详细说明。

如图3所示，nRM具有多个核心功能结构，共设计分布在两个应用端，即：抽象操纵子模块、策略操纵子模块与发布操纵子模块位于操纵端功能域，协同负责共性数据序列化、转化及信息化过程；受体服务子模块与交换服务子模块位于服务端功能域，协同实现共性数据档案服务的并行操作。

由nRM设计架构易知，对于不同的共性数据抽象，nRM提供了不同的传输通道及对接接头。理论上，nRM系统可以保证共性数据在各个可组织绝缘系统间的流通扩展。具体地，nRM与对接接口应答为模式依赖于Redis订阅发布机制的HOOK及RPC应答模式。例如，不同的对接系统中的共性资源数据（即各个绝缘系统中所需传输的真实资源具象化描述），通过nRM操纵端反序列化、转化及信息化后，发送至资源处理动作类别及资源类型标记相关的Redis通道中，触发服务端相应的NAS操作并反馈处理应答。

系统基于生物信号通路原理设计，通过调用外部扩展驱动，支持文件数据在nRM后台与NAS间并行流通。具体地，鉴于商业化NAS自身提供了大量NAS内部文件操作接口，nRM服务端根据真实业务需求定义了大量的文件操作流程任务，利用NAS原生文件操作接口，实现复杂的资源文件档案操作。另外，系统中可以设计权限及动作控制模块，路由式地由用户权限映射指导用户动作权限控制。

如图3所示，外周系统（如绝缘系统X、Y）共性资源数据作为nRM操纵端输入，经过抽象操纵子模块反序列化为nRM内部流通的数据载荷对象。具体地，抽象操纵子模块采用工厂设计，其上注册了各种通用资源类，并通过输入共性资源类别标识，生产相应的通用资源对象并填充静态载荷。因此，抽象操纵子模块天然存在两个功能区，即注册功能区与生产功能区。特别的，注册功能区具有动态与静态注册方式，与静态注册方式不同，动态注册并非在抽象操纵子模块对象构造前绑定，而是能够在程序运行中即时绑定。

为了理解抽象操纵子模块在设计结构上的重要性，现需阐述由其产生的通用资源对象。故名而知，通用资源对象是整个nRM系统中的数据流通的唯一载体，承担了资源管理各个生命周期的具体数据信息。因此，其天然存在两个功能区，即静态载荷与资源反序列化/信息化工具。其中，静态载荷具有不同的数据类型，通常以哈希表式结构存储反序列的共性资源数据；相对的，资源反序列化/信息化工具，包含了共性资源数据清洗，校验，载荷反序列化填充及载荷信息化。构建完成的通用资源对象，通过调用自身的反序列化工具反序列化传入的共性资源，使其成为自身的静态载荷。

一般的，反序列化工具接收JSON式数据，依照需求清洗冗余字段信息，并在校验必要字段数据的合法性之后，填充静态载荷。而信息化工具一般采用gzip压缩的base64加密的pickle二进制算法信息化静态载荷，用于通过Redis向下游功能域传递。

至此，为了能够有效提升nRM系统各个功能结构域间协作效率，这种具有更大信息容量的通用数据对象必不可少。故而，抽象操纵子模块作为nRM首位输入处理节点，对nRM系统运行具有至关重要的作用。

在抽象操纵子模块生产通用资源对象之后，策略操纵子模块依照相关数据属性指导数据载荷对象修饰与转化，并将修饰后的数据载荷对象传递与发布操纵子模块，使载荷自身信息化后发布至服务端。

为了理解通用资源对象如何从操纵端传递至服务端，现需要详细阐述策略操纵子模块与发布操纵子模块的具体工作方式。

如同分子生物学中有机大分子的合成过程，小分子前体一次组装而成的大分子前体为了提高自身的生物信息容量，需要不同程度的空间异构加工及化学修饰。nRM系统中的通用资源对象为了进一步提高信息载荷容量，同样需要一步步的载荷拼接与变换修饰。本质上，策略操纵子模块采用策略模式设计，其中注册了不同修饰算法(ALG)对象。如图4所示，这些ALG对象主要由两种基础结构组装而成，即策略元件(Element, E)与策略序列(Sequential, S)。其中，E对象包含单个修饰策略，如数据重整，信息渲染等，而S对象无法单独使用，必须使用多个E对象或其他S对象（作为S的子序列对象）组织而成。因此，一个可执行的S对象或E对象又称一个策略基序(Motif, M)，ALG对象拼接多个M对象，并通过向前算法依次执行M对象中记录修饰算法。特别的，每个M对象是一个原子性过程，即，当ALG对象在计算通用资源对象修饰结果遇到错误时，可以回滚至上一个M对象算结果，并越过当前错误M对象进行后需信息修饰。

策略操纵子模块修饰转化通用资源对象主要包括两类过程，即载荷拼接与变换修饰。具体地，载荷拼接表示在不同的策略元件E的指导下，静态载荷内部数据拼接重组，或多个通用资源对象间静态载荷重组。该过程对于与下游服务端交互十分重要，由于下游服务端存在统一的接受端口，接收不定长的传入参数势必是一种低效的协议方式，因此将静态载荷内部拼接为不同部分(如id，使用信息，附加语境信息等)能有效提高上下游通讯效率。然而，对于变换修饰，表示通过策略元件E指导由现有数据产生新的其他格式的资源。该过程主要用于重要隐私数据需要在存储前进行即时渲染的场景。在该场景下，变换修饰，可利用通用资源对象的静态载荷，即时渲染产生新的目标文件并加入静态载荷，继而向下传递。

在通用数据对象修饰完成后，其经由发布操纵子模块发布至资源处理动作类别及资源类型标记相应的服务端Redis通道。显然，发布操纵子模块本质上是一个Redis代理客户端，而该客户端仅具有发布功能。通常而言，发布操纵子模块维护了一个通用资源对象队列，依次将调用通用资源对象的自身信息化工具，并将信息化的通用资源对象发布至目标Redis通道，向下游功能结构域传递信息。

在服务端接收到发布信息后，受体服务子模块对共性资源信息机构并级联转发与交换服务子模块，交换服务子模块响应指导信息处理共性资源并反馈处理信号。具体而言，受体服务子模块同样是一个Redis代理客户端，具有订阅发布全双工功能。在受体服务子模块监听到Redis通道中发布的信息化通用资源对象时，便调度一个独立Worker线程去依照资源对象信息在NAS中执行资源操作。需要指出的是，这一独立Worker即实例化的交换服务子模块，显然，交换服务子模块本质上是一个NAS代理客户端。交换服务子模块中嵌入nRM附属的NAS系统API交互驱动，用于调用NAS原生文件操作接口，实现相关资源档案操作。

为了完善服务端的信息反馈流程，nRM服务端受体服务子模块提供了HOOK式及RPC式应答模式。一般的，nRM受体服务子模块中定义了各个Redis通道的处理任务及反馈任务。这些处理任务即时单独实例化交换服务子模块，用完成NAS文件操作，而反馈任务用于收集NAS文件操作过程中的异常及输出结果，并反馈至nRM操纵端或其他附属分布式系统。这些反馈任务可以以HOOK式传入交换服务子模块，在交换服务子模块的特定生命周期中调用并反馈信息，也可以以RPC式定义于受体服务子模块内嵌RPC私有通道，同时交换服务子模块引用了该RPC客户端，在其需要的任意位置进行RPC调用并反馈信息。

综上，共性数据在nRM系统的闭合环路中流通，开发者无需深入了解环路各个节点如何对接及工作，可简易使用系统内预设的已组装的启动器对象组织共性资源操纵端流程，即可实现资源数据在各个外周系统间传递。

Claims (7)

1.一种基于NAS的分布式资源管理系统，其特征在于，包括：

资源传输子系统，用于提供绝缘系统间共性数据的加密传输及传输权限控制；

以及资源存储子系统，基于NAS系统实现绝缘系统间共性数据的存储；包括操纵端功能域和服务端功能域，所述操纵端功能域，包括：

抽象操纵子模块，用于将输入的共性数据反序列化为数据载荷对象，所述数据载荷对象为资源管理系统内部流通的通用资源对象；

策略操纵子模块，用于根据注册的修饰算法对象实现数据载荷对象的载荷拼接和/或变换修饰；所述策略操纵子模块采用策略模式设计，其注册的修饰算法对象包括策略元件与策略序列，策略元件包含单个修饰策略，策略序列由多个策略元件或策略子序列组织而成；所述载荷拼接是在修饰算法对象指导下，静态载荷内部数据拼接重组，或多个通用资源对象间静态载荷重组；所述变换修饰是在修饰算法对象指导下由现有数据即时渲染产生新的数据并加入静态载荷；

以及，发布操纵子模块，用于将修饰后的数据载荷对象信息化并发布至服务端Redis通道；

所述服务端功能域，包括受体服务子模块和交换服务子模块；

所述受体服务子模块，用于监听Redis通道，并在监听到Redis通道中发布的信息化通用资源对象时，实例化交换服务子模块为一个独立线程在NAS系统中执行资源操作。

2.根据权利要求1所述的基于NAS的分布式资源管理系统，其特征在于，所述抽象操纵子模块采用工厂模式设计，注册有各种通用资源类，并通过输入共性资源类别标识，生产相应的通用资源对象并填充静态载荷。

3.根据权利要求1所述的基于NAS的分布式资源管理系统，其特征在于，所述通用资源对象包括静态载荷，以及资源反序列化工具和/或信息化工具；所述反序列化工具接收JSON式数据，进行数据清洗、校验和静态载荷填充；所述信息化工具采用二进制算法信息化静态载荷。

4.根据权利要求1所述的基于NAS的分布式资源管理系统，其特征在于，所述发布操纵子模块是一个Redis代理客户端，维护一个通用资源对象队列，依次调用通用资源对象的自身信息化工具，并将信息化的通用资源对象发布至目标Redis通道。

5.根据权利要求1所述的基于NAS的分布式资源管理系统，其特征在于，所述受体服务子模块是一个Redis代理客户端，其中定义有各个Redis通道的处理任务及反馈任务，所述处理任务即时单独实例化交换服务子模块，用于完成资源操作，反馈任务用于收集操作过程中的异常及输出结果。

6.根据权利要求5所述的基于NAS的分布式资源管理系统，其特征在于，所述反馈任务以HOOK方式传入交换服务子模块，或者以RPC方式定义于受体服务子模块内嵌的RPC私有通道。

7.根据权利要求1所述的基于NAS的分布式资源管理系统，其特征在于，所述交换服务子模块是一个NAS代理客户端，其中嵌入NAS系统API交互驱动，用于调用NAS系统原生操作接口，实现资源操作。

Images