CN112307129A - 一种基于数据共享构建的控制系统及其控制方法 - Google Patents

Abstract

本发明公开了一种基于数据共享构建的控制系统及其控制方法，主要解决现有技术中存在的现有信息资源整合过程中存在的无法对数据细粒度的权限实时控制，无法满足红数据过滤，以及敏感数据脱敏处理，服务提供的能力有限，对应用端有使用限制，服务的管理能力不足的问题。该种基于数据共享构建的控制系统一种基于数据共享构建的控制系统包括依次连接的发布源模块、数据资源模块、服务管理模块、数据门户、数据共享中心；发布源模块与数据共享中心上的信息同步。通过上述方案，本发明达到了满足数据过滤及脱敏处理等目的。

Description

一种基于数据共享构建的控制系统及其控制方法

技术领域

本发明涉及数据共享领域，具体地说，是涉及一种基于数据共享构建的控制系统及其控制方法。

背景技术

随着应用数据越来越多，如何建立资源采集、处理、交换、共享、运营和服务的机制和规程，实现各类信息资源的有效采集、交换、共享和应用，是更核心的任务。

信息资源只有交流、共享才能被充分开发和利用，而只有打破信息封闭，消除信息“荒岛”和“孤岛”，也才能创造价值；目前资源数据的“整合”，但“整合”什么，如何“整合”，“整合”后做什么，将是首要问题。

目前存在的的问题有：1.无法对数据细粒度的权限实时控制；2.无法满足红数据过滤，以及敏感数据脱敏处理；3.服务提供的能力有限，对应用端有使用限制；4.服务的管理能力不足，如服务对应的资源发生变更后不能及时感知等。

发明内容

本发明的目的在于提供一种基于数据共享构建的控制系统及其控制方法，以解决现有信息资源整合过程中存在的无法对数据细粒度的权限实时控制，无法满足红数据过滤，以及敏感数据脱敏处理，服务提供的能力有限，对应用端有使用限制，服务的管理能力不足的问题。

为了解决上述问题，本发明提供如下技术方案：

一种基于数据共享构建的控制系统包括依次连接的发布源模块、数据资源模块、服务管理模块、数据门户、数据共享中心；发布源模块与数据共享中心上的信息同步；

发布源模块：用于将发布源模块中各数据源注册到数据资源模块；

数据资源模块：用于采集已注册发布源模块中数据源的元数据，然后统一生成资源及资源编排；

服务管理模块：用于发布已编排好的资源；

数据门户：用于使用者递交服务申请流程及审核通过后使用服务数据；

数据共享中心：用于共享发布源模块的数据。

本发明基于元数据、资源、REST接口和文件快速服务发布和服务注册，智能管理服务生命周期以及高效的数据交换解决方案，采用微服务架构，可以根据实际业务需要动态的对服务能力扩容，并提供稳定高效的服务能力等。

进一步的，发布源模块包括数据中心、业务系统的数据库；也可包括其他数据源。

进一步的，服务管理模块将已编排好的资源发布的方式为资源发布或自定义SQL语句发布，并定义好服务的基本信息、输入输出信息、权限配置、使用限制、同步策略的信息供服务注册使用；服务管理模块主要提供对服务目录编排、服务发布及配置、服务注册、服务版本和服务智能变更等功能。

进一步的，从数据门户获取数据的方式包括REST接口调用、JDBC SDK调用、SPARKSDK调用、数据库推送、实时数据查看及数据文件下载；服务申请功能主要是对感兴趣的服务提供申请使用入口，也是服务提交使用申请审核流程的唯一入口。

进一步的，服务管理模块和数据门户之间连接有服务注册模块；服务注册模块将已配置好的服务注册到数据门户供使用着申请使用，同时根据数据同步策略生成数据同步任务，同步到数据共享中心。

进一步的，数据门户和数据共享中心之间连接有服务网关；服务网关用于保证服务使用者请求的安全、身份认证及流量管控；服务网关是所有服务使用方式的唯一出口，通过黑白名单配置功能动态管控请求流入和拒绝请求流入。

进一步的，服务网关和数据共享中心之间连接有数据安全模块；数据安全模块用于生产脱敏或加密数据后供用户使用；服务网关保证的是服务使用请求安全，而数据安全模块则保证服务提供的数据安全。

进一步的，一种基于数据共享构建的控制系统还包括用于监控所述控制系统的服务监控模块；服务监控模块用于监控整个全生命周期的流程，以及服务使用者的流程，元数据发生变化时提醒服务管理人员；服务监控是对服务的整个生命周期、服务使用情况、异常访问情况等实时监控和统计。

进一步的，一种基于数据共享构建的控制系统还包括数据搬移任务执行器；数据搬移任务执行器分别与发布源模块及服务注册模块连接后与数据共享中心连接；数据搬移任务执行器用于根据已生成的数据同步任务，按照同步策略将发布源模块对应的数据和服务注册模块对应的任务信息同步到数据交换中心。

一种基于数据共享构建的控制系统的控制方法包括以下步骤：

S1、发布源模块将发布源模块中各数据源注册到数据资源模块；

S2、数据资源模块采集步骤S1中已注册发布源模块中数据源的元数据，然后统一生成资源及资源编排；

S3、服务管理模块发布步骤S2中已编排好的资源；

S4、使用者在服务注册模块中注册后通过数据门户提出服务申请，服务请求同步至服务注册模块；

S5、步骤S4的服务请求通过服务网关中黑白名单、身份认证、流量控制筛选后进入数据安全中心，经过加密后进入数据共享中心；

S6、数据共享中心将经过步骤S5的服务请求发送至数据搬移任务执行器；

S7、数据搬移任务执行器从发布源模块将发布源模块对应的数据和服务注册模块对应的任务信息同步到数据共享中心；

S8、数据共享中心将数据经过脱敏或加密后发送至数据门户供使用者使用；

S9、服务监控模块监控步骤S1至S8的过程中是否在服务的有效生命周期中发生了元数据变更或根据业务需要人为变更资源，是则通过服务管理模块根据变更信息智能提醒服务管理人员，并智能推荐出服务变更方案，否则不做提示。

与现有技术相比，本发明具有以下有益效果：

（1）本发明中各业务系统的数据统一到数据共享中心交换，在发布服务以及服务申请审批流程中配置用户使用数据权限时，根据权限配置数据转换成数据共享中心能识别并处理的语法，同时和用户的申请信息同时缓存到数据搬移任务执行器；当用户使用数据服务提供的任意一种使用方式请求数据时，数据搬移任务执行器中获取已经转化好的命令数据给数据共享中心，整个过程实现实时动态权限控制。

（2）本发明在发布服务以及服务申请审批流程中配置用户或角色的数据脱敏和加密规则时，同时将这些安全规则配置信息转换成数据安全规则模块的统一语法并和订阅申请信息一同缓存的数据共享中心；当用户请求的数据返回后，用户即可根据其自身需要安全的获取需要的数据。

（3）本发明服务提供了丰富的对接使用能力，REST接口调用可以支持跨、平台跨语言调用，能适应不同的使用场景；JDBC SDK和SPARK SDK能快速和高效的提供海量数据，用户可以通过SDK对业务直接做二次封装；实时数据查询功能提供给用户丰富的查询手段和快速的了解数据格式，快速掌握业务等。

（4）本发明中智能管理是指当服务提供源端发生元数据及结构变化或其他运维人员手工变更信息时能智能感知变化，形成通知提醒给服务管理人员；并通过智能计算变更信息智能推荐服务变更方案供服务管理人员参考，以更大化的减少服务运维成本。

（5）本发明中服务生命周期是对服务从服务发布、审批、注册、数据同步、服务申请、审核、使用等整个全生命周期做监控，并提供多维度、多视角的实时监控和统计试图。

（6）本发明采用的是微服务分布式计算框架，可以根据实际使用情况动态扩容，满足随着时间变化和业务量增长满足更大的业务需求，同时具备高可用、高容错能力。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，其中：

图1为本发明业务逻辑架构图。

图2为本发明的流程示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合图1至图2对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例1

如图1和图2所示，一种基于数据共享构建的控制系统包括依次连接的发布源模块、数据资源模块、服务管理模块、数据门户、数据共享中心；发布源模块与数据共享中心上的信息同步；

发布源模块：用于将发布源模块中各数据源注册到数据资源模块；

数据资源模块：用于采集已注册发布源模块中数据源的元数据，然后统一生成资源及资源编排；

服务管理模块：用于发布已编排好的资源；

数据门户：用于使用者递交服务申请流程及审核通过后使用服务数据；

数据共享中心：用于共享发布源模块的数据。

其中发布源模块包括数据中心、业务系统的数据库；也可包括其他数据源；本发明基于元数据、资源、REST接口和文件快速服务发布和服务注册，智能管理服务生命周期以及高效的数据交换解决方案，采用微服务架构，可以根据实际业务需要动态的对服务能力扩容，并提供稳定高效的服务能力等；图1中为各个模块包含的主要功能。

实施例2

如图1和图2所示，本实施例在实施例1的基础上进一步的，服务管理模块将已编排好的资源发布的方式为资源发布或自定义SQL语句发布，并定义好服务的基本信息、输入输出信息、权限配置、使用限制、同步策略的信息供服务注册使用；

服务管理模块主要提供对服务目录编排、服务发布及配置、服务注册、服务版本和服务智能变更等功能；服务目录管理主要是对发布的海量服务分级分类管理，尤其在政务行业需要对服务资源按照行业类别、业务类别、主题等资源编目。服务发布提供对数据表、资源、文件和REST接口数据以服务的方式提供数据交换能力，在服务发布中定义服务的基本信息、输入输出参数、权限配置、交换策略、使用限制以及样例数据等功能。服务注册功能主要负责对发布的服务进行流程审核及注册到数据门户，提供其他业务系统申请使用。智能变更功能主要是监控资源、数据表和文件等元数据定义信息发生变化后，及时通知引用了该资源、数据表和文件的服务；以便快速的让服务管理人员感知并智能引导管理人员对服务做版本变更等能力。

实施例3

如图1和图2所示，本实施例在实施例1的基础上进一步的，从数据门户获取数据的方式包括REST接口调用、JDBC SDK调用、SPARK SDK调用、数据库推送、实时数据查看及数据文件下载；主要有服务目录、服务申请和服务使用等主要功能。服务目录提供快速的服务检索能力，可按照资源编目分类、服务类型、提供业务系统、提供部门以及服务标签等维度快速检索出客户感兴趣的服务。服务申请功能主要是对感兴趣的服务提供申请使用入口，也是服务提交使用申请审核流程的唯一入口。

服务提供了六种能力来满足各个使用场景需求，REST接口调用提供标准的restful风格接口约束，用户可以通过JAVA代码、JS、浏览器、Postman等接口调用工具直接使用服务数据；JDBC SDK调用是服务提供以JDBC方式获取服务数据的SDK，只需简单几步集成即可返还标准的ResultSet结果集；除此之外还提供SPARK SDK，业务系统可以集成服务提供的SPARK SDK直接通过数据到数据库存储以及参与业务计算等能力；数据库推送方式是指数据共享平台按照业务系统配置的共享策略，自动同步数据到业务系统指定的数据库接收表中，业务系统直接使用接收表中的数据做业务计算；实时数据查看是以界面的方式提供数据实时查询和任意条件组合查询、排序等能力，数据文件下载是指把服务数据生成json、csv、xml文件的方式提供下载能力供用户下载。

实施例4

如图1和图2所示，本实施例在实施例1的基础上进一步的，服务管理模块和数据门户之间连接有服务注册模块；服务注册模块将已配置好的服务注册到数据门户供使用着申请使用，同时根据数据同步策略生成数据同步任务，同步到数据共享中心。

实施例5

如图1和图2所示，本实施例在实施例1的基础上进一步的，数据门户和数据共享中心之间连接有服务网关；服务网关用于保证服务使用者请求的安全、身份认证及流量管控；服务网关是所有服务使用方式的唯一出口，通过黑白名单配置功能动态管控请求流入和拒绝请求流入；身份认证功能的主要是职责是校验所有服务使用请求的身份合法性；配置流量限制策略则可以防止程序恶意请求。

实施例6

如图1和图2所示，本实施例在实施例1的基础上进一步的，服务网关和数据共享中心之间连接有数据安全模块；数据安全模块用于生产脱敏或加密数据后供用户使用；服务网关保证的是服务使用请求安全，而数据安全模块则保证服务提供的数据安全。数据列安全和数据行安全功能通过服务分级分类、数据敏感等级、数据标签等配置和用户、角色、部门拥有的数据权限动态过滤数据，保证用户只能访问权限内的数据。数据脱敏和数据加密功能则是根据脱敏配置（如掩码、替换、加密等）动态的敏感数据做脱敏和加密处理，确保不同的用户能看到不动的数据呈现方式。

实施例7

如图1和图2所示，本实施例在实施例1的基础上进一步的，一种基于数据共享构建的控制系统还包括用于监控所述控制系统的服务监控模块；服务监控模块用于监控整个全生命周期的流程，以及服务使用者的流程，元数据发生变化时提醒服务管理人员；服务监控是对服务的整个生命周期、服务使用情况、异常访问情况等实时监控和统计。

实施例8

如图1和图2所示，本实施例在实施例1的基础上进一步的，一种基于数据共享构建的控制系统还包括数据搬移任务执行器；数据搬移任务执行器分别与发布源模块及服务注册模块连接后与数据共享中心连接；数据搬移任务执行器用于根据已生成的数据同步任务，按照同步策略将发布源模块对应的数据和服务注册模块对应的任务信息同步到数据交换中心。

实施例9

如图2所示，一种基于数据共享构建的控制系统的控制方法包括以下步骤：

S1、发布源模块将发布源模块中各数据源注册到数据资源模块；

S2、数据资源模块采集步骤S1中已注册发布源模块中数据源的元数据，然后统一生成资源及资源编排；

S3、服务管理模块发布步骤S2中已编排好的资源；

S4、使用者在服务注册模块中注册后通过数据门户提出服务申请，服务请求同步至服务注册模块；

S5、步骤S4的服务请求通过服务网关中黑白名单、身份认证、流量控制筛选后进入数据安全中心，经过加密后进入数据共享中心；

S6、数据共享中心将经过步骤S5的服务请求发送至数据搬移任务执行器；

S7、数据搬移任务执行器从发布源模块将发布源模块对应的数据和服务注册模块对应的任务信息同步到数据共享中心；

S8、数据共享中心将数据经过脱敏或加密后发送至数据门户供使用者使用；

S9、服务监控模块监控步骤S1至S8的过程中是否在服务的有效生命周期中发生了元数据变更或根据业务需要人为变更资源，是则通过服务管理模块根据变更信息智能提醒服务管理人员，并智能推荐出服务变更方案，否则不做提示。

本发明是基于元数据、资源、REST接口和文件快速服务发布和服务注册，智能管理服务生命周期以及高效的数据交换解决方案；通过监控资源变化智能提醒对服务和智能计算资源变化内容，快速的为服务管理人员提供服务变更策略；本解决方案采用微服务架构，可以根据实际业务需要动态的对服务能力扩容，并提供稳定高效的服务能力等。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于数据共享构建的控制系统，其特征在于，包括依次连接的发布源模块、数据资源模块、服务管理模块、数据门户、数据共享中心；发布源模块与数据共享中心上的信息同步；

发布源模块：用于将发布源模块中各数据源注册到数据资源模块；

数据资源模块：用于采集已注册发布源模块中数据源的元数据，然后统一生成资源及资源编排；

服务管理模块：用于发布已编排好的资源；

数据门户：用于使用者递交服务申请流程及审核通过后使用服务数据；

数据共享中心：用于共享发布源模块的数据。

2.根据权利要求1所述的一种基于数据共享构建的控制系统，其特征在于，发布源模块包括数据中心、业务系统的数据库。

3.根据权利要求1所述的一种基于数据共享构建的控制系统，其特征在于，服务管理模块将已编排好的资源发布的方式为资源发布或自定义SQL语句发布，并定义好服务的基本信息、输入输出信息、权限配置、使用限制、同步策略的信息供服务注册使用。

4.根据权利要求1所述的一种基于数据共享构建的控制系统，其特征在于，从数据门户获取数据的方式包括REST接口调用、JDBC SDK调用、SPARK SDK调用、数据库推送、实时数据查看及数据文件下载。

5.根据权利要求1所述的一种基于数据共享构建的控制系统，其特征在于，服务管理模块和数据门户之间连接有服务注册模块；服务注册模块将已配置好的服务注册到数据门户供使用着申请使用，同时根据数据同步策略生成数据同步任务，同步到数据共享中心。

6.根据权利要求1所述的一种基于数据共享构建的控制系统，其特征在于，数据门户和数据共享中心之间连接有服务网关；服务网关用于保证服务使用者请求的安全、身份认证及流量管控。

7.根据权利要求6所述的一种基于数据共享构建的控制系统，其特征在于，服务网关和数据共享中心之间连接有数据安全模块；数据安全模块用于生产脱敏或加密数据后供用户使用。

8.根据权利要求1-7任一项所述的一种基于数据共享构建的控制系统，其特征在于，还包括用于监控所述控制系统的服务监控模块；服务监控模块用于监控整个全生命周期的流程，以及服务使用者的流程，元数据发生变化时提醒服务管理人员。

9.根据权利要求8所述的一种基于数据共享构建的控制系统，其特征在于，还包括数据搬移任务执行器；数据搬移任务执行器分别与发布源模块及服务注册模块连接后与数据共享中心连接；数据搬移任务执行器用于根据已生成的数据同步任务，按照同步策略将发布源模块对应的数据和服务注册模块对应的任务信息同步到数据交换中心。

10.一种基于数据共享构建的控制系统的控制方法，其特征在于，包括以下步骤：

S1、发布源模块将其内的各数据源注册到数据资源模块；

S2、数据资源模块采集步骤S1中已注册发布源模块中数据源的元数据，然后统一生成资源及资源编排；

S3、服务管理模块发布步骤S2中已编排好的资源；

S4、使用者在服务注册模块中注册后通过数据门户提出服务申请，服务请求同步至服务注册模块；

S5、步骤S4的服务请求通过服务网关中黑白名单、身份认证、流量控制筛选后进入数据安全中心，经过加密后进入数据共享中心；

S6、数据共享中心将经过步骤S5的服务请求发送至数据搬移任务执行器；

S7、数据搬移任务执行器从发布源模块将发布源模块对应的数据和服务注册模块对应的任务信息同步到数据共享中心；

S8、数据共享中心将数据经过脱敏或加密后发送至数据门户供使用者使用；

S9、服务监控模块监控步骤S1至S8的过程中是否在服务的有效生命周期中发生了元数据变更或根据业务需要人为变更资源，是则通过服务管理模块根据变更信息智能提醒服务管理人员，并智能推荐出服务变更方案，否则不做提示。

Images