CN111143332B - 一种数据交换系统 - Google Patents

Abstract

一种数据交换系统，包括已有数据展示模块，由数据管理员创建已有数据的目录树，并根据数据实际分类情况，在数据目录树中按照分类信息创建不同的树枝干，数据提供者将已有数据的元数据信息，根据不同的分类挂载至数据目录树不同的节点，将数据以数据目录树的形式展现出来；数据申请模块，当数据使用者通过目录树寻找到自己需要的数据时，发起数据申请流程，该申请流程将推送至数据提供者侧，由数据提供者决定是否将该数据提供给数据申请者；数据交换模块，使用kafka作为数据交换通道，当数据提供方同时数据使用者的申请，数据提供方便将数据保存至kafka指定的topic中。

Description

一种数据交换系统

技术领域

本发明属于大数据技术领域，特别涉及一种基于流式的数据交换系统。

背景技术

大数据时代，让数据代替人去各个部门奔跑，将使得办公变得更加高效。不同的数据保存在隔离的数据库中，怎么让使用者能便捷的申请到所需数据，并保证数据的安全，高效。是人们迫切需要解决的问题。

kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。该发明将使用kafka作为数据交换通道。

发明内容

本发明实施例提供一种数据交换系统，针对于现有数据交换的迫切需求，主要解决的技术问题为包括数据展示、数据申请、数据交换。

本发明实施例之一，一种数据交换系统，包括，

已有数据展示模块，由数据管理员创建已有数据的目录树，并根据数据实际分类情况，在数据目录树中按照分类信息创建不同的树枝干，数据提供者将已有数据的元数据信息，根据不同的分类挂载至数据目录树不同的节点，将数据以数据目录树的形式展现出来；

数据申请模块，当数据使用者通过目录树寻找到自己需要的数据时，发起数据申请流程，该申请流程将推送至数据提供者侧，由数据提供者决定是否将该数据提供给数据申请者；

数据交换模块，使用kafka作为数据交换通道，当数据提供方同时数据使用者的申请，数据提供方便将数据保存至kafka指定的topic中，同时，将保存数据的topic信息告知与数据申请者，数据申请者在指的topic中获取数据。

本发明实施例解决了对于数据形象的展示，高效、安全的交换。包括有益效果：

1)兼容结构化和非结构化数据交换；

2)能形象展示已有数据类别，数据的元数据信息；

3)保障数据安全性。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1根据本发明实施例之一的数据展示流程图。

图2根据本发明实施例之一的数据申请流程图。

图3根据本发明实施例之一的数据交换流程图。

图4根据本发明实施例之一的系统架构图。

图5根据本发明实施例之一的业务逻辑图。

具体实施方式

根据一个或者多个实施例，一种基于流式的数据交换系统，主要包括三部分：已有数据展示模块、数据申请模块和数据交换模块。

如图1所示，已有数据展示模块的执行步骤包括，

数据管理员创建已有数据目录树，并根据数据实际分类情况，在数据目录树中按照分类信息创建不同的树枝干，数据提供者将已有数据的元数据信息，根据不同的分类挂载至数据目录树不同的节点。完成后，以后数据将以一颗数据目录树的形式展现出来。

如图2所示数据申请流程图，数据申请模块的主要目的在于保证数据的安全性，不同使用者只能获取到自己权限范围内的数据信息，当数据使用者通过目录树寻找到自己需要的数据时，发起数据申请流程，该申请流程将推送至数据提供者侧，由数据提供者决定是否将该数据提供给数据申请者。

如图3所示数据交换流程图，数据交换模块执行步骤包括：

数据交换底层使用kafka作为数据交换通道，当数据提供方同时数据使用者的申请，数据提供方便将数据保存至kafka指定的topic中，同时，将保存数据的topic信息告知与数据申请者，数据申请者在指的topic中获取数据。

根据一个或者多个实施例，如图4所示基于流式的数据交换系统架构包括，UI模块、数据编目模块、审批模块、基于kafka集群的数据交互模块、消息分发组件和业务数据库。

根据一个或者多个实施例，如图5所示数据交换系统业务逻辑流程图，数据交换系统业务逻辑包括步骤：

步骤1、管理员将已有数据生成数据资源编目，按照数据类别，组织编目结构；

步骤2、数据提供者将已有的数据生成编目资源，将资源挂在至指定的编目树节点下；

步骤3、数据申请者在编目中寻找资源，对资源发起申请流程；

步骤4、数据提供者数据提供者接收审批流程，并将数据写入kafka指定topic；

步骤5、数据申请者接收到数据的信息，到kafka指定的topic获取数据。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (2)

1.一种数据交换系统，其特征在于，包括，

已有数据展示模块，由数据管理员创建已有数据的目录树，并根据数据实际分类情况，在数据目录树中按照分类信息创建不同的树枝干，数据提供者将已有数据的元数据信息，根据不同的分类挂载至数据目录树不同的节点，将数据以数据目录树的形式展现出来；

数据申请模块，当数据使用者通过目录树寻找到自己需要的数据时，发起数据申请流程，该申请流程将推送至数据提供者侧，由数据提供者决定是否将该数据提供给数据申请者；

数据交换模块，使用kafka作为数据交换通道，当数据提供方同时数据使用者的申请，数据提供方便将数据保存至kafka指定的topic中，同时，将保存数据的topic信息告知与数据申请者，数据申请者在指的topic中获取数据，

所述数据交换系统，还包括UI模块、数据编目模块、审批模块，还包括消息分发组件和业务数据库，

所述系统的数据交换过程包括：

步骤1、管理员将已有数据生成数据资源编目，按照数据类别，组织编目结构；

步骤2、数据提供者将已有的数据生成编目资源，将资源挂在至指定的编目树节点下；

步骤3、数据申请者在编目中寻找资源，对资源发起申请流程；

步骤4、数据提供者数据提供者接收审批流程，并将数据写入kafka指定topic；

步骤5、数据申请者接收到数据的信息，到kafka指定的topic获取数据。

2.一种数据交换平台，其特征在于，所述平台包括服务器，服务器具有存储器，包括如权利要求1所述的数据交换系统，以及

耦合到所述存储器的处理器，该处理器被配置为执行存储在所述存储器中的指令，所述处理器执行以下操作：

步骤1、管理员将已有数据生成数据资源编目，按照数据类别，组织编目结构；

步骤2、数据提供者将已有的数据生成编目资源，将资源挂在至指定的编目树节点下；

步骤3、数据申请者在编目中寻找资源，对资源发起申请流程；

步骤4、数据提供者数据提供者接收审批流程，并将数据写入kafka指定topic；

步骤5、数据申请者接收到数据的信息，到kafka指定的topic获取数据。