CN116501803A - 基于数据通道的数据流通系统、方法和存储介质 - Google Patents

Abstract

本发明公开了一种基于数据通道的数据流通系统、数据流通通道构建方法、数据流通方法和存储介质。数据流通系统包括数据供给方、数据平台和多个数据需求方；数据平台构建有分别对应于多个数据流通边界类别的多个数据通道，每个数据通道配置有多个通道插件；数据供给方将可共享的数据上传到数据平台，若数据需求方提出数据流通需求，数据平台则根据数据需求方与数据供给方确定这两者之间的数据流通所属的数据流通边界类别，根据该数据流通边界类别选取数据通道，通过该数据通道的多个通道插件对所需流通的数据进行合规处理，把经过合规处理的数据传输给该数据需求方。该系统实现了数据流通的自动化处理，提高数据流通效率。

Description

基于数据通道的数据流通系统、方法和存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于数据通道的数据流通系统、方法和存储介质。

背景技术

随着数字经济的发展，数据已然成为一种生产要素，在企业运营中起到重要作用。许多企业在日常运营过程中存在与多方进行数据流通的需求。企业数据可能会涉及到企业内部敏感数据，此外，大多数数据是基于大量的用户信息收集起来的，其中可能存在涉及到法律法规所规定的敏感数据，因此，进行数据流通之前，企业需要对所要流通的数据进行合规处理，对其中的不合规数据进行数据过滤、加密脱敏等数据处理措施，使其变为合规，方能进行数据流通。企业进行数据流通的方式是：建设数据平台，将企业内部的大量数据汇集到数据平台，企业某部门如果需要把一些数据流通给某方人员（数据需求方），就向数据平台发起数据流通请求，数据平台根据数据流通请求生成数据流通工单派发给运维人员进行处理。运维人员接收到数据流通工单，就人工分析确定该工单的数据需求方与数据供给方之间的关系，基于运维经验，根据数据需求方与数据供给方的关系，手动为该工单所请求流通的数据选取对应的合规规则，让数据平台按照运维人员所选取的合规规则对该数据进行合规处理，待数据通过合规处理后就将其提供给数据需求方。这种数据流通方式需要依靠运维人员人为分析选取对应的合规规则对数据进行合规处理，操作麻烦。

发明内容

本发明所要解决的技术问题是如何实现数据流通自动化处理，提高数据流通效率，保障数据合规安全地流通。

为了解决上述技术问题，本发明提供了一种基于数据通道的多方参与的数据流通系统，包括数据供给方、数据平台和多个数据需求方。

数据平台构建有分别对应于多个数据流通边界类别的多个数据通道，所述多个数据流通边界类别是预先根据以下两种分类方式当中的至少一种进行分类得出的：第一种分类方式是根据数据供给方与数据需求方之间的主体关系和地域关系进行分类，第二种分类方式是根据所需流通的数据的特性及其应用场景进行分类；每个数据通道配置有多个通道插件，该多个通道插件分别用于按照本数据通道所属数据流通边界类别所对应的多个合规规则对数据进行合规处理。

数据供给方将可共享的数据上传到数据平台，若数据需求方提出数据流通需求，数据平台则执行数据流通步骤：根据数据需求方与数据供给方确定这两者之间的数据流通所属的数据流通边界类别，根据该数据流通边界类别选取数据通道，通过该数据通道的多个通道插件对所需流通的数据进行合规处理，把经过合规处理的数据传输给该数据需求方。

进一步地，每个数据通道中的通道插件包括多源数据关联插件、数据清洗插件、数据转换插件、数据加密/脱敏插件、数据挖掘插件这几个当中的多个。

进一步地，数据平台包括底层区块链，所述数据通道具体是在底层区块链上，数据平台通过底层区块链来执行数据流通步骤。数据平台根据数据供给方与数据需求方之间的数据流通过程生成操作日志，并把操作日志存储到区块链中以供日后查询追溯数据流通操作日志。所有操作和数据流转均基于底层区块链，保障数据流通相关操作不可篡改、可信。

进一步地，所述多个数据流通边界类别是预先根据所述两种分类方式进行分类得出的；所述数据流通边界类别包括但不限于：企业内部边界、集团边界、合作伙伴边界、要素市场边界、跨境边界和物联网边界，其中，企业内部边界、集团边界、合作伙伴边界、要素市场边界、跨境边界是按照第一种分类方式进行分类得出的，物联网边界是按照第二种分类方式进行分类得出的。

进一步地，数据平台接受用户定义所述数据流通边界类别及其所对应的合规规则。

本发明还提供了一种数据流通通道构建方法，包括以下步骤：

A.获得多个数据流通边界类别信息以及每个数据流通边界类别所对应的多个合规规则；

B.对每个合规规则，生成与该合规规则对应的通道插件，用以采用该合规规则对数据执行合规处理；

C.为每个数据流通边界类别构建对应的数据通道；

D.对每个数据通道，根据其所属的数据流通边界类别所对应的多个合规规则，从全部通道插件当中取出所对应的多个通道插件并配置给该数据通道。

进一步地，步骤A中，具体是接受用户输入多个数据流通边界类别信息从而获得多个数据流通边界类别信息，且接受用户为每个数据流通边界类别配置其所对应的多个合规规则从而获得各个数据流通边界类别所对应的多个合规规则。

本发明还提供了一种基于数据通道的数据流通方法，包括以下步骤：

R.接收数据流通请求；

S.根据数据流通请求中所要求流通的数据确定该数据所属的数据供给方信息，根据该数据流通请求的数据需求方信息以及上述数据供给方信息，确定两者之间的数据流通所对应的数据通道；

T.提取该数据流通请求所要求流通的数据，通过上述数据通道的通道插件对该数据进行合规处理，把经过合规处理的数据传输给数据需求方。

进一步地，步骤S中，具体是通过确定数据需求方和数据供给方之间的数据流通所对应的数据流通边界类别，根该数据流通边界类别确定所对应的数据通道。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，数据平台执行该计算机程序从而实现如上所述的数据流通通道构建方法，或者实现如上所述的基于数据通道的数据流通方法。

本发明在数据平台为每个数据流通边界类别构建对应的数据通道，数据通道中配置有多个通道插件用以分别按照该数据流通边界类别所对应的多个合规规则对数据进行合规处理。数据平台若需把数据供给方的数据传输给数据需求方，则根据数据需求方与数据供给方自动确定两者之间的数据流通所属的数据流通边界类别，据此选取对应的数据通道，通过该数据通道的多个通道插件对所需流通的数据进行合规处理，然后把数据传输给该数据需求方。本发明实现了数据流通全自动化处理，无需运维人员人为操作，方便快捷，较好地提高了数据流通效率，并且通过数据通道插件对数据进行合规处理，保障数据安全合规地流通。

附图说明

图1是本发明提供的基于数据通道的数据流通系统的结构框图。

图2是本发明提供的数据流通通道构建方法的流程示意图。

图3是本发明提供的基于数据通道的数据流通方法的流程示意图。

具体实施方式

以下结合具体实施方式对本发明创造作进一步详细说明。

基于数据通道的数据流通系统如图1所示，包括数据供给方、数据平台和多个数据需求方。数据平台包括处理器和计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，数据平台的处理器执行该计算机程序从而实现如图2所示的数据流通通道构建方法以及如图3所示的基于数据通道的数据流通方法。下文描述数据平台执行这两个方法的具体过程。

现有的数据流通方式，数据平台接收到数据流通请求后需要生成数据流通工单派发给运维人员，由运维人员手动为每个数据流通工单配置合规规则对数据进行合规处理，之后才能把数据传输给数据需求方，数据流通过程需要运维人员手动操作，比较麻烦，数据流通效率较低。为此，本实施例提出以下发明思路：借鉴成熟的供应链管理方法，把数据供给方与每个数据需求方之间的数据流通线路视作一条供应链，通过数据平台作为桥梁来构建数据供给方与各类型的数据需求方之间的可信的数据流通通道，在每个数据流通通道中预置数据供给方与本通道所对应的数据需求方类型之间进行数据流通时对数据执行合规处理所需的合规规则，这样就形成了多条供应链（一个数据流通通道视作一条供应链）。数据平台在接收到数据流通请求后只需从这些数据流通通道当中选出对应的数据流通通道对数据进行合规处理即可把数据传输给数据需求方，实现数据供给方与数据需求方之间的数据流通，无需运维人员操作。

基于上述发明思路，首先，技术人员梳理出企业发生数据流通时可能涉及到的多种数据流通对象类型，以一种数据流通对象类型作为一个数据节点，在数据平台中手动定义出企业数据流通可能涉及的各个数据节点。数据平台检测到有新数据节点时，就以企业自身作为数据根节点，使用连接线把数据根节点分别连接各个数据节点，如此就构建得到企业数据网络。其次，企业与属于不同的数据流通对象类型的数据流通主体进行数据流通时，对脱敏、加密、流通速度的要求通常有所不同。技术人员根据各种数据流通对象类型与企业之间的主体关系和地域关系以及根据所需流通的数据的特性及其应用场景，定义多个不同的数据流通边界类别（输入了多个数据流通边界类别信息），然后把各个数据节点归类到对应的数据流通边界类别中。数据流通边界类别包括但不限于：企业内部边界、集团边界、合作伙伴边界、要素市场边界、跨境边界和物联网边界，其中企业内部边界、集团边界、合作伙伴边界、要素市场边界和跨境边界是根据各种数据流通对象类型与企业之间的主体关系和地域关系定义得出的；物联网边界是根据所需流通的数据的特性及其应用场景定义得出的。

定义好数据流通边界类别后，技术人员就给每个数据流通边界类别设置在该数据流通边界内进行数据流通时对数据进行合规处理所需的合规规则，并上传到数据平台。数据平台获得各个合规规则后，根据每个合规规则以及预置的插件配置模板自动为每个合规规则生成其所对应的通道插件，通道插件可按照对应的合规规则对数据执行合规处理。本实施通过预置的插件配置模板来自动生成各个合规规则所对应的通道插件，非优选地，其他实施例可以改为由技术人员在数据平台上手动根据每个合规规则通过计算机代码来来编程成对应的通道插件。数据平台包括底层区块链，生成通道插件之后，数据平台就在底层区块链上为每个数据流通边界类别构建对应的数据通道，例如，为集团边界构建联合查询通道，为合作伙伴边界构建敏感数据通道，为要素市场边界构建数据服务通道，跨境边界构建跨境数据通道，为物联网边界构建实时数据通道等等。数据平台对每个数据通道，根据其所属的数据流通边界类别所对应的多个合规规则，从全部通道插件当中取出所对应的多个通道插件并配置给该数据通道。每个数据通道中的通道插件包括多源数据关联插件、数据清洗插件、数据转换插件、数据加密/脱敏插件、数据挖掘插件这几个当中的多个。数据通道中的通道插件数量可以动态扩展，例如某个数据流通边界内进行数据流通除了要对数据进行多源数据关联、数据清洗、数据转换、数据加密/脱敏、数据挖掘这些处理以外，还需增加新的合规规则处理要求，那么就可以在数据平台上为该数据流通边界类别所对应的数据通道配置新的合规规则。数据平台接收到新的合规规则配置指令后，就自动生成该新的合规规则所对应的通道插件，然后把该通道插件配置给该数据通道，如此就实现了数据通道的通道插件动态扩展。如果某个数据通道所需扩展的通道插件在数据平台上已有（其他数据通道有使用），那么就可以直接从数据平台上已有的通道插件当中选取对应的通道插件配置给这个数据通道。数据通道内的各个通道插件按照次序依次流式对接，每个通道插件处理好的数据以数据流的形式传输到下一个通道插件，实现数据流在数据通道中的多个通道插件之间的无链流转。

构建好各个数据流通边界类别所对应的数据通道之后，数据平台就可以自动实现数据流通了，具体如下：

技术人员通过计算机代码编程实现数据平台客户端。数据供给方在其电脑上安装数据平台客户端，运行客户端登录数据平台，然后把自身可共享的数据上传到数据平台。数据平台接收数据后，根据所接收的数据供给方的数据生成供给日志，并将该供给日志存储到区块链上。数据需求方也按照上述数据平台客户端，数据需求方若需要获取数据，则通过数据平台客户端登录数据平台，查看平台上的共享数据目录，从中选取自己所需的数据，据此发起数据流通请求。

数据平台如果接收到数据流通请求，就通过底层区块链的智能合约执行如下数据流通步骤：根据数据流通请求中所要求流通的数据确定其所属的数据供给方信息，然后根据该数据流通请求的数据需求方信息以及上述数据供给方信息，确定两者之间的数据流通所对应的数据流通边界类别，进而根据数据流通边界类别确定所对应的数据通道。数据平台确定对应的数据通道之后，就从数据仓库中提取该数据流通请求所要求流通的数据，通过上述数据通道的通道插件对该数据进行合规处理，例如进行关联、清洗、转换、加密/脱敏、挖掘等合规处理，把经过合规处理的数据传输给数据需求方。在把数据传输给数据需求方后，数据平台根据数据供给方与数据需求方之间所流通的数据生成流通日志，并将该流通日志存储到区块链上。在数据需求方接收完数据后，数据平台根据数据需求方所接收的数据生成接收日志，并将该接收日志存储到区块链上。本实施例数据平台根据数据流通过程生成相应的操作日志存储到区块链中，保证数据流通记录不可篡改，保障数据流通的可信，便于对数据流通过程进行追溯。

本实施例考虑到，不单止数据流通供需双方的主体关系和地域关系对数据流通的各种合规要求有所不同，所要流通的数据本身的特性及应用场景也会对数据流通的各种合规要求有所不同，因此，在根据各种数据流通对象类型与企业之间（即数据流通供需双方之间）的主体关系和地域关系来定义多种数据流通边界类别之外，还根据所要流通的数据本身的特性及应用场景来定义不同的数据流通边界类别。非优选地，其他实施例可以改为只根据各种数据流通对象类型与企业之间（即数据流通供需双方之间）的主体关系和地域关系来定义不同的数据流通边界类别；或者改为只根据所要流通的数据本身的特性及应用场景来定义不同的数据流通边界类别。

如上所述仅为本发明创造的实施方式，不以此限定专利保护范围。本领域技术人员在本发明创造的基础上作出非实质性的变化或替换，仍落入专利保护范围。

Claims (10)

1.一种基于数据通道的数据流通系统，其特征是：

包括数据供给方、数据平台和多个数据需求方；

数据平台构建有分别对应于多个数据流通边界类别的多个数据通道，所述多个数据流通边界类别是预先根据以下两种分类方式当中的至少一种进行分类得出的：第一种分类方式是根据数据供给方与数据需求方之间的主体关系和地域关系进行分类，第二种分类方式是根据所需流通的数据的特性及其应用场景进行分类；每个数据通道配置有多个通道插件，该多个通道插件分别用于按照本数据通道所属数据流通边界类别所对应的多个合规规则对数据进行合规处理；

数据供给方将可共享的数据上传到数据平台，若数据需求方提出数据流通需求，数据平台则执行数据流通步骤：根据数据需求方与数据供给方确定这两者之间的数据流通所属的数据流通边界类别，根据该数据流通边界类别选取数据通道，通过该数据通道的多个通道插件对所需流通的数据进行合规处理，把经过合规处理的数据传输给该数据需求方。

2.如权利要求1所述的数据流通系统，其特征是：每个数据通道中的通道插件包括多源数据关联插件、数据清洗插件、数据转换插件、数据加密/脱敏插件、数据挖掘插件这几个当中的多个。

3.如权利要求1所述的数据流通系统，其特征是：数据平台包括底层区块链，所述数据通道具体是在底层区块链上，数据平台通过底层区块链来执行上述数据流通步骤；数据平台根据数据供给方与数据需求方之间的数据流通过程生成操作日志，并把操作日志存储到区块链中以供日后查询追溯数据流通操作日志。

4.如权利要求1所述的数据流通系统，其特征是，所述多个数据流通边界类别是预先根据所述两种分类方式进行分类得出的；所述数据流通边界类别包括但不限于：企业内部边界、集团边界、合作伙伴边界、要素市场边界、跨境边界和物联网边界，其中，企业内部边界、集团边界、合作伙伴边界、要素市场边界、跨境边界是按照第一种分类方式进行分类得出的，物联网边界是按照第二种分类方式进行分类得出的。

5.如权利要求1所述的数据流通系统，其特征是，数据平台接受用户定义所述数据流通边界类别及其所对应的合规规则。

6.一种数据流通通道构建方法，其特征是，包括以下步骤：

A.获得多个数据流通边界类别信息以及每个数据流通边界类别所对应的多个合规规则；

B.对每个合规规则，生成与该合规规则对应的通道插件，用以采用该合规规则对数据执行合规处理；

C.为每个数据流通边界类别构建对应的数据通道；

D.对每个数据通道，根据其所属的数据流通边界类别所对应的多个合规规则，从全部通道插件当中取出所对应的多个通道插件并配置给该数据通道。

7.如权利要求6所述的数据流通通道构建方法，其特征是，步骤A中，具体是接受用户输入多个数据流通边界类别信息从而获得多个数据流通边界类别信息，且接受用户为每个数据流通边界类别配置其所对应的多个合规规则从而获得各个数据流通边界类别所对应的多个合规规则。

8.一种基于数据通道的数据流通方法，其特征是，包括以下步骤：

R.接收数据流通请求；

S.根据数据流通请求中所要求流通的数据确定该数据所属的数据供给方信息，根据该数据流通请求的数据需求方信息以及上述数据供给方信息，确定两者之间的数据流通所对应的数据通道；

T.提取该数据流通请求所要求流通的数据，通过上述数据通道的通道插件对该数据进行合规处理，把经过合规处理的数据传输给数据需求方。

9.如权利要求8所述的基于数据通道的数据流通方法，其特征是，步骤S中，具体是通过确定数据需求方和数据供给方之间的数据流通所对应的数据流通边界类别，根该数据流通边界类别确定所对应的数据通道。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征是，数据平台执行该计算机程序从而实现如权利要求6或7所述的数据流通通道构建方法，或者实现如权利要求8或9所述的基于数据通道的数据流通方法。