CN109902495B - 一种数据融合方法和装置 - Google Patents

Abstract

本发明实施例提供了一种数据融合方法及装置，该方法包括：安全融合平台接收第一终端发送的数据融合任务；根据所述数据融合任务在区块链获取相对应的资源数据；将所述资源数据进行数据融合得到融合数据，并删除所述资源数据。本发明实施例通过区块链构建了安全计算环境，为数据融合提供了有效的可信证明，使得保密数据和融合处理程序可用不可见，防止了数据的泄露，降低了数据融合参与方的信任成本，提高了数据融合的效率。

Description

一种数据融合方法和装置

技术领域

本发明涉及计算机技术领域，特别是涉及一种数据融合方法和装置。

背景技术

近年来，大数据计算给科学研究、商务、工业等各个领域带来了革命性的突破，大数据的相关技术和服务也得到了长足的发展。

目前，在大数据融合计算场景下，将拥有机密资源数据参与方的机密数据进行数据融合计算时，需要共同信用的第三方机构背书，才能实现数据的传输，但这种情况下，存在当某一非数据所有方获取第三方机构背书即可获取非其所有的机密资源数据的风险。因此，如何避免多方机密资源数据在进行数据融合过程中不被非数据所有方获取是本行业亟需解决的问题。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据融合方法和相应的一种数据融合装置。

为了解决上述问题，本发明实施例第一方面公开了一种数据融合方法，所述方法包括：

安全融合平台接收第一终端发送的数据融合任务；

根据所述数据融合任务在区块链获取相对应的资源数据；

将所述资源数据进行数据融合得到融合数据，并删除所述资源数据。

优选的，所述根据所述数据融合任务在区块链获取相对应的资源数据，包括：

根据所述数据融合任务获取相对应的数据指纹；

根据所述数据指纹在所述区块链查询相对应的加密资源数据、第二终端；

从所述区块链获取所述加密资源数据；

从所述第二终端获取解密密钥；

采用所述解密密钥对所述加密资源数据进行解密得到资源数据。

优选的，所述从所述区块链获取所述加密资源数据，包括：

根据所述数据指纹在所述区块链验证所述加密资源数据是否被变更；

若所述加密资源数据未被变更，从所述区块链获取所述加密资源数据；

若所述加密资源数据已变更，停止所述获取。

优选的，所述将所述资源数据进行数据融合得到融合数据，并删除所述资源数据，包括：

从所述区块链获取融合处理程序；

利用所述融合处理程序将所述资源数据进行数据融合得到所述融合数据；

删除所述资源数据。

优选的，所述将所述资源数据进行数据融合得到融合数据，并从所述区块链获取所述资源数据的步骤之后，还包括：

接收所述第一终端发送的融合数据获取请求；

根据所述融合数据获取请求向所述第一终端发送所述融合数据，并在所述区块链生成记录信息。

本发明实施例第二方面公开了一种数据融合装置，所述装置包括：

接收模块，用于安全融合平台接收第一终端发送的数据融合任务；

获取模块，用于根据所述数据融合任务在区块链获取相对应的资源数据；

融合模块，用于将所述资源数据进行数据融合得到融合数据，并删除所述资源数据。

优选的，所述获取模块，包括：

第一查询子模块，用于根据所述数据融合任务获取相对应的数据指纹；

第二查询子模块，用于根据所述数据指纹在所述区块链查询相对应的加密资源数据、第二终端；

获取子模块，用于从所述区块链获取所述加密资源数据；

密钥获取子模块，用于从所述第二终端获取解密密钥；

解密子模块，用于采用所述解密密钥对所述加密资源数据进行解密得到资源数据。

优选的，所述获取子模块，包括：

验证单元，用于根据所述数据指纹在所述区块链验证所述加密资源数据是否被变更；

获取单元，用于若所述加密资源数据未被变更，从所述区块链获取所述加密资源数据；

停止单元，用于若所述加密资源数据已变更，停止所述获取。

优选的，所述融合模块，包括：

程序获取子模块，用于从所述区块链获取融合处理程序；

融合子模块，用于利用所述融合处理程序将所述资源数据进行数据融合得到所述融合数据；

删除子模块，用于删除所述资源数据。

优选的，还包括：

请求接收模块，用于接收所述第一终端发送的融合数据获取请求；

发送模块，用于根据所述融合数据获取请求向所述第一终端发送所述融合数据，并在所述区块链生成记录信息。

本发明实施例包括以下优点：

本发明实施例提供了一种数据融合方法和装置，该方法包括：安全融合平台接收第一终端发送的数据融合任务；根据所述数据融合任务在区块链获取相对应的资源数据；将所述资源数据进行数据融合得到融合数据，并删除所述资源数据。本发明实施例通过区块链构建了安全计算环境，为数据融合提供了有效的可信证明，使得保密数据和融合处理程序可用不可见，防止了数据的泄露，降低了数据融合参与方的信任成本，提高了数据融合的效率。

附图说明

图1是本发明的一种数据融合方法的步骤流程图；

图2是本发明的另一种数据融合方法的步骤流程图；

图3是本发明的另一种数据融合方法的资源获取方法的步骤流程图；

图4是本发明的另一种数据融合方法的资源验证方法的步骤流程图；

图5是本发明的另一种数据融合方法的程序获取方法的步骤流程图；

图6是本发明的一种数据融合装置的结构框图；

图7是本发明的另一种数据融合装置的结构框图；

图8是本发明的另一种数据融合装置的获取模块的结构框图；

图9是本发明的另一种数据融合装置的获取子模块的结构框图；

图10是本发明的另一种数据融合装置的融合模块的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例一

参照图1，示出了本发明的一种数据融合方法实施例的步骤流程图，该方法具体可以包括如下步骤：

步骤101，安全融合平台接收第一终端发送的数据融合任务。

在本发明实施例中，所述数据融合任务是所述第一终端在需要获取融合数据时，基于实际需要进行配置得到的，其中，所述数据融合任务包括用于查询的多个资源数据的标识信息以及用于确定融合参数的融合配置信息。所述安全融合平台是技术人员为实现本发明实施例在搭建的隔离部署环境中设置的专用于数据融合的服务器。所述第一终端是与所述安全融合平台进行相互通信的具有数据融合业务需求的数据提供端，所述数据融合平台连接有多个数据提供端，所述数据提供端不仅可以向所述数据融合平台上传资源数据，也可以向所述安全融合平台发送数据融合任务以请求执行数据融合操作。所述安全融合平台接收所述第一终端基于自身业务需求发送的数据融合任务。

步骤102，根据所述数据融合任务在区块链获取相对应的资源数据。

在本发明实施例中，所述区块链可以是基于Hyperleder Fabric(超级账本)实现的联盟链。所述区块链是基于IPFS(Inter Planetary File System星际文件系统)，可以实现数据的去中心化存储。所述区块链用于存储所述数据提供端上传的资源数据及所述资源数据相对应的数据指纹，所述数据提供端也可通过所述数据指纹查询和验证所述资源数据。

数据融合平台在接收到所述第一终端发送的数据融合任务后，可以根据所述数据融合任务包含的数据标识检索查询所述数据指纹相对应的所述资源数据。由于所述资源数据是存储在区块链，只有所述资源数据的标识暴露在外，因此非数据所有方无法通过内容获取所述资源数据。所述数据提供端也可以通过对所述资源数据进行脱敏及加密，进一步保证非数据所有方及未授权方无法在未经许可的情况下，获取完整的所述资源数据。

步骤103，将所述资源数据进行数据融合得到融合数据，并删除所述资源数据。

在本发明实施例中，数据融合平台在获取多个资源数据后，可以通过所述数据融合平台本地存储的融合处理程序对所述资源数据进行融合，为了确保多方提供的资源数据在本地存储导致非数据所有方获取，在完成数据融合后将所述资源数据删除，并且降低所述数据融合平台的存储压力。

本发明实施例提供了一种数据融合方法及装置，该方法包括：安全融合平台接收第一终端发送的数据融合任务；根据所述数据融合任务在区块链获取相对应的资源数据；将所述资源数据进行数据融合得到融合数据，并删除所述资源数据。本发明实施例通过区块链构建了安全计算环境，为数据融合提供了有效的可信证明，使得保密数据和融合处理程序可用不可见，防止了数据的泄露，降低了数据融合参与方的信任成本，提高了数据融合的效率。

实施例二

参照图2，示出了本发明的另一种数据融合方法实施例的步骤流程图，该方法具体可以包括如下步骤：

步骤201，安全融合平台接收第一终端发送的数据融合任务。

步骤201参照步骤101，此处不再复述。

步骤202，根据所述数据融合任务在区块链获取相对应的资源数据。

步骤202参照步骤102，此处不再复述。

参照图3，所述步骤202可以包括：

步骤2021，根据所述数据融合任务获取相对应的数据指纹。

在本发明实施例中，所述数据指纹是所述资源数据对应的哈希值。所述数据融合任务中包含有需要进行数据融合的资源数据的标识符，根据所述标识符检索查询向对应的数据指纹。

步骤2022，根据所述数据指纹在所述区块链查询相对应的加密资源数据、第二终端。

在本发明实施例中，所述第二终端为所述加密资源数据的数据提供端。根据所述加密资源数据的数据指纹在所述区块链即可查询所述加密资源数据，并获取所述加密资源数据的数据提供端地址。所述第一终端可通过数据融合平台向所述第二终端请求授权。通过基于区块链的数据指纹查询所述加密资源数据和第二终端，可以保证所述加密资源数据的内容信息不会暴露在外部，直接通过不包含有任何内容信息的数据指纹进行查询。

步骤2023，从所述区块链获取所述加密资源数据。

参照图4，所述步骤2023可以包括：

步骤20231，根据所述数据指纹在所述区块链验证所述加密资源数据是否被变更。

在本发明实施例中，为了保障所述数据融合任务得到的融合结果是安全可靠的，在获取所述加密资源数据前，需要对所述加密资源数据进行验证。由于所述数据指纹与所述加密资源数据是一一对应的，且数据对应的哈希值是唯一的，可通过验证所述加密资源数据的数据指纹中的哈希值是否变更，以判断所述加密资源数据是否被更改。

步骤20232，若所述加密资源数据未被变更，从所述区块链加载获取所述加密资源数据。

在本发明实施例中，在所述加密资源数据未被变更的情况下，获取所述加密资源数据，继续数据融合的后续步骤。

步骤20233，若所述加密资源数据已变更，停止所述获取。

在本发明实施例中，如果发现所述加密资源数据已被更改，则停止获取所述加密资源数据，并向所述第一终端返回错误停止信息。

步骤2024，从所述第二终端获取解密密钥。

在本发明实施例中，在获取所述加密资源数据后，需要对所述加密资源数据进行解密，以获取用于数据融合的资源数据，这就需要向所述第二终端发送授权请求，以护获取所述加密资源数据的解密密钥，所述解密密钥是所述第二终端在向所述区块链上传所述加密资源数据前对所述资源数据进行加密的私钥，并由所述第二终端保管。通过区块链存储加密资源数据，所述第二终端保管解密密钥的方式，可以进一步保证所述资源数据不会被非数据所有方非法获取。

步骤2025，采用所述解密密钥对所述加密资源数据进行解密得到所述资源数据。

在本发明实施例中，数据融合平台在获取所述第二终端的授权后，即可获取所述加密资源数据对应的解密密钥，对所述加密资源数据进行解密得到所述资源数据。

步骤203，将所述资源数据进行数据融合得到融合数据，并删除所述资源数据。

步骤203参照步骤103，此处不再复述。

参照图5，所述步骤203可以包括：

步骤2031，从所述区块链获取融合处理程序。

在本发明实施例中，所述融合处理程序用于对所述资源数据进行数据融合。在获取所述资源数据后，可根据业务需求从所述区块链动态获取所述融合处理程序对所述资源数据进行数据融合。将所述融合处理程序存储在区块链，在使用时加载的方式，可以将存储融合处理程序的任务分摊给所述区块链上的各个节点，减轻所述数据融合平台的存储压力。

步骤2032，利用所述融合处理程序将所述资源数据进行数据融合得到所述融合数据。

在本发明实施例中，在利用所述融合处理程序进行数据融合得到所述融合数据后，可将所述融合数据输出至专门的公共信用位置进行存储，以减轻所述数据融合平台的存储压力。

步骤2033，删除所述资源数据。

步骤204，接收所述第一终端发送的融合数据获取请求。

在本发明实施例中，完成所述数据融合任务后，所述第一终端可通过向所述数据融合平台发送融合数据获取请求以获取所述融合数据。

步骤205，根据所述数据获取请求向所述第一终端发送所述融合数据，并在所述区块链生成记录信息。

在本发明实施例中，数据融合平台根据所述融合数据获取请求，从存储系统中提取向对应的融合数据，可通过基于Docker(开源的应用容器引擎)容器将所述融合数发送给所述第一终端，实现融合数据即用即取，用完销毁。并在发送后在所述区块链生成记录信息，所述记录信息可用于审核。

本发明实施例提供了一种数据融合方法，该方法包括：安全融合平台接收第一终端发送的数据融合任务；根据所述数据融合任务在区块链获取相对应的资源数据；将所述资源数据进行数据融合得到融合数据，并删除所述资源数据。本发明实施例通过区块链构建了安全计算环境，为数据融合提供了有效的可信证明，使得保密数据和融合处理程序可用不可见，防止了数据的泄露，降低了数据融合参与方的信任成本，提高了数据融合的效率。

实施例三

参照图6，示出了本发明的一种数据融合装置30实施例的结构框图，具体可以包括如下模块：

接收模块301，用于安全融合平台接收第一终端发送的数据融合任务。

获取模块302，用于根据所述数据融合任务在区块链获取相对应的资源数据。

融合模块303，用于将所述资源数据进行数据融合得到融合数据。并删除所述资源数据。

本发明实施例提供了一种数据融合装置，该装置包括：接收模块，用于安全融合平台接收第一终端发送的数据融合任务。获取模块，用于根据所述数据融合任务在区块链获取相对应的资源数据。融合模块，用于将所述资源数据进行数据融合得到融合数据。并删除所述资源数据。本发明实施例通过区块链构建了安全计算环境，为数据融合提供了有效的可信证明，使得保密数据和融合处理程序可用不可见，防止了数据的泄露，降低了数据融合参与方的信任成本，提高了数据融合的效率。

实施例四

参照图7，示出了本发明的另一种数据融合装置40实施例的结构框图，具体可以包括如下模块：

接收模块401，用于安全融合平台接收第一终端发送的数据融合任务。

获取模块402，用于根据所述数据融合任务在区块链获取相对应的资源数据。

参照图8，所述获取模块402可以包括：

第一查询子模块4021，用于根据所述数据融合任务获取相对应的数据指纹。

第二查询子模块4022，用于根据所述数据指纹在所述区块链查询相对应的加密资源数据、第二终端。

获取子模块4023，用于从所述区块链获取所述加密资源数据。

参照图9，所述获取子模块4023可以包括：

验证单元40231，用于根据所述数据指纹在所述区块链验证所述加密资源数据是否被变更。

获取单元40232，用于若所述加密资源数据未被变更，从所述区块链获取所述加密资源数据。

停止单元40233，用于若所述加密资源数据已变更，停止所述获取。

密钥获取子模块4024，用于从所述第二终端获取解密密钥。

解密子模块4025，用于采用所述解密密钥对所述加密资源数据进行解密得到资源数据。

融合模块403，用于将所述资源数据进行数据融合得到融合数据。并删除所述资源数据。

参照图10，所述融合模块403可以包括：

程序获取子模块4031，用于从所述区块链获取融合处理程序。

融合子模块4032，用于利用所述融合处理程序将所述资源数据进行数据融合得到所述融合数据。

删除子模块4033，用于删除所述资源数据。

请求接收模块404，用于接收所述第一终端发送的融合数据获取请求。

发送模块405，用于根据所述融合数据获取请求向所述第一终端发送所述融合数据，并在所述区块链生成记录信息。

本发明实施例提供了一种数据融合装置，该装置包括：接收模块，用于安全融合平台接收第一终端发送的数据融合任务。获取模块，用于根据所述数据融合任务在区块链获取相对应的资源数据。融合模块，用于将所述资源数据进行数据融合得到融合数据。并删除所述资源数据。本发明实施例通过区块链构建了安全计算环境，为数据融合提供了有效的可信证明，使得保密数据和融合处理程序可用不可见，防止了数据的泄露，降低了数据融合参与方的信任成本，提高了数据融合的效率。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或流程和/或方框图一个方框或方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或流程和/或方框图一个方框或方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或流程和/或方框图一个方框或方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种数据融合方法和一种数据融合装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种数据融合方法，其特征在于，所述方法包括：

安全融合平台接收第一终端发送的数据融合任务；所述第一终端为与所述安全融合平台进行相互通信的数据提供端；所述数据提供端还用于向所述安全融合平台上传资源数据；

根据所述数据融合任务在区块链获取相对应的资源数据；

将所述资源数据进行数据融合得到融合数据，并删除所述在区块链获取的资源数据；

所述根据所述数据融合任务在区块链获取相对应的资源数据，包括：

根据所述数据融合任务获取相对应的数据指纹；所述数据指纹通过查询所述数据融合任务中包含的所述资源数据的标识符获取；

根据所述数据指纹在所述区块链查询相对应的加密资源数据、第二终端地址；

从所述区块链获取所述加密资源数据；

从所述第二终端获取解密密钥；

采用所述解密密钥对所述加密资源数据进行解密得到资源数据；

所述将所述资源数据进行数据融合得到融合数据，并删除所述在区块链获取的资源数据，包括：

从所述区块链获取融合处理程序；

利用所述融合处理程序将所述资源数据进行数据融合得到所述融合数据；

删除所述在区块链获取的资源数据。

2.根据权利要求1所述的方法，其特征在于，所述从所述区块链获取所述加密资源数据，包括：

根据所述数据指纹在所述区块链验证所述加密资源数据是否被变更；

若所述加密资源数据未被变更，从所述区块链获取所述加密资源数据；

若所述加密资源数据已变更，停止所述获取。

3.根据权利要求1所述的方法，其特征在于，所述将所述资源数据进行数据融合得到融合数据的步骤之后，还包括：

接收所述第一终端发送的融合数据获取请求；

根据所述融合数据获取请求向所述第一终端发送所述融合数据，并在所述区块链生成记录信息。

4.一种数据融合装置，其特征在于，所述装置包括：

接收模块，用于安全融合平台接收第一终端发送的数据融合任务；所述第一终端为与所述安全融合平台进行相互通信的数据提供端；所述数据提供端还用于向所述安全融合平台上传资源数据；

获取模块，用于根据所述数据融合任务在区块链获取相对应的资源数据；

融合模块，用于将所述资源数据进行数据融合得到融合数据，并删除所述在区块链获取的资源数据；

所述获取模块，包括：

第一查询子模块，用于根据所述数据融合任务获取相对应的数据指纹；所述数据指纹通过查询所述数据融合任务中包含的所述资源数据的标识符获取；

第二查询子模块，用于根据所述数据指纹在所述区块链查询相对应的加密资源数据、第二终端地址；

获取子模块，用于从所述区块链获取所述加密资源数据；

密钥获取子模块，用于从所述第二终端获取解密密钥；

解密子模块，用于采用所述解密密钥对所述加密资源数据进行解密得到资源数据；

所述融合模块，包括：

程序获取子模块，用于从所述区块链获取融合处理程序；

融合子模块，用于利用所述融合处理程序将所述资源数据进行数据融合得到所述融合数据；

删除子模块，用于删除所述在区块链获取的资源数据。

5.根据权利要求4所述的装置，其特征在于，所述获取子模块，包括：

验证单元，用于根据所述数据指纹在所述区块链验证所述加密资源数据是否被变更；

获取单元，用于若所述加密资源数据未被变更，从所述区块链获取所述加密资源数据；

停止单元，用于若所述加密资源数据已变更，停止所述获取。

6.根据权利要求4所述的装置，其特征在于，还包括：

请求接收模块，用于接收所述第一终端发送的融合数据获取请求；

发送模块，用于根据所述融合数据获取请求向所述第一终端发送所述融合数据，并在所述区块链生成记录信息。

Images