CN112073175A - 数据处理方法、装置、系统及电子设备 - Google Patents

数据处理方法、装置、系统及电子设备 Download PDF

Info

Publication number
CN112073175A
CN112073175A CN201910502359.1A CN201910502359A CN112073175A CN 112073175 A CN112073175 A CN 112073175A CN 201910502359 A CN201910502359 A CN 201910502359A CN 112073175 A CN112073175 A CN 112073175A
Authority
CN
China
Prior art keywords
data
encrypted data
fusion
service node
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910502359.1A
Other languages
English (en)
Other versions
CN112073175B (zh
Inventor
贺志成
陈建刚
崔顾荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910502359.1A priority Critical patent/CN112073175B/zh
Publication of CN112073175A publication Critical patent/CN112073175A/zh
Application granted granted Critical
Publication of CN112073175B publication Critical patent/CN112073175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/0819Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s)
    • H04L9/0822Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s) using key encryption key
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/04Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0478Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload applying multiple layers of encryption, e.g. nested tunnels or encrypting the content with a first key and then with at least a second key

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Storage Device Security (AREA)

Abstract

本发明实施例提供一种数据处理方法、装置、系统及电子设备,其中,方法包括:数据融合服务节点接收N个用户节点分别上传的加密数据和所述加密数据对应的密钥信息,所述加密数据基于待融合数据经过加密生成;所述数据融合服务节点对所述N个用户节点中任一用户节点的所述加密数据,基于其余N‑1个用户节点上传的所述密钥信息进行加密,生成二次加密数据;对所述二次加密数据进行处理,生成融合数据;将所述融合数据所对应的所述加密数据中的数据片段,发送给对应的用户节点。本发明实施例的方案,能够安全、高效地实现大数据融合计算过程。

Description

数据处理方法、装置、系统及电子设备
技术领域
本申请涉及云计算技术领域,尤其涉及一种数据处理方法、装置、系统及电子设备。
背景技术
在数字经济时代,企业迫切希望通过自身数字化转型并借助数据管理平台(DataManagement Platform,DMP),进行大数据分析和跨平台的数据融合,实现对用户、商品、场景的深入洞察,走向全领域、全流程的数字化精细运营。
传统的数据融合产品DMP在处理数据跨域融合场景时,如通过人群同步进行广告投放时,通常会将人群ID信息以明文方式同步给广告投放平台,进行人群匹配,以获取相同的人群集合进行广告投放,但该数据融合方式存在用户隐私和业务数据泄露的风险。
在系统上云的大趋势下,企业通过借助云平台的弹性计算资源以及计算和运维服务,能够在云端快速构建一方自有系统。在实施安全多方计算时,为了保证用户明细数据不出域,通常采用去中心化的私有化部署方案。对于一方系统托管在云端的企业而言,其计算资源、技术和运维能力都非常有限,难以支撑数据融合时大量数据加密计算的需要。同时由于安全多方计算的算法交互流程较为复杂,存在双方多次交换密文数据和对数据多重加密的需要。在大数据融合计算时,大量数据在系统网络间的往复传输,同时存在同一数据集重复加密的可能,其带宽利用率和融合效率均不够理想。
发明内容
本发明提供了一种数据处理方法、装置、系统及电子设备,能够安全、高效地实现大数据融合计算过程。
为达到上述目的,本发明的实施例采用如下技术方案:
第一方面,提供了一种数据处理方法,包括:
数据融合服务节点接收N个用户节点分别上传的加密数据和所述加密数据对应的密钥信息,所述加密数据基于待融合数据经过加密生成;
所述数据融合服务节点对所述N个用户节点中任一用户节点的所述加密数据,基于其余N-1个用户节点上传的所述密钥信息进行加密,生成二次加密数据;
对所述二次加密数据进行处理,生成融合数据;
将所述融合数据所对应的所述加密数据中的数据片段,发送给对应的用户节点。
第二方面,提供了一种数据处理装置,包括:
数据接收模块,用于数据融合服务节点接收N个用户节点分别上传的加密数据和所述加密数据对应的密钥信息,所述加密数据基于待融合数据经过加密生成;
数据加密模块,用于所述数据融合服务节点对所述N个用户节点中任一用户节点的所述加密数据,基于其余N-1个用户节点上传的所述密钥信息进行加密,生成二次加密数据;
数据融合模块,用于对所述二次加密数据进行处理,生成融合数据;
数据反馈模块,用于将所述融合数据所对应的所述加密数据中的数据片段,发送给对应的用户节点。
第三方面,提供了一种数据处理系统,包括:数据融合服务节点和N个用户节点;
所述用户节点,用于对待融合数据进行加密,生成加密数据,并将所述加密数据和所述加密数据对应的密钥信息上传给所述数据融合服务节点;
所述数据融合服务节点,用于对所述N个用户节点中任一用户节点的所述加密数据,基于其余N-1个用户节点上传的所述密钥信息进行加密,生成二次加密数据;对所述二次加密数据进行处理,生成融合数据;将所述融合数据所对应的所述加密数据中的数据片段,发送给对应的用户节点。
第四方面,提供了一种电子设备,包括:
存储器,用于存储程序;
处理器,耦合至所述存储器,用于执行所述程序,所述程序运行时执行本发明提供的数据处理方法。
本发明提供了一种数据处理方法、装置、系统及电子设备,通过设置数据融合服务节点,并由该数据融合服务节点接收N个用户节点分别上传的加密数据和加密数据对应的密钥信息,加密数据基于待融合数据经过加密生成;数据融合服务节点对N个用户节点中任一用户节点的加密数据,基于其余N-1个用户节点上传的密钥信息进行加密,生成二次加密数据;对二次加密数据进行处理,生成融合数据;将融合数据所对应的加密数据中的数据片段,发送给对应的用户节点。由于本方案中待融合数据均以密文的形式被同步到数据融合服务节点进行融合处理,而各用户节点仅能获取融合数据对应在本用户节点的加密数据中的数据片段,且该数据片段只能在用户节点的各自数据域中解密,以获取到多方共有的信息,完成数据融合过程,从而避免造成用户节点的业务数据或个人隐私信息在融合处理过程中被泄露,保证了数据融合过程的安全性。
另外,传统的多方安全融合计算过程中,需要各用户方进行至少两次或两次以上的大数据加密和大数据的密文交换,这对用户方在计算、存储和网络能力上都有极高要求。而本方案中,各用户方仅需要完成一次加密计算形成密文数据后将其上传到数据融合服务节点,由数据融合服务节点统一调度完成所有大数据计算和存储,能在大量用户间进行服务共享,极大的提高了资源利用率。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本发明实施例的数据处理逻辑架构图;
图2为本发明实施例的数据处理方法流程图一;
图3为本发明实施例的数据处理方法流程图二;
图4为本发明实施例的数据处理装置结构图一;
图5为本发明实施例的数据处理装置结构图二;
图6为本发明实施例的数据处理系统结构图;
图7为本发明实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例中,设置有专用于数据融合计算的数据融合服务节点,通过该数据融合服务节点接收N个用户节点分别上传的加密数据和加密数据对应的密钥信息,该加密数据基于待融合数据经过加密生成;数据融合服务节点对上述N个用户节点中任一用户节点的加密数据,基于其余N-1个用户节点上传的密钥信息进行加密,生成二次加密数据;对二次加密数据进行处理,生成融合数据;将融合数据所对应的加密数据中的数据片段,发送给对应的用户节点,从而安全、高效地实现大数据融合计算过程。本发明实施例改善了现有技术在实现多方数据融合过程中,需要各用户方在计算、存储和网络能力上都有极高要求,且交互过程中容易造成业务数据或个人隐私信息泄露的缺陷。
为了进一步保证融合计算过程的安全性,可以在云端创建一个安全数据融合区,该数据融合区与外部网络环境相对隔离,然后将上述数据融合服务节点设置在该安全数据融合区中。需要进行数据融合的用户方(用户节点)可通过专有网络(VPN)的网络专线单方向的向该数据融合服务节点同步加密数据和加密数据所对应的密钥信息,以使数据融合服务节点执行数据融合处理流程。
进一步地,上述有数据融合需求的用户节点可以将自己的数据和业务系统部署和托管在云服务端上,并且可以通过调用云服务端中的数据处理服务节点对自身的数据代为处理。
基于上述数据处理的方案思想,图1为本发明实施例的数据处理逻辑架构图,具体各模块的功能说明及处理逻辑如下。
模块的功能说明:
一.云服务端:
可为公有云、私有云或混合云等弹性计算、存储和管理的服务平台。
1.用户数据域
不同的用户将其一方数据和系统部署和托管在云服务端上,能够在其独占的租户云资源上进行数据处理和分析,每个用户数据域视为一个用户节点。
2.数据处理服务节点:
包含数据管理、MPC处理和资源管理等主要功能模块。
1)数据管理:
提供数据接入支持、数据治理和数据同步。
(1)数据接入:主要支持用户导入CSV/ZIP等格式文件,以及大数据存储空间内的数据(结构化、半结构化和非结构化数据等)。
(2)数据治理:如文件内容解析,结构化处理,数据清洗等。
(3)数据同步:如将用户节点发送的请求数据同步到安全数据融合区等。
2)MPC(Multi-Party Computation,多方联合计算)处理:
(1)密钥管理:主要包括MPC随机密钥生成及其生命周期管理,这些密钥用于对用户的待融合数据进行加密。
(2)数据加密:基于MPC加密算法对待融合数据进行大数据加密计算。
3)资源管理:
主要提供租户资源管理功能,维护多租户资源配置的映射关系,以及对云资源进行配置和管理(客户授权操作)。
(1)租户管理:维护租户列表。
(2)资源配置:配置各租户的资源使用情况,比如存储用户授权处理的待处理数据对应的链接地址、处理时间和数据段。
二.安全数据融合区:
作为数据融合计算的安全隔离区域,其具有以下特点:
通过部署在与云服务端进行网络隔离的保护区域,云服务端上的用户无法直接对其中计算和存储等资源直接进行访问。同时,通过高速网络通道(如网络专线等)打通的方式,允许云服务端中的数据处理服务节点进行安全规则允许和授权的网络通信。多方待融合的数据只能通过高速通道导入安全数据融合区,而不能导出安全数据融合区。位于云服务端的应用(如数据处理服务节点)仅能通过网关发起融合请求和查询融合结果,通过构造多方信任的安全数据融合区从而最大程度保障数据融合过程中的数据存储和计算的安全。
安全数据融合区拥有强大的大数据计算和分析能力,能够支撑融合各方的大数据融合计算需求,并且通过弹性的资源共享方式,极大提高计算和存储资源的利用率。
安全数据融合区也可以根据网络拓扑结构和融合各方的地理位置跨区域就近部署,最大程度提高网络传输效率并减少流量成本。
数据融合服务节点:
提供融合管理和MPC处理等主要功能模块。
1)融合管理
(1)查询管理:用于解析用户发起的数据融合查询请求,并基于用户输入的查询条件获取融合计算结果。
(2)计算调度:能够对融合区所有大数据计算任务统一进行调度和任务状态监控。
(3)结果汇总:根据用户查询模型,统计加密融合计算结果,并能够记录计算过程相关的摘要信息,便于计算过程合规性的审核和计算结果的缓存(缓存到计算存储),并尽可能减少重复计算。同时融合各方能主动清理或者基于特定条件来触发清除失效记录,及时回收计算和存储资源。
2)MPC处理:
主要功能包括:对融合各方密钥的管理(用户方密钥存于其公有云独占的存储空间)和基于MPC加密算法对融合各方密文数据进行大数据加密计算(二次加密)。
1)加密计算:基于融合各方密钥,对待融合的密文数据进行大数据加密。
2)密钥管理:管理各用户方使用的密钥的信息。
3)算法管理:管理不同密钥信息对应的具体算法代码。
处理流程说明
下面结合数字营销中最常见的数据融合场景—人群同步(ID Mapping),并采用基于DH(Diffie-Hellman)算法的PSI(Private Set Intersection)加密算法为例作为多方安全计算的加密算法,详细论述本方案中的数据融合的方法。
1.用户A根据业务需要,从业务数据库中筛选出需要融合的人群ID包A。
2.用户A调用数据处理服务节点中的数据接入相关接口,将人群ID包A导入到其位于云服务端中独享的大数据存储空间(用户A云资源)。
用户A在导入数据之前,需要对待导入的数据进行适配,适配过程包括:对待融合数据的筛选,形成待融合数据的最小数据集;然后授权数据处理服务节点对本次数据融合过程的相关操作进行管理和处理,并将待融合数据导入的地址授权给数据处理服务节点进行访问,数据处理服务节点中的资源管理可对本次授权业务对应的用户和处理资源进行管理、配置(缓存地址);最后,用户A将待融合数据上传到指定的地址,完成数据导入。
3.数据导入成功后,用户A调用数据处理服务节点的接口,发起数据融合请求。
4.数据处理服务节点收到用户A的数据融合请求,触发大数据计算任务,根据所约定的数据格式融合规范,对人群ID包A进行数据治理。
5.完成数据治理后,数据处理服务节点将触发大数据加密计算任务,生成随机密钥A,对待融合数据进行如PSI一次加密,生成密文人群ID包A,同时将密钥A存储于其云服务端自有存储空间中,如数据处理服务节点的MPC处理的密钥管理中。
6.数据处理服务节点通过网关向数据融合服务节点发起数据同步请求,请求将密文人群ID包A同步到融合区,并提供密钥A的授权访问地址。
7.数据融合服务节点通过融合管理中的计算调度模块触发大数据调度任务,请求将密文人群ID包A同步到融合区大数据存储空间,以备基于密文的融合计算。
8.密文人群ID包A从云服务端大数据存储空间被同步到安全数据融合区大数据存储空间。
9.数据同步成功后,数据处理服务节点会向用户B业务系统请求能够满足本次融合的最小数据集。
10.用户B系统将对本次融合请求的数据集范围和用户A的权限进行确认,通过验证后将从业务数据库筛选出需要融合的人群ID包B。
后续操作11至17与用户A的相关流程2至8对应相似。用户B最终将加密后的密文人群ID包B从云服务端大数据存储空间同步到安全融合区大数据存储空间。
18.数据融合服务节点从云服务端请求获取密文人群ID包A和密文人群ID包B加密所用的密钥信息,并存储在MPC处理的密钥管理中,同时触发大数据加密计算任务,对于密文人群ID包A和密文人群ID包B进行PSI二次加密。
19.PSI二次加密计算完成后,完成密态下人群ID的融合计算,并将数据融合结果存储于融合区的大数据空间。
20.数据融合服务节点统计融合计算结果中相等的密文人群ID个数,并将整个PSI安全求交集的二次加密计算结果和计算过程中相关摘要信息记录到数据库中。
21.用户A和用户B可通过网关向查询管理发起查询请求,获取A、B双方共有的人群ID序列编号,然后将其对应到各方的密文数据,进而对应到本地相应的明文人群ID包,以确定双方共有的人群ID,完成人群同步,以进一步针对目标人群进行相关营销活动。
如上所述,在本方案中的基于云端的安全数据融合系统中进行人群同步,人群ID包A和人群ID包B均以密文的形式被同步到安全数据融合区,并且仅在双方信任的安全数据融合区中进行加密融合计算,融合各方均无法从安全数据融合区直接获取原始人群ID数据集的明细和其他任一方的密文数据,仅能获取融合计算统计结果,且只能在各自数据域中解密出双方共有的人群ID信息,完成人群同步。
整个人群同步过程,可以发现相对于传统数据融合产品(DMP),基于密文的融合计算,不会造成传统DMP产品存在的业务数据和个人隐私信息泄露,并能够满足数据利用的最小化原则。
同时,相对于传统的多方安全计算PSI的算法流程,融合双方需要进行至少两次大数据加密和至少两次大数据的密文交换,这对其计算、存储和网络能力都有极高要求。而本方案中的数据融合处理过程中,用户A和用户B仅需要完成一次加密计算和一次与安全融合区的交互,所有大数据计算和存储均通过调用数据融合服务节点或是在融合服务中完成。数据安全融合区可对大数据相关资源进行弹性扩容和统一调度,能在大量用户间进行安全共享,极大的提高了资源利用率。另外,数据安全融合区通过高速通道与云服务端打通,可以高效的进行网络传输,极大的提高了数据交换的效率并减低了流量成本。
更进一步,安全数据融合区有能力对计算结果和中间过程进行存证,对于相同的融合请求可直接从数据库(融合管理中的计算存储)查询融合计算结果,避免重复的大数据加密计算,提高了系统响应速度并节约了大量宝贵的计算资源。同时,安全数据融合区支持用户主动发起数据清理请求,能够随时清除数据缓存并删除密钥信息,以消除其数据存在被二次销售或者数据流出后无法控制等风险。
下面通过多个实施例来进一步说明本申请的技术方案。
实施例一
基于上述数据融合的方案思想,如图2所示,其为本发明实施例示出的数据处理方法流程图一,可应用于如图1所示的数据处理逻辑架构中,该数据处理方法包括如下步骤:
S210,数据融合服务节点接收N个用户节点分别上传的加密数据和加密数据对应的密钥信息,加密数据基于待融合数据经过加密生成。
其中,数据融合服务节点可以设置在位于云端的网络隔离区,如图1中的数据安全融合区中;用户节点可部署在云服务端(作为用户节点在云服务系统的专有租赁服务平台,向用户方提供云资源)中。
数据安全融合区与云服务端之间进行网络隔离,云服务端上的用户节点无法直接对数据安全融合区中计算和存储等资源直接进行访问。数据融合服务节点位于网络隔离区,可通过专有网络单向接收N(大于1的整数)个用户节点分别上传的加密数据和该加密数据在加密时所采用的密钥信息,从而保证加密数据和密钥信息在传输过程中的安全性。
在实际应用场景中,需要进行数据融合的至少一方用户节点可设置在上述云服务端,且云服务端与数据融合服务节点之间通过专有网络进行加密数据和密钥信息的单向传输;而其他方用户节点,也可以在本地系统和云端私有系统中向数据融合服务节点同步待融合计算的加密数据。
用户节点向数据融合服务节点上传的加密数据不相同,相应的加密数据所采用的密钥信息也可以不同,比如,本方案中用户节点采用的密钥可包括:基于Diffie-Hellman、RSA、姚氏混淆电路、GMW电路中任一种的多方联合计算的加密算法。
在实际应用场景中,为了降低用户节点的处理能力和使用资源,节省用户节点在云服务端的搭建成本,可以在云服务端设置数据处理服务节点,该数据处理服务节点可以统一向云服务端上的各用户节点提供高性能服务。
例如,用户节点可以调用上述数据处理服务节点对待融合数据进行加密,生成上述加密数据;用户节点只要向数据处理服务节点配置好加密所需的密钥信息即可。
相应的,数据融合服务节点接收N个用户节点分别上传的加密数据和加密数据对应的密钥信息时,可以接收数据处理服务节点生成并通过专有网络上传的加密数据和加密数据对应的密钥信息。
S220,数据融合服务节点对N个用户节点中任一用户节点的加密数据,基于其余N-1个用户节点上传的密钥信息进行加密,生成二次加密数据。
具体地,数据融合服务节点对上述N个用户节点中任一用户节点的加密数据采用剩余用户节点的密钥信息进行二次加密,以使得每一个用户节点的原始待融合数据都经过所有用户节点所提供的密钥信息完成二次加密过程。这样处理后,如果某两个用户节点的原始待融合数据中存在相同的数据片段,那么该数据片段所对应的二次加密数据相同。而本方案的目的就是从上述N个用户节点的加密数据中,提取出共有的待融合数据。
上述生成二次加密数据的处理可采用但不局限于下面两种方法:
第一种,可参见如图3所示的处理过程,包括:
S310,数据融合服务节点确定N个用户节点上传的非重复密钥信息。
在实际应用场景中,上述N个用户节点上传的密钥信息中,可能存在相同的密钥信息(即对应的两个用户节点的加密数据采用的密钥信息相同),这时候为了减少后面二次加密的计算量,可以对这些密钥信息去重,得到非重复密钥信息。
S320,对N个用户节点中任一用户节点的加密数据,采用非重复密钥信息中除该用户节点的密钥信息以外的剩余密钥信息进行加密,并将加密生成的数据作为二次加密数据。
具体地,针对N个用户节点中任一用户节点,可先从上述非重复密钥信息中去除掉该用户节点的密钥信息,然后利用剩余的非重复密钥信息对该用户节点的加密数据进行加密,并将加密生成的数据作为上述二次加密数据。
这样处理的优势在于,当上述N个用户节点上传的密钥信息中存在大量重复密钥信息的情况下,可以大大减少非重复密钥信息的数量,从而降低二次加密过程的复杂度,提高二次加密处理效率。
第二种,是比较通用的方法,即:数据融合服务节点对上述N个用户节点中任一用户节点的加密数据,采用其余N-1个用户节点上传的密钥信息顺次进行加密,并将加密生成的数据作为二次加密数据。该处理过程逻辑简单,便于实现。
S230,对二次加密数据进行处理,生成融合数据。
其中,融合数据可以为描述各用户节点的二次加密数据中共有数据的描述数据,例如该融合数据可以是该共有数据本身,或者其部分数据。具体地,可以对二次加密数据进行取交集处理,并将得到的交集数据作为融合数据。
S240,将融合数据所对应的加密数据中的数据片段,发送给对应的用户节点。
为了方便用户节点从融合数据中解析出N个用户节点所共有的那部分待融合数据,数据融合服务节点将融合数据对应在各用户节点分别上传的加密数据中的数据片段作为反馈结果提供给相应用户节点。
比如,在图1所示数据融合逻辑中,数据融合服务节点可在各用户节点分别上传的密文数据中提取出与融合数据对应的数据ID编号,然后直接提供加密数据中的该部分数据ID编号给相应用户节点。用户节点接收到数据ID编号后,利用之前使用的密钥信息从加密数据中解析出这些数据ID编号对应的原始待融合数据即可。
进一步地,在执行本实施例上述操作的过程中,还可以包括执行如下步骤:
例如,数据融合服务节点可以接收用户节点发送的查询融合数据的请求,并执行将融合数据所对应的加密数据中的数据片段,发送给对应的用户节点的处理操作,从而使得数据融合服务节点可以基于用户节点的查询触发操作,向用户节点提供数据融合的查询服务。
在此基础上,数据融合服务节点可将融合数据对应的加密数据中的数据片段与对应用户节点的查询条件信息进行关联存证,以向对应用户节点提供融合数据的再次查询服务,从而不必通过重复执行数据融合过程就可以获取用于提供给用户的加密数据中的数据片段,提高了数据查询效率。
又例如,数据融合服务节点可接收用户节点发送的数据删除指令,并删除数据融合服务节点存储的加密数据、加密数据对应的密钥信息以及融合数据中的至少一项,从而基于用户节点的请求删除数据融合服务节点上缓存的数据,节省资源。
本发明实施例提供的数据处理方法,通过设置数据融合服务节点,并由该数据融合服务节点接收N个用户节点分别上传的加密数据和加密数据对应的密钥信息,加密数据基于待融合数据经过加密生成;数据融合服务节点对N个用户节点中任一用户节点的加密数据,基于其余N-1个用户节点上传的密钥信息进行加密,生成二次加密数据;对二次加密数据进行处理,生成融合数据;将融合数据所对应的加密数据中的数据片段,发送给对应的用户节点。由于本方案中待融合数据均以密文的形式被同步到数据融合服务节点进行融合处理,而各用户节点仅能获取融合数据对应在本用户节点的加密数据中的数据片段,且该数据片段只能在用户节点的各自数据域中解密,以获取到多方共有的信息,完成数据融合过程,从而避免造成用户节点的业务数据或个人隐私信息在融合处理过程中被泄露,保证了数据融合过程的安全性。
另外,传统的多方安全融合计算过程中,需要各用户方进行至少两次或两次以上的大数据加密和大数据的密文交换,这对用户方在计算、存储和网络能力上都有极高要求。而本方案中,各用户方仅需要完成一次加密计算形成密文数据后将其上传到数据融合服务节点,由数据融合服务节点统一调度完成所有大数据计算和存储,能在大量用户间进行服务共享,极大的提高了资源利用率。
实施例二
如图4所示,为本发明实施例的数据处理装置结构图一,该装置可设置在图1中的数据融合服务节点中,用于执行图2所示的方法步骤,其包括:
数据接收模块410,用于数据融合服务节点接收N个用户节点分别上传的加密数据和加密数据对应的密钥信息,加密数据基于待融合数据经过加密生成;
数据加密模块420,用于数据融合服务节点对N个用户节点中任一用户节点的加密数据,基于其余N-1个用户节点上传的密钥信息进行加密,生成二次加密数据;
数据融合模块430,用于对二次加密数据进行处理,生成融合数据;
数据反馈模块440,用于将融合数据所对应的加密数据中的数据片段,发送给对应的用户节点。
进一步地,如图5所示,上述数据处理装置中,数据加密模块420可包括:
密钥确定单元510,用于数据融合服务节点确定N个用户节点上传的非重复密钥信息;
数据加密单元520,用于对N个用户节点中任一用户节点的加密数据,采用非重复密钥信息中除该用户节点的密钥信息以外的剩余密钥信息进行加密,并将加密生成的数据作为二次加密数据。
进一步地或可替代的,上述数据加密模块420可用于数据融合服务节点对N个用户节点中任一用户节点的加密数据,采用其余N-1个用户节点上传的密钥信息顺次进行加密,并将加密生成的数据作为二次加密数据。
进一步地,上述数据融合模块430,可用于对二次加密数据进行取交集处理,并将得到的交集数据作为融合数据。
进一步地,上述数据融合服务节点可位于网络隔离区,和/或用户节点可设置在云服务端;
相应的,数据接收模块410,可用于数据融合服务节点通过专有网络接收N个用户节点分别上传的加密数据和加密数据对应的密钥信息。
进一步地,上述加密数据可为用户节点调用设置在云服务端上的数据处理服务节点对待融合数据经过加密生成;
相应的,上述数据接收模块410,可用于数据融合服务节点接收数据处理服务节点生成并通过专有网络上传的加密数据和加密数据对应的密钥信息。
进一步地,图4或图5所示的数据处理装置中还可包括:
请求接收模块,用于数据融合服务节点接收用户节点发送的查询融合数据的请求,并触发数据反馈模块440执行将融合数据所对应的加密数据中的数据片段,发送给对应的用户节点的处理操作。
进一步地,图4或图5所示的数据处理装置中还可包括:
数据关联模块,用于数据融合服务节点将融合数据对应的加密数据中的数据片段与对应用户节点的查询条件信息进行关联存证,以向对应用户节点提供融合数据的再次查询服务。
进一步地,图4或图5所示的数据处理装置中还可包括:
数据删除模块,用于数据融合服务节点接收用户节点发送的数据删除指令,并删除数据融合服务节点存储的加密数据、加密数据对应的密钥信息以及融合数据中的至少一项。
本发明实施例提供的数据处理装置,通过设置数据融合服务节点,并由该数据融合服务节点接收N个用户节点分别上传的加密数据和加密数据对应的密钥信息,加密数据基于待融合数据经过加密生成;数据融合服务节点对N个用户节点中任一用户节点的加密数据,基于其余N-1个用户节点上传的密钥信息进行加密,生成二次加密数据;对二次加密数据进行处理,生成融合数据;将融合数据所对应的加密数据中的数据片段,发送给对应的用户节点。由于本方案中待融合数据均以密文的形式被同步到数据融合服务节点进行融合处理,而各用户节点仅能获取融合数据对应在本用户节点的加密数据中的数据片段,且该数据片段只能在用户节点的各自数据域中解密,以获取到多方共有的信息,完成数据融合过程,从而避免造成用户节点的业务数据或个人隐私信息在融合处理过程中被泄露,保证了数据融合过程的安全性。
另外,传统的多方安全融合计算过程中,需要各用户方进行至少两次或两次以上的大数据加密和大数据的密文交换,这对用户方在计算、存储和网络能力上都有极高要求。而本方案中,各用户方仅需要完成一次加密计算形成密文数据后将其上传到数据融合服务节点,由数据融合服务节点统一调度完成所有大数据计算和存储,能在大量用户间进行服务共享,极大的提高了资源利用率。
实施例三
图6为本实施例提供一种数据处理系统,包括:数据融合服务节点610和N个用户节点620;其中:
用户节点620,用于对待融合数据进行加密,生成加密数据,并将加密数据和加密数据对应的密钥信息上传给数据融合服务节点610;
数据融合服务节点610,用于对N个用户节点620中任一用户节点620的加密数据,基于其余N-1个用户节点620上传的密钥信息进行加密,生成二次加密数据;对二次加密数据进行处理,生成融合数据;将融合数据所对应的加密数据中的数据片段,发送给对应的用户节点620。
进一步地,上述数据融合服务节点610可位于网络隔离区,和/或用户节点620可设置在云服务端;
相应的,数据融合服务节点610,可用于通过专有网络接收N个用户节点620分别上传的加密数据和加密数据对应的密钥信息。
进一步地,上述数据处理系统中,加密数据可为用户节点620调用设置在云服务端上的数据处理服务节点630对待融合数据经过加密生成;
相应的,数据融合服务节点610,可用于接收数据处理服务节点630生成并通过专有网络上传的加密数据和加密数据对应的密钥信息。
进一步地,图6所示的数据融合服务节点610可以包含实施例二中所示数据处理装置的功能模块,以执行实施例一中的方法步骤。
实施例四
前面实施例描述了数据处理装置的整体架构,该装置的功能可借助一种电子设备实现完成,如图7所示,其为本发明实施例的电子设备的结构示意图,具体包括:存储器710和处理器720。
存储器710,用于存储程序。
除上述程序之外,存储器710还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。
存储器710可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
处理器720,耦合至存储器710,用于执行存储器710中的程序,所述程序运行时执行前述实施例中所描述的数据处理方法的操作步骤。
此外,处理器720也可以包括前述实施例所描述的各种模块以执行数据处理的操作,并且存储器710可以例如用于存储这些模块执行操作所需要的数据和/或所输出的数据。
上述的具体处理操作已经在前面实施例中进行了详细说明,在此不再赘述。
进一步,如图7所示,电子设备还可以包括:通信组件730、电源组件740、音频组件750、显示器760等其它组件。图7中仅示意性给出部分组件,并不意味着电子设备只包括图7所示组件。
通信组件730被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件730经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件730还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
电源组件740,为电子设备的各种组件提供电力。电源组件740可以包括电源管理系统,一个或多个电源,及其他与为电子设备生成、管理和分配电力相关联的组件。
音频组件750被配置为输出和/或输入音频信号。例如,音频组件750包括一个麦克风(MIC),当电子设备处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器710或经由通信组件730发送。在一些实施例中,音频组件750还包括一个扬声器,用于输出音频信号。
显示器760包括屏幕,其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (22)

1.一种数据处理方法,包括:
数据融合服务节点接收N个用户节点分别上传的加密数据和所述加密数据对应的密钥信息,所述加密数据基于待融合数据经过加密生成;
所述数据融合服务节点对所述N个用户节点中任一用户节点的所述加密数据,基于其余N-1个用户节点上传的所述密钥信息进行加密,生成二次加密数据;
对所述二次加密数据进行处理,生成融合数据;
将所述融合数据所对应的所述加密数据中的数据片段,发送给对应的用户节点。
2.根据权利要求1所述的方法,其中,所述生成二次加密数据的处理包括:
所述数据融合服务节点确定所述N个用户节点上传的非重复密钥信息;
对所述N个用户节点中任一用户节点的所述加密数据,采用所述非重复密钥信息中除该用户节点的密钥信息以外的剩余密钥信息进行加密,并将加密生成的数据作为所述二次加密数据。
3.根据权利要求1所述的方法,其中,所述生成二次加密数据的处理包括:
所述数据融合服务节点对所述N个用户节点中任一用户节点的所述加密数据,采用其余N-1个用户节点上传的所述密钥信息顺次进行加密,并将加密生成的数据作为所述二次加密数据。
4.根据权利要求1所述的方法,其中,所述对所述二次加密数据进行处理,生成融合数据包括:
对所述二次加密数据进行取交集处理,并将得到的交集数据作为所述融合数据。
5.根据权利要求1所述的方法,其中,所述数据融合服务节点位于网络隔离区,和/或所述用户节点设置在云服务端;所述数据融合服务节点接收N个用户节点分别上传的加密数据和所述加密数据对应的密钥信息包括:
所述数据融合服务节点通过专有网络接收所述N个用户节点分别上传的加密数据和所述加密数据对应的密钥信息。
6.根据权利要求5所述的方法,其中,所述加密数据为所述用户节点调用设置在所述云服务端上的数据处理服务节点对待融合数据经过加密生成;
所述数据融合服务节点接收N个用户节点分别上传的加密数据和所述加密数据对应的密钥信息包括:
所述数据融合服务节点接收所述数据处理服务节点生成并通过所述专有网络上传的所述加密数据和所述加密数据对应的密钥信息。
7.根据权利要求1所述的方法,其中,所述方法还包括:
所述数据融合服务节点接收所述用户节点发送的查询所述融合数据的请求,并执行所述将所述融合数据所对应的所述加密数据中的数据片段,发送给对应的用户节点的处理操作。
8.根据权利要求7所述的方法,其中,所述方法还包括:
所述数据融合服务节点将所述融合数据对应的所述加密数据中的数据片段与对应用户节点的查询条件信息进行关联存证,以向对应用户节点提供所述融合数据的再次查询服务。
9.根据权利要求8所述的方法,其中,所述方法还包括:
所述数据融合服务节点接收所述用户节点发送的数据删除指令,并删除所述数据融合服务节点存储的所述加密数据、所述加密数据对应的密钥信息以及所述融合数据中的至少一项。
10.一种数据处理装置,包括:
数据接收模块,用于数据融合服务节点接收N个用户节点分别上传的加密数据和所述加密数据对应的密钥信息,所述加密数据基于待融合数据经过加密生成;
数据加密模块,用于所述数据融合服务节点对所述N个用户节点中任一用户节点的所述加密数据,基于其余N-1个用户节点上传的所述密钥信息进行加密,生成二次加密数据;
数据融合模块,用于对所述二次加密数据进行处理,生成融合数据;
数据反馈模块,用于将所述融合数据所对应的所述加密数据中的数据片段,发送给对应的用户节点。
11.根据权利要求10所述的装置,其中,所述数据加密模块包括:
密钥确定单元,用于所述数据融合服务节点确定所述N个用户节点上传的非重复密钥信息;
数据加密单元,用于对所述N个用户节点中任一用户节点的所述加密数据,采用所述非重复密钥信息中除该用户节点的密钥信息以外的剩余密钥信息进行加密,并将加密生成的数据作为所述二次加密数据。
12.根据权利要求10所述的装置,其中,
所述数据加密模块,用于所述数据融合服务节点对所述N个用户节点中任一用户节点的所述加密数据,采用其余N-1个用户节点上传的所述密钥信息顺次进行加密,并将加密生成的数据作为所述二次加密数据。
13.根据权利要求10所述的装置,其中,
所述数据融合模块,用于对所述二次加密数据进行取交集处理,并将得到的交集数据作为所述融合数据。
14.根据权利要求10所述的装置,其中,所述数据融合服务节点位于网络隔离区,和/或所述用户节点设置在云服务端;
所述数据接收模块,用于所述数据融合服务节点通过专有网络接收所述N个用户节点分别上传的加密数据和所述加密数据对应的密钥信息。
15.根据权利要求14所述的装置,其中,所述加密数据为所述用户节点调用设置在所述云服务端上的数据处理服务节点对待融合数据经过加密生成;
所述数据接收模块,用于所述数据融合服务节点接收所述数据处理服务节点生成并通过所述专有网络上传的所述加密数据和所述加密数据对应的密钥信息。
16.根据权利要求10所述的装置,其中,所述装置还包括:
请求接收模块,用于所述数据融合服务节点接收所述用户节点发送的查询所述融合数据的请求,并触发所述数据反馈模块执行所述将所述融合数据所对应的所述加密数据中的数据片段,发送给对应的用户节点的处理操作。
17.根据权利要求16所述的装置,其中,所述装置还包括:
数据关联模块,用于所述数据融合服务节点将所述融合数据对应的所述加密数据中的数据片段与对应用户节点的查询条件信息进行关联存证,以向对应用户节点提供所述融合数据的再次查询服务。
18.根据权利要求17所述的装置,其中,所述装置还包括:
数据删除模块,用于所述数据融合服务节点接收所述用户节点发送的数据删除指令,并删除所述数据融合服务节点存储的所述加密数据、所述加密数据对应的密钥信息以及所述融合数据中的至少一项。
19.一种数据处理系统,包括:数据融合服务节点和N个用户节点;
所述用户节点,用于对待融合数据进行加密,生成加密数据,并将所述加密数据和所述加密数据对应的密钥信息上传给所述数据融合服务节点;
所述数据融合服务节点,用于对所述N个用户节点中任一用户节点的所述加密数据,基于其余N-1个用户节点上传的所述密钥信息进行加密,生成二次加密数据;对所述二次加密数据进行处理,生成融合数据;将所述融合数据所对应的所述加密数据中的数据片段,发送给对应的用户节点。
20.根据权利要求19所述的系统,其中,所述数据融合服务节点位于网络隔离区,和/或所述用户节点设置在云服务端;
所述数据融合服务节点,用于通过专有网络接收所述N个用户节点分别上传的加密数据和所述加密数据对应的密钥信息。
21.根据权利要求20所述的系统,其中,所述加密数据为所述用户节点调用设置在所述云服务端上的数据处理服务节点对待融合数据经过加密生成;
所述数据融合服务节点,用于接收所述数据处理服务节点生成并通过所述专有网络上传的所述加密数据和所述加密数据对应的密钥信息。
22.一种电子设备,包括:
存储器,用于存储程序;
处理器,耦合至所述存储器,用于执行所述程序,所述程序运行时执行权利要求1-9中任意一项权利要求所述的数据处理方法。
CN201910502359.1A 2019-06-11 2019-06-11 数据处理方法、装置、系统及电子设备 Active CN112073175B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910502359.1A CN112073175B (zh) 2019-06-11 2019-06-11 数据处理方法、装置、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910502359.1A CN112073175B (zh) 2019-06-11 2019-06-11 数据处理方法、装置、系统及电子设备

Publications (2)

Publication Number Publication Date
CN112073175A true CN112073175A (zh) 2020-12-11
CN112073175B CN112073175B (zh) 2022-12-20

Family

ID=73658373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910502359.1A Active CN112073175B (zh) 2019-06-11 2019-06-11 数据处理方法、装置、系统及电子设备

Country Status (1)

Country Link
CN (1) CN112073175B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112948878A (zh) * 2021-03-05 2021-06-11 支付宝(杭州)信息技术有限公司 保护隐私的集合交集计算方法和装置
CN114640501A (zh) * 2022-02-14 2022-06-17 杭州锘崴信息科技有限公司 基于隐私计算平台的超融合安全监察和控制系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100266132A1 (en) * 2009-04-15 2010-10-21 Microsoft Corporation Service-based key escrow and security for device data
CN103618607A (zh) * 2013-11-29 2014-03-05 北京易国信科技发展有限公司 一种数据安全传输和密钥交换方法
CN107231628A (zh) * 2017-05-12 2017-10-03 南京邮电大学 一种适用于多应用场景的安全数据融合方法
CN108092768A (zh) * 2017-12-21 2018-05-29 中国联合网络通信集团有限公司 数据融合方法与系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100266132A1 (en) * 2009-04-15 2010-10-21 Microsoft Corporation Service-based key escrow and security for device data
CN103618607A (zh) * 2013-11-29 2014-03-05 北京易国信科技发展有限公司 一种数据安全传输和密钥交换方法
CN107231628A (zh) * 2017-05-12 2017-10-03 南京邮电大学 一种适用于多应用场景的安全数据融合方法
CN108092768A (zh) * 2017-12-21 2018-05-29 中国联合网络通信集团有限公司 数据融合方法与系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112948878A (zh) * 2021-03-05 2021-06-11 支付宝(杭州)信息技术有限公司 保护隐私的集合交集计算方法和装置
CN114640501A (zh) * 2022-02-14 2022-06-17 杭州锘崴信息科技有限公司 基于隐私计算平台的超融合安全监察和控制系统及方法
CN114640501B (zh) * 2022-02-14 2023-06-23 杭州锘崴信息科技有限公司 基于隐私计算平台的超融合安全监察和控制系统及方法

Also Published As

Publication number Publication date
CN112073175B (zh) 2022-12-20

Similar Documents

Publication Publication Date Title
US20200382274A1 (en) Secure Analytics Using an Encrypted Analytics Matrix
KR102167866B1 (ko) 미디어 데이터 처리 방법, 컴퓨터 디바이스 및 저장 매체
CN106712932B (zh) 密钥管理方法、装置及系统
KR102159461B1 (ko) 데이터 백업 방법 및 장치, 저장 매체 그리고 서버
US10291594B2 (en) Systems and methods for data encryption and decryption
US20200396079A1 (en) System and method for shared secret encryption and verification of recordings of meeting proceedings
CN104270516B (zh) 解密方法和移动终端
EP3186943B1 (en) Device verification prior to registration
CN112073175B (zh) 数据处理方法、装置、系统及电子设备
CN113301431A (zh) 视频数据的加解密方法、装置、电子设备及系统
CN109768982A (zh) 一种基于物联网的加密传输方法及装置
CN112860791A (zh) 一种跨网数据同步控制系统、方法及存储介质
CN107196918B (zh) 一种匹配数据的方法和装置
WO2015050030A1 (ja) 暗号処理方法、暗号システム、およびサーバ
CN107682335A (zh) 数据传输方法、服务端以及计算机可读存储介质
CN113472722A (zh) 数据传输方法、存储介质、电子设备及自动售检票系统
US20200177566A1 (en) Method and system for cooperative inspection of encrypted sessions
US20220231837A1 (en) Intelligent and secure packet captures for cloud solutions
CN115567596A (zh) 云服务资源部署方法、装置、设备及存储介质
US20230078187A1 (en) Distributed Encryption Key Allocation
CN113923251A (zh) 分布式网关系统
CN112700014B (zh) 部署联邦学习应用的方法、装置、系统和电子设备
CN112751661B (zh) 一种基于同态加密的工业现场设备隐私数据保护方法
CN112118210B (zh) 一种认证密钥配置方法、设备、系统及存储介质
CN111181899B (zh) 数据处理方法、装置、系统及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant