CN110691071A - 一种具有隐私保护的海量数据处理系统及方法 - Google Patents

一种具有隐私保护的海量数据处理系统及方法 Download PDF

Info

Publication number
CN110691071A
CN110691071A CN201910856942.2A CN201910856942A CN110691071A CN 110691071 A CN110691071 A CN 110691071A CN 201910856942 A CN201910856942 A CN 201910856942A CN 110691071 A CN110691071 A CN 110691071A
Authority
CN
China
Prior art keywords
data
layer
disturbance
cloud
privacy protection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910856942.2A
Other languages
English (en)
Inventor
沈华
张明武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN201910856942.2A priority Critical patent/CN110691071A/zh
Publication of CN110691071A publication Critical patent/CN110691071A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0478—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload applying multiple layers of encryption, e.g. nested tunnels or encrypting the content with a first key and then with at least a second key
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0442—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply asymmetric encryption, i.e. different keys for encryption and decryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Storage Device Security (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种具有隐私保护的海量数据处理系统及方法，系统分为三层：底层是数据提供层，由海量用户组成；中间层是数据扰动层，由边缘计算设备(如雾设备)和云服务器组成；顶层是数据分析层，由数据分析机构组成。本发明公开了一种具有隐私保护的海量数据处理方法包括：数据提供层提供加密数据，中间层对加密数据进行二级数据扰动，数据分析层对扰动后数据进行各种统计分析。本发明在确保数据不被泄露的情况下实现了对海量数据的高效处理，在如今的大数据时代本发明具有很高的应用价值，可以应用于智慧城市、物联网、智慧医疗、智能电网等产生海量数据且具有隐私保护需求的应用领域。

Description

一种具有隐私保护的海量数据处理系统及方法
技术领域
本发明属于信息安全技术和大数据应用领域，具体涉及一种具有隐私保护的海量数据处理系统及方法。
背景技术
随着科学技术的迅猛发展，许多领域(如健康医疗、物联网、传感器网络、智能电网、智慧城市、金融系统等等)产生了海量的数据。海量数据被称为信息时代的新“石油”，对海量数据的各种处理可以挖掘出其中隐藏着的巨大经济价值和社会价值。但海量数据中往往涉及用户的敏感信息，如用户的医疗数据、位置数据、金融交易数据等等。在不泄露用户隐私的前提下高效地实施对海量数据的处理是一个极具挑战性的课题。
发明内容
为了解决上述的技术问题，本发明提供了一种具有隐私保护的海量数据处理系统及方法。
本发明的系统所采用的技术方案是：一种具有隐私保护的海量数据处理系统，其特征在于：包括底层、中间层、顶层；
所述底层为数据提供层，由海量用户组成，具体包括δ个区域，每个区域包含m个片区，每个片区包含n个用户，即每个片区提供n个数据，每个区域提供m×n个数据，整个系统处理的数据量为δ×m×n个数据；
所述中间层为数据扰动层，由边缘计算设备和云服务器组成；
所述顶层是数据分析层，由数据分析机构组成；
所述数据提供层提供加密数据；中间层对加密数据进行二级数据扰动，其中边缘计算设备进行第一级扰动，云服务器进行第二级扰动；数据分析层对扰动后数据进行各种统计分析。
本发明的方法所采用的技术方案是：一种具有隐私保护的海量数据处理方法，其特征在于，包括以下步骤：
步骤1：系统初始化；
步骤1.1：数据分析机构生成系统参数和自己的加密密钥和解密密钥；
步骤1.2：数据分析机构发布系统公开系统参数和自己的加密密钥；
步骤2：数据提交；
步骤3：数据第一级扰动；
步骤4：数据第二级扰动；
步骤5：数据分析。
本发明方法与现有的技术相比有如下的优点和有益效果：
本发明在确保数据不被泄露的情况下实现了对海量数据的高效处理，在如今的大数据时代本发明具有很高的应用价值，可以应用于智慧城市、物联网、智慧医疗、智能电网等产生海量数据且具有隐私保护需求的应用领域。
附图说明
图1：本发明实施例的系统模型图；
图2：本发明实施例的方法流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1，本发明提供的一种具有隐私保护的海量数据处理系统，包括三层结构，底层是数据提供层，由海量用户组成；中间层是数据扰动层，由边缘计算设备(如雾设备)和云服务器组成；顶层是数据分析层，由数据分析机构组成。数据提供层提供加密数据；中间层对加密数据进行二级数据扰动，其中边缘计算设备进行第一级扰动，云服务器进行第二级扰动；数据分析层对扰动后数据进行各种统计分析。
底层位于用户端，中间层位于云端，顶层位于第三方服务机构。底层由δ个区域组成，每个区域包含m个片区，每个片区包含n个用户，即每个片区提供n个数据，每个区域提供m×n个数据，整个系统处理的数据量为δ×m×n个数据；将第k个区域的第i个片区的第j个用户表示为Ukij，用户Ukij的数据表示为dkij，k＝1,2,…,δ，i＝1,2,…,m，j＝1,2,…,n。中间层内部细分为二层，由边缘计算设备构成的云边缘层和由云服务器构成的云中心层。中间层通过云边缘层与底层进行通信；中间层通过云中心层与顶层进行通信。中间层的云边缘层每个边缘计算设备实施的扰动是片区级的数据扰动，中间层的云中心层每个云服务器实施的扰动是区域级的数据扰动。云边缘层包含m个边缘设备，云中心层包含δ个云服务器。将第k个区域的第i个边缘计算设备表示为FDki，k＝1,2,…,δ，i＝1,2,…,m；将第k个云服务器表示为CSk，k＝1,2,…,δ。
请见图2，本发明提供的一种具有隐私保护的海量数据处理方法，包括以下步骤：
步骤1：系统初始化；
请见图2中的步骤1，系统初始化的具体包括以下子步骤：
步骤1.1：数据分析机构选择一个加同态密码方案(G,E,D)，其中G是该密码方案的生成算法，E是该密码方案的加密算法，D是该密码方案的解密算法；数据分析机构执行生成算法G生成自己的加密密钥PK和解密密钥SK，同时选择参数R1和参数R2；
步骤1.2：数据分析机构公开参数R1、参数R2和自己的公钥PK。
步骤2：数据提交；
请见图2中的步骤2，数据提交的具体实现包括以下子步骤：
步骤2.1：用户Ukij用数据分析机构的加密密钥PK对自己的数据dkij实施加密操作：Ckij＝E(R1 j·dkij,PK)；其中，R1 j表示所述参数R1的j次方，即把第i个片区的用户Ukij和该用户的数据dkij在片区内的对应关系j隐藏到了所述参数R1的指数中。
步骤2.2：用户将密文Ckij发送给自己所属片区的边缘计算设备FDki。
步骤3：数据第一级扰动；
请见图2中的步骤3，数据第一级扰动的具体实现包括以下子步骤：
步骤3.1：边缘计算设备FDki对收到的n个密文Cki1,Cki2,…,Ckin进行扰动处理；
步骤3.1.1：边缘计算设备FDki生成{1,2,…,n}的一个随机序列{pki1,pki2,...,pkin}；
步骤3.1.2：边缘计算设备FDki计算
Figure BDA0002198606040000032
……，
Figure BDA0002198606040000041
步骤3.2：边缘计算设备FDki对扰动后的加密数据实施聚合操作，得到一个新的密文：
Figure BDA0002198606040000042
其中，R2 i表示所述参数R2的i次方，即把第i个片区和边缘计算设备FDki的对应关系i隐藏到了所述参数R2的指数中。
步骤3.3：边缘计算设备FDki将聚合得到的新密文
Figure BDA0002198606040000043
发送给自己所属区域的云服务器CSk。
步骤4：数据第二级扰动；
请见图2中的步骤4，数据第二级扰动的具体实现包括以下子步骤：
步骤4.1：云服务器CSk对收到的m个密文
Figure BDA0002198606040000044
进行扰动处理：
步骤4.1.1：云服务器CSk生成{1,2,…,m}的一个随机序列{pk1,pk2,...,pkm}；
步骤4.1.2：云服务器CSk计算
Figure BDA0002198606040000045
Figure BDA0002198606040000046
……，
Figure BDA0002198606040000047
步骤4.2：云服务器CSk对扰动处理后的密文实施聚合操作，得到一个新的密文：
Figure BDA0002198606040000051
步骤4.3：云服务器CSk将聚合得到的新密文
Figure BDA0002198606040000052
发送给数据分析机构。
步骤5：数据分析；
请见图2中的步骤5，数据分析的具体实现包括以下子步骤：
步骤5.1：数据分析机构解密收到的δ个密文
Figure BDA0002198606040000053
Figure BDA0002198606040000054
……，
Figure BDA0002198606040000056
步骤5.2：数据分析机构根据参数R1和参数R2对解密后得到的δ个明文进行解析，得到充分扰动后的δ×m×n个数据，换句话说，数据分析机构不知道解析出来的数据分别属于哪个片区中的哪个用户。
步骤5.3：数据分析机构对δ×m×n个数据实施各种处理(如求和、求平均值、条件求和、条件计数、求标准偏差、线性回归等等)。
本发明有效地解决了在大数据环境下如何在不泄漏数据的情况下高效地处理海量数据。本发明可用于各种大数据应用中的海量数据的安全处理，具有很高的实用性。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (8)

1.一种具有隐私保护的海量数据处理系统，其特征在于：包括底层、中间层、顶层；
所述底层为数据提供层，由海量用户组成；
所述中间层为数据扰动层，由边缘计算设备和云服务器组成；
所述顶层是数据分析层，由数据分析机构组成；
所述数据提供层提供加密数据；中间层对加密数据进行二级数据扰动，其中边缘计算设备进行第一级扰动，云服务器进行第二级扰动；数据分析层对扰动后数据进行各种统计分析。
2.根据权利要求1所述的具有隐私保护的海量数据处理系统，其特征在于：所述底层位于用户端，中间层位于云端，顶层位于第三方服务机构；
所述底层由δ个区域组成，每个区域包含m个片区，每个片区包含n个用户，即每个片区提供n个数据，每个区域提供m×n个数据，整个系统处理的数据量为δ×m×n个数据；
所述中间层内部细分为二层，由边缘计算设备构成的云边缘层和由云服务器构成的云中心层组成；中间层通过云边缘层与底层进行通信；中间层通过云中心层与顶层进行通信。
3.根据权利要求2所述的具有隐私保护的海量数据处理系统，其特征在于：所述中间层的云边缘层每个边缘计算设备实施的扰动是片区级的数据扰动，中间层的云中心层每个云服务器实施的扰动是区域级的数据扰动；云边缘层包含m个边缘设备，云中心层包含δ个云服务器。
4.一种具有隐私保护的海量数据处理方法，其特征在于，包括以下步骤：
步骤1：系统初始化；
步骤1.1：数据分析机构生成系统参数和自己的加密密钥和解密密钥；
步骤1.2：数据分析机构发布系统公开系统参数和自己的加密密钥；
步骤2：数据提交；
步骤3：数据第一级扰动；
步骤4：数据第二级扰动；
步骤5：数据分析。
5.根据权利要求4所述的具有隐私保护的海量数据处理方法，其特征在于，步骤2的具体实现包括以下子步骤：
步骤2.1：用户用数据分析机构的加密密钥对自己的数据实施加密操作；
步骤2.2：用户将加密后的数据发送给自己所属片区的边缘计算设备。
6.根据权利要求4所述的具有隐私保护的海量数据处理方法，其特征在于，步骤3的具体实现包括以下子步骤：
步骤3.1：边缘计算设备对收到的n个加密数据进行扰动处理，在没有解密操作的情况下充分随机扰动片区内的数据；
步骤3.2：边缘计算设备对扰动后的加密数据实施聚合操作，得到一个新的密文；
步骤3.3：边缘计算设备将聚合得到的新密文发送给自己所属区域的云服务器。
7.根据权利要求4所述的具有隐私保护的海量数据处理方法，其特征在于，步骤4的具体实现包括以下子步骤：
步骤4.1：云服务器对收到的m个密文进行扰动处理，在没有解密操作的情况下充分随机扰动区域内的数据；
步骤4.2：云服务器对扰动处理后的密文实施聚合操作，得到一个新的密文；
步骤4.3：云服务器将聚合得到的新密文发送给数据分析机构。
8.根据权利要求4-7任意一项所述的具有隐私保护的海量数据处理方法，其特征在于，步骤4的具体实现包括以下子步骤：
步骤5.1：数据分析机构解密收到的δ个密文；
步骤5.2：数据分析机构对解密后得到的δ个明文进行解析，得到充分扰动后的δ×m×n个数据；
步骤5.3：数据分析机构对δ×m×n个数据实施处理。
CN201910856942.2A 2019-09-11 2019-09-11 一种具有隐私保护的海量数据处理系统及方法 Pending CN110691071A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910856942.2A CN110691071A (zh) 2019-09-11 2019-09-11 一种具有隐私保护的海量数据处理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910856942.2A CN110691071A (zh) 2019-09-11 2019-09-11 一种具有隐私保护的海量数据处理系统及方法

Publications (1)

Publication Number Publication Date
CN110691071A true CN110691071A (zh) 2020-01-14

Family

ID=69108963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910856942.2A Pending CN110691071A (zh) 2019-09-11 2019-09-11 一种具有隐私保护的海量数据处理系统及方法

Country Status (1)

Country Link
CN (1) CN110691071A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113515716A (zh) * 2021-04-06 2021-10-19 湖北工业大学 一种具有隐私保护的目标模式匹配系统及方法
WO2022170654A1 (zh) * 2021-02-09 2022-08-18 山东大学 一种适用于动态分布式物联网系统的数据加密学习方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040230995A1 (en) * 2003-04-08 2004-11-18 International Business Machine Corporation Attentiveness monitoring in multicast systems
CN102710661A (zh) * 2012-06-25 2012-10-03 上海交通大学 云存储与聚合架构及其数据存储与聚合方法
CN105915547A (zh) * 2016-06-15 2016-08-31 迅鳐成都科技有限公司 一种实现业务系统外的数据管控防泄露方法
CN107194185A (zh) * 2017-05-31 2017-09-22 湖北工业大学 一种具有隐私保护的多功能数据处理系统及方法
CN110087237A (zh) * 2019-04-30 2019-08-02 苏州大学 基于数据扰动的隐私保护方法、装置及相关组件

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040230995A1 (en) * 2003-04-08 2004-11-18 International Business Machine Corporation Attentiveness monitoring in multicast systems
CN102710661A (zh) * 2012-06-25 2012-10-03 上海交通大学 云存储与聚合架构及其数据存储与聚合方法
CN105915547A (zh) * 2016-06-15 2016-08-31 迅鳐成都科技有限公司 一种实现业务系统外的数据管控防泄露方法
CN107194185A (zh) * 2017-05-31 2017-09-22 湖北工业大学 一种具有隐私保护的多功能数据处理系统及方法
CN110087237A (zh) * 2019-04-30 2019-08-02 苏州大学 基于数据扰动的隐私保护方法、装置及相关组件

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
沈华，张明武: "一种隐私保护的智能电网多级用户电量聚合控制方案", 《密码学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022170654A1 (zh) * 2021-02-09 2022-08-18 山东大学 一种适用于动态分布式物联网系统的数据加密学习方法
CN113515716A (zh) * 2021-04-06 2021-10-19 湖北工业大学 一种具有隐私保护的目标模式匹配系统及方法

Similar Documents

Publication Publication Date Title
Xing et al. Mutual privacy preserving $ k $-means clustering in social participatory sensing
Liu et al. An efficient privacy-preserving outsourced calculation toolkit with multiple keys
EP3114602B1 (en) Method and apparatus for verifying processed data
CN108259158A (zh) 一种云计算环境下高效和隐私保护的单层感知机学习方法
Khedr et al. Securemed: Secure medical computation using gpu-accelerated homomorphic encryption scheme
Alabdulatif et al. Privacy-preserving anomaly detection in the cloud for quality assured decision-making in smart cities
Han et al. Practical and robust federated learning with highly scalable regression training
Liu et al. Secure multi-label data classification in cloud by additionally homomorphic encryption
CN110445797B (zh) 一种具有隐私保护的两方多维数据比较方法和系统
Shi et al. Federated anomaly analytics for local model poisoning attack
Zhang et al. PPDDS: A privacy-preserving disease diagnosis scheme based on the secure Mahalanobis distance evaluation model
CN112052466A (zh) 基于多方安全计算协议的支持向量机用户数据预测方法
CN110691071A (zh) 一种具有隐私保护的海量数据处理系统及方法
CN116915379A (zh) 一种基于同态加密算法和零知识证明协议的区块链隐私保护方法及系统
Sandhia et al. Secure sharing of data in cloud using MA-CPABE with elliptic curve cryptography
Arslan et al. A study on the use of quantum computers, risk assessment and security problems
Li et al. Ubiquitous intelligent federated learning privacy-preserving scheme under edge computing
Kuribayashi et al. Decentralized tracing protocol for fingerprinting system
Fan et al. FLSG: A Novel Defense Strategy Against Inference Attacks in Vertical Federated Learning
CN111159727B (zh) 一种面向多方协同的贝叶斯分类器安全生成系统及方法
Zhang et al. Antiquantum privacy protection scheme in advanced metering infrastructure of smart grid based on consortium blockchain and rlwe
Theodouli et al. Implementing private k-means clustering using a LWE-based cryptosystem
Shen et al. Verifiable Privacy-Preserving Federated Learning Under Multiple Encrypted Keys
Takeshita et al. Slap: simpler, improved private stream aggregation from ring learning with errors
Sun et al. Feature engineering framework based on secure multi-party computation in federated learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200114