CN115378703A - 基于可信执行环境与Spark的安全可信数据处理系统 - Google Patents
基于可信执行环境与Spark的安全可信数据处理系统 Download PDFInfo
- Publication number
- CN115378703A CN115378703A CN202211005864.3A CN202211005864A CN115378703A CN 115378703 A CN115378703 A CN 115378703A CN 202211005864 A CN202211005864 A CN 202211005864A CN 115378703 A CN115378703 A CN 115378703A
- Authority
- CN
- China
- Prior art keywords
- data
- execution environment
- trusted execution
- spark
- trusted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
- H04L63/0435—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply symmetric encryption, i.e. same key used for encryption and decryption
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/12—Applying verification of the received information
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Storage Device Security (AREA)
Abstract
本发明实施例提供一种基于可信执行环境与Spark的安全可信数据处理系统。通过可信执行环境保证数据跨域传输过程和数据计算处理过程中的机密性，同时基于可信执行环境的远程认证机制，实现数据机密与计算过程的一致性度量检查。通过将Spark大数据计算框架执行环境改造移植至可信执行环境内部，实现隐私保护条件下的安全可信数据处理系统，从而在保护数据方数据隐私安全的的条件下，以当前主流Spark计算框架进行大数据量级可信安全处理，实现融合多方数据的联合建模，打通多方数据孤岛。
Description
技术领域
本发明涉及大数据隐私计算领域，尤其涉及一种基于可信执行环境与Spark的安全可信数据处理系统。
背景技术
目前，各行业积累的大量数据需要多方数据联合做风控、营销以便更好地挖掘数据的价值，同时各方也已经大量投入建设了以Spark 为基础的大数据处理平台，并基于Spark接口建设了上层业务平台。
现有技术中实现多方数据处理方式通常是：将各参与方数据脱敏汇总在具有计算资源的计算方，然后使用常规Spark计算框架进行计算处理。
但是，现有方式存在以下三个问题：
第一，并不是所有场景的数据都可以通过前置的脱敏操作进行处理来保证数据的隐私安全，比如可能会丢失有价值的数据信息或影响计算处理结果的精度与效果；
第二，在很多场景下计算的结果和过程中的中间数据也十分敏感，在计算方采用常规的Spark计算框架进行计算处理无法保证这部分信息的隐私安全。
第三，在计算方采用常规的Spark计算框架进行计算处理无法保证其计算过程的一致性，比如计算方可能先数据方声明实行操作1来获取数据授权，而在实际计算过程中进行未经声明的操作2进行数据处理。
发明内容
本发明实施例提供一种基于可信执行环境与Spark的安全可信数据处理系统，用以解决现有技术中存在的缺陷。
一种基于可信执行环境与Spark的安全可信数据处理系统，其特征在于，包括：基于可信执行环境的数据传输网关、基于可信执行环境的数据连接器、基于可信执行环境的Spark worker节点以及基于可信执行环境的SparkMaster节点；
所述基于可信执行环境的数据传输网关用于检查数据传输目标方的身份校验及计算环境一致性检查，并且与基于可信执行环境的数据连接器进行加密密钥协商，使用协商后的加密密钥对数据方出域数据进行加密操作。
所述基于可信执行环境的数据连接器用于获取后续进行实际计算处理的加密数据，并使用协商密钥对其进行解密，将解密后的数据根据程序需求进行格式转换，转换为Spark计算框架可以处理的数据结构。
所述基于可信执行环境的Spark worker节点通过将Spark计算框架的worker模块开发移植进可信执行环境，提供数据处理的计算环境；
所述基于可信执行环境的Sparkmaster节点通过将Spark计算框架的master模块开发移植进可信执行环境，提供数据处理任务创建、计算任务调度和客户端请求响应。
所述的一种基于可信执行环境与Spark的安全可信数据处理系统，其特征在于，所述基于可信执行环境的数据传输网关还要求：
该模块自身的实现需要基于具备一致性度量检查或远程认证的可信执行环境技术，比如基Enclave的Intel SGX、基于安全虚拟机的 AMD SEV和海光CSV，以便可以度量检查该模块数据加密密钥协商过程与数据加密过程的一致性，确保相关过程的执行逻辑与声明的执行逻辑一致。
所述的一种基于可信执行环境与Spark的安全可信数据处理系统，其特征在于，所述基于可信执行环境的数据连接器的实现需要基于具备一致性度量检查或远程认证的可信执行环境技术，比如基Enclave 的Intel SGX、基于安全虚拟机的AMD SEV和海光CSV，以便可以度量检查该模块数据加密密钥协商过程与数据解密过程的一致性，确保相关过程的执行逻辑与声明的执行逻辑一致。该模块的实现还因符合Spark计算框架数据获取接口要求，以便可以将加密后的计算数据转换为Spark计算框架可以处理的特定格式。
所述的一种基于可信执行环境与Spark的安全可信数据处理系统，其特征在于，所述基于可信执行环境的Spark worker节点因基于一种符合国家信创标准的安全虚拟机可信执行环境技术进行构建，例如海光CSV，原因在于基于安全虚拟机的可信执行环境可以无侵入完成对应Spark worker的移植，以确保对上层Spark master接口的兼容适配。
所述的一种基于可信执行环境与Spark的安全可信数据处理系统，其特征在于，所述基于可信执行环境的Spark master节点因基于一种符合国家信创标准的安全虚拟机可信执行环境技术进行构建，例如海光CSV，原因在于基于安全虚拟机的可信执行环境可以无侵入完成对应Sparkmaster的移植，以确保对上层应用客户端及业务系统接口的兼容适配。
所述的一种基于可信执行环境与Spark的安全可信数据处理系统，其特征在于，所述基于可信执行环境的数据传输网关和基于可信执行环境的数据连接器之间的密钥协商机制需要符合Diffie-Hellman密钥协商算法流程，通过双方各自公钥和私钥协商出后续数据加解密所使用的对称密钥。
所述的一种基于可信执行环境与Spark的安全可信数据处理系统，其特征在于，所述基于可信执行环境的数据传输网关和基于可信执行环境的数据连接器之间的数据加解密需要使用国密SM4对称加解密进行实现。
本发明实施例的一种基于可信执行环境与Spark的安全可信数据处理系统解决了现有基于Spark的大数据处理系统在数据计算处理过程中的数据机密性与数据方数据出域、计算方处理计算逻辑一致性无法校验的问题。从而打造安全可信的数据处理系统，确保数据可用不可见。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例中提供的一种基于可信执行环境与Spark的安全可信数据处理系统的结构示意图，如图1所示，该一种基于可信执行环境与Spark的安全可信数据处理系统包括：
系统涉及的各个参与方的模块均基于可信执行环境技术进行实现与生产部署。整体由图1例举的数据方和参与方组成。
数据方基于具备一致性度量检查或远程认证机制的可信执行环境技术实现数据传输网关，对接数据方域内各种类数据源。计算方基于具备一致性度量检查或远程认证机制的可信执行环境技术实现数据连接器。计算方同时基于安全虚拟机的可信执行环境技术实现 Spark worker与master模块。
在数据处理控制方面，系统保持与常规Spark计算框架一致的上层接口，从而保证上层业务系统及客户端能够以标准的Spark接口和数据处理系统进行交互。
在数据传输方面，系统涉及的数据方与计算方通过基于可信执行环境的数据网关和数据连接器构建可以进行一致性度量的安全可信数据传输通道，同时基于协商密钥进行传输数据的对称加密，确保传输数据的机密性保护。
具体地，本发明实施例中提供的一种基于可信执行环境与Spark 的安全可信数据处理系统，是一种基于可信执行环境和Spark计算框架之上的安全可信数据处理系统，用以实现多方之间安全可信、隐私保护的联合计算。整个系统之中包含至少2个数据处理参与方，包含数据方与计算方。依据本发明方法进行一次数据处理，首先由客户端提交数据处理任务，基于可信执行环境的Spark master进行任务参数解析与资源情况分析，选择需要承载本次数据处理任务的基于可信执行环境的Spark worker。
Spark worker解析任务参数获取本次数据处理的数据方数据信息，并通过基于可信执行环境的数据连接器与数据方基于可信执行环境的数据传输网关进行交互。双方使用可信执行环境一致性度量检查或远程认证机制校验进行对端的一致性度量检查，并通过符合Diffie-Hellman密钥协商算法流程进行数据加密密钥的协商。
数据方基于可信执行环境的数据传输网关使用协商密钥对数据进行加密并传输给计算方基于可信执行环境的数据连接器。计算方基于可信执行环境的数据连接器使用协商密钥对数据进行解密，转换为 Spark计算框架可以处理的数据结构并传输给基于可信执行环境的 Spark worker节点进行数据处理。
基于可信执行环境的Spark worker在可信执行区域内根据客户端上传的数据处理逻辑对相关数据进行处理，并最终返回结果。
本发明实施例提供一种基于可信执行环境与Spark的安全可信数据处理系统。通过可信执行环境保证数据跨域传输过程和数据计算处理过程中的机密性，同时基于可信执行环境的远程认证机制，实现数据机密与计算过程的一致性度量检查。通过将Spark大数据计算框架执行环境改造移植至可信执行环境内部，实现隐私保护条件下的安全可信数据处理系统，从而在保护数据方数据隐私安全的的条件下，以当前主流Spark计算框架进行大数据量级可信安全处理，实现融合多方数据的联合建模，打通多方数据孤岛。
本发明实施例中，通过可信执行环境、密钥协商算法、对称加密等技术保障数据安全，可以端到端的规避现有数据方与计算方分离场景下数据处理过程可能造成的数据泄漏问题。
综上所述，本发明实施例中提供的一种基于可信执行环境与 Spark的安全可信数据处理系统发挥可信执行环境技术和Spark计算框架特性，支持数据方与计算方场景下的数据安全可信处理，构建了一个符合规范要求的基础上，又能满足数据隐私保护处理的系统。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种基于可信执行环境与Spark的安全可信数据处理系统，其特征在于，包括：基于可信执行环境的数据传输网关、基于可信执行环境的数据连接器、基于可信执行环境的Spark worker节点以及基于可信执行环境的SparkMaster节点；
所述基于可信执行环境的数据传输网关用于检查数据传输目标方的身份校验及计算环境一致性检查，并且与基于可信执行环境的数据连接器进行加密密钥协商，使用协商后的加密密钥对数据方出域数据进行加密操作。
所述基于可信执行环境的数据连接器用于获取后续进行实际计算处理的加密数据，并使用协商密钥对其进行解密，将解密后的数据根据程序需求进行格式转换，转换为Spark计算框架可以处理的数据结构。
所述基于可信执行环境的Spark worker节点通过将Spark计算框架的worker模块开发移植进可信执行环境，提供数据处理的计算环境；
所述基于可信执行环境的Sparkmaster节点通过将Spark计算框架的master模块开发移植进可信执行环境，提供数据处理任务创建、计算任务调度和客户端请求响应。
2.根据权利要求1所述的一种基于可信执行环境与Spark的安全可信数据处理系统，其特征在于，所述基于可信执行环境的数据传输网关还要求：
该模块自身的实现需要基于具备一致性度量检查或远程认证的可信执行环境技术，比如基Enclave的IntelSGX、基于安全虚拟机的AMD SEV和海光CSV，以便可以度量检查该模块数据加密密钥协商过程与数据加密过程的一致性，确保相关过程的执行逻辑与声明的执行逻辑一致。
3.根据权利要求1所述的一种基于可信执行环境与Spark的安全可信数据处理系统，其特征在于，所述基于可信执行环境的数据连接器的实现需要基于具备一致性度量检查或远程认证的可信执行环境技术，比如基Enclave的IntelSGX、基于安全虚拟机的AMD SEV和海光CSV，以便可以度量检查该模块数据加密密钥协商过程与数据解密过程的一致性，确保相关过程的执行逻辑与声明的执行逻辑一致。该模块的实现还因符合Spark计算框架数据获取接口要求，以便可以将加密后的计算数据转换为Spark计算框架可以处理的特定格式。
4.根据权利要求1所述的一种基于可信执行环境与Spark的安全可信数据处理系统，其特征在于，所述基于可信执行环境的Spark worker节点因基于一种符合国家信创标准的安全虚拟机可信执行环境技术进行构建，例如海光CSV，原因在于基于安全虚拟机的可信执行环境可以无侵入完成对应Spark worker的移植，以确保对上层Sparkmaster接口的兼容适配。
5.根据权利要求1所述的一种基于可信执行环境与Spark的安全可信数据处理系统，其特征在于，所述基于可信执行环境的Spark master节点因基于一种符合国家信创标准的安全虚拟机可信执行环境技术进行构建，例如海光CSV，原因在于基于安全虚拟机的可信执行环境可以无侵入完成对应Sparkmaster的移植，以确保对上层应用客户端及业务系统接口的兼容适配。
6.根据权利要求1所述的一种基于可信执行环境与Spark的安全可信数据处理系统，其特征在于，所述基于可信执行环境的数据传输网关和基于可信执行环境的数据连接器之间的密钥协商机制需要符合Diffie-Hellman密钥协商算法流程，通过双方各自公钥和私钥协商出后续数据加解密所使用的对称密钥。
7.根据权利要求1所述的一种基于可信执行环境与Spark的安全可信数据处理系统，其特征在于，所述基于可信执行环境的数据传输网关和基于可信执行环境的数据连接器之间的数据加解密需要使用国密SM4对称加解密进行实现。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211005864.3A CN115378703A (zh) | 2022-08-22 | 2022-08-22 | 基于可信执行环境与Spark的安全可信数据处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211005864.3A CN115378703A (zh) | 2022-08-22 | 2022-08-22 | 基于可信执行环境与Spark的安全可信数据处理系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115378703A true CN115378703A (zh) | 2022-11-22 |
Family
ID=84068321
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211005864.3A Pending CN115378703A (zh) | 2022-08-22 | 2022-08-22 | 基于可信执行环境与Spark的安全可信数据处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115378703A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150229619A1 (en) * | 2014-02-07 | 2015-08-13 | Microsoft Corporation | Trusted execution within a distributed computing system |
| CN109299131A (zh) * | 2018-11-14 | 2019-02-01 | 百度在线网络技术（北京）有限公司 | 一种支持可信计算的spark查询方法及系统 |
| WO2021159684A1 (zh) * | 2020-02-14 | 2021-08-19 | 云从科技集团股份有限公司 | 数据处理方法、系统、平台、设备及机器可读介质 |
| CN114036559A (zh) * | 2021-11-16 | 2022-02-11 | 北京冲量在线科技有限公司 | 基于可信平台控制模块（tpcm）和异构可信执行环境的信创隐私计算系统 |
| CN114584306A (zh) * | 2022-05-05 | 2022-06-03 | 腾讯科技（深圳）有限公司 | 一种数据处理方法和相关装置 |
-
2022
- 2022-08-22 CN CN202211005864.3A patent/CN115378703A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150229619A1 (en) * | 2014-02-07 | 2015-08-13 | Microsoft Corporation | Trusted execution within a distributed computing system |
| CN109299131A (zh) * | 2018-11-14 | 2019-02-01 | 百度在线网络技术（北京）有限公司 | 一种支持可信计算的spark查询方法及系统 |
| US20200151170A1 (en) * | 2018-11-14 | 2020-05-14 | Baidu Online Network Technology (Beijing) Co., Ltd. | Spark query method and system supporting trusted computing |
| WO2021159684A1 (zh) * | 2020-02-14 | 2021-08-19 | 云从科技集团股份有限公司 | 数据处理方法、系统、平台、设备及机器可读介质 |
| CN114036559A (zh) * | 2021-11-16 | 2022-02-11 | 北京冲量在线科技有限公司 | 基于可信平台控制模块（tpcm）和异构可信执行环境的信创隐私计算系统 |
| CN114584306A (zh) * | 2022-05-05 | 2022-06-03 | 腾讯科技（深圳）有限公司 | 一种数据处理方法和相关装置 |
Non-Patent Citations (1)
| Title |
|---|
| 石源;张焕国;赵波;于钊;: "基于SGX的虚拟机动态迁移安全增强方法", 通信学报, no. 09 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110855671B (zh) | 一种可信计算方法和系统 | |
| KR102263325B1 (ko) | 신뢰 실행 환경에서 스마트 계약 동작을 안전하게 실행하는 방법 | |
| US10903982B2 (en) | Smart contract-based data transfer method and system | |
| CN111460453A (zh) | 机器学习训练方法、控制器、装置、服务器、终端和介质 | |
| Celesti et al. | An approach for the secure management of hybrid cloud–edge environments | |
| CN111898145B (zh) | 一种神经网络模型训练方法、装置、设备及介质 | |
| WO2022199290A1 (zh) | 多方安全计算 | |
| CN111275202A (zh) | 一种面向数据隐私保护的机器学习预测方法及系统 | |
| CN109361663B (zh) | 一种访问加密数据的相关方法、系统和相关装置 | |
| CN108768633A (zh) | 实现区块链中信息共享的方法及装置 | |
| TW201926943A (zh) | 資料傳輸方法及系統 | |
| JP2023500570A (ja) | コールドウォレットを用いたデジタルシグニチャ生成 | |
| TW201824053A (zh) | 經驗證且私密之可攜帶身份識別 | |
| WO2023035507A1 (zh) | 一种可信执行环境多节点认证方法 | |
| CN114117386A (zh) | 会议管理方法及装置、计算机可读存储介质、电子设备 | |
| CN113643134A (zh) | 基于多密钥同态加密的物联网区块链交易方法及系统 | |
| Liu et al. | Identity authentication for edge devices based on zero‐trust architecture | |
| CN115378703A (zh) | 基于可信执行环境与Spark的安全可信数据处理系统 | |
| CN116094696A (zh) | 数据安全保护方法、数据安全管理平台、系统和存储介质 | |
| CN113472770A (zh) | 一种适用于电网大数据的安全外包计算架构 | |
| CN114897177A (zh) | 数据建模方法、装置、电子设备及存储介质 | |
| CN113672954A (zh) | 特征提取方法、装置和电子设备 | |
| JP2021533599A (ja) | コンピューティング環境でオンプレミスの秘密を複製する安全な方法 | |
| CN107657168A (zh) | 一种运用单点登录技术协调与控制的电商平台 | |
| CN117786757B (zh) | 一种隐私计算管理系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |