CN115758406A - 数据协同共享安全系统 - Google Patents

数据协同共享安全系统 Download PDF

Info

Publication number
CN115758406A
CN115758406A CN202211428027.1A CN202211428027A CN115758406A CN 115758406 A CN115758406 A CN 115758406A CN 202211428027 A CN202211428027 A CN 202211428027A CN 115758406 A CN115758406 A CN 115758406A
Authority
CN
China
Prior art keywords
data
laboratory
safety
application
platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211428027.1A
Other languages
English (en)
Inventor
刘阿慧
苟轶凡
姚丽娜
刘若雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing E Hualu Information Technology Co Ltd
Original Assignee
Beijing E Hualu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing E Hualu Information Technology Co Ltd filed Critical Beijing E Hualu Information Technology Co Ltd
Priority to CN202211428027.1A priority Critical patent/CN115758406A/zh
Publication of CN115758406A publication Critical patent/CN115758406A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Storage Device Security (AREA)

Abstract

本申请提供了一种数据协同共享安全系统。该数据协同共享安全系统,包括:上层应用、数据实验室、数据中台、底层平台依次进行通信连接,以进行信息交互;其中,数据实验室依托于kubernetes容器化管理平台,用于实现硬件资源容器编排管理,并通过大数据基础平台提供分布式计算、存储能力,以及丰富技术组件;数据实验室在各环节依托区块链存证能力,用于实现数据审核、应用的全方位监管;数据实验室提供了两种模式的价值挖掘方式;其中,两种模式包括中心化算法孵化模式和联邦学习模式。根据本申请实施例,能够提供一站式数据开发工具、一体化资源配置、全方位安全管控和可信计算安全加持。

Description

数据协同共享安全系统
技术领域
本申请属于数据协同共享安全技术领域,尤其涉及一种数据协同共享安全系统。
背景技术
数据成为最新的第五大生产要素,为社会经济发展提供了新的引擎动力。国家近期出台了一系列的政策法规鼓励、支持、引导与规范数据市场。可见,数字经济时代下各行业亟待发掘利用现有数据价值。但是,面对如此广袤的数据蓝海市场,现有的数据挖掘平台存在以下问题有待完善:
(1)严重的“信息孤岛”问题阻碍大数据协同共享
传统的数据共享交换平台难以在兼顾安全和隐私的条件下实现数据融通共享,目前数据融通交易还是处于“不敢”、“不能”、“不愿”现状,尤其是在实际数据融通过程中,安全管控手段缺乏、安全保护不足、隐私防护不足、数据融通合作基础设施不完善等问题的存在,导致数据融通的合作落地非常困难,形成了无数的“数据孤岛”。
(2)数据安全保护与数据价值挖掘间矛盾难以调和
如何在保证数据隐私安全的同时,还可对数据进行最大价值挖掘,实现数据所有权与使用权分离,是持续存在于大数据价值挖掘融通交易过程中的一对矛盾体。而保证数据安全是所有数据挖掘使用的前提,所以数据安全保护与数据价值挖掘间矛盾亟待解决。
(3)数据挖掘模式单一,局限性较高
随着数据要素的市场化价值化,市场上数据分析挖掘平台正在逐步发展。但是,平台整体上所采用的模式较为单一,一部分通过提供固定域的方式提供数据挖掘的场地和工具,完全不可出域的数据则无法在该模式下进行应用;还有一些平台专注于联邦学习的搭建,索然能满足数据不出域的要求,但是对于数据资源持有权限相对宽泛的数据增加了成本,效率相对势必有所降低。
有鉴于此,提出本申请。
发明内容
本申请实施例提供一种数据协同共享安全系统,能够提供一站式数据开发工具、一体化资源配置、全方位安全管控和可信计算安全加持。
本申请实施例提供一种数据协同共享安全系统,包括:
上层应用、数据实验室、数据中台、底层平台依次进行通信连接,以进行信息交互;
其中,数据实验室依托于kubernetes容器化管理平台,用于实现硬件资源容器编排管理,并通过大数据基础平台提供分布式计算、存储能力,以及丰富技术组件;
数据实验室在各环节依托区块链存证能力,用于实现数据审核、应用的全方位监管;
数据实验室提供了两种模式的价值挖掘方式;
其中,两种模式包括中心化算法孵化模式和联邦学习模式。
进一步地,中心化算法孵化模式,用于当数据所有方同意数据资源持有权释放至数据实验室时进行数据挖掘。
进一步地,中心化算法孵化模式,用于通过搭建网络隔离与物理空间隔离的环境结合全方位的数据安全工具充分保障数据安全,通过打造数据资源池与丰富的算力环境,为每位数据需求方提供独立安全的训练环境,数据需求者在数据开放实验室中进行数据分析、接口开发、或者模型训练后,将结果通过API方式进行拿走,原始数据无法获取,训练结束后该需求方的独立工作台包含申请数据、运行中间结果、算力等全部自动销毁。
进一步地,数据实验室是在非互联网环境,通过提供统一的数据资源、算力及固定的办公场所,为数据需求者与数据技术服务商提供数据分析和数据挖掘能力的工具平台,最终计算的结果以高价值的API的方式进行输出,实现了数据的受控开放、协同挖掘;
其中,非互联网环境包括政务外网或者局域网。
进一步地,联邦学习模式,用于当数据所有方与数据需求方的数据均不可出域,且需要进行联合建模时,通过数据实验室提供的联邦学习方式,完成数据在拥有方本地使用,完成加密联合建模,通过在数据拥有方部署本地计算节点,通过加密样本对齐、加密训练,数据拥有方不交换原始数据,仅在加密保护下交互中间计算结果,通过联合建模方式获取最终模型,以提高数据共享和业务协同能力,同时确保数据不出域、保障数据隐私权。
进一步地,数据实验室包括数据资源池模块,用于数据实验室通过数据资源池对于原始数据进行备份、标准化治理、清洗、转换,并映射到数据开放实验室后台,由审核人员控制资源池的数据目录,数据经脱敏后,将目录同步至实验室门户发布至资源池,达到数据可知的目的;运营后台权限控制与原始数据备份映射功能保障了不接触原始数据的前提下数据可知目的;用户在数据资源池中通过数据应用行业、来源进行精准筛选与使用权限申请。
进一步地,数据实验室包括算法开发模块,用于若数据需求者无需使用自身数据,或者自身数据可以出域存储至数据开放实验室,采用中心化算法孵化模式进行传统模型训练;数据开放实验室为每一位数据需求者提供独立干净的训练环境,为每一位用户提供独立dorker沙箱环境,在区域内数据需求者通过利用数据开放实验室提供的数据资源、算力资源、算法资源与平台能力进行模型训练,训练后的模型将部署至推理环境中,数据需求者通过API方式将结果拿走,而原始数据无法获取,训练结束后该需求方的独立工作台包含申请数据、运行中间结果、算力等全部自动销毁。
进一步地,数据实验室包括联邦学习模块,用于基于联邦学习技术面向数据提供者和数据使用者的多源数据应用生态系统,在保障数据不出域的情况下为双方或多方提供数据价值碰撞与联合建模的隐私计算环境,打造“可用不可见”的安全用数模式,以解决隐私数据无法出域而价值无法释放、数据开发过程中泄露和滥用问题,实现数据在流通域融合过程中的安全性、合规性和高效性。
进一步地,数据协同共享安全系统还包括数据资源管理平台,用于统一纳管结构化数据为上层的模型训练、模型推理、数据处理、数据共享应用提供数据源,另外针对外部不可出域数据,通过多方安全计算能力实现数据应用。
进一步地,上层应用包括数据资产化服务平台,用于打造完整安全的数据价值融通交易体系;针对硬件及运维侧,有运维管控及安全交换边界;在数据侧,包括数据库审计、脱敏、终端防泄漏、网络防泄漏能力;面向服务侧,则通过API网关监测、4A统一安全管控保障API安全及权限安全;应用侧则依托应用安全管控对应用安全进行保障;另外,在其他工具基础上形成数据全生命周期安全保障,面向用户提供数据安全可视化及管控能力。
本申请实施例提供一种数据协同共享安全系统,包括:上层应用、数据实验室、数据中台、底层平台依次进行通信连接,以进行信息交互;其中,数据实验室依托于kubernetes容器化管理平台,用于实现硬件资源容器编排管理,并通过大数据基础平台提供分布式计算、存储能力,以及丰富技术组件;数据实验室在各环节依托区块链存证能力,用于实现数据审核、应用的全方位监管;数据实验室提供了两种模式的价值挖掘方式;其中,两种模式包括中心化算法孵化模式和联邦学习模式。
该数据协同共享安全系统,能够提供一站式数据开发工具、一体化资源配置、全方位安全管控和可信计算安全加持。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的数据协同共享安全系统的结构示意图;
图2是本申请一个实施例提供的数据开放实验室-数据沙箱结构示意图;
图3是本申请一个实施例提供的数据开放实验室-联邦学习结构示意图;
图4是本申请一个实施例提供的安全域划分示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例,为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本申请进行进一步详细描述。应理解,此处所描述的具体实施例仅意在解释本申请,而不是限定本申请。对于本领域技术人员来说,本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了解决现有技术问题,本申请实施例提供了一种数据协同共享安全系统。图1示出了本申请一个实施例提供的数据协同共享安全系统的结构示意图。如图1所示,该数据协同共享安全系统,包括:
上层应用、数据实验室、数据中台、底层平台依次进行通信连接,以进行信息交互;
其中,数据实验室依托于kubernetes容器化管理平台,用于实现硬件资源容器编排管理,并通过大数据基础平台提供分布式计算、存储能力,以及丰富技术组件;
数据实验室在各环节依托区块链存证能力,用于实现数据审核、应用的全方位监管;
数据实验室提供了两种模式的价值挖掘方式;
其中,两种模式包括中心化算法孵化模式和联邦学习模式。
在一个实施例中,数据协同共享安全系统还包括数据资源管理平台,用于统一纳管结构化数据为上层的模型训练、模型推理、数据处理、数据共享应用提供数据源,另外针对外部不可出域数据,通过多方安全计算能力实现数据应用。
为保障数据安全,上层应用包括数据资产化服务平台,用于打造完整安全的数据价值融通交易体系;针对硬件及运维侧,有运维管控及安全交换边界;在数据侧,包括数据库审计、脱敏、终端防泄漏、网络防泄漏能力;面向服务侧,则通过API网关监测、4A统一安全管控保障API安全及权限安全;应用侧则依托应用安全管控对应用安全进行保障;另外,在其他工具基础上形成数据全生命周期安全保障,面向用户提供数据安全可视化及管控能力。
在一个实施例中,中心化算法孵化模式,用于当数据所有方同意数据资源持有权释放至数据实验室时进行数据挖掘。
在一个实施例中,中心化算法孵化模式,用于通过搭建网络隔离与物理空间隔离的环境结合全方位的数据安全工具充分保障数据安全,通过打造数据资源池与丰富的算力环境,为每位数据需求方提供独立安全的训练环境,数据需求者在数据开放实验室中进行数据分析、接口开发、或者模型训练后,将结果通过API方式进行拿走,原始数据无法获取,训练结束后该需求方的独立工作台包含申请数据、运行中间结果、算力等全部自动销毁。
在一个实施例中,数据实验室是在非互联网环境,通过提供统一的数据资源、算力及固定的办公场所,为数据需求者与数据技术服务商提供数据分析和数据挖掘能力的工具平台,最终计算的结果以高价值的API的方式进行输出,实现了数据的受控开放、协同挖掘;其中,非互联网环境包括政务外网或者局域网;数据开放实验室-数据沙箱结构示意图可参见图2。
在一个实施例中,联邦学习模式,用于当数据所有方与数据需求方的数据均不可出域,且需要进行联合建模时,通过数据实验室提供的联邦学习方式,完成数据在拥有方本地使用,完成加密联合建模,通过在数据拥有方部署本地计算节点,通过加密样本对齐、加密训练,数据拥有方不交换原始数据,仅在加密保护下交互中间计算结果,通过联合建模方式获取最终模型,以提高数据共享和业务协同能力,同时确保数据不出域、保障数据隐私权。其中,数据开放实验室-联邦学习结构示意图可参见图3。
在一个实施例中,数据实验室包括数据资源池模块,用于数据实验室通过数据资源池对于原始数据进行备份、标准化治理、清洗、转换,并映射到数据开放实验室后台,由审核人员控制资源池的数据目录,数据经脱敏后,将目录同步至实验室门户发布至资源池,达到数据可知的目的;运营后台权限控制与原始数据备份映射功能保障了不接触原始数据的前提下数据可知目的;用户在数据资源池中通过数据应用行业、来源进行精准筛选与使用权限申请。
在一个实施例中,数据实验室包括算法开发模块,用于若数据需求者无需使用自身数据,或者自身数据可以出域存储至数据开放实验室,采用中心化算法孵化模式进行传统模型训练;数据开放实验室为每一位数据需求者提供独立干净的训练环境,为每一位用户提供独立dorker沙箱环境,在区域内数据需求者通过利用数据开放实验室提供的数据资源、算力资源、算法资源与平台能力进行模型训练,训练后的模型将部署至推理环境中,数据需求者通过API方式将结果拿走,而原始数据无法获取,训练结束后该需求方的独立工作台包含申请数据、运行中间结果、算力等全部自动销毁。
在一个实施例中,数据实验室包括联邦学习模块,用于基于联邦学习技术面向数据提供者和数据使用者的多源数据应用生态系统,在保障数据不出域的情况下为双方或多方提供数据价值碰撞与联合建模的隐私计算环境,打造“可用不可见”的安全用数模式,以解决隐私数据无法出域而价值无法释放、数据开发过程中泄露和滥用问题,实现数据在流通域融合过程中的安全性、合规性和高效性。
综上所示,该系统具备如下有益效果:
1、一站式数据开发工具:
数据实验室针对作为封闭的数据价值挖掘工具平台,提供一站式的数据开发工具。支持针对结构化数据的数据分析建模、机器学习算法开发,针对非结构化的(视频、文本、图片)等深度学习的算法开发,同时,针对不出域的数据可以通过联邦计算的方式实现“数据可用不可见”。
数据实验室的算法训练工具基于kubernetes,kubeflow和docker虚拟化技术实现训练环境的自动部署和分布式训练环境,并提供了包括数据下载,在线训练,在线验证,算法镜像封装等一站式工具。
2、一体化资源配置:
数据实验室通过前台、后台的方式实现数据资源、算力资源的统一管控、统一配置。产业用户或者生态服务商通过数据资源、算力资源申请的方式进行任务是申请,数据实验室平台运营方可以对其任务进行审核并通过工具进行资源配置,实现了数据资源和算力资源的整体运营。
3、全方位安全管控:
在数据实验室内部系统及底层平台符合“等保三级”的前提下,数据实验室还引入了以下安全技术手段:
(1)网络安全体系优化:
在本地政务外网基础上,划分安全域,包括数据汇聚区、数据治理区、数据安全计算区、数据运营区,安全区间配备网络安全隔离设备,如VFW,VIPS,VWAF等,确保区间数据流、指令流严格受控。其中,安全域划分示意图如图4所示。
(2)数据全生命周期安全保障:
针对数据接入、存储、传输、计算、交换、销毁流程,配备数据安全分类分级、终端数据防泄漏系统、数据存储防泄漏、网络异常行为阻断、数据库防火墙、数据库脱敏加密等系统,保障数据全生命周期安全。
针对硬件及运维侧,有运维管控及安全交换边界;在数据侧,包括数据库审计、脱敏、终端防泄漏、网络防泄漏能力;面向服务侧,则通过API网关监测、4A统一安全管控保障API安全及权限安全;应用侧则依托应用安全管控对应用安全进行保障;另外,在以上工具基础上构建数据安全治理管控平台形成数据全生命周期安全保障,面向用户提供数据安全可视化及管控能力。
(3)数据权限控制:
以身份为中心,通过帐号管理、认证管理、集中授权、综合审计等软件子系统,实现应用系统及数据资源的最小实体级授权,统一的访问入口维护,运营、运维、技术及数据需求方各类用户角色的操作及生命周期进行管理。
(4)数据安全计算:
针对入驻的产业用户和生态服务商,通过固定网络环境、固定操作空间的数据实验室进行封闭的数据开发挖掘,借助联邦学习、多方安全计算等核心计算,实现“数据可用不可见”,流通的只是加工处理过的数据结果而非原始的明细数据。
4、可信计算安全加持:
可信计算平台是自主研发的基于硬件实现隐私计算,在计算机硬件平台上引入安全芯片架构,构建一个安全的可信执行环境(TEE:Trusted ExecutionEnvironment),各方数据统一汇聚到该区域内进行计算,通过其安全特性提高终端系统的安全性,做到数据可用不可见,确保了数据隐私、安全和合规。
(1)安全性:
可信计算环境在启动的时候,会再创建一块受保护的内存区域(Enclave),该内存区域被CPU加密保护,该内存区域中的程序和数据无法被外部窃取。只有可信计算环境(Enclave)内部,才能获得原始明文数据,即使程序或者数据部署在第三方的服务器上,只要他们在可信计算环境中,第三方也无法通过诸如转储(dump)内存等手段获得明文数据。
(2)不可篡改和度量机制:
在可信计算环境内运行的程序需要经过数据合作各方的代码审计,也就是度量,以保证代码实现各方约定的操作而不会将数据转发或另做他用。一旦程序被篡改,可信计算环境会拒绝加载运行程序。同时,还可以通过远程验证来认证可信计算环境的身份信息等。
(3)通用性和机器学习的支持:
可信计算框架支持Python以及基于Python的主流的机器学习框架,可以在不修改原始代码的情况下支持使用流行的机器学习框架(如SciKit-Learn、XGBoost、LightGBM、TensorFlow等)和常用的数据预处理方法(如处理缺失值、属性编码、数据标准化等)进行训练和预测,最大程度的简化了开发移植的工作量。使用者也可实现任意自定义逻辑,经过代码审计确保没有未授权操作(比如转存数据到其他地方),并签名后加入enclave内执行。
(4)高性能:
在可信计算环境的性能对比原生环境可做到无感知延迟。在基于常见四种机器学习框架(SciKit-Learn、XGBoost、LightGBM、TensorFlow)的手写数字图片识别(MNIST)测试中,在可信计算环境下进行预测较原生环境的延迟在0.01ms到0.5ms之间。根据实际生产环境的需要,可以通过横向扩容的方式提高吞吐量。对于模型训练过程,也可以通过引入分布式机器学习算法降低训练时间。
(5)快速部署:
可信计算框架无需二次开发,可快速部署于公有云、私有或线下环境,兼容主流数据库以及数据服务。数据/模型提供方可以通过集成光之树提供的SDK来进行安全数据协作。模型提供方通过SDK,把模型安全的传输到可信计算环境中运行;数据提供方同样可以通过SDK把模型所需数据传入可信计算环境中,模型可以通过这些数据进行预测。
(6)可视化和监控:
完整的可视化和监控界面,可随时监控enclave和任务的状态并可以从图形界面上进行操作和配置。
本申请中提供双模式的运作模式,可供不同需求的用户使用:
数据实验室是在数据融通变现过程中,面向数据需求者与数据技术服务商,基于固定安全边界保障数据不出域的,提供数据资源、算力、算法、办公场所等条件可信的数据分析及价值挖掘工具平台。
双模式的数据实验室传统模式为中心化算法训练,即数据所有方将使用权释放给数据实验室,实现数据所有权与使用权的分离,允许数据需求方使用数据,而不直接拥有,通过打造可信第三发平台,避免数据交易融通环节的纠纷;联邦学习模式保证了数据仅支持在其提供方本地使用,绝对不出域。从而实现数据的可用不可见。
本申请中数据实验室全方位实现数据安全监管:
通过“固定地域+网络隔离”、“联邦学习计算节点隔离”以及全方位的安全管控,形成相对安全的数据开发域,保障数据的有限流通,数据价值开发安全可控。
本申请中联邦学习模式操作模块采用低代码图形化模型编辑模式,采用算子托拉拽方式实现,操作难度大大降低:
联邦学习一般为算法工程师或具备专业算法技能的人员才能进行算法实现,专业壁垒性强。现有一些联邦学习平台有的以编程的形式实现,有的需要填写大量的参数方能实现联邦任务的完成。而易华录搭建的数据实验室的联邦学习模式将算法模块封装为算子,用户可以通过简单的拖拉拽实现多种丰富的算子或者组件的自由选择搭配,帮助用户能够方便快捷地搭建训练模型。用户只需填写、选择算子的参数即可,无需进行复杂的代码开发。用户在进行操作时操作简便,注重用户体验感。
本申请中联邦学习模式一个平台即可同时满足建模数据的发起方和参与方不同身份使用,实现轻量化部署。
联邦学习平台从数据中心到任务管理,均满足用户作为发起方和参与方不同身份时的建模需求。通过审批中心的搭建完成用户作为参与方时任务的审核与相应资源的配置,无需再区分发起方客户端和参与方客户端,部署轻量化,实现简洁化。
以上所述,仅为本申请的具体实施方式,所属领域的技术人员可以清楚地了解到,本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种数据协同共享安全系统,其特征在于,包括:
上层应用、数据实验室、数据中台、底层平台依次进行通信连接,以进行信息交互;
其中,所述数据实验室依托于kubernetes容器化管理平台,用于实现硬件资源容器编排管理,并通过大数据基础平台提供分布式计算、存储能力,以及丰富技术组件;
所述数据实验室在各环节依托区块链存证能力,用于实现数据审核、应用的全方位监管;
所述数据实验室提供了两种模式的价值挖掘方式;
其中,所述两种模式包括中心化算法孵化模式和联邦学习模式。
2.根据权利要求1所述的数据协同共享安全系统,其特征在于,所述中心化算法孵化模式,用于当数据所有方同意数据资源持有权释放至数据实验室时进行数据挖掘。
3.根据权利要求2所述的数据协同共享安全系统,其特征在于,所述中心化算法孵化模式,用于通过搭建网络隔离与物理空间隔离的环境结合全方位的数据安全工具充分保障数据安全,通过打造数据资源池与丰富的算力环境,为每位数据需求方提供独立安全的训练环境,数据需求者在数据开放实验室中进行数据分析、接口开发、或者模型训练后,将结果通过API方式进行拿走,原始数据无法获取,训练结束后该需求方的独立工作台包含申请数据、运行中间结果、算力等全部自动销毁。
4.根据权利要求3所述的数据协同共享安全系统,其特征在于,所述数据实验室是在非互联网环境,通过提供统一的数据资源、算力及固定的办公场所,为数据需求者与数据技术服务商提供数据分析和数据挖掘能力的工具平台,最终计算的结果以高价值的API的方式进行输出,实现了数据的受控开放、协同挖掘;
其中,所述非互联网环境包括政务外网或者局域网。
5.根据权利要求1所述的数据协同共享安全系统,其特征在于,所述联邦学习模式,用于当数据所有方与数据需求方的数据均不可出域,且需要进行联合建模时,通过数据实验室提供的联邦学习方式,完成数据在拥有方本地使用,完成加密联合建模,通过在数据拥有方部署本地计算节点,通过加密样本对齐、加密训练,数据拥有方不交换原始数据,仅在加密保护下交互中间计算结果,通过联合建模方式获取最终模型,以提高数据共享和业务协同能力,同时确保数据不出域、保障数据隐私权。
6.根据权利要求1所述的数据协同共享安全系统,其特征在于,所述数据实验室包括数据资源池模块,用于数据实验室通过数据资源池对于原始数据进行备份、标准化治理、清洗、转换,并映射到数据开放实验室后台,由审核人员控制资源池的数据目录,数据经脱敏后,将目录同步至实验室门户发布至资源池,达到数据可知的目的;运营后台权限控制与原始数据备份映射功能保障了不接触原始数据的前提下数据可知目的;用户在数据资源池中通过数据应用行业、来源进行精准筛选与使用权限申请。
7.根据权利要求1所述的数据协同共享安全系统,其特征在于,所述数据实验室包括算法开发模块,用于若数据需求者无需使用自身数据,或者自身数据可以出域存储至数据开放实验室,采用中心化算法孵化模式进行传统模型训练;数据开放实验室为每一位数据需求者提供独立干净的训练环境,为每一位用户提供独立dorker沙箱环境,在区域内数据需求者通过利用数据开放实验室提供的数据资源、算力资源、算法资源与平台能力进行模型训练,训练后的模型将部署至推理环境中,数据需求者通过API方式将结果拿走, 而原始数据无法获取,训练结束后该需求方的独立工作台包含申请数据、运行中间结果、算力等全部自动销毁。
8.根据权利要求1所述的数据协同共享安全系统,其特征在于,所述数据实验室包括联邦学习模块,用于基于联邦学习技术面向数据提供者和数据使用者的多源数据应用生态系统,在保障数据不出域的情况下为双方或多方提供数据价值碰撞与联合建模的隐私计算环境,打造“可用不可见”的安全用数模式,以解决隐私数据无法出域而价值无法释放、数据开发过程中泄露和滥用问题,实现数据在流通域融合过程中的安全性、合规性和高效性。
9.根据权利要求1所述的数据协同共享安全系统,其特征在于,所述数据协同共享安全系统还包括数据资源管理平台,用于统一纳管结构化数据为上层的模型训练、模型推理、数据处理、数据共享应用提供数据源,另外针对外部不可出域数据,通过多方安全计算能力实现数据应用。
10.根据权利要求1所述的数据协同共享安全系统,其特征在于,所述上层应用包括数据资产化服务平台,用于打造完整安全的数据价值融通交易体系;针对硬件及运维侧,有运维管控及安全交换边界;在数据侧,包括数据库审计、脱敏、终端防泄漏、网络防泄漏能力;面向服务侧,则通过API网关监测、4A统一安全管控保障API安全及权限安全;应用侧则依托应用安全管控对应用安全进行保障;另外,在其他工具基础上形成数据全生命周期安全保障,面向用户提供数据安全可视化及管控能力。
CN202211428027.1A 2022-11-15 2022-11-15 数据协同共享安全系统 Pending CN115758406A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211428027.1A CN115758406A (zh) 2022-11-15 2022-11-15 数据协同共享安全系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211428027.1A CN115758406A (zh) 2022-11-15 2022-11-15 数据协同共享安全系统

Publications (1)

Publication Number Publication Date
CN115758406A true CN115758406A (zh) 2023-03-07

Family

ID=85371285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211428027.1A Pending CN115758406A (zh) 2022-11-15 2022-11-15 数据协同共享安全系统

Country Status (1)

Country Link
CN (1) CN115758406A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118041688A (zh) * 2024-04-09 2024-05-14 北京大学 一种联合计算系统和方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118041688A (zh) * 2024-04-09 2024-05-14 北京大学 一种联合计算系统和方法

Similar Documents

Publication Publication Date Title
Pahl et al. An architecture pattern for trusted orchestration in IoT edge clouds
Sengan et al. Enhancing cyber–physical systems with hybrid smart city cyber security architecture for secure public data-smart network
CN111488595B (zh) 用于实现权限控制的方法及相关设备
Zhang et al. SafeCity: Toward safe and secured data management design for IoT-enabled smart city planning
CN113114498B (zh) 一种可信区块链服务平台的架构系统及其构建方法
CN111209269A (zh) 一种智慧城市大数据管理系统
CN110335187A (zh) 一种智慧城市操作系统
CN106888143A (zh) 混合云环境中的动态定义的虚拟私有网络隧道
Azhar Security, privacy and risks within smart cities: Literature review and development of a smart city interaction framework
CN112053274B (zh) 政务区块链网络的构建向导方法及装置
CN112866380B (zh) 一种基于区块链的链网架构
CN114036559B (zh) 基于可信平台控制模块(tpcm)和异构可信执行环境的信创隐私计算系统
Awaysheh et al. Big data security frameworks meet the intelligent transportation systems trust challenges
Khanji et al. A systematic analysis on the readiness of Blockchain integration in IoT forensics
Aladwan et al. Common security criteria for vehicular clouds and internet of vehicles evaluation and selection
CN115758406A (zh) 数据协同共享安全系统
CN115269671A (zh) 基于政务数据融通与价值挖掘的数据实验室
Hussain et al. Federated Zero Trust Architecture using Artificial Intelligence
CN116644934A (zh) 一种氢能产业大数据管理系统
Bary et al. Multiple Layer Public Blockchain Approach for Internet of Things (IoT) Systems (January 2024)
Echikr et al. Exploring the Potential of Blockchain in Internet of Robotic Things: Advancements, Challenges, and Future Directions
Zhai et al. A review of Blockchain-based access control for the industrial IoT
Palanivel et al. Securing IoT-Based Home Automation Systems Through Blockchain Technology: Implementation
de Aguiar Monteiro et al. A Survey on Microservice Security–Trends in Architecture Privacy and Standardization on Cloud Computing Environments
Miloslavskaya et al. Blockchain application for iot cybersecurity management

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination