CN109413087B - 数据共享方法、装置、数字网关及计算机可读存储介质 - Google Patents

数据共享方法、装置、数字网关及计算机可读存储介质 Download PDF

Info

Publication number
CN109413087B
CN109413087B CN201811369280.8A CN201811369280A CN109413087B CN 109413087 B CN109413087 B CN 109413087B CN 201811369280 A CN201811369280 A CN 201811369280A CN 109413087 B CN109413087 B CN 109413087B
Authority
CN
China
Prior art keywords
data
sharing
digital gateway
digital
gateway
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811369280.8A
Other languages
English (en)
Other versions
CN109413087A (zh
Inventor
张钧波
李瑞远
郑宇�
刘洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong City (nanjing) Technology Co Ltd
Original Assignee
Jingdong City (nanjing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong City (nanjing) Technology Co Ltd filed Critical Jingdong City (nanjing) Technology Co Ltd
Priority to CN201811369280.8A priority Critical patent/CN109413087B/zh
Publication of CN109413087A publication Critical patent/CN109413087A/zh
Priority to PCT/CN2019/103617 priority patent/WO2020098336A1/zh
Application granted granted Critical
Publication of CN109413087B publication Critical patent/CN109413087B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/10Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/105Multiple levels of security
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/45Network directories; Name-to-address mapping
    • H04L61/4505Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0823Network architectures or network communication protocols for network security for authentication of entities using certificates

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例提供一种数据共享方法、装置、数字网关及计算机可读存储介质。本发明实施例的方法,通过数字网关获取数据共享任务对应的原始数据之后,生成与所述原始数据的秘密等级匹配的共享数据,也即是采用与原始数据的秘密等级匹配的共享等级进行数据共享;通过根据原始数据的重要性、保密性和敏感性灵活地设置原始数据的秘密等级,可以实现对不同秘密等级的数据进行不同程度处理得到对应的共享数据,只将原始数据对应的共享数据进行对外共享,能够在不泄露原始数据的同时,实现数据共享。

Description

数据共享方法、装置、数字网关及计算机可读存储介质
技术领域
本发明实施例涉及数据共享技术领域,尤其涉及一种数据共享方法、装置、数字网关及计算机可读存储介质。
背景技术
随着大数据技术的普及和发展提高,目前各个企业公司、政府各个部门都已拥有海量的数据,并各自搭建有独立进行数据存储和关联的数据平台,可利用自己拥有的大数据进行相关的数据挖掘、分析和建模。然而,单个企业和部门通常只包含某个单一领域的数据,难以反映真实的数据分布;此外,多个企业和多个政府部门存在采集同一种数据的情况,造成了社会资源浪费。为了更好地支持智能化应用,减少数据采集成本,需要整合多个大数据平台进行数据共享。
目前,不同数据平台间的数据共享方法主要包括:通过互联网传输共享的原始数据,或者通过人工使用移动存储设备进行数据拷贝实现数据共享。
多数的数据平台将数据作为自己的私有资产,不愿将原始数据共享给其他数据平台,并且在数据传输过程中原始数据容易被第三方截获,造成数据泄密,存储在极大的安全隐患。
发明内容
本发明实施例提供一种数据共享方法、装置、数字网关及计算机可读存储介质,用以解决现有技术中多数的数据平台将数据作为自己的私有资产,不愿将原始数据共享给其他数据平台,并且在数据传输过程中原始数据容易被第三方截获,造成数据泄密,存储在极大的安全隐患的问题。
本发明实施例的第一个方面是提供一种数据共享方法,包括:
第一数字网关接收第二数字网关发送的数据共享请求,所述数据共享请求包括数据共享任务以及所述数据共享任务对应的元数据;
所述第一数字网关获取所述元数据对应的原始数据;
所述第一数字网关根据所述数据共享任务,生成与所述原始数据的秘密等级匹配的共享数据;
所述第一数字网关将所述共享数据共享给所述第二数字网关。
本发明实施例的第二个方面是提供一种数据共享方法,包括:
第二数字网关获取数据共享任务,所述数据共享任务对应的元数据,以及待连接的第一数字网关的标识信息;
所述第二数字网关根据所述第一数字网关的标识信息和域名解析信息,向所述第一数字网关发送数据共享请求,所述数据共享请求包括数据共享任务以及所述数据共享任务对应的元数据,以使所述第一数字网关根据所述数据共享任务的共享级别和所述原始数据的秘密等级,生成所述原始数据对应的共享数据;
所述第二数字网关获取所述第一数字网关提供的共享数据。
本发明实施例的第三个方面是提供一种数据共享装置,包括:
连接模块,用于第一数字网关接收第二数字网关发送的数据共享请求,所述数据共享请求包括数据共享任务以及所述数据共享任务对应的元数据;
共享模块,用于所述第一数字网关获取所述元数据对应的原始数据;
所述连接模块还用于所述第一数字网关根据所述数据共享任务,生成与所述原始数据的秘密等级匹配的共享数据;
所述共享模块还用于所述第一数字网关将所述共享数据共享给所述第二数字网关。
本发明实施例的第四个方面是提供一种数据共享装置,包括:
连接模块,用于第二数字网关获取数据共享任务,所述数据共享任务对应的元数据,以及待连接的第一数字网关的标识信息;
所述连接模块还用于所述第二数字网关根据第一数字网关的标识信息和域名解析信息,向所述第一数字网关发送数据共享请求,所述数据共享请求包括数据共享任务以及所述数据共享任务对应的元数据,以使所述第一数字网关根据所述数据共享任务的共享级别和所述原始数据的秘密等级,生成所述原始数据对应的共享数据;
共享模块,用于所述第二数字网关获取所述第一数字网关提供的共享数据。
本发明实施例的第五个方面是提供一种数字网关,包括:
存储器,处理器,通信接口,以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器运行所述计算机程序时实现上述第一个方面所述的方法。
本发明实施例的第六个方面是提供一种数字网关,包括:
存储器,处理器,通信接口,以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器运行所述计算机程序时实现上述第二个方面所述的方法。
本发明实施例的第七个方面是提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现上述第一个方面所述的方法。
本发明实施例的第八个方面是提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现上述第一个方面所述的方法。
本发明实施例提供的数据共享方法、装置、数字网关及计算机可读存储介质,通过数字网关获取数据共享任务对应的原始数据之后,生成与所述原始数据的秘密等级匹配的共享数据,也即是采用与原始数据的秘密等级匹配的共享等级进行数据共享;通过根据原始数据的重要性、保密性和敏感性灵活地设置原始数据的秘密等级,可以实现对不同秘密等级的数据进行不同程度处理得到对应的共享数据,只将原始数据对应的共享数据进行对外共享,能够在不泄露原始数据的同时,实现数据共享。
附图说明
图1为本发明实施例一提供的数据共享方法流程图;
图2为本发明实施例一提供的数据共享中数字网关的架构图;
图3为本发明实施例二提供的数据共享方法流程图;
图4为本发明实施例二提供的数据共享整体流程的示意图;
图5为本发明实施例二提供的另一数据共享方法流程图;
图6为本发明实施例三提供的数据共享装置的结构示意图;
图7为本发明实施例四提供的数据共享装置的结构示意图;
图8为本发明实施例五提供的数字网关的结构示意图;
图9为本发明实施例六提供的数字网关的结构示意图。
通过上述附图,已示出本发明明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明实施例构思的范围,而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明实施例相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明实施例的一些方面相一致的装置和方法的例子。
首先对本发明实施例所涉及的名词进行解释:
元数据(Metadata):又称中介数据、中继数据,为描述其它数据的数据,或者说是用于提供某种资源的有关信息的结构数据。元数据主要是描述数据属性的信息,用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。
此外,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中,“多个”的含义是两个以上,除非另有明确具体的限定。
下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本发明的实施例进行描述。
本实施例中的方法应用于进行数据共享的数据平台的数字网关。其中,第一数字网关接收请求共享数据的第二数字网关发送的数据共享请求,所述数据共享请求包括所述第二数字网关的数字证书,数据共享任务以及所述数据共享任务对应的元数据。
需要说明的是,第一数字网关所在的数据平台在作为请求方时,第一数字网关还可以执行第二数字网关的功能;第二数字网关所在的数据平台在作为被请求方时,第二数字网关还可以执行第一数字网关的功能。
实施例一
图1为本发明实施例一提供的数据共享方法流程图;图2为本发明实施例一提供的数据共享中数字网关的架构图。本发明实施例针对现有技术中多数的数据平台将数据作为自己的私有资产,不愿将原始数据共享给其他数据平台,并且在数据传输过程中原始数据容易被第三方截获,造成数据泄密,存储在极大的安全隐患的问题,提供了数据共享方法。
本实施例中,如图2所示,数据共享系统中多个数据平台相互之间可以通过数字网关进行数据共享。图2中的每个城市计算平台代表一个数据平台,每个数据平台均包括数字网关,不同的数据平台之间可以通过数字网关进行数据共享。
数据平台还包括用于存储和管理数据的数据管理模块(如图中的内部数据网络),数字网关能够调用数据管理模块获取数据。其中,图2中示例性地给出了数据平台中的部分类型的数据,例如公开数据,内部数据和敏感数据,此外还可以图2中未示出的保密数据,机密数据等等,本实施例此处不做具体限定。
另外,数据平台还可以包括AI模块(图中未示出),用于存储多个模型并进行模型相关运算。数字网关可以调用AI模块获取模型。
如图1所示,该方法具体步骤如下:
步骤S101、第二数字网关获取数据共享任务,数据共享任务对应的元数据,以及待连接的第一数字网关的标识信息。
其中,元数据是指对数据平台所拥有的原始数据的描述信息。
本实施例中,请求方用户可以预先查看各数据平台提供的元数据和模型能力,指定本次数据共享的数据共享任务,并在第二数字网关提交数据共享任务,数据共享任务对应的元数据,以及待连接第一数字网关的标识信息。
第二数字网关接收请求方用户提交的数据共享任务,数据共享任务对应的元数据,以及待连接第一数字网关的标识信息。
步骤S102、第二数字网关根据第一数字网关的标识信息和域名解析信息,向第一数字网关发送数据共享请求,数据共享请求包括数据共享任务以及数据共享任务对应的元数据。
其中,域名解析信息至少包括数字网关的标识信息、域名和IP地址的映射关系。
本实施例中,第二数字网关可以从存储有数据平台的域名解析信息的认证中心获取域名解析信息。
第二数字网关根据第一数字网关的标识信息,查询本地存储的域名解析信息,得到第一数字网关的域名和IP地址;然后根据第一数字网关的域名和IP地址向第一数字网关发送数据共享请求。
步骤S103、第一数字网关接收第二数字网关发送的数据共享请求,数据共享请求包括数据共享任务以及数据共享任务对应的元数据。
步骤S104、第一数字网关获取元数据对应的原始数据。
在接收到第二数字网关发送的数据共享请求之后,第一数字网关可以根据数据共享任务对应的元数据,获取这些元数据对应的原始数据。
步骤S105、第一数字网关根据数据共享任务,生成与原始数据的秘密等级匹配的共享数据。
其中,共享级别包括:原始数据共享、聚合数据共享、特征数据共享和模型数据共享;秘密等级包括:公开数据、内部数据、敏感数据、保密数据和机密数据。
本实施例中,不同秘密等级的原始数据在进行数据共享时的共享级别不同,也即是不同秘密等级匹配的共享级别不同,只要采用与原始数据的秘密等级向匹配的共享级别,生成的共享数据才是与原始数据的秘密等级匹配的共享数据。
具体的,公开数据是指可以对外公开的数据,例如气象信息、上市企业财报等,对公开数据可以进行原始数据共享。
内部数据是由数据平台内部业务产生的数据,在数据共享时多采用聚合的方法,生成原始数据的聚合数据,进行聚合数据共享。
敏感数据一般是指仅限数据平台内部相关业务员工使用或者小范围传播和使用的数据。此类数据在对外共享时,对原始敏感数据抽取特征之后产生特征数据,进行特征数据共享。这些特征数据可以有效体现原始数据的特征同时不具有敏感性。
保密数据一般指平台数据内部严禁非业务相关人员讨论和传播的数据,此类数据通常不会对外进行数据共享。对于保密数据,在数据不输出或共享的情况下,可以与其他数据平台进行模型数据共享。
机密数据一般指在内部严禁非业务相关人员查看和使用的数据,此类数据一般不做任何级别的共享,不会参与联合建模。
进一步地,与公开数据匹配的共享级别包括:原始数据共享、聚合数据共享、特征数据共享和模型数据共享。与内部数据匹配的共享级别包括:聚合数据共享、特征数据共享和模型数据共享。与敏感数据匹配的共享级别包括:特征数据共享和模型数据共享。与保密数据匹配的共享级别包括:模型数据共享;机密数据为不允许共享的数据,不存在与机密数据匹配的共享级别。
在获取到元数据对应的原始数据之后,第一数字网关根据数据共享任务的共享级别和原始数据的秘密等级,生成原始数据对应的共享数据,不同秘密等级的原始数据匹配的共享级别不同,只能采用与原始数据的秘密等级匹配的共享级别进行数据共享,可以在不向其他数字网关提供原始数据的前提下,进行数据共享,提高了数据共享的安全性。
步骤S106、第一数字网关将共享数据共享给第二数字网关。
在生成数据共享任务对应的共享数据之后,第一数字网关将共享数据共享给第二数字网关。
骤S107、第二数字网关获取第一数字网关提供的共享数据。
另外,本实施例中提供的数据共享方法是数字网关的基础功能,该数字网关在具有数据共享功能的基础上,还可以实现联合建模等高级功能,数字网关的数据共享功能能够支持数字网关联合建模任务的实现。在完成联合建模任务的过程中,在需要共享数据时,可以采用本实施例提供的数据共享方法。
本发明实施例通过数字网关获取数据共享任务对应的原始数据之后,生成与原始数据的秘密等级匹配的共享数据,也即是采用与原始数据的秘密等级匹配的共享等级进行数据共享;通过根据原始数据的重要性、保密性和敏感性灵活地设置原始数据的秘密等级,可以实现对不同秘密等级的数据进行不同程度处理得到对应的共享数据,只将原始数据对应的共享数据进行对外共享,能够在不泄露原始数据的同时,实现数据共享。
实施例二
图3为本发明实施例二提供的数据共享方法流程图;图4为本发明实施例二提供的数据共享整体流程的示意图。在上述实施例一的基础上,本实施例中,数据共享系统中预先设立一个统一的认证中心(如图2所示),用于提供网络身份认证服务,负责对参与数据共享的数据平台签发数字证书,并进行数字证书管理。
无论是请求方数据平台还是被请求方数据平台,对于每一个参与数据共享的数据平台,在进行数据共享之前,都需要通过数字网关在认证中心进行注册,并获取由认证中心签发的数字证书。这样该数字网关才可以与其他数据平台的数字网关进行通信,以实现数据共享。这样,所有这些已经完成注册的数据平台构成了一个局域网。
另外,认证中心存储有已注册的数据平台的域名解析信息,其中域名解析信息至少包括数字网关的标识信息、域名和IP地址的映射关系。例如,可以将已注册的数据平台的标识信息、域名和IP地址的映射关系的映射关系存储在一个域名解析表中。数据共享系统中每一个数据平台都相当于一个单独的服务器,拥有自己独立的域名和IP地址(也即是数字网关的域名和IP地址)。
如图3所示,该方法具体步骤如下:
步骤S200、第一数字网关在认证中心注册,并向认证中心同步自身的元数据和联合建模能力数据。
本实施例中,对于请求方数据平台的第一数字网关,首先需要在认证中心注册,并与认证中心进行自身提供的元数据和联合建模能力数据的同步,以确保认证中心中个数据平台提供的元数据和联合建模能力数据的正确性。
其中,联合建模能力数据至少包括是否支持联合建模任务,以及联合建模的模型类别等,联合建模能力数据可以由数据平台的技术人员根据所拥有的数据和实际需要进行设定,本实施例此处不做具体限定。
该步骤中,第一数字网关与认证中心进行元数据和联合建模能力数据的同步,已将自身的能共享的数据信息和联合建模能力通过认证中心告知其他数据平台的数字网关,以便于后续的数据共享。
步骤S201、第二数字网关在认证中心注册,从认证中心获取数字证书和域名解析信息,将数字证书和域名解析信息在本地存储。
当认证中心分发数字证书到数据平台的数字网关时,会同时向该数字网关发送域名解析信息,数字网关接收并存储域名解析信息。
本实施例中,第二数字网关在认证中心注册,并从认证中心获取数字证书和域名解析信息,具体可以采用如下方式实现:
第二数字网关向认证中心发送注册请求,注册请求至少包括第二数字网关的域名、IP地址和身份信息,以使认证中心将第二数字网关的域名和IP地址对应添加到本地的域名解析信息,根据身份信息生成第二数字网关的数字证书,并将数字证书和域名解析信息发送给第二数字网关;第二数字网关接收认证中心发送的数字证书和域名解析信息。
进一步地,第二数字网关实周期性地对本地存储的域名解析信息与认证中心存储的域名解析信息进行同步,以保证域名解析信息的正确性。
步骤S202、第二数字网关从认证中心获取其他数字网关所提供的元数据和联合建模能力数据,联合建模能力数据至少包括是否支持联合建模任务,以及联合建模的模型类别。
第二数字网关实周期性地对本地存储的其他数字网关所提供的元数据和联合建模能力数据与认证中心存储的各数字网关所提供的元数据和联合建模能力数据进行同步,以保证本地存储的其他数字网关所提供的元数据和联合建模能力数据的正确性。
步骤S203、第二数字网关获取数据共享任务,数据共享任务对应的元数据,以及待连接第一数字网关的标识信息。
该步骤与上述步骤S101一致,本实施例此处不做具体限定。
步骤S204、第二数字网关根据第一数字网关的标识信息和域名解析信息,向第一数字网关发送数据共享请求,数据共享请求包括第二数字网关的数字证书,数据共享任务及其对应的元数据。
其中,域名解析信息至少包括数字网关的标识信息、域名和IP地址的映射关系。
本实施例中,第二数字网关向第一数字网关发送的数据共享请求还包括第二数字网关的数字证书,以便于第一数字网关根据该数字证书对第二数字网关进行身份验证。
具体的,第二数字网关根据域名解析信息向第一数字网关发送数据共享请求,可以采用如下方式实现:
第二数字网关根据第一数字网关的标识信息,查询本地存储的域名解析信息,得到第一数字网关的域名和IP地址;然后根据第一数字网关的域名和IP地址向第一数字网关发送数据共享请求。
步骤S205、第一数字网关接收第二数字网关发送的数据共享请求,数据共享请求包括第二数字网关的数字证书,数据共享任务以及数据共享任务对应的元数据。
步骤S206、第一数字网关对第二数字网关的数字证书进行验证。
该步骤中,第一数字网关对第二数字网关的数字证书进行验证,以完成对第二数字网关的身份验证。
若验证通过,可以确定第二数字网关是已经在认证中心注册过的数据平台,则执行后续步骤S207继续进行数据共享。
若验证不通过,则可以确定第二数字网关不是已经在认证中心成功注册过的数据平台,则不再继续进行数据共享,结束本次数据共享。
具体的,第一数字网关对第二数字网关的数字证书进行验证,可以采用如下方式实现:
第一数字网关将第二数字网关的标识信息和数字证书发送给认证中心,以使认证中心对第二数字网关的数字证书进行认证并反馈认证结果;第一数字网关接收认证中心反馈的认证结果。
步骤S207、第一数字网关获取元数据对应的原始数据。
在接收到第二数字网关发送的数据共享请求之后,第一数字网关可以根据数据共享任务对应的元数据,获取这些元数据对应的原始数据。
步骤S208、第一数字网关根据数据共享任务,生成与原始数据的秘密等级匹配的共享数据。
本实施例中,如图5所示,该步骤中,第一数字网关根据数据共享任务,生成与原始数据的秘密等级匹配的共享数据,具体可以采用如下步骤实现:
步骤S2081、第一数字网关根据数据共享任务,确定数据共享任务的共享级别。
本实施例中,根据数据共享任务所请求的共享数据时通过对原始数据进行何种处理后得到的,可以确定数据共享任务的共享级别。
可选的,数据共享任务可以包括共享级别,由第二数字网关对应的请求方用户根据需要建立数据共享任务并提供对应的共享级别。
步骤S2082、第一数字网关确定共享级别与原始数据的秘密等级是否匹配。
若共享级别与原始数据的秘密等级匹配,则第一数字网关根据共享级别,执行步骤S2083-S2085中的一个步骤,或者执行步骤S2086-S2088,生成共享数据。
无论哪个秘密级别的原始数据,都不可避免地包含部分敏感信息。可选的,第一数字网关根据共享级别生成共享数据之前,对原始数据进行脱敏处理,可以进一步提高数据共享的安全性。
步骤S2083、若共享级别为原始数据共享,则将原始数据直接作为共享数据。
步骤S2084、若共享级别为聚合数据共享,则利用数据共享任务对应的聚合规则对原始数据进行聚合处理,得到原始数据的聚合数据,将聚合数据作为共享数据。
其中,数据共享任务对应的聚合规则是指对原始数据进行处理得到聚合数据的实施过程。例如,聚合规则可以包括一个或者多个聚合函数,若聚合规则包括多个聚合函数,则聚合规则还包括进行多个聚合函数处理的顺序。
具体的,对原始数据按照数据共享任务对应的聚合规则进行聚合处理,得到原始数据的聚合数据。
步骤S2085、若共享级别为特征数据共享,则利用数据共享任务对应的特征提取规则对原始数据进行特征提取处理,得到原始数据的特征数据,将特征数据作为共享数据。
其中,数据共享任务对应的特征提取规则是指对原始数据进行处理得到特征数据的实施过程。例如,特征提取规则可以包括一个或者多个特征提取算法,若特征提取规则包括多个特征提取算法,则特征提取规则还包括进行多个特征提取算法处理的顺序。
例如,特征提取算法可以是重要组成分析算法、或者自编码算法等等。
步骤S2086、若共享级别为模型数据共享,数据共享请求还包括联合建模任务的模型信息和初始参数信息。
针对数据平台内原始数据的可公开性、机密性和敏感性等情况,本实施例中,在进行联合建模时,可以利用各种特征学习的方法进行,例如联邦学习(Federated Learning)、迁移学习(Transfer Learning)、隐私保护(Privacy Preserving)、同态加密(HomomorphicEncryption)等,以此来应对数据平台上的不同数据情况。这些特征学习的方法可以有效应对不同建模问题中遇到的实际困难,例如某个数据平台数据量不足、数据无法导出、隐私信息需要加密保护、敏感信息需要脱敏等等。面对这些困难,通过使用特征学习的方法可以有效弥补某个数据平台数据不足,或者在不输出自己的任何数据的情况下,依然有能力同其他平台进行联合建模,并同时达到数据保护、和隐私保护的目的。
数据共享是数字网关的基础功能,该数字网关在具有数据共享功能的基础上,还可以实现联合建模等高级功能,数字网关的数据共享功能能够支持数字网关联合建模任务的实现。在完成联合建模任务的过程中,在需要共享数据时,可以采用本实施例提供的数据共享方法。
本实施例中,若共享级别为模型数据共享,则说明数字网关正在执行的是联合建模任务,需要与其他数据平台的数字网关共享模型相关的数据。这种情况下,数据共享请求还包括联合建模任务的模型信息和初始参数信息。
步骤S2087、第一数字网关根据模型信息获取待训练模型。
本实施例中,第一数字网关可以从对应数据平台的AI模块中获取待训练模型,并存储在本地。
步骤S2088、第一数字网关根据原始数据和初始参数信息,对待训练模型进行训练,得到中间结果数据,将中间结果数据作为共享数据。
其中,中间结果数据可以包括:训练好的模型本身,模型初始化参数,联合建模时调用模型的标识信息(例如模型名称等等),进行联合建模时迭代过程中模型训练的中间结果、中间输出值、和模型参数,等等,中间结果数据可以包括联合建模过程中需要共享的任何数据,本实施例此处不做具体限定。
步骤S2089、若共享级别与原始数据的秘密等级不匹配,则第一数字网关不生成共享数据。
步骤S209、第一数字网关对共享数据安全处理,并将安全处理后的共享数据发送给第二数字网关。
本实施例中,每个数据平台的数字网关包括安全模块(如图2所示),用于利用现有的硬件(例如堡垒机或者前置机等)和软件技术(例如防火墙、杀毒软件等),从机密性、完整性、不可否认性、新鲜性四个角度对数据交互安全进行保护。其中,数据机密性是指数据在传输过程中是经过加密的,能够不被第三方直接看到数据内容。数据完整性是指数据在传输中不被第三方篡改。数据的不可否认性是指数据发送方不能否认自己发送信息的行为和信息的内容。数据的新鲜性是指传输的数据是最新的,不被篡改和滞留。
该步骤中,第一数字网关的安全模块进行的安全处理至少包括:加密,附加特征码,数字签名和加盖时间戳。本实施例中,对共享数据进行加密,附加特征码,数字签名和加盖时间戳等安全处理的顺序,可以采用现有技术中的任意一种方法实现,本实施例此处不做具体限定。
在共享数据的传输过程中,为了保证共享数据的机密性,第一数字网关可以采用约定密钥和预设的对称加密算法对共享数据进行加密,得到共享数据的密文,并对该密文进行传输。这样,第二数字网关必须使用相同的约定密钥以及该预设的对称加密算法的逆算法对该密文进行解密,得到共享数据。其中对称加密算法可以是共享数据双方约定好的任意一种对称加密算法,本实施例此处不做具体限定。由于对称加密算法中,使用的约定密钥只有一个,交互的双方对数据进行加密或者解密时都使用同一个密钥,这就要求解密方事先必须知道加密密钥。
在共享数据的传输过程中,为保证共享数据的完整性,第一数字网关可以利用单项加密算法(例如,哈希算法等),提取共享数据的数据特征码,并在传输共享数据时连同其数据特征码一同传输;第二数字网关可以通过相同的单项加密算法,提取接收到的共享数据的数据特征码,并比较计算得到的数据特征码与接收到的数据特征码是否一致;若一致,则说明接收到的共享数据完整,没有被篡改过;若不一致,则说明接收到的共享数据已遭到破环,接收到的共享数据不可用,从而完成共享数据的完整性验证。
在共享数据的传输过程中,为了保证共享数据的不可否认性和新鲜性,第一数字网关可以对传输的共享数据进行数字签名和加盖时间戳,第二数字网关可以对接收到的共享数据的数字签名和时间戳进行验证,从而保证共享数据的抗抵赖,同时保证共享是最新鲜的,不被篡改或者滞留。
步骤S210、第二数字网关接收第一数字网关发送的共享数据,对共享数据进行安全验证。
对共享数据进行安全验证至少包括,对共享数据的时间戳、数字签名、附加特征码进行验证,并进行解密。
本实施例中,第二数字网关对共享数据进行安全验证的过程为第一数字网关对共享数据进行安全处的过程的逆过程,本实施例此处不再赘述。
第二数字网关对共享数据进行安全验证通过之后,可以获取到第一数字网关进行安全处理前的共享数据,将最终得到的共享数据存储到对应的数据平台中的数据管理模块,完成本次的数据共享。
上述步骤S209-S211为第一数字网关将共享数据共享给第二数字网关的一致实施方式。
本实施例的另一实施方式中,第一数字网关将安全处理后的共享数据共享给第二数字网关,还可以采用如下方式实现:
第一数字网关将安全处理后的共享数据发送给数据共享中心,以使数据共享中心对共享数据进行安全验证,并在验证通过后将共享数据发送给第二数字网关。第二数字网关第二数字网关接收数据共享中心发送的共享数据,并对共享数据进行安全验证。
另外,在进行联合建模时,联合建模的参与方数字网关都将根据各自拥有的数据得到的中间结果数据作为共享数据传输给数据共享中心,数据共享中心接收各个参与方的共享数据,在对共享数据验证通过之后,由数据共享中心根据各参与方提供的共享数据进行联合建模处理,并将得到的处理结果反馈给对应的联合建模的各参与方数字网关。可选的,为了节省资源,本实施例中的认证中心可以同时作为数据共享中心。
具体的,在共享中间结果数据时,数字网关可以不对中间结果数据进行安全处理,直接将中间结果数据共享给其他数字网关或者数据共享中心。或者,在共享中间结果数据时,数字网关可以对中间结果数据进行安全处理(如加密),将安全处理后的中间结果数据共享给数据共享中心;这种情况下,需要数据共享中心收集各数据平台的数字网关安全处理(如加密)后的中间结果进行安全处理的逆处理过程(如解密),得到安全处理前的中间结果数据,并进行合并或者运算等联合建模处理(例如,各数据平台计算的中间结果求和或者求乘积等等),并根据各数据平台需要的信息进行相对应的运算,然后将运算结果发送给对应的数据平台的数字网关。
可选的,如图2所示,数字网关还可以包括监控模块,监控模块作为数字网关的一个重要组成,主要承担着数据交互的监督和统计的功能。监控模块用于在共享数据的过程中进行数据流量监控;并在检测到数量流量异常时,向数据平台发送流量异常告警信息,从而可以提高数据共享的安全性。
可选的,数字网关的监控模块还可以实现对完成共享的数据共享任务进行记录,并结合流量数据进行费用结算。
可选的,监控模块还可以获取数据共享过程中产生的日志信息,定期地进行数据共享相关信息的分析和统计,并生成报告信息。例如完成数据共享任务的数量、相关费用的统计等等。
本实施例中,数据共享的整体流程如图4所示,数字网关包括了不同数据平台之间进行数据共享中的连接、共享、安全和监控等一系列的处理过程,实现了不同数据平台之间的数据共享。
本发明实施例中数据平台的数字网关集成了连接、共享、安全和监控的功能,通过数字证书的认证对请求数据共享的数字网关进行身份验证,并且通过对共享数据进行安全处理后传输,可以进一步提高数据共享的安全性;并且数字网关还可以通过监控模块实现共享数据的流量统计、日志分析和费用结算等功能,使得数据共享的过程更加便捷,改善用户体验。
实施例三
图6为本发明实施例三提供的数据共享装置的结构示意图。本发明实施例提供的数据共享装置可以执行数据共享方法实施例提供的处理流程。如图6所示,该数据共享装置60包括:连接模块601和共享模块602。
具体地,连接模块601用于第一数字网关接收第二数字网关发送的数据共享请求,数据共享请求包括数据共享任务以及数据共享任务对应的元数据。
共享模块602用于第一数字网关获取元数据对应的原始数据。
连接模块601还用于第一数字网关根据数据共享任务,生成与原始数据的秘密等级匹配的共享数据。
共享模块602还用于第一数字网关将共享数据共享给第二数字网关。
可选的,共享模块602还用于:
第一数字网关根据数据共享任务,确定数据共享任务的共享级别,共享级别包括:原始数据共享、聚合数据共享、特征数据共享和模型数据共享;第一数字网关确定共享级别与原始数据的秘密等级是否匹配;若共享级别与原始数据的秘密等级匹配,则第一数字网关根据共享级别生成共享数据;若共享级别与原始数据的秘密等级不匹配,则第一数字网关不生成共享数据。
其中,秘密等级包括:公开数据、内部数据、敏感数据、保密数据和机密数据。
与公开数据匹配的共享级别包括:原始数据共享、聚合数据共享、特征数据共享和模型数据共享。
与内部数据匹配的共享级别包括:聚合数据共享、特征数据共享和模型数据共享。
与敏感数据匹配的共享级别包括:特征数据共享和模型数据共享。
与保密数据匹配的共享级别包括:模型数据共享。
机密数据为不允许共享的数据,不存在与机密数据匹配的共享级别。
可选的,共享模块602还用于:
若共享级别为原始数据共享,则将原始数据直接作为共享数据;若共享级别为聚合数据共享,则利用数据共享任务对应的聚合规则对原始数据进行聚合处理,得到原始数据的聚合数据,将聚合数据作为共享数据;若共享级别为特征数据共享,则利用数据共享任务对应的特征提取规则对原始数据进行特征提取处理,得到原始数据的特征数据,将特征数据作为共享数据。
可选的,共享模块602还用于:
若共享级别为模型数据共享,数据共享请求还包括联合建模任务的模型信息和初始参数信息;第一数字网关根据模型信息获取待训练模型;第一数字网关根据原始数据和初始参数信息,对待训练模型进行训练,得到中间结果数据,将中间结果数据作为共享数据。
可选的,如图6所示,数据共享装置60还包括:安全模块603。
安全模块603用于对原始数据进行脱敏处理。
可选的,数据共享请求还包括第二数字网关的数字证书。安全模块603还用于:第一数字网关对第二数字网关的数字证书进行验证;若验证通过,则共享模块602执行第一数字网关获取元数据对应的原始数据的步骤;若验证不通过,则共享模块602不再执行第一数字网关获取元数据对应的原始数据的步骤。
可选的,安全模块603还用于:
第一数字网关将第二数字网关的标识信息和数字证书发送给认证中心,以使认证中心对第二数字网关的数字证书进行认证并反馈认证结果;第一数字网关接收认证中心反馈的认证结果。
可选的,安全模块603还用于:
第一数字网关对共享数据安全处理,并将安全处理后的共享数据共享给第二数字网关,其中安全处理至少包括:加密,附加特征码,数字签名和加盖时间戳。
可选的,共享模块602还用于:
第一数字网关将安全处理后的共享数据发送给数据共享中心,以使数据共享中心对共享数据进行安全验证,并在验证通过后将共享数据发送给第二数字网关。
可选的,如图6所示,数据共享装置60还包括:监控模块604。
监控模块604用于:进行数据流量监控,并在检测到数量流量异常时,向数据平台发送流量异常告警信息。
本发明实施例提供的装置可以具体用于执行上述实施例一或实施例二中第一数字网关执行的方法处理流程,具体功能此处不再赘述。
本发明实施例通过数字网关获取数据共享任务对应的原始数据之后,生成与原始数据的秘密等级匹配的共享数据,也即是采用与原始数据的秘密等级匹配的共享等级进行数据共享;通过根据原始数据的重要性、保密性和敏感性灵活地设置原始数据的秘密等级,可以实现对不同秘密等级的数据进行不同程度处理得到对应的共享数据,只将原始数据对应的共享数据进行对外共享,能够在不泄露原始数据的同时,实现数据共享。
实施例四
图7为本发明实施例四提供的数据共享装置的结构示意图。本发明实施例提供的数据共享装置可以执行数据共享方法实施例提供的处理流程。如图7所示,该数据共享装置70包括:连接模块701和共享模块702。
具体的,连接模块701用于第二数字网关获取数据共享任务,数据共享任务对应的元数据,以及待连接的第一数字网关的标识信息。
连接模块701还用于第二数字网关根据第一数字网关的标识信息和域名解析信息,向第一数字网关发送数据共享请求,数据共享请求包括数据共享任务以及数据共享任务对应的元数据,以使第一数字网关根据数据共享任务的共享级别和原始数据的秘密等级,生成原始数据对应的共享数据。
共享模块702用于第二数字网关获取第一数字网关提供的共享数据。
可选的,数据共享请求还包括第二数字网关的数字证书。连接模块701还用于:第二数字网关在认证中心注册,并从认证中心获取数字证书和域名解析信息;第二数字网关将数字证书和域名解析信息在本地存储。
可选的,连接模块701还用于:
第二数字网关根据第一数字网关的标识信息,查询本地存储的域名解析信息,得到第一数字网关的域名和IP地址;第二数字网关根据第一数字网关的IP地址向第一数字网关发送数据共享请求。
可选的,连接模块701还用于:第二数字网关向认证中心发送注册请求,注册请求至少包括第二数字网关的域名、IP地址和身份信息,以使认证中心将第二数字网关的域名和IP地址对应添加到本地的域名解析信息,根据身份信息生成第二数字网关的数字证书,并将数字证书和域名解析信息发送给第二数字网关;第二数字网关接收认证中心发送的数字证书和域名解析信息。
可选的,共享模块702还用于:
第二数字网关从认证中心获取其他数字网关所提供的元数据和联合建模能力数据,联合建模能力数据至少包括是否支持联合建模任务,以及联合建模的模型类别。
可选的,共享模块702还用于:
第二数字网关实周期性地对本地存储的域名解析信息与认证中心存储的域名解析信息进行同步。
可选的,共享模块702还用于:
第二数字网关实周期性地对本地存储的其他数字网关所提供的元数据和联合建模能力数据与认证中心存储的各数字网关所提供的元数据和联合建模能力数据进行同步。
可选的,如图7所示,该数据共享装置70还可以包括:安全模块703。
可选的,共享模块702还用于:第二数字网关接收第一数字网关或者数据共享中心发送的共享数据。
安全模块703用于第二数字网关对共享数据进行安全验证。
可选的,如图7所示,该数据共享装置70还可以包括:监控模块704。
监控模块704用于:进行数据流量监控,并在检测到数量流量异常时,向数据平台发送流量异常告警信息。
本发明实施例提供的装置可以具体用于执行上述实施例一或实施例二中第二数字网关所执行的方法处理流程,具体功能此处不再赘述。
本发明实施例通过数字网关获取数据共享任务对应的原始数据之后,生成与原始数据的秘密等级匹配的共享数据,也即是采用与原始数据的秘密等级匹配的共享等级进行数据共享;通过根据原始数据的重要性、保密性和敏感性灵活地设置原始数据的秘密等级,可以实现对不同秘密等级的数据进行不同程度处理得到对应的共享数据,只将原始数据对应的共享数据进行对外共享,能够在不泄露原始数据的同时,实现数据共享。
实施例五
图8为本发明实施例五提供的数字网关的结构示意图。如图8所示,该数字网关80包括:处理器801,存储器802,通信接口803以及存储在存储器802上并可由处理器801执行的计算机程序。
处理器801在执行存储在存储器802上的计算机程序时实现上述任一方法实施例中第一数字网关所执行的方法流程。
本发明实施例通过数字网关获取数据共享任务对应的原始数据之后,生成与原始数据的秘密等级匹配的共享数据,也即是采用与原始数据的秘密等级匹配的共享等级进行数据共享;通过根据原始数据的重要性、保密性和敏感性灵活地设置原始数据的秘密等级,可以实现对不同秘密等级的数据进行不同程度处理得到对应的共享数据,只将原始数据对应的共享数据进行对外共享,能够在不泄露原始数据的同时,实现数据共享。
实施例六
图9为本发明实施例六提供的数字网关的结构示意图。如图9所示,该数字网关90包括:处理器901,存储器902,通信接口903以及存储在存储器902上并可由处理器901执行的计算机程序。
处理器901在执行存储在存储器902上的计算机程序时实现上述任一方法实施例中第二数字网关所执行的方法流程。
本发明实施例通过数字网关获取数据共享任务对应的原始数据之后,生成与原始数据的秘密等级匹配的共享数据,也即是采用与原始数据的秘密等级匹配的共享等级进行数据共享;通过根据原始数据的重要性、保密性和敏感性灵活地设置原始数据的秘密等级,可以实现对不同秘密等级的数据进行不同程度处理得到对应的共享数据,只将原始数据对应的共享数据进行对外共享,能够在不泄露原始数据的同时,实现数据共享。
另外,本发明实施例还提供一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时实现上述任一方法实施例中第一数字网关所执行的数据共享方法。
本发明实施例还提供一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时实现上述任一方法实施例中第二数字网关所执行的数据共享方法。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施例方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求书指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求书来限制。

Claims (25)

1.一种数据共享方法,其特征在于,包括:
第一数字网关接收第二数字网关发送的数据共享请求,所述数据共享请求包括数据共享任务以及所述数据共享任务对应的元数据;
所述第一数字网关获取所述元数据对应的原始数据;
所述第一数字网关根据所述数据共享任务,确定所述数据共享任务的共享级别,所述共享级别包括:原始数据共享、聚合数据共享、特征数据共享和模型数据共享;
所述第一数字网关确定所述共享级别与所述原始数据的秘密等级是否匹配;
若所述共享级别与所述原始数据的秘密等级匹配,则所述第一数字网关根据所述共享级别生成所述共享数据;
所述第一数字网关将所述共享数据共享给所述第二数字网关。
2.根据权利要求1所述的方法,其特征在于,所述第一数字网关确定所述共享级别与所述原始数据的秘密等级是否匹配之后,还包括:
若所述共享级别与所述原始数据的秘密等级不匹配,则所述第一数字网关不生成所述共享数据。
3.根据权利要求2所述的方法,其特征在于,
所述秘密等级包括:公开数据、内部数据、敏感数据、保密数据和机密数据;
与所述公开数据匹配的共享级别包括:原始数据共享、聚合数据共享、特征数据共享和模型数据共享;
与所述内部数据匹配的共享级别包括:聚合数据共享、特征数据共享和模型数据共享;
与所述敏感数据匹配的共享级别包括:特征数据共享和模型数据共享;
与所述保密数据匹配的共享级别包括:模型数据共享;
所述机密数据为不允许共享的数据,不存在与所述机密数据匹配的共享级别。
4.根据权利要求3所述的方法,其特征在于,所述第一数字网关根据所述共享级别生成所述共享数据,包括:
若所述共享级别为原始数据共享,则将所述原始数据直接作为共享数据;
若所述共享级别为聚合数据共享,则利用所述数据共享任务对应的聚合规则对所述原始数据进行聚合处理,得到所述原始数据的聚合数据,将所述聚合数据作为共享数据;
若所述共享级别为特征数据共享,则利用所述数据共享任务对应的特征提取规则对所述原始数据进行特征提取处理,得到所述原始数据的特征数据,将所述特征数据作为共享数据。
5.根据权利要求3所述的方法,其特征在于,所述第一数字网关根据所述共享级别生成所述共享数据,包括:
若所述共享级别为模型数据共享,所述数据共享请求还包括联合建模任务的模型信息和初始参数信息;
所述第一数字网关根据所述模型信息获取待训练模型;
所述第一数字网关根据所述原始数据和所述初始参数信息,对所述待训练模型进行训练,得到中间结果数据,将所述中间结果数据作为共享数据。
6.根据权利要求2-4任一项所述的方法,其特征在于,所述第一数字网关根据所述共享级别生成所述共享数据之前,还包括:
对所述原始数据进行脱敏处理。
7.根据权利要求1-5任一项所述的方法,其特征在于,所述数据共享请求还包括所述第二数字网关的数字证书,
所述第一数字网关获取所述元数据对应的原始数据之前,还包括:
所述第一数字网关对所述第二数字网关的数字证书进行验证;
若验证通过,则执行所述第一数字网关获取所述元数据对应的原始数据的步骤;
若验证不通过,则不再执行所述第一数字网关获取所述元数据对应的原始数据的步骤。
8.根据权利要求7所述的方法,其特征在于,所述第一数字网关对所述第二数字网关的数字证书进行验证,包括:
所述第一数字网关将所述第二数字网关的标识信息和数字证书发送给认证中心,以使所述认证中心对所述第二数字网关的数字证书进行认证并反馈认证结果;
所述第一数字网关接收所述认证中心反馈的认证结果。
9.根据权利要求1-5任一项所述的方法,其特征在于,所述第一数字网关将所述共享数据共享给所述第二数字网关,包括:
所述第一数字网关对所述共享数据安全处理,并将安全处理后的共享数据共享给所述第二数字网关,其中所述安全处理至少包括:加密,附加特征码,数字签名和加盖时间戳。
10.根据权利要求9所述的方法,其特征在于,所述第一数字网关将安全处理后的共享数据共享给所述第二数字网关,包括:
所述第一数字网关将所述安全处理后的共享数据发送给数据共享中心,以使所述数据共享中心对所述共享数据进行安全验证,并在验证通过后将所述共享数据发送给所述第二数字网关。
11.根据权利要求1-5任一项所述的方法,其特征在于,所述方法还包括:
进行数据流量监控,并在检测到数量流量异常时,向数据平台发送流量异常告警信息。
12.一种数据共享方法,其特征在于,包括:
第二数字网关获取数据共享任务,所述数据共享任务对应的元数据,以及待连接的第一数字网关的标识信息;
所述第二数字网关根据所述第一数字网关的标识信息和域名解析信息,向所述第一数字网关发送数据共享请求,所述数据共享请求包括数据共享任务以及所述数据共享任务对应的元数据,以使所述第一数字网关根据所述数据共享任务的共享级别和原始数据的秘密等级,生成所述原始数据对应的共享数据;
所述第二数字网关获取所述第一数字网关提供的共享数据。
13.根据权利要求12所述的方法,其特征在于,所述数据共享请求还包括所述第二数字网关的数字证书,
所述第二数字网关根据所述第一数字网关的标识信息和域名解析信息,向所述第一数字网关发送数据共享请求之前,还包括:
所述第二数字网关在认证中心注册,并从所述认证中心获取数字证书和域名解析信息;
所述第二数字网关将所述数字证书和域名解析信息在本地存储。
14.根据权利要求13所述的方法,其特征在于,所述第二数字网关根据所述第一数字网关的标识信息和域名解析信息,向所述第一数字网关发送数据共享请求,包括:
所述第二数字网关根据所述第一数字网关的标识信息,查询本地存储的所述域名解析信息,得到所述第一数字网关的域名和IP地址;
所述第二数字网关根据所述第一数字网关的IP地址向所述第一数字网关发送所述数据共享请求。
15.根据权利要求13所述的方法,其特征在于,所述第二数字网关在认证中心注册,并从所述认证中心获取数字证书和域名解析信息,包括:
所述第二数字网关向所述认证中心发送注册请求,所述注册请求至少包括所述第二数字网关的域名、IP地址和身份信息,以使所述认证中心将所述第二数字网关的域名和IP地址对应添加到本地的域名解析信息,根据所述身份信息生成所述第二数字网关的数字证书,并将所述数字证书和域名解析信息发送给所述第二数字网关;
所述第二数字网关接收所述认证中心发送的所述数字证书和域名解析信息。
16.根据权利要求12或13所述的方法,其特征在于,所述第二数字网关根据所述第一数字网关的标识信息和域名解析信息,向所述第一数字网关发送数据共享请求之前,还包括:
所述第二数字网关从认证中心获取其他数字网关所提供的元数据和联合建模能力数据,所述联合建模能力数据至少包括是否支持联合建模任务,以及联合建模的模型类别。
17.根据权利要求15所述的方法,其特征在于,所述第二数字网关在认证中心注册,并从所述认证中心获取数字证书和域名解析信息之后,还包括:
所述第二数字网关实周期性地对本地存储的域名解析信息与认证中心存储的域名解析信息进行同步。
18.根据权利要求16所述的方法,其特征在于,所述方法还包括:
所述第二数字网关实周期性地对本地存储的其他数字网关所提供的元数据和联合建模能力数据与认证中心存储的各数字网关所提供的元数据和联合建模能力数据进行同步。
19.根据权利要求12所述的方法,其特征在于,所述第二数字网关获取所述第一数字网关提供的共享数据,包括:
所述第二数字网关接收所述第一数字网关或者数据共享中心发送的共享数据;
所述第二数字网关对所述共享数据进行安全验证。
20.一种数据共享装置,其特征在于,包括:
连接模块,用于第一数字网关接收第二数字网关发送的数据共享请求,所述数据共享请求包括数据共享任务以及所述数据共享任务对应的元数据;
共享模块,用于所述第一数字网关获取所述元数据对应的原始数据;
所述连接模块还用于:所述第一数字网关根据所述数据共享任务,确定所述数据共享任务的共享级别,所述共享级别包括:原始数据共享、聚合数据共享、特征数据共享和模型数据共享;所述第一数字网关确定所述共享级别与所述原始数据的秘密等级是否匹配;若所述共享级别与所述原始数据的秘密等级匹配,则所述第一数字网关根据所述共享级别生成所述共享数据;
所述共享模块还用于所述第一数字网关将所述共享数据共享给所述第二数字网关。
21.一种数据共享装置,其特征在于,包括:
连接模块,用于第二数字网关获取数据共享任务,所述数据共享任务对应的元数据,以及待连接的第一数字网关的标识信息;
所述连接模块还用于所述第二数字网关根据第一数字网关的标识信息和域名解析信息,向所述第一数字网关发送数据共享请求,所述数据共享请求包括数据共享任务以及所述数据共享任务对应的元数据,以使所述第一数字网关根据所述数据共享任务的共享级别和原始数据的秘密等级,生成所述原始数据对应的共享数据;
共享模块,用于所述第二数字网关获取所述第一数字网关提供的共享数据。
22.一种数字网关,其特征在于,包括:
存储器,处理器,通信接口,以及存储在所述存储器上并可在所述处理器上运行的计算机程序,
所述处理器运行所述计算机程序时实现如权利要求1-11中任一项所述的方法。
23.一种数字网关,其特征在于,包括:
存储器,处理器,通信接口,以及存储在所述存储器上并可在所述处理器上运行的计算机程序,
所述处理器运行所述计算机程序时实现如权利要求12-19中任一项所述的方法。
24.一种计算机可读存储介质,其特征在于,存储有计算机程序,
所述计算机程序被处理器执行时实现如权利要求1-11中任一项所述的方法。
25.一种计算机可读存储介质,其特征在于,存储有计算机程序,
所述计算机程序被处理器执行时实现如权利要求12-19中任一项所述的方法。
CN201811369280.8A 2018-11-16 2018-11-16 数据共享方法、装置、数字网关及计算机可读存储介质 Active CN109413087B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811369280.8A CN109413087B (zh) 2018-11-16 2018-11-16 数据共享方法、装置、数字网关及计算机可读存储介质
PCT/CN2019/103617 WO2020098336A1 (zh) 2018-11-16 2019-08-30 数据共享方法、装置、数字网关及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811369280.8A CN109413087B (zh) 2018-11-16 2018-11-16 数据共享方法、装置、数字网关及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN109413087A CN109413087A (zh) 2019-03-01
CN109413087B true CN109413087B (zh) 2019-12-31

Family

ID=65473704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811369280.8A Active CN109413087B (zh) 2018-11-16 2018-11-16 数据共享方法、装置、数字网关及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN109413087B (zh)
WO (1) WO2020098336A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109413087B (zh) * 2018-11-16 2019-12-31 京东城市(南京)科技有限公司 数据共享方法、装置、数字网关及计算机可读存储介质
CN111797851A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 特征提取方法、装置、存储介质及电子设备
CN110191088B (zh) * 2019-04-23 2021-11-02 视联动力信息技术股份有限公司 一种基于视联网的共享方法及系统
CN112182635B (zh) * 2019-07-03 2024-02-23 北京百度网讯科技有限公司 一种联合建模的实现方法、装置、设备和介质
CN112183565B (zh) * 2019-07-04 2023-07-14 创新先进技术有限公司 模型训练方法、装置及系统
CN110569228B (zh) * 2019-08-09 2020-08-04 阿里巴巴集团控股有限公司 模型参数确定方法、装置和电子设备
US10803184B2 (en) 2019-08-09 2020-10-13 Alibaba Group Holding Limited Generation of a model parameter
CN111125735B (zh) * 2019-12-20 2021-11-02 支付宝(杭州)信息技术有限公司 一种基于隐私数据进行模型训练的方法及系统
CN113127431A (zh) * 2020-01-10 2021-07-16 浙江大学 智能多任务特征数据共享方法及装置
CN111523098A (zh) * 2020-04-15 2020-08-11 支付宝(杭州)信息技术有限公司 数据权限管理方法及装置
CN111507481B (zh) * 2020-04-17 2023-03-03 腾讯科技(深圳)有限公司 一种联邦学习系统
CN112668037B (zh) * 2020-06-02 2024-04-05 华控清交信息科技(北京)有限公司 一种模型训练方法、装置和电子设备
CN111901309B (zh) * 2020-07-03 2022-03-22 北京邮电大学 一种数据安全共享方法、系统及装置
CN111738440B (zh) * 2020-07-31 2020-11-24 支付宝(杭州)信息技术有限公司 一种基于领域自适应与联邦学习的模型训练方法及系统
CN112100661B (zh) * 2020-09-16 2024-03-12 深圳集智数字科技有限公司 一种数据处理方法及装置
CN114666811A (zh) * 2020-12-24 2022-06-24 华为技术有限公司 信息共享方法及通信装置
CN112769808B (zh) * 2020-12-31 2023-10-20 章和技术(广州)有限公司 用于工业局域网的移动堡垒机及其运维方法、计算机设备
CN113468133A (zh) * 2021-05-23 2021-10-01 杭州医康慧联科技股份有限公司 适用于数据模型的在线共享系统
CN113992339B (zh) * 2021-09-09 2024-04-05 奇安信科技集团股份有限公司 数据共享方法及装置,电子设备,存储介质
CN114339734A (zh) * 2022-03-04 2022-04-12 深圳市恒讯通电子有限公司 一种基于移动设备的无线通信网络数据共享方法及装置
CN114707174A (zh) * 2022-03-11 2022-07-05 上海熵熵微电子科技有限公司 一种数据处理方法、装置、电子设备和存储介质
CN114611143A (zh) * 2022-03-11 2022-06-10 上海熵熵微电子科技有限公司 一种数据的脱密共享方法、装置、设备及介质
CN115085983B (zh) * 2022-06-02 2024-03-12 度小满科技(北京)有限公司 数据处理方法、装置、计算机可读存储介质和电子设备
CN115174202B (zh) * 2022-06-30 2024-04-09 中国电建集团华中电力设计研究院有限公司 数据共享方法、装置、电子设备及存储介质
CN116049121B (zh) * 2023-03-06 2023-08-01 睿至科技集团有限公司 一种物联网能源数据的共享方法及其系统
CN116723042B (zh) * 2023-07-12 2024-01-26 北汽蓝谷信息技术有限公司 一种数据包的安全保护方法及系统
CN117520020B (zh) * 2024-01-05 2024-03-29 同盾科技有限公司 用于实现隐私计算的数据交互方法、装置、系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013188838A2 (en) * 2012-06-15 2013-12-19 Seqster, Inc. Storage, retrieval, analysis, pricing, and marketing of personal health care data using social networks, expert networks, and markets
CN103763362A (zh) * 2014-01-13 2014-04-30 西安电子科技大学 一种安全的分布式重复数据删除方法
CN105653981A (zh) * 2015-12-31 2016-06-08 中国电子科技网络信息安全有限公司 大数据平台的数据流通与交易的敏感数据保护系统及方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040073570A1 (en) * 2002-10-10 2004-04-15 International Business Machines Corporation System and method for blind sharing of genome data
US7827234B2 (en) * 2005-01-10 2010-11-02 International Business Machines Corporation Privacy entitlement protocols for secure data exchange, collection, monitoring and/or alerting
US9769124B2 (en) * 2012-09-21 2017-09-19 Nokia Technologies Oy Method and apparatus for providing access control to shared data based on trust level
US10108818B2 (en) * 2015-12-10 2018-10-23 Neustar, Inc. Privacy-aware query management system
CN107196984B (zh) * 2016-03-15 2020-06-26 华为技术有限公司 一种元数据的共享方法、元数据源设备及网络中间设备
CN105912950B (zh) * 2016-04-13 2019-03-26 国信优易数据有限公司 一种数据共享发布系统及方法
CN107301353B (zh) * 2017-06-27 2020-06-09 徐萍 一种流式密集型数据脱敏方法及其数据脱敏设备
CN107292183B (zh) * 2017-06-29 2019-08-23 国信优易数据有限公司 一种数据处理方法及设备
CN109413087B (zh) * 2018-11-16 2019-12-31 京东城市(南京)科技有限公司 数据共享方法、装置、数字网关及计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013188838A2 (en) * 2012-06-15 2013-12-19 Seqster, Inc. Storage, retrieval, analysis, pricing, and marketing of personal health care data using social networks, expert networks, and markets
CN103763362A (zh) * 2014-01-13 2014-04-30 西安电子科技大学 一种安全的分布式重复数据删除方法
CN105653981A (zh) * 2015-12-31 2016-06-08 中国电子科技网络信息安全有限公司 大数据平台的数据流通与交易的敏感数据保护系统及方法

Also Published As

Publication number Publication date
CN109413087A (zh) 2019-03-01
WO2020098336A1 (zh) 2020-05-22

Similar Documents

Publication Publication Date Title
CN109413087B (zh) 数据共享方法、装置、数字网关及计算机可读存储介质
CN111259070B (zh) 一种业务数据存储、获取的方法及相关装置
Xu et al. Blockchain-enabled accountability mechanism against information leakage in vertical industry services
CN108595126B (zh) 数据存储系统、查询方法、查询装置、服务器及存储介质
CN112347470A (zh) 基于区块链和数据安全沙箱的电网数据保护方法及系统
Li et al. Eunomia: Anonymous and secure vehicular digital forensics based on blockchain
CN111651521A (zh) 一种电子合同区块链结构、电子合同签署装置及方法
CN110648241B (zh) 一种基于微服务架构的理赔处理方法及装置
CN110020869B (zh) 用于生成区块链授权信息的方法、装置及系统
CN110866261A (zh) 基于区块链的数据处理方法、装置及存储介质
CN105554018A (zh) 网络实名验证方法
CN115580414A (zh) 基于隐私计算的数据开放系统及方法
US10679183B2 (en) Method and system for distributing and tracking information
CN110689348B (zh) 基于联盟链的收入验证方法、装置、终端及介质
Borges et al. An efficient privacy-preserving pay-by-phone system for regulated parking areas
CN113872751B (zh) 业务数据的监控方法、装置、设备及存储介质
CN113395269B (zh) 一种数据交互方法、装置
CN112634040B (zh) 一种数据处理方法及装置
KR101120059B1 (ko) 클라우드 컴퓨팅 과금 공증장치, 과금 시스템 및 과금방법
WO2020233038A1 (zh) 基于同态加密的黑名单云共享验证的方法和相关装置
CN116150801B (zh) 基于区块链加密的人力资源管理系统
Feng et al. Autonomous Vehicles' Forensics in Smart Cities
CN108171078B (zh) 一种面向第三方的云平台测评系统的数据保全方法和装置
CN111769956B (zh) 业务处理方法、装置、设备及介质
CN109753824B (zh) 一种分布式电子签章方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant