CN114065238B - 数据管理方法、装置及电子设备 - Google Patents

Abstract

本申请涉及一种数据管理方法、装置及电子设备。方法包括：数据提供方接收数据请求，数据请求通过数据提供方所归属的联邦学习框架的数据交互协议被发送给数据提供方，数据交互协议使得联邦学习框架的参与方之间可基于元数据获得与该元数据对应的原始数据；数据提供方通过解析数据请求确定数据请求要调用的数据，判断数据请求是否包括与要调用的数据相对应的元数据，以及确定数据请求的发起方的身份信息；和响应于数据请求包括与要调用的数据相对应的元数据，数据提供方根据数据请求的发起方的身份信息判断数据请求的发起方是否获得针对要调用的数据的授权许可，如果否，则拒绝该数据请求。如此，提供对数据使用授权鉴权的精细化管理。

Description

数据管理方法、装置及电子设备

技术领域

本申请涉及数据安全和隐私保护技术领域，具体涉及一种数据管理方法、装置及电子设备。

背景技术

随着人工智能和大数据挖掘分析等应用领域的发展，对数据量的需求越来越大。例如训练人工智能的应用模型需要使用大量带有合适的数据标签或者特征数值的训练数据。高质量的数据往往来源于经营活动中产生和积累的应用数据。但是应用数据往往分散在不同的组织和个体手上，例如交易数据分散在各个金融机构，医疗诊断数据分散在各个医疗机构。跨行业跨领域的应用数据往往也是分散的，例如互联网领域的社交属性数据和电商交易数据往往由不同实体掌控。随着数据所有权的重要性、用户隐私和数据安全等受到更多重视，也随着法律法规对数据收集处理提出更严格的约束和要求，掌握应用数据的各个组织或个体往往不愿意或者没有合适手段进行彼此之间的合作，从而很难让各自掌握的应用数据共同发挥作用。这种数据分享和协同合作方面的困境被称之为数据孤岛现象。为了解决跨行业跨组织的数据合作难题，尤其是关键的隐私保护及数据安全的问题，提出了联邦学习的概念。联邦学习指的是拥有数据的各个参与方，在不共享受保护的隐私数据且自有数据不传递到外部的前提下，通过加密的方式交换模型相关信息从而实现协同优化联邦学习模型。其中，联邦学习根据训练数据在不同参与方之间的数据特征空间和样本空间的分布情况，可以划分为在数据特征空间重叠较大而在样本空间重叠较小的横向联邦学习，在数据特征空间重叠较小而在样本空间重叠较大的纵向联邦学习，以及在数据特征空间和样本空间均重叠较小的联邦迁移学习。

常见的联邦学习框架包括FATE(Federated AI Technology Enabler)框架，其基于python搭建出从数据求交、建模、预测到发布上线机器学习的一套全流程功能，从而实现数据可用不可见。在FATE框架基础上，为了打破数据孤岛以及让数据安全互联互通，还存在各种用于联邦学习和隐私计算的基础框架。但是，FATE框架和这些基础框架中缺乏对数据使用进行授权鉴权的精细化管理手段，从而存在用户隐私泄露风险。为此，需要一种数据管理方法、装置及电子设备，用于联邦学习和隐私计算等相关应用场景，不仅能够提供对数据使用进行授权鉴权的精细化管理手段而且可以便利地与基础框架结合从而利于推广和应用。

发明内容

第一方面，本申请实施例提供了一种数据管理方法，所述方法在数据提供方执行，所述方法包括：所述数据提供方接收数据请求，其中，所述数据请求通过所述数据提供方所归属的联邦学习框架的数据交互协议被发送给所述数据提供方，所述数据交互协议使得所述联邦学习框架的参与方之间可基于元数据获得与该元数据对应的原始数据；所述数据提供方通过解析所述数据请求确定所述数据请求要调用的数据，判断所述数据请求是否包括与所述要调用的数据相对应的元数据，以及确定所述数据请求的发起方的身份信息；和响应于所述数据请求包括与所述要调用的数据相对应的元数据，所述数据提供方根据所述数据请求的发起方的身份信息判断所述数据请求的发起方是否获得针对所述要调用的数据的授权许可，如果否，则拒绝所述数据请求。

第一方面所描述的技术方案，不仅能够提供对数据使用进行授权鉴权的精细化管理手段而且可以便利地与FATE框架等基础框架结合从而利于推广和应用。

根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述方法还包括：所述数据提供方在批准所述数据请求之后为所述数据请求的发起方提供所述要调用的数据从而合作进行联邦学习任务，所述数据提供方在所述联邦学习任务进行期间至少更新一次对所述数据请求的发起方获得针对所述要调用的数据的授权许可的判断结果，并且在更新失败后中止为所述数据请求的发起方提供所述要调用的数据和/或中止参与所述联邦学习任务。

根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述方法还包括：所述数据提供方在接收所述数据请求之前对所述数据请求的发起方进行至少一次验证得到至少一次验证结果，所述至少一次验证结果指示所述数据请求的发起方在被验证时是否具有针对所述要调用的数据的授权许可；当所述至少一次验证结果中存在至少一次验证失败结果并且所述数据提供方判断所述数据请求的发起方获得针对所述要调用的数据的授权许可时，认定所述至少一次验证失败结果和对所述数据请求的发起方获得针对所述要调用的数据的授权许可的判断结果为存在冲突的至少两个既定事实，以及计算该至少两个既定事实之间的冲突的可信水平；当该至少两个既定事实之间的冲突的可信水平超过第一阈值时，拒绝所述数据请求。

根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述方法还包括：所述数据提供方在接收所述数据请求之前对所述数据请求的发起方进行至少一次验证得到至少一次验证结果，所述至少一次验证结果指示所述数据请求的发起方在被验证时是否具有针对所述要调用的数据的授权许可；当所述至少一次验证结果中存在至少一次验证失败结果并且所述数据提供方判断所述数据请求的发起方获得针对所述要调用的数据的授权许可时，计算与所述至少一次验证失败结果相对应的验证操作的发生时间和所述数据提供方接收所述数据请求的时间之间的最小差距；当该最小差距小于第二阈值时，拒绝所述数据请求。

根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述元数据包括以下至少一项：存储位置信息、历史数据、资源查找信息、文件记录。

根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述数据请求的发起方的身份信息包括IP地址。

根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述联邦学习框架是FATE框架，所述数据交互协议包括GRPC协议。

根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述第一阈值根据所述数据提供方的数据安全需求程度确定。

根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述第二阈值根据所述数据提供方的数据安全需求程度确定。

第二方面，本申请实施例提供了一种非瞬时性计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现根据第一方面中任一项所述的方法。

第二方面所描述的技术方案，不仅能够提供对数据使用进行授权鉴权的精细化管理手段而且可以便利地与FATE框架等基础框架结合从而利于推广和应用。

第三方面，本申请实施例提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器通过运行所述可执行指令以实现根据第一方面中任一项所述的方法。

第三方面所描述的技术方案，不仅能够提供对数据使用进行授权鉴权的精细化管理手段而且可以便利地与FATE框架等基础框架结合从而利于推广和应用。

第四方面，本申请实施例提供了一种数据管理装置，所述数据管理装置在数据提供方实施，包括：接收单元，配置为接收数据请求，其中，所述数据请求通过所述数据提供方所归属的联邦学习框架的数据交互协议被发送给所述数据管理装置，所述数据交互协议使得所述联邦学习框架的参与方之间可基于元数据获得与该元数据对应的原始数据；解析单元，配置为通过解析所述数据请求确定所述数据请求要调用的数据，判断所述数据请求是否包括与所述要调用的数据相对应的元数据，以及确定所述数据请求的发起方的身份信息；和授权单元，配置为，响应于所述数据请求包括与所述要调用的数据相对应的元数据，根据所述数据请求的发起方的身份信息判断所述数据请求的发起方是否获得针对所述要调用的数据的授权许可，如果否，则拒绝所述数据请求。

第四方面所描述的技术方案，不仅能够提供对数据使用进行授权鉴权的精细化管理手段而且可以便利地与FATE框架等基础框架结合从而利于推广和应用。

根据第四方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述的数据管理装置还包括：提供单元，配置为，在所述授权单元批准所述数据请求之后为所述数据请求的发起方提供所述要调用的数据从而合作进行联邦学习任务，其中，所述授权单元还配置为，在所述联邦学习任务进行期间至少更新一次对所述数据请求的发起方获得针对所述要调用的数据的授权许可的判断结果，并且在更新失败后中止为所述数据请求的发起方提供所述要调用的数据和/或中止参与所述联邦学习任务。

根据第四方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述授权单元还配置为：在所述接收单元接收所述数据请求之前对所述数据请求的发起方进行至少一次验证得到至少一次验证结果，所述至少一次验证结果指示所述数据请求的发起方在被验证时是否具有针对所述要调用的数据的授权许可；当所述至少一次验证结果中存在至少一次验证失败结果并且所述数据提供方判断所述数据请求的发起方获得针对所述要调用的数据的授权许可时，认定所述至少一次验证失败结果和对所述数据请求的发起方获得针对所述要调用的数据的授权许可的判断结果为存在冲突的至少两个既定事实，以及计算该至少两个既定事实之间的冲突的可信水平；当该至少两个既定事实之间的冲突的可信水平超过第一阈值时，拒绝所述数据请求。

根据第四方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述授权单元还配置为：在所述接收单元接收所述数据请求之前对所述数据请求的发起方进行至少一次验证得到至少一次验证结果，所述至少一次验证结果指示所述数据请求的发起方在被验证时是否具有针对所述要调用的数据的授权许可；当所述至少一次验证结果中存在至少一次验证失败结果并且所述数据提供方判断所述数据请求的发起方获得针对所述要调用的数据的授权许可时，计算与所述至少一次验证失败结果相对应的验证操作的发生时间和所述数据提供方接收所述数据请求的时间之间的最小差距；当该最小差距小于第二阈值时，拒绝所述数据请求。

根据第四方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述元数据包括以下至少一项：存储位置信息、历史数据、资源查找信息、文件记录。

根据第四方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述数据请求的发起方的身份信息包括IP地址。

根据第四方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述联邦学习框架是FATE框架，所述数据交互协议包括GRPC协议。

根据第四方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述第一阈值根据所述数据提供方的数据安全需求程度确定。

根据第四方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述第二阈值根据所述数据提供方的数据安全需求程度确定。

附图说明

为了说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。

图1示出了本申请实施例提供的一种联邦学习合作系统的示意图。

图2示出了本申请实施例提供的一种数据管理方法的流程示意图。

图3示出了本申请实施例提供的一种数据管理装置所在的电子设备的结构图。

图4示出了本申请实施例提供的数据管理装置的框图。

具体实施方式

本申请实施例为了解决，需要一种数据管理方法、装置及电子设备，用于联邦学习和隐私计算等相关应用场景，不仅能够提供对数据使用进行授权鉴权的精细化管理手段而且可以便利地与基础框架结合从而利于推广和应用，从而提供了一种数据管理方法。所述方法在数据提供方执行，所述方法包括：所述数据提供方接收数据请求，其中，所述数据请求通过所述数据提供方所归属的联邦学习框架的数据交互协议被发送给所述数据提供方，所述数据交互协议使得所述联邦学习框架的参与方之间可基于元数据获得与该元数据对应的原始数据信息；所述数据提供方通过解析所述数据请求确定所述数据请求要调用的数据，判断所述数据请求是否包括与所述要调用的数据相对应的元数据，以及确定所述数据请求的发起方的身份信息；和响应于所述数据请求包括与所述要调用的数据相对应的元数据，所述数据提供方根据所述数据请求的发起方的身份信息判断所述数据请求的发起方是否获得针对所述要调用的数据的授权许可，如果否，则拒绝所述数据请求。

本申请实施例可用于以下应用场景，包括但是不限于，多方安全计算、与联邦学习有关的机器学习模型训练、数据安全、隐私保护或者应用隐私计算框架或算法的其它应用场景等。

本申请实施例可以依据具体应用环境进行调整和改进，此处不做具体限定。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请的实施例进行描述。

图1示出了本申请实施例提供的一种联邦学习合作系统的示意图。如图1所示，该联邦学习合作系统包括数据提供方100和数据请求方102。其中，数据提供方100和数据请求方102是同一个联邦学习合作系统的参与方，分别是数据拥有方和数据使用方。数据请求方102可以理解为数据使用方、数据应用方或者数据请求的发起方；数据提供方100接收来自数据请求方102的数据请求，也就是数据请求的发起方所发起的数据请求。在一些示例性实施例中，数据提供方100和数据请求方102为约定进行联邦学习合作的两个机构，并且当双方配置完成、网络互通以及通过双边测试后，就可发起联邦任务。例如，双方约定对某类覆盖相同客群但特征维度不同的数据进行联合建模，数据请求方102拥有标签数据并作为发起方，需要获得数据提供方100的训练数据。在一些示例性实施例中，数据提供方100一侧还包括交换节点110用于转发请求和数据；在另一些示例性实施例中，数据提供方100一侧不通过交换交点来转发请求和数据。数据提供方100还包括FATE系统112，数据授权鉴权系统114以及数据存储器116。应当理解的是，FATE系统112可以被替换为任意基于FATE框架的联邦学习基础框架或者类似应用。数据存储器116用于存储数据提供方100的本地数据，也叫做训练数据或者私有数据。FATE系统112和交换节点110一并可用于实现FATE下任务发起和数据交互流程。具体地，可以将本地数据集加载到本地FATE系统中，例如将数据提供方100的本地数据加载到FATE系统112中，从而得到与本地数据对应的元数据。这里，元数据又称中介数据、中继数据，其不同于与该元数据对应的本地数据或者说原始数据，元数据本身无法用于计算也无法用于反推出原始数据。元数据可以是原始数据的特征数据或抽样数据或安全验证码，或者任意合适的对原始数据的表征或者描述。例如，元数据包括以下至少一项：存储位置信息、历史数据、资源查找信息、文件记录，还可以包括任意适合描述数据属性的信息。因此，元数据可以用于数据交互给其它参与方。数据请求方102根据数据提供方100的元数据和数据请求方102自身的元数据，可以生成任务发起请求，并将该任务发起请求传输给数据提供方100。交换节点110相当于FATE系统112的代理服务，用于处理相关的数据交互。因此，由数据请求方102发送的任务发起请求被交换节点110接收。应当理解的是，在数据提供方100和数据请求方102之间的数据交互是基于数据提供方100和数据请求方102所归属的联邦学习框架的数据交互协议，而该数据交互协议使得所述联邦学习框架的参与方之间可基于元数据获得与该元数据对应的原始数据。在一些示例性实施例中，所述联邦学习框架是FATE框架，所述数据交互协议包括GRPC协议。也就是说，FATE系统112是基于FATE框架，而交换节点110的数据交互是基于GRPC协议，FATE系统112和交换节点110一并满足FATE框架和GRPC协议的要求。这意味着，当由数据请求方102发送的任务发起请求包括数据提供方100的元数据，则可以通过FATE框架获得与该元数据对应的原始数据的使用权，从而实现使得所述联邦学习框架的参与方之间可基于元数据获得与该元数据对应的原始数据。这里，数据交互104也是基于GRPC协议的数据流，交换节点110也可以理解为应用层的网关或者路由器。由数据请求方102发送的任务发起请求可以满足GRPC协议所定义的元数据格式，例如根据数据应用方IP地址和联邦任务所用数据而定义的Protobuf格式。另外，数据交互104，或者更一般地说，在数据提供方100和数据请求方102之间的数据交互，可以按照除了GRPC协议以外的任意合适的远程过程调用(Remote Procedure Call，RPC)协议，只要满足FATE框架的要求，例如Dubbo协议和Thrift协议。并且，由数据请求方102发送的任务发起请求可以满足除了Protobuf格式以外的任意合适的数据交换格式，只要满足该数据交互协议使得所述联邦学习框架的参与方之间可基于元数据获得与该元数据对应的原始数据这一特性。

请继续参阅图1，在数据请求方102根据数据提供方100的元数据和数据请求方102自身的元数据生成任务发起请求，并将该任务发起请求传输给数据提供方100之后，FATE框架和GRPC协议使得可以根据元数据获得对应的原始数据。但是这样就使得在网路互通前提下的联邦学习合作的参与方无法对自身的数据进行精细化控制或者说细颗粒度的控制。为此，数据提供方100还包括数据授权鉴权系统114，其与数据存储器116、FATE系统112以及交换节点110分别连接。数据授权鉴权系统114用于解析交换节点110所收到的数据交互104中由数据请求方102发送的任务发起请求，例如通过解析基于GRPC协议的数据流来获悉根据数据应用方IP地址和联邦任务所用数据而定义的Protobuf格式。数据授权鉴权系统114还与FATE系统112通信地连接，从而与FATE系统112一起确定由数据请求方102发送的任务发起请求中是否包括相应的元数据也就是数据提供方100的元数据。数据授权鉴权系统114还与数据存储器116通信地连接，用于从数据存储器116读取本地数据也就是数据请求方102所需要的数据提供方100的训练数据。通过数据授权鉴权系统114，可以实现对数据进行精细化控制或者说细颗粒度的控制。关于数据授权鉴权系统114的运行原理，下面的实施例会做进一步的说明。应当理解的是，数据授权鉴权系统114的功能还可以与ATE系统112以及交换节点110各自的功能部分地或者全部地结合。图1所示的各个部件各自的功能也可以重新进行调整、组合和结合，在此不做具体限定。

图2示出了本申请实施例提供的一种数据管理方法的流程示意图。如图2所示，数据管理方法200包括以下步骤。应当理解的是，数据管理方法200在数据提供方执行，数据提供方可以是例如图1所示的数据提供方100。

步骤S202：接收数据请求。

在步骤S202中，所述数据提供方接收数据请求，其中，所述数据请求通过所述数据提供方所归属的联邦学习框架的数据交互协议被发送给所述数据提供方，所述数据交互协议使得所述联邦学习框架的参与方之间可基于元数据获得与该元数据对应的原始数据。应当理解的是，数据提供方和数据请求方是同一个联邦学习合作系统的参与方，分别是数据拥有方和数据使用方。在一些示例性实施例中，数据提供方和数据请求方为约定进行联邦学习合作的两个机构，并且当双方配置完成、网络互通以及通过双边测试后，就可发起联邦任务。例如，双方约定对某类覆盖相同客群但特征维度不同的数据进行联合建模，数据请求方拥有标签数据并作为发起方，需要获得数据提供方的训练数据。这里，数据请求方可以是相对于数据提供方而言的任一其它参与方或者角色，可以是联邦学习平台运营方出于集中式隐私计算目的而向数据提供方请求数据，或者可以是安全审计方出于安全审计需要而向数据提供方请求数据，或者可以是数据应用方出于例如联合训练模型的目的而向数据提供方请求数据。数据请求可以是针对数据提供方所持有的任意类型的数据，例如明文数据、密文数据、密钥包括公钥和私钥等，还可以是例如中间参数、模型参数和梯度因子等，还可以是例如时序类数据或者非时序类数据，这些可以根据实际应用场景做出设定，在此不做具体限定。另外，所述数据提供方所归属的联邦学习框架可以是FATE框架，或者任意基于FATE框架的联邦学习基础框架，或者类似应用。所述数据提供方所归属的联邦学习框架的数据交互协议可以是GRPC协议，或者可以是任意合适的RPC协议，只要满足所述数据交互协议使得所述联邦学习框架的参与方之间可基于元数据获得与该元数据对应的原始数据。另外，元数据又称中介数据、中继数据，其是原始数据的特征数据或抽样数据或安全验证码，或者任意合适的对原始数据的表征或者描述。例如，元数据包括以下至少一项：存储位置信息、历史数据、资源查找信息、文件记录，还可以包括任意适合描述数据属性的信息。

步骤S204：确定数据请求要调用的数据，判断数据请求是否包括与要调用的数据相对应的元数据，以及确定数据请求的发起方的身份信息。

在步骤S204中，所述数据提供方通过解析所述数据请求确定所述数据请求要调用的数据，判断所述数据请求是否包括与所述要调用的数据相对应的元数据，以及确定所述数据请求的发起方的身份信息。关于如何判断所述数据请求是否包括与所述要调用的数据相对应的元数据，可以通过满足GRPC协议所定义的元数据格式，例如根据数据应用方IP地址和联邦任务所用数据而定义的Protobuf格式。通过解析所述数据请求，例如通过解析FATE框架下交换节点(exchange)的GRPC数据流可以获悉所述数据请求的发起方的身份信息。在一种可能的实施方式中，所述数据请求的发起方的身份信息包括IP地址。在一些示例性实施例中，所述数据请求的发起方的身份信息可以是任意适合用于身份标识的信息，例如机器地址、唯一标识符、姓名、编号或者任意适合在所述数据提供方所归属的联邦学习框架下的相关信息。在一种可能的实施方式中，所述数据请求满足根据数据应用方IP地址和联邦任务所用数据而定义的Protobuf格式，而所述数据请求的发起方的身份信息是数据应用方IP地址。

步骤S206：响应于数据请求包括与要调用的数据相对应的元数据，根据数据请求的发起方的身份信息判断数据请求的发起方是否获得针对要调用的数据的授权许可，如果否，则拒绝数据请求。

在步骤S206中，响应于所述数据请求包括与所述要调用的数据相对应的元数据，所述数据提供方根据所述数据请求的发起方的身份信息判断所述数据请求的发起方是否获得针对所述要调用的数据的授权许可，如果否，则拒绝所述数据请求。假设所述数据请求不包括与所述要调用的数据相对应的元数据，则可以直接拒绝数据请求而无需执行步骤S206。当所述数据请求包括与所述要调用的数据相对应的元数据时，尽管上面提到所述数据交互协议使得所述联邦学习框架的参与方之间可基于元数据获得与该元数据对应的原始数据，但是为了实现对数据进行精细化控制或者说细颗粒度的控制，还需要进一步地根据数据请求的发起方的身份信息判断数据请求的发起方是否获得针对要调用的数据的授权许可，这是在数据提供方进行的。具体地，可以通过数据提供方的数据授权鉴权系统，判断该数据请求所调用的数据，是否已经授权给该数据请求的发起方，如果未授权则拒绝该数据请求，如果已授权则可以转发给FATE系统让FATE系统完成后续流程，也就是提供与该数据请求所包括的元数据所对应的数据。如此，可以与FATE框架或者基于FATE的基础框架结合，从而在数据提供方一侧实现对数据进行精细化控制或者说细颗粒度的控制。而且，对于数据请求的发起方而言，其只能获悉数据请求被拒绝的结果，而无从得知数据提供方在FATE框架上所施加的在步骤S206所执行的数据精细化控制，也就是说，步骤S206的操作使得数据请求的发起方无法得知是其所持有的元数据不合法还是其身份信息不合法，这样进一步保证了数据提供方的数据安全和隐私。并且，在步骤S204中，通过解析数据请求，例如满足FATE框架下GRPC协议的数据流，就可以获悉数据请求的发起方的身份信息；这是因为所述数据交互协议使得所述联邦学习框架的参与方之间可基于元数据获得与该元数据对应的原始数据，所以要求参与方之间的数据交互必须满足例如Protobuf格式等元数据格式也因此必然包括可用于解析而得出数据请求的发起方的身份信息。

应当理解的是，相比于在确定所述数据请求包括与所述要调用的数据相对应的元数据之后自动地提供相应的要调用的数据从而无法实现数据精细化控制也无法保护数据提供方的隐私和数据安全，本申请实施例在数据管理方法200中所提出的技术方案可以达成以下有益技术效果：不仅能够提供对数据使用进行授权鉴权的精细化管理手段而且可以便利地与FATE框架等基础框架结合从而利于推广和应用。具体地，即便当所述数据请求包括与所述要调用的数据相对应的元数据时，假设所述数据请求的发起方没有获得针对所述要调用的数据的授权许可，则依然拒绝该数据请求。如此，所述数据请求的发起方获得数据提供方的元数据后，仍需要面对在数据提供方的可灵活调整的授权鉴权，也因此可以有效地保护数据提供方的隐私和数据安全。另外，数据提供方的授权鉴权也就是判断所述数据请求的发起方获得针对所述要调用的数据的授权许可，可以通过例如设置白名单，设置黑名单，增加审核模块等合适手段进行授权和鉴权。其中，设置白名单指的是预先设定好的允许使用数据的参与方的名单，并在收到数据请求时查询名单，如果数据请求的发起方存在于该白名单中则通过请求，否则拒绝请求。黑名单指的是预先设定好的不允许使用数据的参与方的名单，并在收到数据请求时查询名单，如果数据请求的发起方不存在于该黑名单中则通过请求，否则拒绝请求。审核模块指的是提供人工审核机制，在接收到数据请求时进行初始化成为等待状态，然后等待有审核权限的操作员通过审核模块处理该数据请求，从而允许或者拒绝该数据请求。数据提供方的授权鉴权还可以基于任意合适的技术手段，在此不做具体限定。

在一种可能的实施方式中，所述方法还包括：所述数据提供方在批准所述数据请求之后为所述数据请求的发起方提供所述要调用的数据从而合作进行联邦学习任务，所述数据提供方在所述联邦学习任务进行期间至少更新一次对所述数据请求的发起方获得针对所述要调用的数据的授权许可的判断结果，并且在更新失败后中止为所述数据请求的发起方提供所述要调用的数据和/或中止参与所述联邦学习任务。如此，通过在所述联邦学习任务进行期间至少更新一次判断结果，也就是在所述联邦学习任务进行期间至少再一次判断所述数据请求的发起方获得针对所述要调用的数据的授权许可，可以更好地保护数据提供方的隐私和数据安全，特别是当所述联邦学习任务进行期间持续较长时间而这段期间又可能发生了对数据请求的发起方的授权许可发生变动的情况。

在一种可能的实施方式中，所述方法还包括：所述数据提供方在接收所述数据请求之前对所述数据请求的发起方进行至少一次验证得到至少一次验证结果，所述至少一次验证结果指示所述数据请求的发起方在被验证时是否具有针对所述要调用的数据的授权许可；当所述至少一次验证结果中存在至少一次验证失败结果并且所述数据提供方判断所述数据请求的发起方获得针对所述要调用的数据的授权许可时，认定所述至少一次验证失败结果和对所述数据请求的发起方获得针对所述要调用的数据的授权许可的判断结果为存在冲突的至少两个既定事实，以及计算该至少两个既定事实之间的冲突的可信水平；当该至少两个既定事实之间的冲突的可信水平超过第一阈值时，拒绝所述数据请求。这里，在步骤S202接收数据请求之前，数据提供方可以对数据请求的发起方进行至少一次验证。这是考虑到实际应用中，根据对数据控制的严格程度，可能存在需要在发起任务之前就对发起任务的数据请求的发起方进行验证的需要，也就是要求提前进行验证才能获取数据的使用权限。而当实际上发起任务时也就是在步骤S202接收数据请求时，可能发生对数据请求的发起方的授权许可发生变化的情况。例如，在接收所述数据请求之前对所述数据请求的发起方进行验证得到的验证结果也许指出验证失败，也就是所述数据请求的发起方没有得到授权，但是在步骤S202接收到的数据请求指示该数据请求的发起方获得针对要调用的数据的授权许可。这样就会存在冲突的至少两个既定事实，也就是所述至少一次验证失败结果和对所述数据请求的发起方获得针对所述要调用的数据的授权许可的判断结果之间存在冲突。为此，需要计算该至少两个既定事实之间的冲突的可信水平，或者说用验证失败结果的可信程度比较获得授权许可的判断结果的可信程度。当该至少两个既定事实之间的冲突的可信水平超过第一阈值时，这意味着两者之间的冲突是可信的，则出于更好地保护数据提供方的数据安全和隐私的目的，应该拒绝该数据请求。并且，所述第一阈值根据所述数据提供方的数据安全需求程度确定。也就是说，随着数据提供方的数据安全需求程度的提高，或者说对数据控制的严格程度更高了，则可以降低第一阈值，从而使得更容易得出存在冲突的至少两个既定事实的可信水平超出该第一阈值的结论。另外，如果在步骤S202接收到的数据请求指示该数据请求的发起方没有获得针对要调用的数据的授权许可，则在步骤S206就已经拒绝该数据请求，而无需考虑在接收所述数据请求之前对所述数据请求的发起方进行验证得到的验证结果可能得出验证通过的结论。这是因为，出于更好地保护数据提供方的数据安全和隐私的目的，应以发起任务时也就是在步骤S202接收到的数据请求为主要依据，从而当数据请求指示该数据请求的发起方没有获得针对要调用的数据的授权许可时就拒绝该数据请求。

在一种可能的实施方式中，所述方法还包括：所述数据提供方在接收所述数据请求之前对所述数据请求的发起方进行至少一次验证得到至少一次验证结果，所述至少一次验证结果指示所述数据请求的发起方在被验证时是否具有针对所述要调用的数据的授权许可；当所述至少一次验证结果中存在至少一次验证失败结果并且所述数据提供方判断所述数据请求的发起方获得针对所述要调用的数据的授权许可时，计算与所述至少一次验证失败结果相对应的验证操作的发生时间和所述数据提供方接收所述数据请求的时间之间的最小差距；当该最小差距小于第二阈值时，拒绝所述数据请求。这里，在步骤S202接收数据请求之前，数据提供方可以对数据请求的发起方进行至少一次验证。这是考虑到实际应用中，根据对数据控制的严格程度，可能存在需要在发起任务之前就对发起任务的数据请求的发起方进行验证的需要，也就是要求提前进行验证才能获取数据的使用权限。而当实际上发起任务时也就是在步骤S202接收数据请求时，可能发生对数据请求的发起方的授权许可发生变化的情况。例如，在接收所述数据请求之前对所述数据请求的发起方进行验证得到的验证结果也许指出验证失败，也就是所述数据请求的发起方没有得到授权，但是在步骤S202接收到的数据请求指示该数据请求的发起方获得针对要调用的数据的授权许可。因此通过计算与所述至少一次验证失败结果相对应的验证操作的发生时间和所述数据提供方接收所述数据请求的时间之间的最小差距，可以得出距离接收所述数据请求的时刻最接近的验证失败结果的发生时间与所述数据提供方接收所述数据请求的时间之间的时间意义上差距。该最小差距越小，则意味着风险越大，因此，当该最小差距小于第二阈值时，拒绝所述数据请求。并且，所述第二阈值根据所述数据提供方的数据安全需求程度确定。也就是说，随着数据提供方的数据安全需求程度的提高，或者说对数据控制的严格程度更高了，则可以提高第二阈值，从而使得更容易得出最小差距小于该第二阈值的结论。或者说，可以通过提高第二阈值，从而要求验证失败结果的发生时间距离当前的所述数据提供方接收所述数据请求的时间越远，这样可以降低风险。

结合图2所示的各个步骤，以及结合上述各个实施例或者实施方式，本申请实施例在数据管理方法200中所提出的技术方案可以达成以下有益技术效果：不仅能够提供对数据使用进行授权鉴权的精细化管理手段而且可以便利地与FATE框架等基础框架结合从而利于推广和应用。

图3示出了本申请实施例提供的一种数据管理装置所在的电子设备的结构图。如图3所示，电子设备300包括处理器302，内部总线304，网络接口306，指令存储器308，以及数据管理装置310和内存312，还有数据管理装置320和内存322。其中，处理器302与指令存储器308连接，指令存储器308用于存储处理器可执行指令。处理器302通过执行所存储的可执行指令，能实现根据图2所示的数据管理方法200，包括调动数据管理装置310或者数据管理装置320来执行上述的任意步骤。网络接口306用于提供网络连接以及通过网络收发数据。内部总线304用于提供在处理器302，数据管理装置310，数据管理装置320以及网络接口306之间的内部的数据交互。其中，数据管理装置310和数据管理装置320分别与内存312和内存322连接。这样，可以通过两个数据管理装置，也就是数据管理装置310和数据管理装置320而分别对各自对应内存中的数据集进行数据管理，包括访问控制和授权许可等。例如，可以设定内存312存储第一数据集，而内存322存储第二数据集。当数据请求是针对第一数据集时则通过数据管理装置310实现相关的数据使用授权鉴权；当数据请求是针对第二数据集时则通过数据管理装置320实现相关的数据使用授权鉴权。或者，可以将内存312和内存322合并，而通过数据管理装置310和数据管理装置320提供不同的数据控制严格程度的数据使用授权鉴权。另外，图3所示的处理器302，指令存储器308，还有数据管理装置310和数据管理装置320各自的功能及结构，可以进行合并、调整或者结合。例如，可以将处理器302与数据管理装置310和/或数据管理装置320合并成一个整体，用于实现根据图2所示的数据管理方法200包括实现其中部分或者全部的步骤，或者实现其中步骤的组合或者结合。

请参阅图3，本申请实施例在电子设备300中所提出的技术方案可以达成以下有益技术效果：不仅能够提供对数据使用进行授权鉴权的精细化管理手段而且可以便利地与FATE框架等基础框架结合从而利于推广和应用。

图4示出了本申请实施例提供的数据管理装置的框图。如图4所示，数据管理装置400包括接收单元402，解析单元404，授权单元406以及提供单元410。接收单元402配置为接收数据请求；其中，所述数据请求通过所述数据提供方所归属的联邦学习框架的数据交互协议被发送给所述数据管理装置，所述数据交互协议使得所述联邦学习框架的参与方之间可基于元数据获得与该元数据对应的原始数据。解析单元404配置为通过解析所述数据请求确定所述数据请求要调用的数据，判断所述数据请求是否包括与所述要调用的数据相对应的元数据，以及确定所述数据请求的发起方的身份信息。授权单元406配置为，响应于所述数据请求包括与所述要调用的数据相对应的元数据，根据所述数据请求的发起方的身份信息判断所述数据请求的发起方是否获得针对所述要调用的数据的授权许可，如果否，则拒绝所述数据请求。提供单元410配置为，在所述授权单元406批准所述数据请求之后为所述数据请求的发起方提供所述要调用的数据从而合作进行联邦学习任务。在一种可能的实施方式中，所述授权单元406还配置为，在所述联邦学习任务进行期间至少更新一次对所述数据请求的发起方获得针对所述要调用的数据的授权许可的判断结果，并且在更新失败后中止为所述数据请求的发起方提供所述要调用的数据和/或中止参与所述联邦学习任务。在一种可能的实施方式中，所述授权单元406还配置为：在所述接收单元402接收所述数据请求之前对所述数据请求的发起方进行至少一次验证得到至少一次验证结果，所述至少一次验证结果指示所述数据请求的发起方在被验证时是否具有针对所述要调用的数据的授权许可；当所述至少一次验证结果中存在至少一次验证失败结果并且所述数据提供方判断所述数据请求的发起方获得针对所述要调用的数据的授权许可时，认定所述至少一次验证失败结果和对所述数据请求的发起方获得针对所述要调用的数据的授权许可的判断结果为存在冲突的至少两个既定事实，以及计算该至少两个既定事实之间的冲突的可信水平；当该至少两个既定事实之间的冲突的可信水平超过第一阈值时，拒绝所述数据请求。在一种可能的实施方式中，所述授权单元406还配置为：在所述接收单元402接收所述数据请求之前对所述数据请求的发起方进行至少一次验证得到至少一次验证结果，所述至少一次验证结果指示所述数据请求的发起方在被验证时是否具有针对所述要调用的数据的授权许可；当所述至少一次验证结果中存在至少一次验证失败结果并且所述数据提供方判断所述数据请求的发起方获得针对所述要调用的数据的授权许可时，计算与所述至少一次验证失败结果相对应的验证操作的发生时间和所述数据提供方接收所述数据请求的时间之间的最小差距；当该最小差距小于第二阈值时，拒绝所述数据请求。应当理解的是，在一些示例性实施例中，所述元数据包括以下至少一项：存储位置信息、历史数据、资源查找信息、文件记录。在一些示例性实施例中，所述数据请求的发起方的身份信息包括IP地址。在一些示例性实施例中，所述联邦学习框架是FATE框架，所述数据交互协议包括GRPC协议。在一些示例性实施例中，所述第一阈值根据所述数据提供方的数据安全需求程度确定。在一些示例性实施例中，所述第二阈值根据所述数据提供方的数据安全需求程度确定。

请参阅图4，本申请实施例在数据管理装置400中所提出的技术方案可以达成以下有益技术效果：不仅能够提供对数据使用进行授权鉴权的精细化管理手段而且可以便利地与FATE框架等基础框架结合从而利于推广和应用。

本申请提供的具体实施例可以用硬件，软件，固件或固态逻辑电路中的任何一种或组合来实现，并且可以结合信号处理，控制和/或专用电路来实现。本申请具体实施例提供的设备或装置可以包括一个或多个处理器(例如，微处理器，控制器，数字信号处理器(DSP)，专用集成电路(ASIC)，现场可编程门阵列(FPGA)等)，这些处理器处理各种计算机可执行指令从而控制设备或装置的操作。本申请具体实施例提供的设备或装置可以包括将各个组件耦合在一起的系统总线或数据传输系统。系统总线可以包括不同总线结构中的任何一种或不同总线结构的组合，例如存储器总线或存储器控制器，外围总线，通用串行总线和/或利用多种总线体系结构中的任何一种的处理器或本地总线。本申请具体实施例提供的设备或装置可以是单独提供，也可以是系统的一部分，也可以是其它设备或装置的一部分。

本申请提供的具体实施例可以包括计算机可读存储介质或与计算机可读存储介质相结合，例如能够提供非暂时性数据存储的一个或多个存储设备。计算机可读存储介质/存储设备可以被配置为保存数据，程序器和/或指令，这些数据，程序器和/或指令在由本申请具体实施例提供的设备或装置的处理器执行时使这些设备或装置实现有关操作。计算机可读存储介质/存储设备可以包括以下一个或多个特征：易失性，非易失性，动态，静态，可读/写，只读，随机访问，顺序访问，位置可寻址性，文件可寻址性和内容可寻址性。在一个或多个示例性实施例中，计算机可读存储介质/存储设备可以被集成到本申请具体实施例提供的设备或装置中或属于公共系统。计算机可读存储介质/存储设备可以包括光存储设备，半导体存储设备和/或磁存储设备等等，也可以包括随机存取存储器(RAM)，闪存，只读存储器(ROM)，可擦可编程只读存储器(EPROM)，电可擦可编程只读存储器(EEPROM)，寄存器，硬盘，可移动磁盘，可记录和/或可重写光盘(CD)，数字多功能光盘(DVD)，大容量存储介质设备或任何其他形式的合适存储介质。

以上是本申请实施例的实施方式，应当指出，本申请具体实施例描述的方法中的步骤可以根据实际需要进行顺序调整、合并和删减。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。可以理解的是，本申请实施例以及附图所示的结构并不构成对有关装置或系统的具体限定。在本申请另一些实施例中，有关装置或系统可以包括比具体实施例和附图更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者具有不同的部件布置。本领域技术人员将理解，在不脱离本申请具体实施例的精神和范围的情况下，可以对具体实施例记载的方法和设备的布置，操作和细节进行各种修改或变化；在不脱离本申请实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本申请的保护范围。

Claims (12)

1.一种数据管理方法，所述方法在数据提供方执行，所述方法包括：

所述数据提供方接收数据请求，其中，所述数据请求通过所述数据提供方所归属的联邦学习框架的数据交互协议被发送给所述数据提供方，所述数据交互协议使得所述联邦学习框架的参与方之间可基于元数据获得与该元数据对应的原始数据；

所述数据提供方通过解析所述数据请求确定所述数据请求要调用的数据，判断所述数据请求是否包括与所述要调用的数据相对应的元数据，以及确定所述数据请求的发起方的身份信息；和

响应于所述数据请求包括与所述要调用的数据相对应的元数据，所述数据提供方根据所述数据请求的发起方的身份信息判断所述数据请求的发起方是否获得针对所述要调用的数据的授权许可，如果否，则拒绝所述数据请求，

其中，所述数据提供方在接收所述数据请求之前对所述数据请求的发起方进行至少一次验证得到至少一次验证结果，所述至少一次验证结果指示所述数据请求的发起方在被验证时是否具有针对所述要调用的数据的授权许可；

当所述至少一次验证结果中存在至少一次验证失败结果并且所述数据提供方判断所述数据请求的发起方获得针对所述要调用的数据的授权许可时，认定所述至少一次验证失败结果和对所述数据请求的发起方获得针对所述要调用的数据的授权许可的判断结果为存在冲突的至少两个既定事实，以及计算该至少两个既定事实之间的冲突的可信水平；

当该至少两个既定事实之间的冲突的可信水平超过第一阈值时，拒绝所述数据请求，其中所述第一阈值根据所述数据提供方的数据安全需求程度确定。

2.根据权利要求1所述的数据管理方法，其特征在于，所述方法还包括：

所述数据提供方在批准所述数据请求之后为所述数据请求的发起方提供所述要调用的数据从而合作进行联邦学习任务，

所述数据提供方在所述联邦学习任务进行期间至少更新一次对所述数据请求的发起方获得针对所述要调用的数据的授权许可的判断结果，并且在更新失败后中止为所述数据请求的发起方提供所述要调用的数据和/或中止参与所述联邦学习任务。

3.根据权利要求1所述的数据管理方法，其特征在于，所述方法还包括：

当所述至少一次验证结果中存在至少一次验证失败结果并且所述数据提供方判断所述数据请求的发起方获得针对所述要调用的数据的授权许可时，计算与所述至少一次验证失败结果相对应的验证操作的发生时间和所述数据提供方接收所述数据请求的时间之间的最小差距；

当该最小差距小于第二阈值时，拒绝所述数据请求。

4.根据权利要求1至3中任一项所述的数据管理方法，所述元数据包括以下至少一项：存储位置信息、历史数据、资源查找信息、文件记录。

5.根据权利要求1至3中任一项所述的数据管理方法，所述数据请求的发起方的身份信息包括IP地址。

6.根据权利要求1至3中任一项所述的数据管理方法，所述联邦学习框架是FATE框架，所述数据交互协议包括GRPC协议。

7.根据权利要求3所述的数据管理方法，其特征在于，所述第二阈值根据所述数据提供方的数据安全需求程度确定。

8.一种非瞬时性计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现根据权利要求1至7中任一项所述的数据管理方法。

9.一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器通过运行所述可执行指令以实现根据权利要求1至7中任一项所述的数据管理方法。

10.一种数据管理装置，所述数据管理装置在数据提供方实施，包括：

接收单元，配置为接收数据请求，其中，所述数据请求通过所述数据提供方所归属的联邦学习框架的数据交互协议被发送给所述数据管理装置，所述数据交互协议使得所述联邦学习框架的参与方之间可基于元数据获得与该元数据对应的原始数据；

解析单元，配置为通过解析所述数据请求确定所述数据请求要调用的数据，判断所述数据请求是否包括与所述要调用的数据相对应的元数据，以及确定所述数据请求的发起方的身份信息；和

授权单元，配置为，响应于所述数据请求包括与所述要调用的数据相对应的元数据，根据所述数据请求的发起方的身份信息判断所述数据请求的发起方是否获得针对所述要调用的数据的授权许可，如果否，则拒绝所述数据请求，

其中，所述授权单元还配置为：

在所述接收单元接收所述数据请求之前对所述数据请求的发起方进行至少一次验证得到至少一次验证结果，所述至少一次验证结果指示所述数据请求的发起方在被验证时是否具有针对所述要调用的数据的授权许可；

当所述至少一次验证结果中存在至少一次验证失败结果并且所述数据提供方判断所述数据请求的发起方获得针对所述要调用的数据的授权许可时，认定所述至少一次验证失败结果和对所述数据请求的发起方获得针对所述要调用的数据的授权许可的判断结果为存在冲突的至少两个既定事实，以及计算该至少两个既定事实之间的冲突的可信水平；

当该至少两个既定事实之间的冲突的可信水平超过第一阈值时，拒绝所述数据请求，其中所述第一阈值根据所述数据提供方的数据安全需求程度确定。

11.根据权利要求10所述的数据管理装置，其特征在于，还包括：

提供单元，配置为，在所述授权单元批准所述数据请求之后为所述数据请求的发起方提供所述要调用的数据从而合作进行联邦学习任务，

其中，所述授权单元还配置为，在所述联邦学习任务进行期间至少更新一次对所述数据请求的发起方获得针对所述要调用的数据的授权许可的判断结果，并且在更新失败后中止为所述数据请求的发起方提供所述要调用的数据和/或中止参与所述联邦学习任务。

12.根据权利要求10所述的数据管理装置，其特征在于，所述授权单元还配置为：

当所述至少一次验证结果中存在至少一次验证失败结果并且所述数据提供方判断所述数据请求的发起方获得针对所述要调用的数据的授权许可时，计算与所述至少一次验证失败结果相对应的验证操作的发生时间和所述数据提供方接收所述数据请求的时间之间的最小差距；

当该最小差距小于第二阈值时，拒绝所述数据请求。

Images