CN112434334A - 数据处理方法、装置、设备及存储介质 - Google Patents
数据处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112434334A CN112434334A CN202011338899.XA CN202011338899A CN112434334A CN 112434334 A CN112434334 A CN 112434334A CN 202011338899 A CN202011338899 A CN 202011338899A CN 112434334 A CN112434334 A CN 112434334A
- Authority
- CN
- China
- Prior art keywords
- data
- request
- party
- participant
- auditing system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 238000012795 verification Methods 0.000 claims abstract description 123
- 238000000034 method Methods 0.000 claims abstract description 70
- 230000008569 process Effects 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000012550 audit Methods 0.000 claims abstract description 16
- 230000000977 initiatory effect Effects 0.000 claims abstract description 14
- 230000003993 interaction Effects 0.000 claims abstract description 12
- 238000012216 screening Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 6
- 230000006854 communication Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 239000003999 initiator Substances 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000010420 art technique Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Storage Device Security (AREA)
Abstract
本发明公开了一种数据处理方法、装置、设备及存储介质。此方法可应用于第一审计系统，所述第一审计系统部署于联邦学习的第一参与方中，该方法可以包括：接收部署于第二参与方中的第二审计系统发送的数据请求，所述数据请求用于向所述第一参与方发起合作请求；所述数据请求包括第二参与方的账号信息、请求内容；根据所述第一参与方的数据的属性信息和所述数据请求中的第二参与方的账号信息、请求内容，对所述第二参与方进行权限校验，以根据权限校验结果确定所述第二参与方是否具有获取所述请求内容对应的数据的权限；若所述第二参与方通过权限校验，则响应所述数据请求。本发明的方法可以实现对各参与方之间的数据交互过程进行管理的目的。
Description
技术领域
本发明涉及计算机领域，尤其涉及一种数据处理方法、装置、设备及存储介质。
背景技术
联邦学习使用多方安全计算的方式，由多个参与方共同进行模型训练，解决了数据孤岛情形下的机器学习问题。也是由于这种多方参与、数据加密的特性，在具体的联邦学习过程中，需要实时或非实时地进行审核监控，以便于管理联邦数据网络。
但相关技术中并未提供相关技术来实现这些监控操作，使得无法对各参与方之间的数据传输进行管理。
发明内容
本发明的主要目的在于提供一种数据处理方法、装置、设备及存储介质，通过审计系统对联邦学习的各参与方之间的数据传输过程进行管理。
为实现上述目的，第一方面，本发明提供一种数据处理方法，应用于第一审计系统，所述第一审计系统部署于联邦学习的第一参与方中，所述方法包括：
接收部署于第二参与方中的第二审计系统发送的数据请求，所述数据请求用于向所述第一参与方发起合作请求；所述数据请求包括第二参与方的账号信息、请求内容；
根据所述第一参与方的数据的属性信息和所述数据请求中的第二参与方的账号信息、请求内容，对所述第二参与方进行权限校验，以根据权限校验结果确定所述第二参与方是否具有获取所述请求内容对应的数据的权限；
若所述第二参与方通过权限校验，则响应所述数据请求。
可选的，所述根据所述第一参与方的数据的属性和所述数据请求中的第二参与方的账号信息、请求内容，对所述第二参与方进行权限校验，包括：
根据预存的账号信息、所述数据请求中的所述第二参与方的账号信息，对所述第二参与方进行身份校验；
若所述第二参与方的身份校验成功，则根据所述第一参与方的数据的属性和所述数据请求中的第二参与方的账号信息、请求内容，对所述第二参与方进行权限校验。
可选的，所述响应所述数据请求，包括：
根据所述数据请求中的请求内容，确定所述请求内容对应的数据；
将所述请求内容对应的数据发送给所述第二审计系统。
可选的，所述将所述请求内容对应的数据发送给所述第二审计系统，包括：
利用所述第一审计系统、第二审计系统约定的加密令牌对所述请求内容对应的数据加密；
将加密后的所述请求内容对应的数据发送给所述第二审计系统。
可选的，在利用所述第一审计系统、第二审计系统约定的加密令牌对所述请求内容对应的数据加密之前，还包括：
基于一随机数，对所述第一参与方存储的密钥和所述第二参与方存储的密钥进行验证；
若验证所述第一参与方存储的密钥和所述第二参与方存储的密钥正确，则根据所述随机数，生成加密令牌。
可选的，所述方法还包括：
将权限校验结果发送给所述第二审计系统，作为历史权限校验结果，以使所述第二审计系统根据所述历史权限校验结果对数据请求进行权限预校验，并在权限预校验通过时，则将数据请求发送至部署于所述第一参与方的第一审计系统。
可选的，所述方法还包括：
记录与所述第二审计系统进行数据交互过程中所执行的操作，形成审计记录；
相应的，所述方法还包括：
接收报表生成指令，所述报表生成指令中包括记录筛选条件；
根据所述报表生成指令，将符合所述记录筛选条件的审计记录生成报表；
输出所述报表；
其中，所述与所述第二审计系统进行数据交互过程中所执行的操作包括以下至少一项：
接收第二审计系统发送的数据请求；
对第二参与方进行身份校验；
对第二参与方进行权限校验；
将权限校验结果发送给第二审计系统；
响应数据请求；
将数据请求对应的数据发送给第二审计系统；
利用加密令牌对数据请求对应的数据加密；
对第一参与方存储的密钥和所述第二参与方存储的密钥进行验证。
第二方面，本发明提供一种数据处理方法，应用于第二审计系统，所述第二审计系统部署于联邦学习的第二参与方中，所述方法包括：
确定数据请求，所述数据请求用于向第一参与方发起合作请求；所述数据请求中包括第二参与方的账号信息、请求内容；
将所述数据请求发送至部署于所述第一参与方的第一审计系统，以使所述第一审计系统接收所述数据请求，并根据所述第一参与方的数据的属性信息和所述数据请求中的第二参与方的账号信息、请求内容，对所述第二参与方进行权限校验，以根据权限校验结果确定所述第二参与方是否具有获取所述请求内容对应的数据的权限；并在所述第二参与方通过权限校验时，响应所述数据请求。
可选的，所述将所述数据请求发送至部署于所述第一参与方的第一审计系统，包括：
获取预设时间内的历史权限校验结果，所述历史权限校验结果为所述第一审计系统对第二参与方进行权限校验后发送的；
根据所述历史权限校验结果，对所述数据请求进行权限预校验；
若权限预校验通过，则将所述数据请求发送至部署于所述第一参与方的第一审计系统。
第三方面，本发明提供一种数据处理装置，包括：
接收模块，用于接收部署于第二参与方中的第二审计系统发送的数据请求，所述数据请求用于向第一参与方发起合作请求；所述数据请求包括第二参与方的账号信息、请求内容；
权限校验模块，用于根据所述第一参与方的数据的属性信息和所述数据请求中的第二参与方的账号信息、请求内容，对所述第二参与方进行权限校验，以根据权限校验结果确定所述第二参与方是否具有获取所述请求内容对应的数据的权限；
请求响应模块，用于在所述第二参与方通过权限校验时，响应所述数据请求。
第四方面，本发明提供一种数据处理装置，包括：
请求确定模块，用于确定数据请求，所述数据请求用于向第一参与方发起合作请求；所述数据请求中包括第二参与方的账号信息、请求内容；
发送模块，用于将所述数据请求发送至部署于所述第一参与方的第一审计系统，以使所述第一审计系统接收所述数据请求，并根据所述第一参与方的数据的属性信息和所述数据请求中的第二参与方的账号信息、请求内容，对所述第二参与方进行权限校验，以根据权限校验结果确定所述第二参与方是否具有获取所述请求内容对应的数据的权限；并在所述第二参与方通过权限校验时，响应所述数据请求。
第五方面，本发明提供一种数据处理设备，所述数据处理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述数据处理程序被所述处理器执行时实现第一方面或第二方面所述的数据处理方法的步骤。
第六方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现第一方面或第二方面所述的数据处理方法的步骤。
第七方面，本发明提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面或第二方面所述的数据处理方法。
本发明中提供了一种数据处理方法、装置、设备及存储介质。此方法可应用于第一审计系统，所述第一审计系统部署于联邦学习的第一参与方中，该方法可以包括：接收部署于第二参与方中的第二审计系统发送的数据请求，所述数据请求用于向所述第一参与方发起合作请求；所述数据请求包括第二参与方的账号信息、请求内容；根据所述第一参与方的数据的属性信息和所述数据请求中的第二参与方的账号信息、请求内容，对所述第二参与方进行权限校验，以根据权限校验结果确定所述第二参与方是否具有获取所述请求内容对应的数据的权限；若所述第二参与方通过权限校验，则响应所述数据请求。本发明的方法通过在各参与方中部署审计系统，通过审计系统对参与方的权限进行校验并对数据请求进行响应，以实现对各参与方之间的数据交互过程进行管理的目的。
附图说明
图1为本发明提供的一种应用场景的示意图；
图2为本发明一实施例提供的一种数据处理方法的流程图；
图3为本发明一实施例提供的一种生成token的方法的流程图；
图4为本发明一实施例提供的另一种数据处理方法的流程图；
图5为本发明一实施例提供的一种数据处理装置的结构示意图；
图6为本发明一实施例提供的另一种数据处理装置的结构示意图；
图7为本发明一实施例提供的一种数据处理设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
在许多领域中，基于大数据的机器学习和模型训练等技术不断发展。通过对大数据的挖掘，可以得到许多有价值的信息。随着技术的发展，原始数据的来源越来越广泛，甚至会有跨领域联合。
在一些业务场景中，多个业务平台收集有各自的业务数据。这些业务数据很有价值，通常作为业务平台的隐私信息保存。各业务平台不期望与其他业务平台共享原始形式的业务数据。但在一些需求中，多个业务平台期望在不公开各方的业务数据的情况下进行协同计算，以提高业务处理能力。基于此，联邦机器学习等方式应运而生。
联邦机器学习(Federated Machine Learning)，又称联邦学习(FederatedLearning)，能够在数据不出本地的前提下，联合各方进行数据使用和协同建模，逐渐成为隐私保护计算中的一种常用方法。
在联邦学习的过程中，可以通过加密机制下的参数交换方式保护参与方的隐私数据，数据本身不会进行传输，参与方不需要向其它参与方暴露自己所拥有的数据，也不能反推其它参与方的数据，因而联邦学习可以很好的保护用户隐私和保障数据安全，并可以解决数据孤岛问题。
基于联邦学习的特性，在联邦学习的过程中，需要实时或非实时地回答四个问题，可以归纳成4A：
a.Account(账号)：参与方是谁；
b.Authentication(身份校验)：参与方如何验证自己，接入联邦数据网络；
c.Authorization(鉴权)：参与方在联邦数据网络中拥有什么权限，是否拥有某一个操作的权限；
d.Audit(审计)：参与方做了什么操作，与谁通信了什么数据，通信量是多少。
通过解决上述的四个问题，才能以业务/安全人员可见与可控的方式，管理联邦数据网络。但是，联邦学习的管理体系并不完善，现在需要一个系统去完成这些功能，实现对联邦学习过程的高效管理。
基于此，本发明提供了一种数据处理方法、装置、设备及存储介质，基于本发明提供的审计系统对联邦学习的各参与方之间的数据传输过程进行管理。
图1为本发明提供的一种应用场景的示意图，如图1所示的，参与方A与参与方B之间进行通信。在参与方A、B处都有对应的计算集群和部署的联邦学习审计系统。在联邦学习过程中，参与方A与参与方B通过各自的审计系统进行通信，所有到达或发出数据的通道，都经过此审计系统，以便于审计系统基于系统功能和本发明的数据处理方法对通信过程进行管理。
其中，各方审计系统的功能可以是相同的，包括可以通过接入特定接口实现参与方账号定义、身份校验、权限校验、数据加密、过程记录、报表生成、数据存储等。
具体的实现过程可以参考以下各实施例。
图2为本发明一实施例提供的一种数据处理方法的流程图，如图2所示的，本实施例的方法可以应用于第一审计系统，第一审计系统部署于联邦学习的第一参与方中，本实施例的方法包括：
S201、接收部署于第二参与方中的第二审计系统发送的数据请求，数据请求用于向第一参与方发起合作请求；数据请求包括第二参与方的账号信息、请求内容。
第一参与方与第二参与方通过各自的审计系统进行通信。第二参与方是请求发起方，根据自身的需求确定数据请求，并将该数据请求通过第二审计系统发送到第一审计系统，以通过该数据请求向第一参与方发起合作请求。
具体的，数据请求中可以包括第二参与方的账号信息(例如设备标识、用户名等信息)，以向第一参与方声明请求发起方的身份；还可以包括请求内容，即第二参与方向第一参与方请求的数据内容。
其中，请求内容可以根据第二参与方的需求而定。例如，第二参与方欲请求第一参与方的数据进行模型的训练，则请求内容可以为第一参与方的某类数据；再例如，第二参与方欲请求第一参与方协助进行已训练好的模型的预测，则请求内容可以为测试数据；又例如，第二参与方欲请求修改在第一参与方出的权限信息，则请求内容可以为对应的权限修改内容。
S202、根据第一参与方的数据的属性信息和数据请求中的第二参与方的账号信息、请求内容，对第二参与方进行权限校验，以根据权限校验结果确定第二参与方是否具有获取请求内容对应的数据的权限。
第一参与方的数据可以包括第一参与方可用于进行模型训练的样本数据和已和某一参与方构建起来的模型数据。
其中，某一样本数据的数据属性可以包括：该样本数据是否为公开数据。若样本数据为公开数据，表示允许其它参与方获取该样本数据；若样本数据为部分公开数据，表示允许部分参与方获取该样本数据，相应的，可获取此样本数据的参与方信息可以作为另一数据属性。
样本数据的数据属性还可以包括该样本数据是否包含标签数据。例如，在用户信用测评模型中，用户的历史信用记录为模型训练的标签数据。若该样本数据中包含标签数据，则第一参与方可以提供该样本数据与其它参与方共同构建相关的模型；若该样本数据中不包含标签数据，则只能与具有标签数据的其它参与方共同构建相关的模型。
样本数据的数据属性还可以包括该样本数据是否为付费数据。若该样本数据是付费数据，则第二参与方须得通过付费方式获取该数据的使用权。
其中，某一模型数据的数据属性可以包括该模型数据的基本信息。例如，模型构建过程的其它参与方的信息、模型用于对用户的某个行为进行预测、模型预测准确率等。
模型数据的数据属性还可以包括是否允许某类参与方使用或是否为付费数据。
基于第一参与方中数据的属性信息和第二参与方数据请求，可以对第二参与方的权限进行校验，以确定第二参与方对于所请求的内容是否具有获取的权限。
权限校验的内容包括但不限于以下几项：
a.建模权限：第二参与方能否与第一参与方共同建模；
b.模型使用权限：第二参与方能不能使用第一参与方的某一个模型；若第二参与方能使用该模型，是否能在离线/在线场景下使用。
c.数据使用权限：第二参与方能不能使用第一参与方的数据进行建模/预测。
为了支持灵活的权限校验，权限校验可以作为一个插件接入到审计系统。只要实现特定的接口，即可接入。
S203、若第二参与方通过权限校验，则响应数据请求。
若通过校验确定第二参与方确实具备获取所请求内容的权限，则响应该数据请求。
具体的，响应数据请求可以包括根据请求内容，确定请求内容对应的数据；将请求内容对应的数据发送给第二审计系统。相应的，第二审计系统接收请求内容对应的数据。
在具体的实施例中，若第二参与方发起的数据请求是为与第一参与方共同建模，则获取到请求的样本数据后，第一参与方与第二参与方之间还可以进行后续的模型训练过程的数据传输，此时还可能邀请仲裁方加入，作为第三方协助完成模型训练过程。而模型训练具体过程中的数据交互方向和内容可以以具体的设计方案为准。
另外，需要说明的是，本发明中所说的第一参与方、第二参与方仅是基于参与方的角色的区分，即第一参与方代表请求的接收方，第二参与方代表请求的发起方。而并不用于限定数据传输方向或参与方数量。例如，第一参与方可以为一个或多个，第二参与方也可以为一个或多个，第一参与方可以同时向一个或多个参与方发起数据请求。
本实施例提供的数据处理方法应用于第一审计系统，第一审计系统部署于联邦学习的第一参与方中，该方法可以包括：接收部署于第二参与方中的第二审计系统发送的数据请求，数据请求用于向第一参与方发起合作请求；数据请求包括第二参与方的账号信息、请求内容；根据第一参与方的数据的属性信息和数据请求中的第二参与方的账号信息、请求内容，对第二参与方进行权限校验，以根据权限校验结果确定第二参与方是否具有获取请求内容对应的数据的权限；若第二参与方通过权限校验，则响应数据请求。本发明的方法通过在各参与方中部署审计系统，通过审计系统对参与方的权限进行校验并对数据请求进行响应，以实现对各参与方之间的数据交互过程进行管理的目的。
在根据第一参与方的数据的属性和数据请求中的第二参与方的账号信息、请求内容，对第二参与方进行权限校验，之前，可以先对第二参与方进行身份校验。具体的，可以包括：根据预存的账号信息、数据请求中的第二参与方的账号信息，对第二参与方进行身份校验；在第二参与方的身份校验成功后，根据第一参与方的数据的属性和数据请求中的第二参与方的账号信息、请求内容，对第二参与方进行权限校验。
为确保各参与方的数据安全，可以为通过审计系统加入联邦学习网络的各参与方分配账号信息，即用户名和密码，用于后续数据交换过程中的身份校验标识。分配了的账号信息可以以文件、数据库或管理系统的方式进行存储，并存储到各参与方的审计系统中，或以接口的形式接入到各参与方的审计系统中。
第一参与方在接收到第二参与方的数据请求后，可以将第二参与方的账号信息与预存的账号信息进行比较，确定是否为联邦学习网络中的合法的账号，以实现身份校验。
身份校验功能模块可以作为插件接入到审计系统中，通过特定的接口实现接入。
为实现数据传输过程的安全，审计系统可以对传输过程的数据进行加密。具体的可以包括对数据请求进行加密、对数据请求对应的数据进行加密等等。
例如，可以利用第一审计系统、第二审计系统约定的加密令牌对请求内容对应的数据加密；然后再将加密后的请求内容对应的数据发送给第二审计系统。
约定的加密令牌例如可以是各参与方预先确定好格式的token，例如，以发送时间、设备号等随机信息生成token，以token作为密码进行加密，加密方式可以使用对称加密。
在一些实施例中，在利用第一审计系统、第二审计系统约定的加密令牌对请求内容对应的数据加密之前，还可以先行对各方密钥进行验证。为保证通信的多方可以正常加解密，在各方存储有本方的私钥和对方的公钥。为确保各方之间可以正确对传输数据进行解密，可以先行验证所存储的公钥的正确性。例如，可以基于一随机数，对第一参与方存储的密钥和第二参与方存储的密钥进行验证；在验证第一参与方存储的密钥和第二参与方存储的密钥正确后，根据随机数，生成加密令牌。
图3为本发明一实施例提供的一种生成token的流程图。如图3所示的，多个参与方A、B、K之间共同商定加密令牌，即token。
由参与方A基于一个随机数，用A的私钥、其它各方公钥加密，而后分别传输给其它各参与方；其它各方利用A的公钥、本方私钥解密得到随机数，再基于得到的随机数，用A的公钥、本方私钥加密，而后发送给参与方A；A对于接收到的数据，利用A的私钥、解密，得到随机数，与最初发送的随机数进行比较，校验确定是否相同；如果相同，证明各方存储的密钥是正确的，则可以进一步生成token。
参与方A可以基于时间信息、机器信息和上述参与校验的随机数等信息生成token，并先后用A的私钥、其它各方公钥进行加密；将加密得到的密文发送给各参与方；各方收到密文后，先后用本方私钥、A的公钥解密，即可得到token。
如此，各方统一却定了唯一的token，用于对通信过程的数据进行加密。
在一些实施例中，权限校验完成后，还可以将权限校验结果发送给第二审计系统，作为历史权限校验结果，以使第二审计系统根据历史权限校验结果对数据请求进行权限预校验，并在权限预校验通过时，则将数据请求发送至部署于第一参与方的第一审计系统。
考虑到，在一段时间内，各参与方在其它参与方出的权限一般不会发生变化，通过校验结果的反馈，第二审计系统可以掌握本方在其它参与方处的权限范围，在短时间内再次发起相同数据请求时，则可以通过本方的审计系统进行预校验。若预校验发现，在一段时间内，已经有相同的请求被第一参与方拒绝过，则没有必要重新向第一参与方发起此数据请求，减少了通信的复杂度。
具体的，预校验所使用的历史权限校验结果可以为当前发起数据请求的时刻之前的预设时长内的历史权限校验结果，预设时长的长度可以根据业务需求进行设定。
在一些实施例中，上述的方法还可以包括：记录与第二审计系统进行数据交互过程中所执行的操作，形成审计记录；相应的，方法还包括：接收报表生成指令，报表生成指令中包括记录筛选条件；根据报表生成指令，将符合记录筛选条件的审计记录生成报表；输出报表。
其中，与第二审计系统进行数据交互过程中所执行的操作包括以下至少一项：
接收第二审计系统发送的数据请求；
对第二参与方进行身份校验；
对第二参与方进行权限校验；
将权限校验结果发送给第二审计系统；
响应数据请求；
将数据请求对应的数据发送给第二审计系统；
利用加密令牌对数据请求对应的数据加密；
对第一参与方存储的密钥和第二参与方存储的密钥进行验证。
具体的，联邦学习审计系统还可以对数据处理过程进行记录。包括但不限于以下几项：
a.操作记录。哪个参与方在何时做了何种操作，以及操作结果。这些操作可以包括建模、预测、数据查询等，结果可以包括是否成功等。
b.通信记录。哪个参与方在建模/推理等过程中，与哪个参与方进行了何种通信。记录中还可以包括通信协议、多方安全加密协议、通信内容、数据量等信息。
c.联邦学习审计系统的自审计，包括参与方的身份校验记录、权限校验记录等。
联邦学习审计系统还可以定期或不定期生成报表，或根据用户的指令生成报表。用户可以设定或选择一些维度生成数据的统计与明细。这些维度包括但不限于以下几项：
a.时间。
b.参与方。
c.记录类型，如建模记录等。
d.操作结果类型，如只选取被拒绝的操作。
另外，联邦学习审计系统的记录可以持久化地保存在多种介质中，包括但不限于以下几项：
a.持久化存储介质的文件，包括磁盘、不易失存储(如intel傲腾)等。
b.分布式存储，如Eggroll、HDFS等。
c.存储组件，如Mongodb、ELK组件。
d.区块链。
存储数据时还可以选择以加密方式存储。
审计系统还可以实时拒绝参与方的操作，也可以以离线的方式发出告警通知，包括但不限于短信、邮箱、电话等。
图4为本发明一实施例提供的另一种数据处理方法的流程图，如图4所示的，本实施例的方法可以应用于第二审计系统，第二审计系统部署于联邦学习的第二参与方中，该方法可以包括：
S401、确定数据请求，数据请求用于向第一参与方发起合作请求；数据请求中包括第二参与方的账号信息、请求内容。
S402、将数据请求发送至部署于第一参与方的第一审计系统，以使第一审计系统接收数据请求，并根据第一参与方的数据的属性信息和数据请求中的第二参与方的账号信息、请求内容，对第二参与方进行权限校验，以根据权限校验结果确定第二参与方是否具有获取请求内容对应的数据的权限；并在第二参与方通过权限校验时，响应数据请求。
可选的，将数据请求发送至部署于第一参与方的第一审计系统，包括：
获取预设时间内的历史权限校验结果，历史权限校验结果为第一审计系统对第二参与方进行权限校验后发送的；
根据历史权限校验结果，对数据请求进行权限预校验；
若权限预校验通过，则将数据请求发送至部署于第一参与方的第一审计系统。
本实施例的方法与上述实施例的方法对应，具体实现过程和技术效果可以参考上述实施例。
图4对应实施例与图2对应的实施例是以第一参与方作为数据请求的发送方，第二参与方作为数据请求的接收方为例描述的。实际上，在联邦学习网络中，任一参与方都可以作为数据请求的发送方向其它参与方发送数据请求。具体的实现过程是一致的，这就不再赘述。
图5为本发明一实施例提供的一种数据处理装置的结构示意图，如图5所示的，本实施例的数据处理装置500可以包括：接收模块501、权限校验模块502、请求响应模块503。
接收模块501，用于接收部署于第二参与方中的第二审计系统发送的数据请求，数据请求用于向第一参与方发起合作请求；数据请求包括第二参与方的账号信息、请求内容；
权限校验模块502，用于根据第一参与方的数据的属性信息和数据请求中的第二参与方的账号信息、请求内容，对第二参与方进行权限校验，以根据权限校验结果确定第二参与方是否具有获取请求内容对应的数据的权限；
请求响应模块503，用于在第二参与方通过权限校验时，响应数据请求。
可选的，权限校验模块502在根据第一参与方的数据的属性和数据请求中的第二参与方的账号信息、请求内容，对第二参与方进行权限校验时，具体用于：
根据预存的账号信息、数据请求中的第二参与方的账号信息，对第二参与方进行身份校验；
若第二参与方的身份校验成功，则根据第一参与方的数据的属性和数据请求中的第二参与方的账号信息、请求内容，对第二参与方进行权限校验。
可选的，请求响应模块503在响应数据请求时，具体用于：
根据数据请求中的请求内容，确定请求内容对应的数据；
将请求内容对应的数据发送给第二审计系统。
可选的，请求响应模块503在将请求内容对应的数据发送给第二审计系统时，具体用于：
利用第一审计系统、第二审计系统约定的加密令牌对请求内容对应的数据加密；
将加密后的请求内容对应的数据发送给第二审计系统。
可选的，请求响应模块503在利用第一审计系统、第二审计系统约定的加密令牌对请求内容对应的数据加密之前，还用于：
基于一随机数，对第一参与方存储的密钥和第二参与方存储的密钥进行验证；
若验证第一参与方存储的密钥和第二参与方存储的密钥正确，则根据随机数，生成加密令牌。
可选的，装置500还包括：校验结果发送模块504，用于将权限校验结果发送给第二审计系统，作为历史权限校验结果，以使第二审计系统根据历史权限校验结果对数据请求进行权限预校验，并在权限预校验通过时，则将数据请求发送至部署于第一参与方的第一审计系统。
可选的，装置500还包括：审计模块505，用于记录与第二审计系统进行数据交互过程中所执行的操作，形成审计记录；
相应的，装置500还包括：报表生成模块506，用于接收报表生成指令，报表生成指令中包括记录筛选条件；根据报表生成指令，将符合记录筛选条件的审计记录生成报表；输出报表；
其中，与第二审计系统进行数据交互过程中所执行的操作包括以下至少一项：
接收第二审计系统发送的数据请求；
对第二参与方进行身份校验；
对第二参与方进行权限校验；
将权限校验结果发送给第二审计系统；
响应数据请求；
将数据请求对应的数据发送给第二审计系统；
利用加密令牌对数据请求对应的数据加密；
对第一参与方存储的密钥和第二参与方存储的密钥进行验证。
本实施例的装置可用于实现上述各实施例中的对应的数据处理方法，得到相同的技术效果，此处不再赘述。
图6为本发明一实施例提供的另一种数据处理装置的结构示意图，如图6所示的，本实施例的数据处理装置600可以包括：请求确定模块601、发送模块602。
请求确定模块601，用于确定数据请求，数据请求用于向第一参与方发起合作请求；数据请求中包括第二参与方的账号信息、请求内容；
发送模块602，用于将数据请求发送至部署于第一参与方的第一审计系统，以使第一审计系统接收数据请求，并根据第一参与方的数据的属性信息和数据请求中的第二参与方的账号信息、请求内容，对第二参与方进行权限校验，以根据权限校验结果确定第二参与方是否具有获取请求内容对应的数据的权限；并在第二参与方通过权限校验时，响应数据请求。
可选的，发送模块602在将数据请求发送至部署于第一参与方的第一审计系统时，具体用于：
获取预设时间内的历史权限校验结果，历史权限校验结果为第一审计系统对第二参与方进行权限校验后发送的；
根据历史权限校验结果，对数据请求进行权限预校验；
若权限预校验通过，则将数据请求发送至部署于第一参与方的第一审计系统。
本实施例的装置可用于实现上述各实施例中的对应的数据处理方法，得到相同的技术效果，此处不再赘述。
另外，本发明还提供一种数据处理装置，可以同时包括图5和图6对应实施例中的模块结构，以实现上述实施例的方法，可以达到相同的技术效果。
图7为本发明一实施例提供的一种数据处理设备的结构示意图，如图7的，数据处理设备700包括：存储器701、处理器702及存储在存储器上并可在处理器上运行的数据处理程序，数据处理程序被处理器702执行时实现上述实施例中的数据处理方法的步骤。
本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有数据处理程序，数据处理程序被处理器执行时实现上述实施例中的数据处理方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序/指令，计算机程序/指令被处理器执行时实现上述实施例中的数据处理方法。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (14)
1.一种数据处理方法，其特征在于，应用于第一审计系统，所述第一审计系统部署于联邦学习的第一参与方中，所述方法包括：
接收部署于第二参与方中的第二审计系统发送的数据请求，所述数据请求用于向所述第一参与方发起合作请求；所述数据请求包括第二参与方的账号信息、请求内容；
根据所述第一参与方的数据的属性信息和所述数据请求中的第二参与方的账号信息、请求内容，对所述第二参与方进行权限校验，以根据权限校验结果确定所述第二参与方是否具有获取所述请求内容对应的数据的权限；
若所述第二参与方通过权限校验，则响应所述数据请求。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一参与方的数据的属性和所述数据请求中的第二参与方的账号信息、请求内容，对所述第二参与方进行权限校验，包括：
根据预存的账号信息、所述数据请求中的所述第二参与方的账号信息，对所述第二参与方进行身份校验；
若所述第二参与方的身份校验成功，则根据所述第一参与方的数据的属性和所述数据请求中的第二参与方的账号信息、请求内容，对所述第二参与方进行权限校验。
3.根据权利要求1或2所述的方法，其特征在于，所述响应所述数据请求，包括：
根据所述数据请求中的请求内容，确定所述请求内容对应的数据；
将所述请求内容对应的数据发送给所述第二审计系统。
4.根据权利要求3所述的方法，其特征在于，所述将所述请求内容对应的数据发送给所述第二审计系统，包括：
利用所述第一审计系统、第二审计系统约定的加密令牌对所述请求内容对应的数据加密；
将加密后的所述请求内容对应的数据发送给所述第二审计系统。
5.根据权利要求4所述的方法，其特征在于，在利用所述第一审计系统、第二审计系统约定的加密令牌对所述请求内容对应的数据加密之前，还包括：
基于一随机数，对所述第一参与方存储的密钥和所述第二参与方存储的密钥进行验证；
若验证所述第一参与方存储的密钥和所述第二参与方存储的密钥正确，则根据所述随机数，生成加密令牌。
6.根据权利要求1或2所述的方法，其特征在于，还包括：
将权限校验结果发送给所述第二审计系统，作为历史权限校验结果，以使所述第二审计系统根据所述历史权限校验结果对数据请求进行权限预校验，并在权限预校验通过时，则将数据请求发送至部署于所述第一参与方的第一审计系统。
7.根据权利要求6所述的方法，其特征在于，还包括：
记录与所述第二审计系统进行数据交互过程中所执行的操作，形成审计记录；
相应的，还包括：
接收报表生成指令，所述报表生成指令中包括记录筛选条件；
根据所述报表生成指令，将符合所述记录筛选条件的审计记录生成报表；
输出所述报表；
其中，所述与所述第二审计系统进行数据交互过程中所执行的操作包括以下至少一项：
接收第二审计系统发送的数据请求；
对第二参与方进行身份校验；
对第二参与方进行权限校验；
将权限校验结果发送给第二审计系统；
响应数据请求；
将数据请求对应的数据发送给第二审计系统；
利用加密令牌对数据请求对应的数据加密；
对第一参与方存储的密钥和所述第二参与方存储的密钥进行验证。
8.一种数据处理方法，其特征在于，应用于第二审计系统，所述第二审计系统部署于联邦学习的第二参与方中，所述方法包括：
确定数据请求，所述数据请求用于向第一参与方发起合作请求；所述数据请求中包括第二参与方的账号信息、请求内容；
将所述数据请求发送至部署于所述第一参与方的第一审计系统，以使所述第一审计系统接收所述数据请求，并根据所述第一参与方的数据的属性信息和所述数据请求中的第二参与方的账号信息、请求内容，对所述第二参与方进行权限校验，以根据权限校验结果确定所述第二参与方是否具有获取所述请求内容对应的数据的权限；并在所述第二参与方通过权限校验时，响应所述数据请求。
9.根据权利要求8所述的方法，其特征在于，所述将所述数据请求发送至部署于所述第一参与方的第一审计系统，包括：
获取预设时间内的历史权限校验结果，所述历史权限校验结果为所述第一审计系统对第二参与方进行权限校验后发送的；
根据所述历史权限校验结果，对所述数据请求进行权限预校验；
若权限预校验通过，则将所述数据请求发送至部署于所述第一参与方的第一审计系统。
10.一种数据处理装置，其特征在于，包括：
接收模块，用于接收部署于第二参与方中的第二审计系统发送的数据请求，所述数据请求用于向第一参与方发起合作请求；所述数据请求包括第二参与方的账号信息、请求内容；
权限校验模块，用于根据所述第一参与方的数据的属性信息和所述数据请求中的第二参与方的账号信息、请求内容，对所述第二参与方进行权限校验，以根据权限校验结果确定所述第二参与方是否具有获取所述请求内容对应的数据的权限；
请求响应模块，用于在所述第二参与方通过权限校验时，响应所述数据请求。
11.一种数据处理装置，其特征在于，包括：
请求确定模块，用于确定数据请求，所述数据请求用于向第一参与方发起合作请求；所述数据请求中包括第二参与方的账号信息、请求内容；
发送模块，用于将所述数据请求发送至部署于所述第一参与方的第一审计系统，以使所述第一审计系统接收所述数据请求，并根据所述第一参与方的数据的属性信息和所述数据请求中的第二参与方的账号信息、请求内容，对所述第二参与方进行权限校验，以根据权限校验结果确定所述第二参与方是否具有获取所述请求内容对应的数据的权限；并在所述第二参与方通过权限校验时，响应所述数据请求。
12.一种数据处理设备，其特征在于，所述数据处理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述数据处理程序被所述处理器执行时实现如权利要求1至9任一项所述的数据处理方法的步骤。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如权利要求1至9任一项所述的数据处理方法的步骤。
14.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9任一项所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011338899.XA CN112434334A (zh) | 2020-11-25 | 2020-11-25 | 数据处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011338899.XA CN112434334A (zh) | 2020-11-25 | 2020-11-25 | 数据处理方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112434334A true CN112434334A (zh) | 2021-03-02 |
Family
ID=74698598
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011338899.XA Pending CN112434334A (zh) | 2020-11-25 | 2020-11-25 | 数据处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112434334A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113364589A (zh) * | 2021-08-10 | 2021-09-07 | 深圳致星科技有限公司 | 用于联邦学习安全审计的密钥管理系统、方法及存储介质 |
| CN113486378A (zh) * | 2021-07-22 | 2021-10-08 | 杭州煋辰数智科技有限公司 | 基于联邦学习实现数据集构建处理的系统及其生成方法 |
| CN113709014A (zh) * | 2021-08-10 | 2021-11-26 | 深圳致星科技有限公司 | 联邦学习审计的数据收集方法、介质、装置及程序产品 |
| CN113901505A (zh) * | 2021-12-06 | 2022-01-07 | 北京笔新互联网科技有限公司 | 数据共享方法、装置、电子设备及存储介质 |
| CN114065238A (zh) * | 2021-11-05 | 2022-02-18 | 深圳致星科技有限公司 | 数据管理方法、装置及电子设备 |
| CN114239857A (zh) * | 2021-12-29 | 2022-03-25 | 湖南工商大学 | 基于联邦学习的数据确权方法、装置、设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101655892A (zh) * | 2009-09-22 | 2010-02-24 | 成都市华为赛门铁克科技有限公司 | 一种移动终端和访问控制方法 |
| CN106529327A (zh) * | 2016-10-08 | 2017-03-22 | 西安电子科技大学 | 混合云环境下面向加密数据库的数据存取系统及方法 |
| CN111767527A (zh) * | 2020-07-07 | 2020-10-13 | 杭州云链趣链数字科技有限公司 | 基于区块链的数据权限控制方法、装置和计算机设备 |
| CN111985000A (zh) * | 2020-08-21 | 2020-11-24 | 深圳前海微众银行股份有限公司 | 模型服务输出方法、装置、设备及存储介质 |
-
2020
- 2020-11-25 CN CN202011338899.XA patent/CN112434334A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101655892A (zh) * | 2009-09-22 | 2010-02-24 | 成都市华为赛门铁克科技有限公司 | 一种移动终端和访问控制方法 |
| CN106529327A (zh) * | 2016-10-08 | 2017-03-22 | 西安电子科技大学 | 混合云环境下面向加密数据库的数据存取系统及方法 |
| CN111767527A (zh) * | 2020-07-07 | 2020-10-13 | 杭州云链趣链数字科技有限公司 | 基于区块链的数据权限控制方法、装置和计算机设备 |
| CN111985000A (zh) * | 2020-08-21 | 2020-11-24 | 深圳前海微众银行股份有限公司 | 模型服务输出方法、装置、设备及存储介质 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113486378A (zh) * | 2021-07-22 | 2021-10-08 | 杭州煋辰数智科技有限公司 | 基于联邦学习实现数据集构建处理的系统及其生成方法 |
| CN113364589A (zh) * | 2021-08-10 | 2021-09-07 | 深圳致星科技有限公司 | 用于联邦学习安全审计的密钥管理系统、方法及存储介质 |
| CN113709014A (zh) * | 2021-08-10 | 2021-11-26 | 深圳致星科技有限公司 | 联邦学习审计的数据收集方法、介质、装置及程序产品 |
| CN114065238A (zh) * | 2021-11-05 | 2022-02-18 | 深圳致星科技有限公司 | 数据管理方法、装置及电子设备 |
| CN113901505A (zh) * | 2021-12-06 | 2022-01-07 | 北京笔新互联网科技有限公司 | 数据共享方法、装置、电子设备及存储介质 |
| CN113901505B (zh) * | 2021-12-06 | 2022-04-15 | 北京笔新互联网科技有限公司 | 数据共享方法、装置、电子设备及存储介质 |
| CN114239857A (zh) * | 2021-12-29 | 2022-03-25 | 湖南工商大学 | 基于联邦学习的数据确权方法、装置、设备及介质 |
| CN114239857B (zh) * | 2021-12-29 | 2022-11-22 | 湖南工商大学 | 基于联邦学习的数据确权方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112434334A (zh) | 数据处理方法、装置、设备及存储介质 | |
| US11196569B2 (en) | Systems and methods for accuracy and attestation of validity of data shared in a secure distributed environment | |
| CN104468518B (zh) | 业务管理方法、装置和系统 | |
| US8688988B2 (en) | Transaction auditing for data security devices | |
| CN102057382A (zh) | 用于内容共享的临时域成员资格 | |
| CN108416578A (zh) | 一种区块链系统及数据处理方法 | |
| CN108243182B (zh) | 区块链的管理授权方法、子管理端、根管理端及存储介质 | |
| CN110519268B (zh) | 基于区块链的投票方法、装置、设备、系统及存储介质 | |
| CN101547096B (zh) | 基于数字证书的网络会议系统及其管理方法 | |
| US20070124313A1 (en) | Method and apparatus for secure digital content distribution | |
| CN110708162B (zh) | 资源的获取方法、装置、计算机可读介质及电子设备 | |
| CN111292174A (zh) | 一种纳税信息处理方法、装置及计算机可读存储介质 | |
| KR102131206B1 (ko) | 법인 관련 서비스 제공 방법, 이를 지원하는 방법, 이를 수행하는 서비스 서버 및 인증 서버 | |
| CN111866042B (zh) | 一种同步电信账号变更的方法及装置 | |
| CN112016075B (zh) | 基于区块链的行程信息验证方法、电子设备和介质 | |
| CN113221191B (zh) | 基于区块链的数据存证方法、装置、设备和存储介质 | |
| Agate et al. | SecureBallot: A secure open source e-Voting system | |
| CN113364597A (zh) | 一种基于区块链的隐私信息证明方法及系统 | |
| CN116992458A (zh) | 基于可信执行环境的可编程数据处理方法以及系统 | |
| CN115277122A (zh) | 基于区块链的跨境数据流动与监管系统 | |
| CN114666168A (zh) | 去中心化身份凭证验证方法、装置，以及，电子设备 | |
| CN111931230A (zh) | 数据授权方法和装置、存储介质和电子装置 | |
| CN111934881A (zh) | 数据确权方法和装置、存储介质和电子装置 | |
| CN115131029A (zh) | 基于区块链的数字文件签署方法及装置 | |
| CN111431880B (zh) | 一种信息处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |