CN111339553A - 一种任务处理方法、系统、设备及介质 - Google Patents

一种任务处理方法、系统、设备及介质 Download PDF

Info

Publication number
CN111339553A
CN111339553A CN202010093590.2A CN202010093590A CN111339553A CN 111339553 A CN111339553 A CN 111339553A CN 202010093590 A CN202010093590 A CN 202010093590A CN 111339553 A CN111339553 A CN 111339553A
Authority
CN
China
Prior art keywords
task processing
training
data
task
decomposed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010093590.2A
Other languages
English (en)
Inventor
周曦
姚志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yuncong Technology Group Co Ltd
Original Assignee
Yuncong Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yuncong Technology Group Co Ltd filed Critical Yuncong Technology Group Co Ltd
Priority to CN202010093590.2A priority Critical patent/CN111339553A/zh
Publication of CN111339553A publication Critical patent/CN111339553A/zh
Priority to PCT/CN2020/110469 priority patent/WO2021159685A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03—Credit; Loans; Processing thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Technology Law (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种任务处理方法、系统、设备及介质，包括有：各个任务处理端分别获取对应的分解后的训练任务；每个任务处理端基于本地训练数据及从其他任务处理端获取的随机数或参数，执行所述分解后的训练任务。一个或多个参与方发起训练任务后，本发明能够通过任务处理端分解所有的训练任务，同时每个任务处理端根据分解后的训练任务基于本地训练数据以及从其他任务处理端获取的随机数和参数来执行分解后的训练任务。即本方法在由多个数据提供方参与且在各参与方互相不信任的场景下，能够聚合或协助聚合多方数据信息并保护多方隐私数据。

Description

一种任务处理方法、系统、设备及介质
技术领域
本发明涉及数据处理技术领域，特别是涉及一种任务处理方法、系统、设备及介质。
背景技术
部分企业或机构掌握着一些数据，这些数据可能包括隐私数据和非隐私数据。而对于某些企业或机构而言，其希望利用这些数据来进行分析、评估等。例如，对于金融信贷机构而言，可能用于评估企业资质、企业经营状态、贷款风险等。然而，这些数据可能属于企业或机构的敏感隐私数据，多数企业或机构不方便直接共享给金融机构、政府或公众等。因此，如何在保护数据隐私的情况下，实现数据共享是亟待解决的问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种任务处理方法、系统、设备及介质，用于解决现有技术中存在的问题。
为实现上述目的及其他相关目的，本发明提供一种任务处理方法，包括以下步骤：
各个任务处理端分别获取对应的分解后的训练任务；
每个任务处理端基于本地训练数据及从其他任务处理端获取的随机数或参数，执行所述分解后的训练任务。
可选地，所述各个任务处理端分别获取对应的分解后的训练任务之前，还包括：
任务处理平台接收所述任务处理端传输的训练任务请求后，对所述训练任务进行分解，获得分解后的训练任务，并将所述分解后的训练任务分配给对应的任务处理端。
可选地，执行所述分解后的训练任务之后，还包括：输出共享模型。
可选地，各个任务处理端分别获取对应的分解后的训练任务后，每个任务处理端读取本地训练数据；
每个任务处理端从其他任务处理端获取随机数或加密参数，并基于所述随机数或加密参数，对其他任务处理端传输过来的加密数据进行解密，获得解密后的数据；
通过所述本地训练数据、所述解密后的数据，进行学习训练。
可选地，各个任务处理端分别获取对应的分解后的训练任务后，每个任务处理端读取本地训练数据；
每个任务处理端从其他任务处理端获取模型训练过程随机数或模型训练过程参数；
依据所述模型训练过程随机数或模型训练过程参数及本地训练数据，进行学习训练。
可选地，，各个任务处理端分别获取对应的分解后的训练任务后，每个任务处理端读取本地训练数据；
每个任务处理端从其他任务处理端获取训练参数；
依据所述训练参数及本地训练数据，进行学习训练。
可选地，所述训练参数包括：卷积神经网络层数、卷积核大小。
可选地，每个任务处理端从其他任务处理端获取随机数或参数的次数为一次或多次。
可选地，所述学习训练采用的学习算法包括以下至少之一：线性回归、逻辑回归、树模型、深度神经网络、图神经网络。
可选地，所述训练数据包括以下至少之一：社保数据、公积金数据、固定资产数据、流动资产数据。
可选地，所述流动资产数据包括以下至少之一：存款数据、贷款数据。
可选地，所述加密数据为非隐私数据。
本发明还提供一种任务处理系统，包括有：
获取模块，用于各个任务处理端分别获取对应的分解后的训练任务，以及用于每个任务处理端获取本地训练数据、从其他任务处理端获取随机数或参数；
执行模块，用于执行所述分解后的训练任务。
可选地，所述各个任务处理端分别获取对应的分解后的训练任务之前，还包括：
任务处理平台接收所述任务处理端传输的训练任务请求后，对所述训练任务进行分解，获得分解后的训练任务，并将所述分解后的训练任务分配给对应的任务处理端。
可选地，执行所述分解后的训练任务之后，还包括：输出共享模型。
可选地，各个任务处理端分别获取对应的分解后的训练任务后，每个任务处理端读取本地训练数据；
每个任务处理端从其他任务处理端获取随机数或加密参数，并基于所述随机数或加密参数，对其他任务处理端传输过来的加密数据进行解密，获得解密后的数据；
通过所述本地训练数据、所述解密后的数据，进行学习训练。
可选地，各个任务处理端分别获取对应的分解后的训练任务后，每个任务处理端读取本地训练数据；
每个任务处理端从其他任务处理端获取模型训练过程随机数或模型训练过程参数；
依据所述模型训练过程随机数或模型训练过程参数及本地训练数据，进行学习训练。
可选地，各个任务处理端分别获取对应的分解后的训练任务后，每个任务处理端读取本地训练数据；
每个任务处理端从其他任务处理端获取训练参数；
依据所述训练参数及本地训练数据，进行学习训练。
可选地，所述训练参数包括：卷积神经网络层数、卷积核大小。
可选地，每个任务处理端从其他任务处理端获取随机数或参数的次数为一次或多次。
可选地，所述学习训练采用的学习算法包括以下至少之一：线性回归、逻辑回归、树模型、深度神经网络、图神经网络。
可选地，所述训练数据包括以下至少之一：社保数据、公积金数据、固定资产数据、流动资产数据。
可选地，所述流动资产数据包括以下至少之一：存款数据、贷款数据。
可选地，所述加密数据为非隐私数据。
本发明还提供一种任务处理设备，包括有：
各个任务处理端分别获取对应的分解后的训练任务后，每个任务处理端基于本地训练数据及从其他任务处理端获取的随机数或参数，执行所述分解后的训练任务。
本发明还提供一种设备，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如上述中一个或多个所述的方法。
本发明还提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如上述中一个或多个所述的方法。
如上所述，本发明提供的一种任务处理方法、系统、设备及介质，具有以下有益效果：一个或多个参与方发起训练任务后，本发明能够通过任务处理端分解所有的训练任务，同时每个任务处理端根据分解后的训练任务基于本地训练数据以及从其他任务处理端获取的随机数和参数来执行分解后的训练任务。即本方法在由多个数据提供方参与且在各参与方互相不信任的场景下，能够聚合或协助聚合多方数据信息并保护多方隐私数据。
附图说明
图1为一实施例提供的数据共享学习方法的流程示意图；
图2为另一实施提供的数据共享学习方法的流程示意图；
图3为一实施例提供的数据共享学习系统的硬件结构示意图；
图4为另一实施例提供的数据共享学习系统的硬件结构示意图；
图5为一实施例提供的终端设备的硬件结构示意图；
图6为另一实施例提供的终端设备的硬件结构示意图。
元件标号说明
M10 获取模块
M20 执行模块
1100 输入设备
1101 第一处理器
1102 输出设备
1103 第一存储器
1104 通信总线
1200 处理组件
1201 第二处理器
1202 第二存储器
1203 通信组件
1204 电源组件
1205 多媒体组件
1206 语音组件
1207 输入/输出接口
1208 传感器组件
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1，本发明提供一种任务处理方法，包括以下步骤：
S100，各个任务处理端分别获取对应的分解后的训练任务；
S200，每个任务处理端基于本地训练数据及从其他任务处理端获取的随机数或参数，执行所述分解后的训练任务。
根据上述记载，一个或多个参与方发起训练任务后，本方法能够通过任务处理端分解所有的训练任务，同时每个任务处理端根据分解后的训练任务基于本地训练数据以及从其他任务处理端获取的随机数和参数来执行分解后的训练任务。即本方法在由多个数据提供方参与且在各参与方互相不信任的场景下，能够聚合或协助聚合多方数据信息并保护多方隐私数据。其中，参与方包括：银行、企业、政府单位或组织等。
在一示例性实施例中，各个任务处理端分别获取对应的分解后的训练任务之前，还包括：任务处理平台接收所述任务处理端传输的训练任务请求后，对所述训练任务进行分解，获得分解后的训练任务，并将所述分解后的训练任务分配给对应的任务处理端。
在一示例性实施例中，执行所述分解后的训练任务之后，还包括：输出共享模型。通过共享模型，能够在历史数据中自动发现规律并利用规律对未知数据进行应用，能够帮助用户利用数据做出更好的决策，例如根据历史数据进行预测等。
在一示例性实施例中，各个任务处理端分别获取对应的分解后的训练任务后，每个任务处理端读取本地训练数据；
每个任务处理端从其他任务处理端获取随机数或加密参数，并基于所述加密随机数或加密参数，对其他任务处理端传输过来的加密数据进行解密，获得解密后的数据；
通过所述本地训练数据、所述解密后的数据，进行学习训练。
具体地，本申请实施例中的加密数据包括非隐私数据。本实施例把个人、企业、政府等机构或单位未对外公开的数据称为隐私数据；把社会公众通过一般途径能够得知或获得的数据称为非隐私数据。本申请实施例中一个或多个参与方中会泄漏用户隐私的数据不出本地，保证在安全多方计算方案下，一个或多个参与方或参与方基于既定协议下通过交换不泄露隐私的信息来进行共享学习训练。
在一示例性实施例中，各个任务处理端分别获取对应的分解后的训练任务后，每个任务处理端读取本地训练数据；
每个任务处理端从其他任务处理端获取模型训练过程随机数或模型训练过程参数；
依据所述模型训练过程随机数或模型训练过程参数及本地训练数据，进行学习训练。
具体地，本申请实施例通过获取共享学习模型中训练过程中的随机数或模型训练过程参数，保证在训练过程中进行的步骤或做出的设置是一致，保证训练后的模型能够适用共同的训练数据。其中，模型训练过程参数包括卷积神经网络的层数、卷积神经网络的卷积核大小等。作为示例，例如卷积神经网络的层数为50层，卷积核的大小为5×5。
在一示例性实施例中，各个任务处理端分别获取对应的分解后的训练任务后，每个任务处理端读取本地训练数据；
每个任务处理端从其他任务处理端获取训练参数；
依据所述训练参数及本地训练数据，进行学习训练。
具体地，本申请实施例通过只获取本地训练数据，然后结合其他任务端的训练参数，保证初始设置的训练条件是一致的。其中，模型训练参数包括卷积神经网络的层数、卷积神经网络的卷积核大小等。作为示例，例如卷积神经网络的层数为20层，卷积核的大小为3×3。
根据上述实施例，每个任务处理端从其他任务处理端获取随机数或参数的次数为一次或多次。
在一示例性实施例中，将至少两个参与方中的数据进行一次或多次交换，包括交换以下至少之一：随机数、加密参数。
在一示例性实施例中，具体包括有：
发起一个或多个训练任务；
分解和协调所述一个或多个训练任务；
根据分解和协调后的一个或多个训练任务将至少两个参与方中的数据进行一次或多次交换，使其中的一个或多个参与方中的数据能够与另外的一个或多个参与方中的数据进行共享。还包括获取每个参与方完成一次或多次学习后的共享学习模型。通过共享学习模型，能够在历史数据中自动发现规律并利用规律对未知数据进行应用，能够帮助用户利用数据做出更好的决策，例如根据历史数据进行预测等。
在一些示例性实施例中，所述学习训练采用的学习算法包括以下至少之一：线性回归、逻辑回归、树模型、深度神经网络、图神经网络。通过对学习算法的管理，能够采用多种方式提高学习算法的鲁棒性，增强数据的安全性。同时还可以对共享学习模型进行训练优化，从而提高共享学习模型的性能和泛化能力；训练优化的指标包括以下至少之一：定义评估、算法策略选择、数据集划分、参数调优等。
在些一示例性实施例中，所述一个或多个参与方中的数据包括以下至少之一：社保数据、公积金数据、固定资产数据、流动资产数据。其中，所述流动资产数据包括以下至少之一：存款数据、贷款数据。
具体地，在某一具体实施例中，若某一银行需要给某一企业进行一笔贷款的发放，其需要对该某一企业进行贷款资质分析、风险评估等，以确保给该某一企业的贷款不会成为坏账。某一地方政府机构掌握该某一企业的社保数据，另一银行掌握该某一企业的其它一笔或多笔贷款数据，另一企业掌握其与该某一企业的正常经营数据。社保数据包括该某一企业参加社保缴纳的员工人数、每一位员工缴纳社保的基数等；贷款数据包括该某一企业的贷款数额、贷款时间、还款数额、还款时间等；经营数据包括货款支付途径、货款支付时间等。在相互不信任、确保隐私数据不会泄漏的条件，将该某一地方政府机构、该另一银行、该另一企业分别作为一个参与方，分别将它们掌握的数据作为共享学习的数据进行共享学习，获取共享学习后的共享学习模型；该银行可以基于该共享学习模型对该企业进行贷款资质分析、风险评估，辅助该银行对该企业的贷款，例如预测该企业未来的营业收入、还款能力等。
综上所述，一个或多个参与方发起训练任务后，本发明能够通过任务处理端分解所有的训练任务，同时每个任务处理端根据分解后的训练任务基于本地训练数据以及从其他任务处理端获取的随机数和参数来执行分解后的训练任务。即本方法在由多个参与方参与且在各参与方互相不信任的场景下，能够聚合或协助聚合多方数据信息并保护多方隐私数据。同时本方法能够将某一个或多个参与方中的非隐私数据与其余的一个或多个参与方中的非隐私数据进行交换，使其中的一个或多个参与方中的非隐私数据能够与另外的一个或多个参与方中的非隐私数据进行共享；然后再基于共享后的非隐私数据进行一次或多次学习，实现共享学习，并获取共享学习训练模型。即本方法在由多个数据提供方参与且在各参与方互相不信任的场景下，能够聚合或协助聚合多方数据信息并保护多方隐私数据。同时通过共享学习模型，本方法能够在历史数据中自动发现规律，并利用规律对未知数据进行应用，帮助用户利用数据做出更好的决策，例如根据历史数据进行预测等。
如图2所示，还提供一种任务处理方法，包括有：
S1，一个或多个参与方用于提供非隐私数据以及部署机器学习模块；
S2，一个或多个参与方发起一个或多个机器学习训练任务；
S3，模型平台对一个或多个机器学习训练任务进行分解和协调，
S4，模型平台下发一个或多个训练任务到各个参与方；
S5，每个参与方将本地中的训练数据以及从其他任务处理端获取的随机数或参数读取至本地机器学习模块；
S6，每个参与方的机器学习模块进行一次或多次参数交换，使其中的一个或多个参与方中的数据(包括训练数据和非隐私数据)能够与另外的一个或多个参与方中的数据(包括训练数据和非隐私数据)进行共享；
S7，基于共享后的数据(包括训练数据和非隐私数据)进行一次或多次学习；完成一次或多次共享学习训练后，获取每个参与方的共享学习模型。
其中，模型平台用于触发和协调学习训练任务；参与方中的本地机器学习模块，用于接收模型平台下发的分解后和协调后的机器学习任务，基于本地训练数据及从其他参与方获取的随机数或参数，进行机器学习。
根据上述记载，本方法能够将某一个或多个参与方中的非隐私数据与其余的一个或多个参与方中的非隐私数据进行交换，使其中的一个或多个参与方中的非隐私数据能够与另外的一个或多个参与方中的非隐私数据进行共享；然后再基于共享后的非隐私数据进行一次或多次学习，实现共享学习，并获取共享学习训练模型。即本方法在由多个数据提供方参与且在各参与方互相不信任的场景下，能够聚合或协助聚合多方数据信息并保护多方隐私数据。同时通过共享学习模型，本方法能够在历史数据中自动发现规律，并利用规律对未知数据进行应用，帮助用户利用数据做出更好的决策，例如根据历史数据进行预测等。
如图3所示，一种任务处理系统，包括有：
获取模块M10，用于各个任务处理端分别获取对应的分解后的训练任务，以及用于每个任务处理端获取本地训练数据、从其他任务处理端获取随机数或参数；
执行模块M20，用于执行所述分解后的训练任务。
在一示例性实施例中，各个任务处理端分别获取对应的分解后的训练任务之前，还包括：任务处理平台接收所述任务处理端传输的训练任务请求后，对所述训练任务进行分解，获得分解后的训练任务，并将所述分解后的训练任务分配给对应的任务处理端。
在一示例性实施例中，执行所述分解后的训练任务之后，还包括：输出共享模型。通过共享模型，能够在历史数据中自动发现规律并利用规律对未知数据进行应用，能够帮助用户利用数据做出更好的决策，例如根据历史数据进行预测等。
在一示例性实施例中，各个任务处理端分别获取对应的分解后的训练任务后，每个任务处理端读取本地训练数据；
每个任务处理端从其他任务处理端获取随机数或加密参数，并基于所述加密随机数或加密参数，对其他任务处理端传输过来的加密数据进行解密，获得解密后的数据；
通过所述本地训练数据、所述解密后的数据，进行学习训练。
具体地，本申请实施例中的加密数据包括非隐私数据。本实施例把个人、企业、政府等机构或单位未对外公开的数据称为隐私数据；把社会公众通过一般途径能够得知或获得的数据称为非隐私数据。本申请实施例中一个或多个参与方中会泄漏用户隐私的数据不出本地，保证在安全多方计算方案下，一个或多个参与方或参与方基于既定协议下通过交换不泄露隐私的信息来进行共享学习训练。
在一示例性实施例中，各个任务处理端分别获取对应的分解后的训练任务后，每个任务处理端读取本地训练数据；
每个任务处理端从其他任务处理端获取模型训练过程随机数或模型训练过程参数；
依据所述模型训练过程随机数或模型训练过程参数及本地训练数据，进行学习训练。
具体地，本申请实施例通过获取共享学习模型中训练过程中的随机数或模型训练过程参数，保证在训练过程中进行的步骤或做出的设置是一致，保证训练后的模型能够适用共同的训练数据。其中，模型训练过程参数包括卷积神经网络的层数、卷积神经网络的卷积核大小等。作为示例，例如卷积神经网络的层数为50层，卷积核的大小为5×5。
在一示例性实施例中，各个任务处理端分别获取对应的分解后的训练任务后，每个任务处理端读取本地训练数据；
每个任务处理端从其他任务处理端获取训练参数；
依据所述训练参数及本地训练数据，进行学习训练。
具体地，本申请实施例通过只获取本地训练数据，然后结合其他任务端的训练参数，保证初始设置的训练条件是一致的。其中，模型训练参数包括卷积神经网络的层数、卷积神经网络的卷积核大小等。作为示例，例如卷积神经网络的层数为20层，卷积核的大小为3×3。
根据上述实施例，每个任务处理端从其他任务处理端获取随机数或参数的次数为一次或多次。
在一示例性实施例中，将至少两个参与方中的数据进行一次或多次交换，包括交换以下至少之一：随机数、加密参数。
在一示例性实施例中，具体包括有：
发起一个或多个训练任务；
分解和协调所述一个或多个训练任务；
根据分解和协调后的一个或多个训练任务将至少两个参与方中的数据进行一次或多次交换，使其中的一个或多个参与方中的数据能够与另外的一个或多个参与方中的数据进行共享。还包括获取每个参与方完成一次或多次学习后的共享学习模型。通过共享学习模型，能够在历史数据中自动发现规律并利用规律对未知数据进行应用，能够帮助用户利用数据做出更好的决策，例如根据历史数据进行预测等。
在一些示例性实施例中，所述学习训练采用的学习算法包括以下至少之一：线性回归、逻辑回归、树模型、深度神经网络、图神经网络。通过对学习算法的管理，能够采用多种方式提高学习算法的鲁棒性，增强数据的安全性。同时还可以对共享学习模型进行训练优化，从而提高共享学习模型的性能和泛化能力；训练优化的指标包括以下至少之一：定义评估、算法策略选择、数据集划分、参数调优等。
在些一示例性实施例中，所述一个或多个参与方中的数据包括以下至少之一：社保数据、公积金数据、固定资产数据、流动资产数据。其中，所述流动资产数据包括以下至少之一：存款数据、贷款数据。
具体地，在某一具体实施例中，若某一银行需要给某一企业进行一笔贷款的发放，其需要对该某一企业进行贷款资质分析、风险评估等，以确保给该某一企业的贷款不会成为坏账。某一地方政府机构掌握该某一企业的社保数据，另一银行掌握该某一企业的其它一笔或多笔贷款数据，另一企业掌握其与该某一企业的正常经营数据。社保数据包括该某一企业参加社保缴纳的员工人数、每一位员工缴纳社保的基数等；贷款数据包括该某一企业的贷款数额、贷款时间、还款数额、还款时间等；经营数据包括货款支付途径、货款支付时间等。在相互不信任、确保隐私数据不会泄漏的条件，将该某一地方政府机构、该另一银行、该另一企业分别作为一个参与方，分别将它们掌握的数据作为共享学习的数据进行共享学习，获取共享学习后的共享学习模型；该银行可以基于该共享学习模型对该企业进行贷款资质分析、风险评估，辅助该银行对该企业的贷款，例如预测该企业未来的营业收入、还款能力等。
综上所述，一个或多个参与方发起训练任务后，本发明能够通过任务处理端分解所有的训练任务，同时每个任务处理端根据分解后的训练任务基于本地训练数据以及从其他任务处理端获取的随机数和参数来执行分解后的训练任务。即本方法在由多个参与方参与且在各参与方互相不信任的场景下，能够聚合或协助聚合多方数据信息并保护多方隐私数据。同时本方法能够将某一个或多个参与方中的非隐私数据与其余的一个或多个参与方中的非隐私数据进行交换，使其中的一个或多个参与方中的非隐私数据能够与另外的一个或多个参与方中的非隐私数据进行共享；然后再基于共享后的非隐私数据进行一次或多次学习，实现共享学习，并获取共享学习训练模型。即本方法在由多个数据提供方参与且在各参与方互相不信任的场景下，能够聚合或协助聚合多方数据信息并保护多方隐私数据。同时通过共享学习模型，本方法能够在历史数据中自动发现规律，并利用规律对未知数据进行应用，帮助用户利用数据做出更好的决策，例如根据历史数据进行预测等。
如图4所示，还提供一种数据共享学习系统，包括有控制模块、学习模块；控制模块位于模型平台内；学习模块位于参与方内。其中，参与方的学习模块通过交换随机数或加密参数的方式，在控制模块的触发与协调下，进行共享机器学习；各个参与方各自部署机器学习模块，各个参与方发起一个或多个机器学习训练任务；控制模块收到一个或多个训练任务后，进行分解和协调，并下发一个或多个训练任务到各个参与方；各个参与方读取本地一个或多个参与方中的非隐私数据以及其他参与方中的非隐私数据到本地的机器学习模块；使其中的一个或多个参与方中的非隐私数据能够与另外的一个或多个参与方中的非隐私数据进行共享；基于共享后的非隐私数据进行一次或多次学习；完成一次或多次共享学习训练后，获取每个参与方的共享学习模型。
其中，模型平台用于触发和协调学习训练任务；参与方中的本地机器学习模块，用于接收模型平台下发的分解后和协调后的机器学习任务，基于本地训练数据及从其他参与方获取的随机数或参数，进行机器学习。
根据上述记载，本系统能够将某一个或多个参与方中的非隐私数据与其余的一个或多个参与方中的非隐私数据进行交换，使其中的一个或多个参与方中的非隐私数据能够与另外的一个或多个参与方中的非隐私数据进行共享；然后再基于共享后的非隐私数据进行一次或多次学习，实现共享学习，并获取共享学习训练模型。即本方法在由多个数据提供方参与且在各参与方互相不信任的场景下，能够聚合或协助聚合多方数据信息并保护多方隐私数据。同时通过共享学习模型，本方法能够在历史数据中自动发现规律，并利用规律对未知数据进行应用，帮助用户利用数据做出更好的决策，例如根据历史数据进行预测等。
本申请实施例还提供了一种任务处理设备，包括有：
各个任务处理端分别获取对应的分解后的训练任务后，每个任务处理端基于本地训练数据及从其他任务处理端获取的随机数或参数；
执行所述分解后的训练任务。
在本实施例中，该任务处理设备执行上述系统或方法，具体功能和技术效果参照上述实施例即可，此处不再赘述。
本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中所述方法所包含步骤的指令(instructions)。
图5为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。
可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。
在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。
图6为本申请的一个实施例提供的终端设备的硬件结构示意图。图6是对图5在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。
第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。
第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。
电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。
多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。
输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。
传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。
由上可知，在图6实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图5实施例中的输入设备的实现方式。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (27)

1.一种任务处理方法，其特征在于，包括有：
各个任务处理端分别获取对应的分解后的训练任务；
每个任务处理端基于本地训练数据及从其他任务处理端获取的随机数或参数，执行所述分解后的训练任务。
2.根据权利要求1所述的任务处理方法，其特征在于，所述各个任务处理端分别获取对应的分解后的训练任务之前，还包括：
任务处理平台接收所述任务处理端传输的训练任务请求后，对所述训练任务进行分解，获得分解后的训练任务，并将所述分解后的训练任务分配给对应的任务处理端。
3.根据权利要求1所述的任务处理方法，其特征在于，执行所述分解后的训练任务之后，还包括：输出共享模型。
4.根据权利要求1所述的任务处理方法，其特征在于，各个任务处理端分别获取对应的分解后的训练任务后，每个任务处理端读取本地训练数据；
每个任务处理端从其他任务处理端获取随机数或加密参数，并基于所述随机数或加密参数，对其他任务处理端传输过来的加密数据进行解密，获得解密后的数据；
通过所述本地训练数据、所述解密后的数据，进行学习训练。
5.根据权利要求1所述的任务处理方法，其特征在于，各个任务处理端分别获取对应的分解后的训练任务后，每个任务处理端读取本地训练数据；
每个任务处理端从其他任务处理端获取模型训练过程随机数或模型训练过程参数；
依据所述模型训练过程随机数或模型训练过程参数及本地训练数据，进行学习训练。
6.根据权利要求1所述的任务处理方法，其特征在于，各个任务处理端分别获取对应的分解后的训练任务后，每个任务处理端读取本地训练数据；
每个任务处理端从其他任务处理端获取训练参数；
依据所述训练参数及本地训练数据，进行学习训练。
7.根据权利要求6所述的任务处理方法，其特征在于，所述训练参数包括：卷积神经网络层数、卷积核大小。
8.根据权利要求1所述的任务处理方法，其特征在于，每个任务处理端从其他任务处理端获取随机数或参数的次数为一次或多次。
9.根据权利要求4至6任一所述的任务处理方法，其特征在于，所述学习训练采用的学习算法包括以下至少之一：线性回归、逻辑回归、树模型、深度神经网络、图神经网络。
10.根据权利要求4至6任一所述的任务处理方法，其特征在于，所述训练数据包括以下至少之一：社保数据、公积金数据、固定资产数据、流动资产数据。
11.根据权利要求10所述的任务处理方法，其特征在于，所述流动资产数据包括以下至少之一：存款数据、贷款数据。
12.根据权利要求4所述的任务处理方法，其特征在于，所述加密数据为非隐私数据。
13.一种任务处理系统，其特征在于，包括有：
获取模块，用于各个任务处理端分别获取对应的分解后的训练任务，以及用于每个任务处理端获取本地训练数据、从其他任务处理端获取随机数或参数；
执行模块，用于执行所述分解后的训练任务。
14.根据权利要求13所述的任务处理系统，其特征在于，所述各个任务处理端分别获取对应的分解后的训练任务之前，还包括：
任务处理平台接收所述任务处理端传输的训练任务请求后，对所述训练任务进行分解，获得分解后的训练任务，并将所述分解后的训练任务分配给对应的任务处理端。
15.根据权利要求13所述的任务处理系统，其特征在于，执行所述分解后的训练任务之后，还包括：输出共享模型。
16.根据权利要求13所述的任务处理系统，其特征在于，各个任务处理端分别获取对应的分解后的训练任务后，每个任务处理端读取本地训练数据；
每个任务处理端从其他任务处理端获取随机数或加密参数，并基于所述随机数或加密参数，对其他任务处理端传输过来的加密数据进行解密，获得解密后的数据；
通过所述本地训练数据、所述解密后的数据，进行学习训练。
17.根据权利要求13所述的任务处理系统，其特征在于，各个任务处理端分别获取对应的分解后的训练任务后，每个任务处理端读取本地训练数据；
每个任务处理端从其他任务处理端获取模型训练过程随机数或模型训练过程参数；
依据所述模型训练过程随机数或模型训练过程参数及本地训练数据，进行学习训练。
18.根据权利要求13所述的任务处理系统，其特征在于，各个任务处理端分别获取对应的分解后的训练任务后，每个任务处理端读取本地训练数据；
每个任务处理端从其他任务处理端获取训练参数；
依据所述训练参数及本地训练数据，进行学习训练。
19.根据权利要求18所述的任务处理系统，其特征在于，所述训练参数包括：卷积神经网络层数、卷积核大小。
20.根据权利要求13所述的任务处理系统，其特征在于，每个任务处理端从其他任务处理端获取随机数或参数的次数为一次或多次。
21.根据权利要求16至18任一所述的任务处理系统，其特征在于，所述学习训练采用的学习算法包括以下至少之一：线性回归、逻辑回归、树模型、深度神经网络、图神经网络。
22.根据权利要求16至18任一所述的任务处理系统，其特征在于，所述训练数据包括以下至少之一：社保数据、公积金数据、固定资产数据、流动资产数据。
23.根据权利要求22所述的任务处理系统，其特征在于，所述流动资产数据包括以下至少之一：存款数据、贷款数据。
24.根据权利要求16所述的任务处理系统，其特征在于，所述加密数据为非隐私数据。
25.一种任务处理设备，其特征在于，包括有：
各个任务处理端分别获取对应的分解后的训练任务后，每个任务处理端基于本地训练数据及从其他任务处理端获取的随机数或参数，执行所述分解后的训练任务。
26.一种设备，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1-12中一个或多个所述的方法。
27.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-12中一个或多个所述的方法。
CN202010093590.2A 2020-02-14 2020-02-14 一种任务处理方法、系统、设备及介质 Pending CN111339553A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010093590.2A CN111339553A (zh) 2020-02-14 2020-02-14 一种任务处理方法、系统、设备及介质
PCT/CN2020/110469 WO2021159685A1 (zh) 2020-02-14 2020-08-21 一种任务处理方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010093590.2A CN111339553A (zh) 2020-02-14 2020-02-14 一种任务处理方法、系统、设备及介质

Publications (1)

Publication Number Publication Date
CN111339553A true CN111339553A (zh) 2020-06-26

Family

ID=71181527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010093590.2A Pending CN111339553A (zh) 2020-02-14 2020-02-14 一种任务处理方法、系统、设备及介质

Country Status (2)

Country Link
CN (1) CN111339553A (zh)
WO (1) WO2021159685A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021159685A1 (zh) * 2020-02-14 2021-08-19 云从科技集团股份有限公司 一种任务处理方法、系统、设备及介质
CN113935390A (zh) * 2020-06-29 2022-01-14 中兴通讯股份有限公司 数据处理方法、系统、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101625734A (zh) * 2008-07-09 2010-01-13 索尼株式会社 学习设备、学习方法和程序
US7865819B2 (en) * 2001-11-20 2011-01-04 Vignette Software Llc Hierarchical asset sharing model for sharing assets in a web site system
CN109299487A (zh) * 2017-07-25 2019-02-01 展讯通信（上海）有限公司 神经网络模型、加速器、建模方法及装置、介质及系统
US20190122081A1 (en) * 2017-10-19 2019-04-25 Korea Advanced Institute Of Science And Technology Confident deep learning ensemble method and apparatus based on specialization
CN110399742A (zh) * 2019-07-29 2019-11-01 深圳前海微众银行股份有限公司 一种联邦迁移学习模型的训练、预测方法及装置
CN110472747A (zh) * 2019-08-16 2019-11-19 第四范式（北京）技术有限公司 用于执行多机器学习任务的分布式系统及其方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11063759B2 (en) * 2018-04-27 2021-07-13 The University Of Akron Blockchain-empowered crowdsourced computing system
CN108712260B (zh) * 2018-05-09 2021-06-25 曲阜师范大学 云环境下保护隐私的多方深度学习计算代理方法
CN111339553A (zh) * 2020-02-14 2020-06-26 云从科技集团股份有限公司 一种任务处理方法、系统、设备及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7865819B2 (en) * 2001-11-20 2011-01-04 Vignette Software Llc Hierarchical asset sharing model for sharing assets in a web site system
CN101625734A (zh) * 2008-07-09 2010-01-13 索尼株式会社 学习设备、学习方法和程序
CN109299487A (zh) * 2017-07-25 2019-02-01 展讯通信（上海）有限公司 神经网络模型、加速器、建模方法及装置、介质及系统
US20190122081A1 (en) * 2017-10-19 2019-04-25 Korea Advanced Institute Of Science And Technology Confident deep learning ensemble method and apparatus based on specialization
CN110399742A (zh) * 2019-07-29 2019-11-01 深圳前海微众银行股份有限公司 一种联邦迁移学习模型的训练、预测方法及装置
CN110472747A (zh) * 2019-08-16 2019-11-19 第四范式（北京）技术有限公司 用于执行多机器学习任务的分布式系统及其方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王磊、王力: "共享学习：蚂蚁金服提出全新数据孤岛解决方案", 《百度》 *
陈天健: "联邦学习Inside: 蚂蚁金服共享学习简介", 《百度》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021159685A1 (zh) * 2020-02-14 2021-08-19 云从科技集团股份有限公司 一种任务处理方法、系统、设备及介质
CN113935390A (zh) * 2020-06-29 2022-01-14 中兴通讯股份有限公司 数据处理方法、系统、设备及存储介质

Also Published As

Publication number Publication date
WO2021159685A1 (zh) 2021-08-19

Similar Documents

Publication Publication Date Title
CN111310208A (zh) 数据处理方法、系统、平台、设备及机器可读介质
CN111008709A (zh) 联邦学习、资料风险评估方法、装置和系统
TW202021307A (zh) 跨區塊鏈的交互方法及系統、電腦設備及儲存媒體
CN110889772B (zh) 保单处理方法、装置、计算机设备及存储介质
CN108694238A (zh) 基于区块链的业务数据处理方法、装置及存储介质
EP4198783A1 (en) Federated model training method and apparatus, electronic device, computer program product, and computer-readable storage medium
US20200242270A1 (en) Method and system for personal data service based on secure computation
CN112465627A (zh) 基于区块链和机器学习的金融借贷审核方法及系统
WO2021159685A1 (zh) 一种任务处理方法、系统、设备及介质
US20210182899A1 (en) Credit data management method and apparatus, node device, user equipment, storage medium, and system
CN109767330A (zh) 用于管理作品的系统、方法和装置
CN109993528A (zh) 一种用于管理委托任务的方法与设备
CN116468543A (zh) 基于联邦学习的信贷风险评估方法、装置、设备和介质
CN116186755A (zh) 隐私计算方法、装置、终端设备及存储介质
CN112990783A (zh) 一种物资调配方法、系统、设备和介质
CN117437032A (zh) 信息处理方法、装置、存储介质、终端及产品
CN110659975B (zh) 基于区块链的资源转移方法、装置、设备及存储介质
CN117151859A (zh) 模型训练及评估方法、相关装置、设备、介质及产品
CN112507323A (zh) 基于单向网络的模型训练方法、装置和计算设备
CN116015840B (zh) 一种数据操作审计方法、系统、设备及存储介质
CN116305213A (zh) 实现第三方系统安全对接的方法及对接平台
CN114529385A (zh) 一种基于智能合同企业信用数据协同处理方法及系统
CN114168552A (zh) 基于区块链技术的空间共享方法、装置及计算机设备
CN114722262A (zh) 订单信息查询系统、订单信息的查询方法、装置及设备
CN110705990A (zh) 验证方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200626