CN112926064B - 一种模型训练方法及装置、数据处理系统和电子设备 - Google Patents

一种模型训练方法及装置、数据处理系统和电子设备 Download PDF

Info

Publication number
CN112926064B
CN112926064B CN202110172778.0A CN202110172778A CN112926064B CN 112926064 B CN112926064 B CN 112926064B CN 202110172778 A CN202110172778 A CN 202110172778A CN 112926064 B CN112926064 B CN 112926064B
Authority
CN
China
Prior art keywords
ciphertext
data provider
data
plaintext
passive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110172778.0A
Other languages
English (en)
Other versions
CN112926064A (zh
Inventor
陈琨
赵天麒
张贵丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huakong Tsingjiao Information Technology Beijing Co Ltd
Original Assignee
Huakong Tsingjiao Information Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huakong Tsingjiao Information Technology Beijing Co Ltd filed Critical Huakong Tsingjiao Information Technology Beijing Co Ltd
Priority to CN202110172778.0A priority Critical patent/CN112926064B/zh
Publication of CN112926064A publication Critical patent/CN112926064A/zh
Application granted granted Critical
Publication of CN112926064B publication Critical patent/CN112926064B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种模型训练方法及装置、数据处理系统和电子设备，其中，所述的方法包括：主动数据提供方在本地计算M1并将M1发送至被动数据提供方；被动数据提供方基于M1计算M2并将M2发送至密文计算平台；主动数据提供方基于M1计算M3并将M3发送至密文计算平台；密文计算平台基于M2和M3计算被动数据提供方的模型参数W2并将W2返回给被动数据提供方；被动数据提供方基于W2计算M4并将M4发送给主动数据提供方；主动数据提供方基于M4计算主动数据提供方的模型参数W1并将W1发送至密文计算平台；密文计算平台将W1和W文合并，得到线性回归模型的模型参数W的密文并将W的密文发送至结果需求方；实现训练线性回归模型。

Description

一种模型训练方法及装置、数据处理系统和电子设备
技术领域
本发明涉及数据处理领域，特别是涉及一种模型训练方法及装置、数据处理系统和电子设备。
背景技术
线性回归模型是一种确定变量之间的相关关系的数学回归模型。其中，可以根据训练数据求解线性回归模型的模型参数，从而训练得到线性回归模型。
当训练模型的训练数据来自于不同的数据提供方时，需要融合多方的数据来求解线性回归模型，在融合多方数据的过程中，直接收集原始数据进行中心化地求解面临数据安全和隐私泄露的风险。当前的模型训练方法无法在保证数据安全的情况下完成线性回归模型训练过程。
发明内容
本发明实施例提供一种模型训练方法，以在保证多个数据提供方持有的训练数据安全的前提下，实现线性回归模型训练。
相应的，本发明实施例还提供了一种模型训练装置、数据处理系统和电子设备，用以保证上述方法的实现及应用。
为了解决上述问题，本发明实施例公开了一种模型训练方法，应用于数据处理系统中，所述数据处理系统包括密文计算平台、数据提供方和结果需求方，密文计算平台中部署有密文计算引擎，数据提供方中部署有明文计算引擎，数据提供方包括主动数据提供方和被动数据提供方；所述的方法适用于线性回归模型训练所依赖的训练数据纵向分布在多个数据提供方的场景，训练数据包括样本数据和标签数据，样本数据纵向分布在多个数据提供方，标签数据由主动数据提供方持有；所述的方法包括：主动数据提供方的明文计算引擎基于本地持有的样本数据进行明文运算，得到中间结果M1，并将所述M1的密文发送至被动数据提供方；被动数据提供方的明文计算引擎基于所述M1和本地持有的样本数据进行明文运算，得到中间结果M2，并将所述M2的密文发送至密文计算平台；主动数据提供方的明文计算引擎基于所述M1和本地持有的标签数据进行明文运算，得到中间结果M3，并将所述M3的密文发送至密文计算平台；密文计算平台的密文计算引擎基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文，并将W2的密文返回给被动数据提供方；被动数据提供方的明文计算引擎基于所述W2和本地持有的样本数据进行明文运算，得到中间结果M4并将所述M4的密文发送给所述主动数据提供方；主动数据提供方的明文计算引擎基于本地持有的训练数据和M4进行明文运算，得到主动数据提供方对应的模型参数W1并将W1的密文发送至密文计算平台；密文计算平台的密文计算引擎将所述W1的密文和W2的密文合并，得到线性回归模型的模型参数W的密文并将所述W的密文发送至结果需求方。
本发明实施例公开了一种模型训练方法，应用于数据处理系统中，所述数据处理系统包括密文计算平台、数据提供方和结果需求方，密文计算平台中部署有密文计算引擎，数据提供方中部署有明文计算引擎，数据提供方包括主动数据提供方和被动数据提供方；所述的方法适用于线性回归模型训练所依赖的训练数据纵向分布在多个数据提供方的场景，训练数据包括样本数据和标签数据，样本数据纵向分布在多个数据提供方，标签数据由主动数据提供方持有；所述的方法由主动数据提供方的明文计算引擎执行，包括：基于本地持有的样本数据进行明文运算，得到中间结果M1；将所述M1的密文发送至被动数据提供方，以由被动数据提供方的明文计算引擎基于本地持有的样本数据和M1进行明文运算，得到中间结果M2并将M2的密文发送至密文计算平台；基于本地持有的标签数据和M1进行明文运算，得到中间结果M3；将所述M3的密文发送至密文计算平台，以由密文计算平台的密文计算引擎基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文并将W2的密文返回给被动数据提供方，以及由被动数据提供方的明文计算引擎基于本地持有的样本数据和W2进行明文运算，得到M4并将M4的密文发送至主动数据提供方；获取M4的密文并基于本地持有的训练数据和M4进行明文运算，得到主动数据提供方对应的模型参数W1并将W1的密文发送至密文计算平台，以由密文计算平台的密文计算引擎将所述W1的密文和W2的密文合并，得到线性回归模型的模型参数W的密文并将所述W的密文发送至结果需求方。
可选地，所述基于本地持有的样本数据进行明文运算，得到中间结果M1，包括：基于所述样本数据、样本数据的转置和单位矩阵进行明文运算，得到中间结果M1。
可选地，所述基于本地持有的标签数据和M1进行明文运算，得到中间结果M3，包括：将M1左乘本地持有的标签数据，得到中间结果M3。
可选地，所述基于本地持有的训练数据和M4进行明文运算，得到主动数据提供方对应的模型参数W1，包括：基于所述样本数据、样本数据的转置、标签数据和M4进行明文运算，得到主动数据提供方对应的模型参数W1。
可选地，所述将所述M1发送至被动数据提供方，包括：将所述M1的密文发送至密文计算平台，由所述密文计算平台将所述M1的密文发送至被动数据提供方。
可选地，所述获取M4的密文，包括：从所述密文计算平台获取M4的密文，所述M4密文是由被动数据提供方发送给所述密文计算平台的；或，从所述被动数据提供方获取M4的密文。
本发明实施例公开了一种模型训练方法，应用于数据处理系统中，所述数据处理系统包括密文计算平台、数据提供方和结果需求方，密文计算平台中部署有密文计算引擎，数据提供方中部署有明文计算引擎，数据提供方包括主动数据提供方和被动数据提供方；所述的方法适用于线性回归模型训练所依赖的训练数据纵向分布在多个数据提供方的场景，训练数据包括样本数据和标签数据，样本数据纵向分布在多个数据提供方，标签数据由主动数据提供方持有；所述的方法由被动数据提供方的明文计算引擎执行，包括：获取中间结果M1的密文，所述M1是主动数据提供方的明文计算引擎基于本地持有的样本数据进行明文运算得到的；基于所述M1和本地持有的样本数据进行明文运算，得到中间结果M2并将所述M2的密文发送至密文计算平台，以由密文计算平台的密文计算引擎基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文并将W2的密文返回给被动数据提供方，所述M3是主动数据提供方的明文计算引擎基于本地持有的标签数据和M1进行明文运算得到的；基于所述W2和本地持有的样本数据进行明文运算，得到中间结果M4并将所述M4的密文发送给所述主动数据提供方，以由主动数据提供方的明文计算引擎基于本地持有的训练数据和M4进行明文运算，得到主动数据提供方对应的模型参数W1并将W1的密文发送给密文计算平台，以及由密文计算平台的密文计算引擎将所述W1的密文和W2的密文合并，得到线性回归模型的模型参数W的密文并将所述W的密文发送至结果需求方。
可选地，所述基于所述M1和本地持有的样本数据进行明文运算，得到中间结果M2，包括：将所述M1左乘被动数据提供方本地持有的样本数据，得到中间结果M2。
可选地，所述基于所述W2和本地持有的样本数据进行明文运算，得到中间结果M4，包括：将所述被动数据提供方本地持有的样本数据左乘W2，得到中间结果M4。
可选地，当所述被动数据提供方包括一个时，所述的方法还包括：基于所述M2进行明文计算，得到中间结果M5并将M5的密文发送至密文计算平台，以由密文计算平台的密文计算引擎基于所述M2的密文、M3的密文和M5的密文进行计算，得到被动数据提供方对应的模型参数W2的密文并将W2的密文返回给被动数据提供方。
可选地，所述将所述M4的密文发送给所述主动数据提供方包括：将所述M4的密文发送至密文计算平台，由所述密文计算平台将所述M4的密文发送至主动数据提供方。
可选地，所述获取中间结果M1的密文，包括：从所述密文计算平台获取M1的密文，所述M1的密文是由主动数据提供方发送给所述密文计算平台的；或，从所述主动数据提供方获取M1的密文。
本发明实施例还提供了一种模型训练方法，应用于数据处理系统中，所述数据处理系统包括密文计算平台、数据提供方和结果需求方，密文计算平台中部署有密文计算引擎，数据提供方中部署有明文计算引擎，数据提供方包括主动数据提供方和被动数据提供方；所述的方法适用于线性回归模型训练所依赖的训练数据纵向分布在多个数据提供方的场景，训练数据包括样本数据和标签数据，样本数据纵向分布在多个数据提供方，标签数据由主动数据提供方持有；所述的方法由密文计算平台的密文计算引擎执行，包括：从主动数据提供方获取中间结果M3的密文和从被动数据提供方获取中间结果M2的密文，所述M3是主动数据提供方的明文计算引擎基于本地持有的标签数据和中间结果M1进行明文运算得到的，所述M1是主动数据提供方的明文计算引擎基于本地持有的样本数据进行明文运算得到的，所述M2是被动数据提供方的明文计算引擎基于本地持有的样本数据和M1进行明文运算得到的；基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文并将W2的密文返回给被动数据提供方；从主动数据提供方获取对应的模型参数W1的密文，所述W1是主动数据提供方的明文计算引擎基于中间结果M4和本地持有的训练数据进行明文运算得到的，所述M4是被动数据提供方的明文计算引擎依据所述W2和样本数据进行明文运算得到的；将所述W1的密文和W2的密文合并，得到线性回归模型的模型参数W的密文并将所述W的密文发送至结果需求方。
可选地，当所述被动数据提供方包括一个时，所述基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文，包括：在密文的基础上将M2转置的密文左乘M3的密文，得到中间结果Y1的密文；从所述被动数据提供方获取中间结果M5的密文，所述M5是被动数据提供方的明文计算引擎依据M2计算得到的；在密文的基础上将M5的密文左乘Y1的密文，得到与被动数据提供方对应的模型参数W2的密文。
可选地，当所述被动数据提供方包括多个时，所述基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文，包括：在密文的基础上将从多个被动数据提供方获取的M2的密文进行合并，得到中间结果Y2的密文；基于Y2的密文进行密文运算，得到中间结果Y3的密文；在密文的基础上将Y2转置的密文左乘M3的密文，得到中间结果Y4的密文；在密文的基础上将Y3的密文左乘Y4的密文，得到被动数据提供方对应的模型参数W2的密文。
可选地，所述将W2的密文返回给被动数据提供方，包括：在密文的基础上将W2的密文拆分为各被动数据提供方对应的W2分量的密文，并将各W2分量的密文分发给对应的被动数据提供方。
可选地，所述的方法还包括：从各被动数据提供方获取对应的M4分量的密文，所述M4分量是被动数据提供方的明文计算引擎依据W2分量和本地持有的样本数据进行明文运算得到的；将各被动数据提供方的M4分量的密文进行密文合并，得到M4的密文并将M4的密文发送给主动数据提供方。
本发明实施例还公开了一种数据处理系统，所述数据处理系统包括密文计算平台、数据提供方和结果需求方，密文计算平台中部署有密文计算引擎，数据提供方中部署有明文计算引擎，数据提供方包括主动数据提供方和被动数据提供方；所述的方法适用于线性回归模型训练所依赖的训练数据纵向分布在多个数据提供方的场景，训练数据包括样本数据和标签数据，样本数据纵向分布在多个数据提供方，标签数据由主动数据提供方持有；其中，
所述主动数据提供方，用于调用主动数据提供方的明文计算引擎基于本地持有的样本数据进行明文运算，得到中间结果M1，并将所述M1的密文发送至被动数据提供方；基于所述M1和本地持有的标签数据进行明文运算，得到中间结果M3，并将所述M3的密文发送至密文计算平台；以及基于本地持有的训练数据和M4进行明文运算，得到主动数据提供方对应的模型参数W1并将W1的密文发送至密文计算平台；所述被动数据提供方，用于被动数据提供方的调用明文计算引擎基于所述M1和本地持有的样本数据进行明文运算，得到中间结果M2，并将所述M2的密文发送至密文计算平台；以及基于所述W2和本地持有的样本数据进行明文运算，得到中间结果M4并将所述M4的密文发送给所述主动数据提供方；所述密文计算平台，用于调用密文计算引擎基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文，并将W2的密文返回给被动数据提供方；以及将所述W1的密文和W2的密文合并，得到线性回归模型的模型参数W的密文并将所述W的密文发送至结果需求方。
本发明实施例还公开了一种模型训练装置，应用于数据处理系统中，所述数据处理系统包括密文计算平台、数据提供方和结果需求方，密文计算平台中部署有密文计算引擎，数据提供方中部署有明文计算引擎，数据提供方包括主动数据提供方和被动数据提供方；所述的方法适用于线性回归模型训练所依赖的训练数据纵向分布在多个数据提供方的场景，训练数据包括样本数据和标签数据，样本数据纵向分布在多个数据提供方，标签数据由主动数据提供方持有；所述的装置部署在主动数据提供方的明文计算引擎中，所述的装置包括：第一运算模块，用于基于本地持有的样本数据进行明文运算，得到中间结果M1；第一发送模块，用于将所述M1的密文发送至被动数据提供方，以由被动数据提供方的明文计算引擎基于本地持有的样本数据和M1进行明文运算，得到中间结果M2并将M2的密文发送至密文计算平台；第二运算模块，用于基于本地持有的标签数据和M1进行明文运算，得到中间结果M3；第二发送模块，用于将所述M3的密文发送至密文计算平台，以由密文计算平台的密文计算引擎基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文并将W2的密文返回给被动数据提供方，以及由被动数据提供方的明文计算引擎基于本地持有的样本数据和W2进行明文运算，得到M4并将M4的密文发送至主动数据提供方；参数计算模块，用于获取M4的密文并基于本地持有的训练数据和M4进行明文运算，得到主动数据提供方对应的模型参数W1并将W1的密文发送至密文计算平台，以由密文计算平台的密文计算引擎将所述W1的密文和W2的密文合并，得到线性回归模型的模型参数W的密文并将所述W的密文发送至结果需求方。
可选地，所述第一运算模块，用于基于所述样本数据、样本数据的转置和单位矩阵进行明文运算，得到中间结果M1。
可选地，所述第二运算模块，用于将M1左乘本地持有的标签数据，得到中间结果M3。
可选地，所述参数计算模块，包括：模型参数计算子模块，用于基于所述样本数据、样本数据的转置、标签数据和M4进行明文运算，得到主动数据提供方对应的模型参数W1。
可选地，所述第一发送模块，用于将所述M1的密文发送至密文计算平台，由所述密文计算平台将所述M1的密文发送至被动数据提供方。
可选地，所述参数计算模块，包括：获取子模块，用于从所述密文计算平台获取M4的密文，所述M4密文是由被动数据提供方发送给所述密文计算平台的；或，从所述被动数据提供方获取M4的密文。
本发明实施例还公开了一种模型训练装置，应用于数据处理系统中，所述数据处理系统包括密文计算平台、数据提供方和结果需求方，密文计算平台中部署有密文计算引擎，数据提供方中部署有明文计算引擎，数据提供方包括主动数据提供方和被动数据提供方；所述的装置适用于线性回归模型训练所依赖的训练数据纵向分布在多个数据提供方的场景，训练数据包括样本数据和标签数据，样本数据纵向分布在多个数据提供方，标签数据由主动数据提供方持有；所述的装置部署在被动数据提供方的明文计算引擎中，所述的装置包括：第一结果获取模块，用于获取中间结果M1的密文，所述M1是主动数据提供方的明文计算引擎基于本地持有的样本数据进行明文运算得到的；第三运算模块，用于基于所述M1和本地持有的样本数据进行明文运算，得到中间结果M2并将所述M2的密文发送至密文计算平台，以由密文计算平台的密文计算引擎基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文并将W2的密文返回给被动数据提供方，所述M3是主动数据提供方的明文计算引擎基于本地持有的标签数据和M1进行明文运算得到的；第四运算模块，用于基于所述W2和本地持有的样本数据进行明文运算，得到中间结果M4并将所述M4的密文发送给所述主动数据提供方，以由主动数据提供方的明文计算引擎基于本地持有的训练数据和M4进行明文运算，得到主动数据提供方对应的模型参数W1并将W1的密文发送给密文计算平台，以及由密文计算平台的密文计算引擎将所述W1的密文和W2的密文合并，得到线性回归模型的模型参数W的密文并将所述W的密文发送至结果需求方。
可选地，所述第三运算模块，用于将所述M1左乘被动数据提供方本地持有的样本数据，得到中间结果M2。
可选地，所述第四运算模块，包括：结果计算子模块，用于将所述被动数据提供方本地持有的样本数据左乘W2，得到中间结果M4。
可选地，当所述被动数据提供方包括一个时，所述的装置还包括：第五运算模块，用于基于所述M2进行明文计算，得到中间结果M5并将M5的密文发送至密文计算平台，以由密文计算平台的密文计算引擎基于所述M2的密文、M3的密文和M5的密文进行计算，得到被动数据提供方对应的模型参数W2的密文并将W2的密文返回给被动数据提供方。
可选地，所述第四运算模块，包括：结果发送子模块，用于将所述M4的密文发送至密文计算平台，由所述密文计算平台将所述M4的密文发送至主动数据提供方。
可选地，所述第一结果获取模块，用于从所述密文计算平台获取M1的密文，所述M1的密文是由主动数据提供方发送给所述密文计算平台的；或，从所述主动数据提供方获取M1的密文。
本发明实施例还公开了一种模型训练装置，应用于数据处理系统中，所述数据处理系统包括密文计算平台、数据提供方和结果需求方，密文计算平台中部署有密文计算引擎，数据提供方中部署有明文计算引擎，数据提供方包括主动数据提供方和被动数据提供方；所述的装置适用于线性回归模型训练所依赖的训练数据纵向分布在多个数据提供方的场景，训练数据包括样本数据和标签数据，样本数据纵向分布在多个数据提供方，标签数据由主动数据提供方持有；所述的装置部署在密文计算平台的密文计算引擎中，所述的装置包括：第二结果获取模块，用于从主动数据提供方获取中间结果M3的密文和从被动数据提供方获取中间结果M2的密文，所述M3是主动数据提供方的明文计算引擎基于本地持有的标签数据和中间结果M1进行明文运算得到的，所述M1是主动数据提供方的明文计算引擎基于本地持有的样本数据进行明文运算得到的，所述M2是被动数据提供方的明文计算引擎基于本地持有的样本数据和M1进行明文运算得到的；第六运算模块，用于基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文并将W2的密文返回给被动数据提供方；参数获取模块，用于从主动数据提供方获取对应的模型参数W1的密文，所述W1是主动数据提供方的明文计算引擎基于中间结果M4和本地持有的训练数据进行明文运算得到的，所述M4是被动数据提供方的明文计算引擎依据所述W2和样本数据进行明文运算得到的；合并模块，用于将所述W1的密文和W2的密文合并，得到线性回归模型的模型参数W的密文并将所述W的密文发送至结果需求方。
可选地，当所述被动数据提供方包括一个时，所述第六运算模块，包括：第一密文计算子模块，用于在密文的基础上将M2转置的密文左乘M3的密文，得到中间结果Y1的密文；从所述被动数据提供方获取中间结果M5的密文，所述M5是被动数据提供方的明文计算引擎依据M2计算得到的；在密文的基础上将M5的密文左乘Y1的密文，得到与被动数据提供方对应的模型参数W2的密文。
可选地，当所述被动数据提供方包括多个时，所述所述第六运算模块，包括：第二密文计算子模块，用于在密文的基础上将从多个被动数据提供方获取的M2的密文进行合并，得到中间结果Y2的密文；基于Y2的密文进行密文运算，得到中间结果Y3的密文；在密文的基础上将Y2转置的密文左乘M3的密文，得到中间结果Y4的密文；在密文的基础上将Y3的密文左乘Y4的密文，得到被动数据提供方对应的模型参数W2的密文。
可选地，所述第六运算模块，用于参数发送子模块，用于在密文的基础上将W2的密文拆分为各被动数据提供方对应的W2分量的密文，并将各W2分量的密文分发给对应的被动数据提供方。
可选地，所述的装置还包括：第三结果获取模块，用于从各被动数据提供方获取对应的M4分量的密文，所述M4分量是被动数据提供方的明文计算引擎依据W2分量和本地持有的样本数据进行明文运算得到的；将各被动数据提供方的M4分量的密文进行密文合并，得到M4的密文并将M4的密文发送给主动数据提供方。
本发明实施例还公开了一种可读介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如本发明实施例中任一所述的模型训练方法。
本发明实施例还公开了一种电子设备，包括：一个或多个处理器；和其上存储有指令的一个或多个可读介质，当由所述一个或多个处理器执行时，使得所述电子设备执行如上述本发明实施例中任一所述的模型训练方法。
与现有技术相比，本发明实施例至少包括以下优点：
本发明实施例中，可以由主动数据提供方的明文计算引擎基于本地持有的样本数据进行明文运算，得到中间结果M1，并将所述M1的密文发送至被动数据提供方；以及由被动数据提供方的明文计算引擎基于所述M1和本地持有的样本数据进行明文运算，得到中间结果M2，并将所述M2的密文发送至密文计算平台；再由主动数据提供方的明文计算引擎基于所述M1和本地持有的标签数据进行明文运算，得到中间结果M3，并将所述M3的密文发送至密文计算平台；然后由密文计算平台的密文计算引擎基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文，并将W2的密文返回给被动数据提供方；由被动数据提供方的明文计算引擎基于所述W2和本地持有的样本数据进行明文运算，得到中间结果M4并将所述M4的密文发送给所述主动数据提供方；以及由主动数据提供方的明文计算引擎基于本地持有的训练数据和M4进行明文运算，得到主动数据提供方对应的模型参数W1并将W1的密文发送至密文计算平台；最后密文计算平台的密文计算引擎将所述W1的密文和W2的密文合并，得到线性回归模型的模型参数W的密文并将所述W的密文发送至结果需求方；进而通过数据提供方在本地采用各自持有的数据进行明文计算的中间结果，与密文计算平台密文计算的结果的交互；实现在保证多个数据提供方持有的训练数据安全的前提下，训练线性回归模型。此外，相对于由密文计算平台进行纯密文计算来训练线性回归模型而言，本发明实施例采用各数据提供方和密文计算平台进行明密文混合计算的方式训练线性回归模型，能够减少计算量，提高模型训练的效率。
附图说明
图1是本发明实施例的一种数据处理系统实施例的结构框图；
图2是本发明的一种模型训练方法实施例的步骤流程图；
图3是本发明的一种主动数据提供方侧的模型训练方法实施例的步骤流程图；
图4是本发明的一种被动数据提供方侧的模型训练方法实施例的步骤流程图；
图5是本发明的一种被动数据提供方侧的模型训练方法可选实施例的步骤流程图；
图6是本发明的一种密文计算平台侧的模型训练方法实施例的步骤流程图；
图7是本发明的一种基于多方安全计算协议进行密文计算方法实施例的步骤流程图；
图8是本发明的一种模型训练装置实施例的结构框图；
图9是本发明的一种主动数据提供方侧的模型训练装置实施例的结构框图；
图10是本发明的一种主动数据提供方侧的模型训练装置可选实施例的结构框图；
图11是本发明的一种被动数据提供方侧的模型训练装置实施例的结构框图；
图12是本发明的一种被动数据提供方侧的模型训练装置可选实施例的结构框图；
图13是本发明的一种密文计算平台侧的模型训练装置实施例的结构框图；
图14是本发明的一种密文计算平台侧的模型训练装置可选实施例的结构框图；
图15示意性地示出了用于执行根据本发明的方法的电子设备的框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明实施例提供的一种模型训练方法，可以用于训练线性回归模型。所述线性回归模型可以是一元线性回归模型，也可以是多元线性回归模型；此外，所述线性回归模型可以是包括常数项的线性回归模型，也可以是不包括常数项的线性回归模型，本发明实施例对此不作限制。
其中，所述的方法可以适用于线性回归模型训练所依赖的训练数据纵向分布在多个数据提供方的场景。换而言之，各数据提供方本地持有线性回归模型训练所依赖的训练数据的部分数据，可以看做是对线性回归模型训练依赖的训练数据进行了纵向切分后的数据。各数据提供方本地各自持有的数据是相同的样本集在一系列不同特征维度上的数据；例如数据提供方1拥有的数据为：用户A的身高数据；数据提供方2拥有的数据为：用户A的体重数据；数据提供方3拥有用户A的发型数据。
可参照图1，示出了本发明实施例的一种数据处理系统的结构示意图；本发明实施例提供的一种模型训练方法，可以由该数据处理系统执行。其中，所述数据处理系统可以包括：密文计算平台、数据提供方和结果需求方。所述密文计算平台中部署有密文计算引擎，所述密文计算引擎可以基于多方安全计算协议进行密文计算，所述密文计算可以包括纯密文运算，以及明文和密文的混合运算。所述数据提供方中部署有明文计算引擎，所述明文计算引擎可以进行明文运算，所述数据提供方可以包括2个及2个以上。所述结果需求方可以是多个数据提供方中的多方，也可以是独立于数据提供方的其它参与方，本发明实施例对此不作限制。
其中，所述训练数据可以包括样本数据和标签数据；所述标签数据可以由其中一个数据提供方持有，所述样本数据可以纵向分布在多个数据提供方。为了便于后续区别，可以将持有标签数据的数据提供方称为主动数据提供方，将其他的数据提供方称为被动数据提供方；其中，所述主动数据提供方为一个，被动数据提供方可以包括至少一个。
其中，训练线性回归模型，也就是求线性回归模型的解。若记线性回归模型的样本数据为
Figure BDA0002939371560000071
(表示X是属于实数域的m*n的矩阵)，标签数据为
Figure BDA0002939371560000072
(表示P是属于实数域的m*1的矩阵)，模型参数为
Figure BDA0002939371560000073
(表示W是属于实数域的n*1的矩阵)。线性回归模型的损失函数为样本回归线上的预测点XW与实际标签P的残差平方和：
L(w)＝(P-XW)T(P-XW)
其中，求线性回归模型的解需要找到使得损失函数即残差平方和最小的模型参数。对于线性回归的损失函数，求导并令导数等于零可得正规方程组：
XT(P-XW)＝0 (1)
于是模型的普通最小二乘估计为:
W＝(XTX)-1(XTP)
当线性回归模型训练所依赖的样本数据纵向分布在多个数据提供方时，若数据提供方为k个，则各数据提供方所持有的样本数据可以分别为：
Figure BDA0002939371560000081
Figure BDA0002939371560000082
其中，k为大于1的整数。相应地，各数据提供方对应可以训练的模型参数分别为：
Figure BDA0002939371560000083
然后可以根据线性回归模型的分块最小二乘估计方法，训练各数据提供方对应的模型参数。
为了保证各数据提供方的数据安全，可以由各数据提供方基于各自本地持有的训练数据进行本地的明文计算，得到下一步计算所需的中间结果并将这些中间结果的密文发送给密文计算平台。密文计算平台可以在密文的基础上进行中间结果的处理，得到下一步计算所需的中间结果，并分发给各数据提供方；各数据提供方再进行下一步的本地明文计算。如此进行数轮计算和交互后，即可得到线性回归模型的模型参数。
基于上述构思，可以进行如下推导，确定各数据提供方对应的模型参数的计算方法。其中，为了便于说明，可以以两个数据提供方持有的训练数据为例；这两个数据提供方可以包括一个主动数据提供方和一个被动数据提供方。主动数据提供方持有的训练数据包括：
Figure BDA0002939371560000084
和
Figure BDA0002939371560000085
对应的模型参数为W1∈Sn1*1；被动数据提供方持有的训练数据包括：X2∈Rm*n2，对应的模型参数为W2∈Sn2*1。
由上述的公式(1)，可以推导得到：XTXW＝XTP (2)
将两个数据提供方各自持有的训练数据和对应可以训练的模型参数代入公式(2)中，可以得到：
Figure BDA0002939371560000086
根据公式(3)可以推导得到：
Figure BDA0002939371560000087
Figure BDA0002939371560000088
根据公式(4)和公式(5)整理得到
Figure BDA0002939371560000089
其中：
Figure BDA00029393715600000810
I为单位矩阵。
若记M2＝M1X2，M3＝M1P，则公式(6)可以变形为：
W2＝(M2TM2)-1(M2TM3) (7)
将公式(7)代入公式(4)中，可以得到：
W1＝(X1 TX1)-1X1 T(P-X2W2) (8)
进而数据处理系统中的密文计算平台、数据提供方可以根据上述公式(7)和公式(8)，进行明密文混合运算，求解线性回归模型的模型参数；可以如下：
参照图2，示出了本发明的一种模型训练方法实施例的步骤流程图，具体可以包括如下步骤：
步骤202、主动数据提供方的明文计算引擎基于本地持有的样本数据进行明文运算，得到中间结果M1，并将所述M1的密文发送至被动数据提供方。
本发明实施例中，根据上述公式(7)可知，计算被动数据提供方对应的模型参数W2，需要M2和M3；其中，M2和M3均是依据M1计算得到；而M1是依据主动数据提供方的样本数据计算得到的。因此可以先由主动数据提供方在本地计算中间结果M1，以便于被动数据提供方计算上述公式(7)中的M2，以及便于主动数据提供方后续计算上述公式(7)中的M3。其中，可以由部署在主动数据提供方本地的明文计算引擎，采用主动数据提供方本地持有的样本数据进行明文运算，得到中间结果M1。然后可以对M1进行加密，得到M1的密文；再将M1的密文发送至被动数据提供方。
步骤204、被动数据提供方的明文计算引擎基于所述M1和本地持有的样本数据进行明文运算，得到中间结果M2，并将所述M2的密文发送至密文计算平台。
被动数据提供方接收到M1的密文后，可以对M1的密文进行解密，得到M1。然后可以调用被动数据提供方本地的明文计算引擎，根据M1和被动数据提供方本地持有的样本数据进行明文运算，得到中间结果M2。
本发明实施例中，可以由密文计算平台确定被动数据提供方对应的模型参数W2；因此在被动数据提供方计算得到中间结果M2后，可以对M2进行加密，得到M2的密文；然后将M2的密文发送至密文计算平台。
步骤206、主动数据提供方的明文计算引擎基于所述M1和本地持有的标签数据进行明文运算，得到中间结果M3，并将所述M3的密文发送至密文计算平台。
本发明实施例中，主动数据提供方在计算得到中间结果M1后，还可以在本地计算中间结果M3。其中，可以由部署在主动数据提供方本地的明文计算引擎，采用主动数据提供方本地持有的标签数据和M1进行明文运算，得到中间结果M3。然后再对M3进行加密，得到M3的密文并将M3的密文发送至密文计算平台。
本发明实施例中，不限制步骤204和步骤206的执行顺序。
步骤208、密文计算平台的密文计算引擎基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文，并将W2的密文返回给被动数据提供方。
密文计算平台接收到M2的密文和M3的密文后，可以调用密文计算引擎基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文。
其中，根据上述公式(8)可知，计算主动数据提供方对应的模型参数W1，需要被动数据提供方本地持有的样本数据X2；因此密文计算平台可以将W2的密文发送至被动数据提供方，由被动数据提供方基于本地持有的样本数据X2和W2进行本地的明文计算，再将明文计算的结果加密后发送给主动数据提供方。
步骤210、被动数据提供方的明文计算引擎基于所述W2和本地持有的样本数据进行明文运算，得到中间结果M4并将所述M4的密文发送给所述主动数据提供方。
被动数据提供方接收到W2的密文后，可以对W2的密文进行解密，得到W2。然后可以调用被动数据提供方本地的明文计算引擎，根据所述W2和被动数据提供方本地持有的样本数据进行明文运算，得到中间结果M4。
在被动数据提供方计算得到中间结果M4后，可以对M4进行加密，得到M4的密文，然后将M4的密文发送至主动数据提供方。
步骤212、主动数据提供方的明文计算引擎基于本地持有的训练数据和M4进行明文运算，得到主动数据提供方对应的模型参数W1并将W1的密文发送至密文计算平台。
主动数据提供方接收到M4的密文后，可以调用主动数据提供方本地的密文数据服务对M4的密文进行解密，得到M4。然后可以调用主动数据提供方本地的明文计算引擎，根据所述M4和主动数据提供方本地持有的训练数据进行明文运算，得到主动数据提供方对应的模型参数W1。
在主动数据提供方计算得到对应的模型参数W1后，可以对W1进行加密，得到W1的密文，然后将W1的密文发送至密文计算平台。
本发明的一个可选实施例中，若主动数据提供方和被动数据提供方均为结果需求方，则主动数据提供方在得到W1后，可以无需将W1加密发送至密文计算平台。也就是主动数据提供方和被动数据提供方，各自负责训练各自对应的模型参数即可。
步骤214、密文计算平台的密文计算引擎将所述W1的密文和W2的密文合并，得到线性回归模型的模型参数W的密文并将所述W的密文发送至结果需求方。
密文计算平台在接收到W1的密文和W2的密文后，可以调用密文计算引擎将所述W1的密文和W2的密文合并，得到线性回归模型的模型参数W。
一个可选实施例中，密文计算平台可以将模型参数W的密文直接发送至结果需求方；由结果需求方对W的密文进行解密，得到线性回归模型的模型参数W。
一个可选实施例中，当结果需求方包括多个时，密文计算平台可以将W的密文进行拆分，然后把拆分的各个部分的密文，分发给对应的结果需求方。
后续结果需求方可以采用训练后的线性回归模型进行其它计算，如数据预测等等，本发明实施例对此不作限制。
综上，本发明实施例中，可以由主动数据提供方的明文计算引擎基于本地持有的样本数据进行明文运算，得到中间结果M1，并将所述M1的密文发送至被动数据提供方；以及由被动数据提供方的明文计算引擎基于所述M1和本地持有的样本数据进行明文运算，得到中间结果M2，并将所述M2的密文发送至密文计算平台；再由主动数据提供方的明文计算引擎基于所述M1和本地持有的标签数据进行明文运算，得到中间结果M3，并将所述M3的密文发送至密文计算平台；然后由密文计算平台的密文计算引擎基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文，并将W2的密文返回给被动数据提供方；由被动数据提供方的明文计算引擎基于所述W2和本地持有的样本数据进行明文运算，得到中间结果M4并将所述M4的密文发送给所述主动数据提供方；以及由主动数据提供方的明文计算引擎基于本地持有的训练数据和M4进行明文运算，得到主动数据提供方对应的模型参数W1并将W1的密文发送至密文计算平台；最后密文计算平台的密文计算引擎将所述W1的密文和W2的密文合并，得到线性回归模型的模型参数W的密文并将所述W的密文发送至结果需求方；进而通过数据提供方在本地采用各自持有的数据进行明文计算的中间结果，与密文计算平台密文计算的结果的交互；实现在保证多个数据提供方持有的训练数据安全的前提下，训练线性回归模型。此外，相对于由密文计算平台进行纯密文计算来训练线性回归模型而言，本发明实施例采用各数据提供方和密文计算平台进行明密文混合计算的方式训练线性回归模型，能够减少计算量，提高模型训练的效率。
以下分别以主动数据提供方、被动数据提供方和密文计算平台各侧为例，说明本发明实施例的模型训练方法。
以主动数据提供方侧为例，其中，可以由主动数据提供方的明文计算引擎执行本发明实施例的模型训练方法。
参照图3、示出了本发明的一种主动数据提供方侧的模型训练方法实施例的步骤流程图。
步骤302、基于本地持有的样本数据进行明文运算，得到中间结果M1。
本发明实施例中，主动数据提供方的明文计算引擎可以获取主动数据提供方本地持有的样本数据，然后可以基于本地持有的样本数据进行明文运算，得到中间结果M1。
其中，一种基于本地持有的样本数据进行明文运算，得到中间结果M1的方式可以是：基于所述样本数据、样本数据的转置和单位矩阵进行明文运算，得到中间结果M1。
可参照上述公式
Figure BDA0002939371560000101
计算M1。其中，可以先确定样本数据的转置，然后将样本数据的转置左乘样本数据即计算
Figure BDA0002939371560000102
可以得到B1并确定B1的逆矩阵。再计算样本数据左乘B1的逆矩阵即计算
Figure BDA0002939371560000111
得到B2；并将B2左乘样本数据的转置即计算
Figure BDA0002939371560000112
得到B3。最后可以计算单位矩阵与B3的差值，可以得到M1。
步骤304、将所述M1的密文发送至被动数据提供方，以由被动数据提供方的明文计算引擎基于本地持有的样本数据和M1进行明文运算，得到中间结果M2并将M2的密文发送至密文计算平台。
本发明实施例中，各数据提供方本地还部署有密文计算数据服务，该密文计算数据服务可以用于对数据进行加密和解密。
在主动数据提供方计算得到中间结果M1后，由主动数据提供方的明文计算引擎将中间结果M1发送至多方安全计算服务；然后由多方安全计算服务对M1进行加密，得到M1的密文；并将M1的密文发送至被动数据提供方。
本发明一个可选实施例中，主动数据提供方可以将所述M1的密文发送至密文计算平台，由所述密文计算平台将所述M1的密文发送至被动数据提供方。也就是由密文计算平台对M1的密文进行转发。
本发明的一个可选实施例中，主动数据提供方可以直接将所述M1的密文发送给被动数据提供方；从而无需由密文计算平台进行转发，提高数据交互的效率。
其中，主动数据提供方采用何种方式将M1的密文发送至被动数据提供方，可以按照需求设置，本发明实施例对此不作限制。
然后被动数据提供方的明文计算引擎基于本地持有的样本数据和M1进行明文运算，得到中间结果M2并将M2的密文发送至密文计算平台；其中，被动数据提供方计算中间结果M2的过程在后续进行说明。
步骤306、基于本地持有的标签数据和M1进行明文运算，得到中间结果M3。
本发明实施例中，主动数据提供方的明文计算引擎还可以获取主动数据提供方本地持有的标签数据，然后可以基于本地持有的标签数据进行明文运算，得到中间结果M3。
其中，一种基于本地持有的标签数据和M1进行明文运算，得到中间结果M3的方式可以是：将M1左乘本地持有的标签数据，得到中间结果M3。可参照上述公式M3＝M1P。
步骤308、将所述M3的密文发送至密文计算平台，以由密文计算平台的密文计算引擎基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文并将W2的密文返回给被动数据提供方，以及由被动数据提供方的明文计算引擎基于本地持有的样本数据和W2进行明文运算，得到M4并将M4的密文发送至主动数据提供方。
本发明实施例中，可以由主动数据提供方的明文计算引擎将中间结果M3发送至多方安全计算服务；然后由多方安全计算服务对M3进行加密，得到M3的密文；并将M3的密文发送至密文计算平台。
进而密文计算平台的密文计算引擎基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文并将W2的密文返回给被动数据提供方，以及由被动数据提供方的明文计算引擎基于本地持有的样本数据和W2进行明文运算，得到M4并将M4的密文发送至主动数据提供方。其中，密文计算平台计算W2的过程，以及被动数据提供方计算中间结果M4的过程在后续进行说明。其中，M4＝X2W2。
步骤310、获取M4的密文并基于本地持有的训练数据和M4进行明文运算，得到主动数据提供方对应的模型参数W1并将W1的密文发送至密文计算平台，以由密文计算平台的密文计算引擎将所述W1的密文和W2的密文合并，得到线性回归模型的模型参数W的密文并将所述W的密文发送至结果需求方。
本发明实施例中，一种获取M4的密文的方式可以包括：从所述密文计算平台获取M4的密文，所述M4密文是由被动数据提供方发送给所述密文计算平台的。也就是由密文计算平台对M4的密文进行转发。
另一种获取M4的密文的方式可以包括：从所述被动数据提供方获取M4的密文。从而无需由密文计算平台进行转发，提高数据交互的效率。
本发明实施例中，主动数据提供方获取到M4的密文后，可以由密文计算数据服务可以对M4的密文进行解密，进而得到中间结果M4。然后主动提供方可以调用本地的明文计算引擎，基于主动数据提供方本地持有的样本数据、标签数据和中间结果M4进行明文运算，得到主动数据提供方对应的模型参数W1。
其中，一种基于本地持有的训练数据和M4进行明文运算，得到主动数据提供方对应的模型参数W1的方式可以是：基于所述样本数据、样本数据的转置、标签数据和M4进行明文运算，得到主动数据提供方对应的模型参数W1。
其中，可以参照上述公式(8)，可以先确定样本数据的转置，并将样本数据的转置左乘样本数据即计算X1 TX1，得到C1并确定C1的逆矩阵。以及计算标签数据与中间结果M4的差值即计算P-X2W2，得到C2。再将C1的逆矩阵左乘样本数据的转置即计算(X1 TX1)-1X1 T，得到C3；并将C3左乘C2即计算(X1 TX1)-1X1 T(P-X2W2)，进而可以得到W1。
本发明实施例中，可以由主动数据提供方的明文计算引擎，将主动数据提供方对应的模型参数W1发送至多方安全计算服务；然后由多方安全计算服务对W1进行加密，得到W1的密文；并将W1的密文发送至密文计算平台。
然后由密文计算平台的密文计算引擎将所述W1的密文和W2的密文合并，得到线性回归模型的模型参数W的密文并将所述W的密文发送至结果需求方。其中，密文计算平台确定线性回归模型的模型参数的过程在后续进行说明。
以被动数据提供方侧为例，其中，可以由被动数据提供方的明文计算引擎执行本发明实施例的模型训练方法。其中，被动数据提供方为一个。
参照图4，示出了本发明的一种被动数据提供方侧的模型训练方实施例的步骤流程图。
步骤402、获取中间结果M1的密文，所述M1是主动数据提供方的明文计算引擎基于本地持有的样本数据进行明文运算得到的。
本发明实施例中，主动数据提供方将M1的密文发送至被动数据提供方后，被动数据提供方可以获取到M1的密文，并可以由密文计算数据服务对M1的密文进行解密，进而得到中间结果M1。
其中，与主动数据提供方发送M1的密文的方式对应，被动数据提供方获取中间结果M1的密文的方式可以包括：
一种方式可以是：从所述密文计算平台获取M1的密文，所述M1的密文是由主动数据提供方发送给所述密文计算平台的。
另一种方式可以是：从所述主动数据提供方获取M1的密文。
步骤404、基于所述M1和本地持有的样本数据进行明文运算，得到中间结果M2并将所述M2的密文发送至密文计算平台。
然后被动提供方可以调用本地的明文计算引擎，基于被动数据提供方本地持有的样本数据和中间结果M1进行明文运算，得到中间结果W2。
其中，一种基于所述M1和本地持有的样本数据进行明文运算，得到中间结果M2的方式可以是：将所述M1左乘被动数据提供方本地持有的样本数据，得到中间结果M2。可参照上述公式M2＝M1X2。
本发明实施例中，可以由被动数据提供方的明文计算引擎将中间结果M2发送至多方安全计算服务；然后由多方安全计算服务对M2进行加密，得到M2的密文；并将M2的密文发送至密文计算平台。
步骤406、基于所述M2进行明文计算，得到中间结果M5并将M5的密文发送至密文计算平台，以由密文计算平台的密文计算引擎基于所述M2的密文、M3的密文和M5的密文进行计算，得到被动数据提供方对应的模型参数W2的密文并将W2的密文返回给被动数据提供方，所述M3是主动数据提供方的明文计算引擎基于本地持有的标签数据和M1进行明文运算得到的。
本发明实施例中，当被动数据提供方为一个时，被动数据提供方还可以再计算中间结果M5；其中，M5＝(M2TM2)-1，M5是上述(6)W2＝(M2TM2)-1(M2TM3)中的一部分；进而减少密文计算平台计算被动数据提供方对应的模型参数W2密文的计算量，提高计算被动数据提供方对应的模型参数W2的效率。然后可以由被动数据提供方的明文计算引擎将中间结果M5发送至多方安全计算服务；再由多方安全计算服务对M5进行加密，得到M5的密文；并将M5的密文发送至密文计算平台。
然后密文计算平台的密文计算引擎可以基于所述M2的密文、M3的密文和M5的密文进行计算，得到被动数据提供方对应的模型参数W2的密文并将W2的密文返回给被动数据提供方。其中，当被动数据提供方为一个时，密文计算平台根据M2的密文、M3的密文和M5的密文进行计算，得到被动数据提供方对应的模型参数W2的密文的过程在后续进行说明。
步骤408、基于所述W2和本地持有的样本数据进行明文运算，得到中间结果M4并将所述M4的密文发送给所述主动数据提供方，以由主动数据提供方的明文计算引擎基于本地持有的训练数据和M4进行明文运算，得到主动数据提供方对应的模型参数W1并将W1的密文发送给密文计算平台，以及由密文计算平台的密文计算引擎将所述W1的密文和W2的密文合并，得到线性回归模型的模型参数W的密文并将所述W的密文发送至结果需求方。
在密文计算平台基于所述M2的密文、M3的密文和M5的密文进行计算，得到被动数据提供方对应的模型参数W2的密文并将W2的密文返回给被动数据提供方后，被动数据提供方的密文计算数据服务可以对W2的密文进行解密，进而得到W2。然后被动数据提供方可以调用本地的明文计算引擎，基于所述W2和本地持有的样本数据进行明文运算，得到中间结果M4。
一个示例中，一种基于所述W2和本地持有的样本数据进行明文运算，得到中间结果M4的方式可以是：将所述被动数据提供方本地持有的样本数据左乘W2，得到中间结果M4；即M4＝X2W2。
本发明实施例中，可以由被动数据提供方的明文计算引擎将中间结果M4发送至多方安全计算服务；然后由多方安全计算服务对M4进行加密，得到M4的密文；并将M4的密文发送至主动数据提供方。
本发明的一个可选实施例中，被动数据提供方将M4的密文发送至主动数据提供方的一种方式可以是：将所述M4的密文发送至密文计算平台，由所述密文计算平台将所述M4的密文发送至主动数据提供方。即通过密文计算平台转发M4的密文。
本发明的一个可选实施例中，被动数据提供方将M4的密文发送至主动数据提供方的一种方式可以是：直接将所述M4的密文发送至主动数据提供方。进而无需密文计算平台进行转发，提高了数据交互的效率。
本发明实施例中，不限制被动数据提供方将中间结果M4发送至主动数据提供方的方式。
然后由主动数据提供方的明文计算引擎基于本地持有的训练数据和M4进行明文运算，得到主动数据提供方对应的模型参数W1并将W1的密文发送给密文计算平台，以及由密文计算平台的密文计算引擎将所述W1的密文和W2的密文合并，得到线性回归模型的模型参数W的密文并将所述W的密文发送至结果需求方。
以被动数据提供方侧为例，其中，可以由被动数据提供方的明文计算引擎执行本发明实施例的模型训练方法。其中，被动数据提供方为多个。
参照图5，示出了本发明的一种被动数据提供方侧的模型训练方法可选实施例的步骤流程图。
步骤502、获取中间结果M1的密文，所述M1是主动数据提供方的明文计算引擎基于本地持有的样本数据进行明文运算得到的。
步骤504、基于所述M1和本地持有的样本数据进行明文运算，得到中间结果M2分量并将所述M2分量的密文发送至密文计算平台，以由密文计算平台的密文计算引擎基于各被动数据提供方发送的M2分量的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文，以及将W2的密文拆分为W2分量的密文并返回给被动数据提供方，所述M3是主动数据提供方的明文计算引擎基于本地持有的标签数据和M1进行明文运算得到的。
其中，步骤502～步骤504与上述步骤402～步骤404类似，在此不再赘述。
其中，当被动数据提供方为多个时，除主动数据提供方的持有的样本数据外，线性回归模型训练所依赖的样本数据被分布在多个被动数据提供方；进而各被动数据提供方依据M1和本地持有的样本数据，计算得到的中间结果，是M2的分量。也就是各被动数据提供方计算的中间结果，可以组成M2。因此任一被动数据提供方的明文计算引擎，无法依据中间结果M2，计算中间结果M5。此时被动数据提供方则无需计算M5，将M2的密文发送至密文计算平台，由密文计算平台的密文计算引擎基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2；该过程在后续进行说明。
步骤506、基于所述W2分量和本地持有的样本数据进行明文运算，得到中间结果M4分量并将所述M4分量的密文发送给所述密文计算平台，由所述密文计算平台将各被动数据提供方发送的M4分量的密文进行合并，得到M4的密文并将M4的密文发送给所述主动数据提供方，以由主动数据提供方的明文计算引擎基于本地持有的训练数据和M4进行明文运算，得到主动数据提供方对应的模型参数W1并将W1的密文发送给密文计算平台，以及由密文计算平台的密文计算引擎将所述W1的密文和W2的密文合并，得到线性回归模型的模型参数W的密文并将所述W的密文发送至结果需求方。
步骤506与上述步骤408类似，在此不再赘述。
以密文计算平台方侧为例，其中，可以由密文计算平台的密文计算引擎执行本发明实施例的模型训练方法。其中，被动数据提供方为一个。
参照图6、示出了本发明的一种密文计算平台的模型训练方法实施例的步骤流程图。
步骤602、从主动数据提供方获取中间结果M3的密文和从被动数据提供方获取中间结果M2的密文，所述M3是主动数据提供方的明文计算引擎基于本地持有的标签数据和中间结果M1进行明文运算得到的，所述M1是主动数据提供方的明文计算引擎基于本地持有的样本数据进行明文运算得到的，所述M2是被动数据提供方的明文计算引擎基于本地持有的样本数据和M1进行明文运算得到的。
步骤604、基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文并将W2的密文返回给被动数据提供方。
本发明实施例中，密文计算平台可以从主动数据提供方获取中间结果M3的密文和从被动数据提供方获取中间结果M2的密文；然后基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2。
其中，当被动数据提供方为一个时，被动数据提供方的明文计算引擎，还依据M2计算了中间结果M5，并将M5的密文发送给密文计算平台；对应的，所述基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文，可以包括如下子步骤S22～子步骤S26：
子步骤S22、在密文的基础上将M2转置的密文左乘M3的密文，得到中间结果Y1的密文。
子步骤S24、从所述被动数据提供方获取中间结果M5的密文，所述M5是被动数据提供方的明文计算引擎依据M2计算得到的。
子步骤S26、在密文的基础上将M5的密文左乘Y1的密文，得到与被动数据提供方对应的模型参数W2的密文。
本发明实施例中，密文计算平台还可以从被动数据提供方获取中间结果M5的密文；然后基于所述M2的密文、M3的密文和M5的密文进行计算，得到被动数据提供方对应的模型参数W2的密文。
其中，可以参照上述公式(7)来计算被动数据提供方对应的模型参数W2的密文。将M5＝(M2TM2)-1代入至公式W2＝(M2TM2)-1(M2TM3)，可以得到W2＝M5(M2TM3)；进而可以先基于M2的密文，确定M2转置的密文，并在密文的基础上将M2转置的密文左乘M3的密文，得到中间结果Y1的密文。然后在密文的基础上将M5的密文左乘Y1的密文，得到被动数据提供方对应的模型参数W2的密文。然后可以将被动数据提供方的模型参数W2的密文发送给该被动数据提供方。
被动数据提供方接收到W2的密文后，可以对W2的密文进行解密，得到W2；并由被动数据提供方的明文计算引擎依据所述W2和样本数据进行明文运算，得到中间结果M4，并将M4的密文发送给主动数据提供方。主动数据提供方接收到M4的密文后，对M4的密文进行解密，得到中间结果M4；然后由主动数据提供方的明文计算引擎基于中间结果M4和本地持有的训练数据进行明文运算，得到主动数据提供方对应的模型参数W1，并将W1的密文发送至密文计算平台。
步骤606、从主动数据提供方获取对应的模型参数W1的密文，所述W1是主动数据提供方的明文计算引擎基于中间结果M4和本地持有的训练数据进行明文运算得到的，所述M4是被动数据提供方的明文计算引擎依据所述W2和样本数据进行明文运算得到的。
进而密文计算平台可以从主动数据提供方获取对应的模型参数W1的密文。
步骤608、将所述W1的密文和W2的密文合并，得到线性回归模型的模型参数W的密文并将所述W的密文发送至结果需求方。
本发明实施例中，密文计算平台可以确定主动数据提供方所持有样本数据的维度，以及确定被动数据提供方所持有的样本数据的维度；然后根据主动数据提供方所持有样本数据的维度，和被动数据提供方所持有的样本数据的维度，将W1的密文和W2的密文拼接，得到线性回归模型的模型参数W的密文；然后将所述W的密文发送至结果需求方。
以密文计算平台方侧为例，其中，可以由密文计算平台的密文计算引擎执行本发明实施例的模型训练方法。其中，被动数据提供方为多个。
参照图7、示出了本发明的一种密文计算平台的模型训练方法实施例的步骤流程图。
步骤702、从主动数据提供方获取中间结果M3的密文和从被动数据提供方获取中间结果M2分量的密文，所述M3是主动数据提供方的明文计算引擎基于本地持有的标签数据和中间结果M1进行明文运算得到的，所述M1是主动数据提供方的明文计算引擎基于本地持有的样本数据进行明文运算得到的，所述M2分量是被动数据提供方的明文计算引擎基于本地持有的样本数据和M1进行明文运算得到的。
步骤704、基于所述M2分量的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文。
其中，所述基于所述M2分量的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文，可以包括如下子步骤S42～子步骤S48：
子步骤S42、在密文的基础上将从多个被动数据提供方获取的M2分量的密文进行合并，得到中间结果Y2的密文。
子步骤S44、基于Y2的密文进行密文运算，得到中间结果Y3的密文。
子步骤S46、在密文的基础上将Y2转置的密文左乘M3的密文，得到中间结果Y4的密文。
子步骤S48、在密文的基础上将Y3的密文左乘Y4的密文，得到被动数据提供方对应的模型参数W2的密文。
其中，为了便于后续说明，可以将被动数据提供方依据M1和本地持有的样本数据计算得到的中间结果，称为是M2分量。密文计算平台从每个被动数据提供方获取到M2分量的密文后，可以在密文的基础上将从多个被动数据提供方获取的M2分量的密文进行合并，得到中间结果Y2的密文(也就是M2的密文)。再基于Y2的密文，确定Y2转置的密文，并将Y2转置的密文左乘Y2的密文即计算M2TM2，得到C1的密文；然后基于C1的密文，确定C1逆矩阵的密文并将C1逆矩阵的密文，确定为中间结果Y3的密文，即得到公式W2＝(M2TM2)-1(M2TM3)中(M2TM2)-1的密文。以及可以将Y2转置的密文左乘M3的密文即计算(M2TM3)，得到中间结果Y4的密文。然后在密文的基础上将Y3的密文左乘Y4的密文，得到被动数据提供方对应的模型参数W2的密文。
步骤706、在密文的基础上将W2的密文拆分为各被动数据提供方对应的W2分量的密文，并将各W2分量的密文分发给对应的被动数据提供方。
密文计算平台得到W2的密文，可以看做是由各被动数据提供方对应模型参数W2分量的密文组成；因此密文计算平台在得到W2的密文后，可以在密文的基础上将W2的密文拆分为各被动数据提供方对应的W2分量的密文，并将各W2分量的密文分发给对应的被动数据提供方。
每个被动数据提供方接收到W2分量的密文后，可以对W2分量的密文进行解密，得到W2分量；并由该被动数据提供方的明文计算引擎依据所述W2分量和样本数据进行明文运算，得到中间结果M4分量。
其中，主动数据提供方计算对应模型参数W1是根据中间结果M4计算得到的，而中间结果M4由各被动数据提供方各自计算的中间结果M4分量组成；因此各被动数据提供方可以将M4分量进行加密，得到M4分量的密文；并将M4分量的密文发送至密文计算平台，以由密文计算平台确定中间结果M4。
步骤708、从各被动数据提供方获取对应的M4分量的密文，所述M4分量是被动数据提供方的明文计算引擎依据W2分量和本地持有的样本数据进行明文运算得到的。
步骤710、将各被动数据提供方的M4分量的密文进行密文合并，得到M4的密文并将M4的密文发送给主动数据提供方。
进而密文计算平台可以从各被动数据提供方获取对应的M4分量的密文；然后可以在密文的基础上，将各被动数据提供方的M4分量的密文进行密文合并，得到M4的密文并将M4的密文发送给主动数据提供方。本发明的一个示例中，可以在密文的基础上，将各被动数据提供方的M4分量的密文进行密文相加，得到M4的密文并将M4的密文发送给主动数据提供方。
主动数据提供方接收到M4的密文后，对M4的密文进行解密，得到中间结果M4；然后由主动数据提供方的明文计算引擎基于中间结果M4和本地持有的训练数据进行明文运算，得到主动数据提供方对应的模型参数W1，并将W1的密文发送至密文计算平台。
步骤712、从主动数据提供方获取对应的模型参数W1的密文，所述W1是主动数据提供方的明文计算引擎基于中间结果M4和本地持有的训练数据进行明文运算得到的，所述M4是被动数据提供方的明文计算引擎依据所述W2和样本数据进行明文运算得到的。
步骤714、将所述W1的密文和W2的密文合并，得到线性回归模型的模型参数W的密文并将所述W的密文发送至结果需求方。
其中，步骤712～步骤714，与上述步骤606～步骤608类似，在此不再赘述。
以下对密文计算平台的密文计引擎如何进行密文计算进行说明。
参照图8，示出了本发明的一种基于多方安全计算协议进行密文计算方法实施例的步骤流程图。可以包括如下步骤：
步骤802、密文计算平台确定计算任务和对应的计算数据。
步骤804、基于多方安全计算协议生成所述计算任务对应的多方计算指令，将所述多方计算指令和计算数据发送至密文计算平台中的密文计算引擎。
本发明的一个可选实施例中，密文计算平台在依据各数据提供方上传的中间结果进行运算过程中，需要进行多次计算。其中，在每进行一次计算时，可以生成该次计算对应的计算任务，然后调用密文计算平台中的密文计算引擎对所述计算任务对应的计算数据进行处理。
其中，密文计算平台可以按照预先构建的对应各计算任务的多方安全计算协议，预先将计算任务转换成所述多方计算指令；然后将多方计算指令和对应的计算数据发送至密文计算引擎。
其中，所述多方安全计算协议为指示并调度密文计算引擎中各计算节点执行对应计算任务的多方计算的过程，其包括但不限于：描述加法、减法、乘法或除法等数学计算的计算任务的多方计算执行过程，描述逻辑和、或、非、异或、比较等逻辑计算的计算任务的多方计算执行过程，描述秘密传输的多方计算执行过程等。其中，所述多方计算指令包括：为采用多方计算的方式执行计算任务而指示密文计算引擎中各计算节点进行本地计算的指令，计算节点之间执行数据交互的指令，获取计算数据的指令，生成随机数的指令等。所述多方计算指令还可以包含指示计算节点执行本地计算和数据交互的计算角色的指令。所述多方计算指令可以由计算机程序语言来描述，或者由机器语言来描述。
然后密文计算引擎可以基于所述多方计算指令对对应的计算数据进行处理。
步骤806、密文计算引擎获取多方计算指令和计算数据。
其中，所述密文计算引擎可以包括多个计算节点，通过多个计算节点的协同计算来实现对计算任务对应计算数据的处理；密文计算引擎包含的计算节点的数量可以按照需求设置如4个，本发明实施例对此不作限制。
在一些示例中，密文计算引擎的各计算节点可以获取计算任务的完整的多方计算指令，即获取包含有每个计算节点执行的计算指令。为此，为使每个计算节点协同执行，所述步骤包括：各计算节点获取所述多方计算指令及计算角色；以供各计算节点按照所分别获取的计算角色执行所述多方计算指令。其中，所述计算角色用于标记所述多方计算指令中各执行本地计算的计算节点，以及标记所述多方计算指令中执行计算节点之间的交互时数据发送方和数据接收方等。
在又一些示例中，密文计算引擎的各计算节点分别获取所述多方计算指令中对应本地执行的计算指令。其中，所述本地执行的计算指令包含用于执行本地计算的指令，为执行数据交互而发出本地存储的数据的指令，为执行数据交互而将所接收的数据存储本地的指令，获取经处理的输入数据的指令，生成随机数的指令等。例如，所述多方计算指令包含计算节点S1执行生成随机数r12的指令P1，计算节点Sa执行生成随机数rab的指令Pa等，则计算节点S1获取指令P1，计算节点Sa获取指令Pa。
为执行计算任务，所述密文计算引擎中各计算节点还获取对应的计算数据。所述计算数据可以包括数据提供方上传的数据，如中间结果；其中，所述中间结果可以由数据提供方基于密文计算引擎执行多方计算所需的随机分散处理方式对训练数据进行随机分散处理得到的。本发明的一个可选实施例中，所述随机分散处理方式可以包括：随机产生至少一个私密数据，按照所产生的私密数据将输入数据进行分散处理。一种示例中，所述随机分散处理方式包括：随机产生两个私密数据x1和x'1，基于所述私密数据x1和x'1将输入数据X分散成{x1,x'1,x2,x'2,xa，x'a,xb,x'b}；其中，x2＝X-x1＝xa，x1＝xb，x'2＝X-x'1＝x'b，x'1＝x'a。所述计算数据还可以包括密文计算平台中数据，密文计算平台中的数据可以是密文，也可以是明文，本发明实施例对此不作限制。其中，密文计算平台中的密文数据，可以由密文计算引擎基于密文计算引擎执行多方计算所需的随机分散处理方式对训练数据进行随机分散处理得到的。其中，数据提供方随机分散处理的方式和密文计算平台随机分散处理的方式可以一致。
其中，当所述计算数据为密文时，每个节点获取的计算数据为计算数据的至少一个密文分片，计算数据的所有的密文分片可以组成计算数据的明文。例如上述示例中数据X的密文为{x1,x'1,x2,x'2,xa,x'a,xb,x'b}；若计算节点为4个，每个计算节点获取的计算数据的密文分片可以为{x1,x'1}，{x2,x'2}，{xa，x'a}和{xb，x'b}。当所述计算数据为明文时，每个节点获取的计算数据可以为计算数据的本身。当计算数据包括明文和密文，计算节点获取的计算数据可以为明文和密文的至少一个密文分片。例如，所述计算数据包括A1和A2，其中，A1为密文，被随机分散为{a1,a2}，，A2为明文部分。计算节点1获取的计算数据可以为a1和A2，计算节点2获取的计算数据可以为a2和A2。
步骤808、按照所述多方计算指令，所述密文计算引擎中至少部分计算节点分别对各自所获取的计算数据进行本地计算，和/或将本地计算所产生的中间数据进行交互，得到经由各计算节点分别持有的计算结果。
其中，根据计算任务，所述多方计算指令可指示部分计算节点仅执行本地计算，并得到计算结果。在一些示例中，所述多方计算指令包含基于计算任务中具有同态性的计算而生成的指令；按照所述多方计算指令，所述密文计算引擎中的计算节点执行本地计算并得到相应的计算结果。其中，所述同态性表示可具有一个封闭的具有结合律的运算，例如，加法计算等。在利用所述密文计算引擎执行加法计算时，多方计算指令可指示两个计算节点执行计算数据A1和A2的加法计算，并得到各自持有的计算结果。密文计算平台可通过获取该两个计算节点的计算结果得到A1+A2的处理结果。
在又一些示例中，多方计算指令包含指令计算节点分别对各自所获取的计算数据组进行本地计算的指令，以及将本地计算所产生的中间数据进行交互的指令。在一些具体示例中，多方计算指令可对应计算任务中所涉及的每个计算。在又一些具体示例中，所述多方计算指令包含基于计算任务中多个计算之间的关联关系而设置的指令。其中，所述多个计算之间的关联关系包括但不限于：计算优先级关系、计算同态性、计算可同步性、计算所需的计算数据的随机分散处理方式等。根据所述关联关系，所述密文计算平台或密文计算引擎优化了各计算节点的本地计算和数据交互，由此各计算节点按照优化后的多方计算指令执行本地计算的指令，以及计算节点执行数据交互的指令。例如，计算任务中包含(X+Y)×Z，多方计算指令包含：指示两个计算节点执行本地计算得到对应(X+Y)多方计算的指令，指示该两个计算节点将各自持有的对应(X+Y)多方计算的计算结果作为中间数据，并进行随机分散处理的指令，指示多个计算节点执行对应(X+Y)×Z多方计算的指令等。
步骤810、密文计算平台依据各计算节点分别持有的计算结果，确定所述计算任务对应的处理结果。
在密文计算引擎得到对应计算任务的计算结果后，密文计算平台可以从所述多个计算节点中选取部分计算节点所持有的计算结果用于生成一处理结果；其中，所述处理结果为所述计算任务对计算数据进行处理的处理结果。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
可参照图1，本发明实施例公开的数据处理系统，包括密文计算平台、数据提供方和结果需求方，密文计算平台中部署有密文计算引擎，数据提供方中部署有明文计算引擎，数据提供方包括主动数据提供方和被动数据提供方；所述的方法适用于线性回归模型训练所依赖的训练数据纵向分布在多个数据提供方的场景，训练数据包括样本数据和标签数据，样本数据纵向分布在多个数据提供方，标签数据由主动数据提供方持有；其中，
所述主动数据提供方，用于调用主动数据提供方的明文计算引擎基于本地持有的样本数据进行明文运算，得到中间结果M1，并将所述M1的密文发送至被动数据提供方；基于所述M1和本地持有的标签数据进行明文运算，得到中间结果M3，并将所述M3的密文发送至密文计算平台；以及基于本地持有的训练数据和M4进行明文运算，得到主动数据提供方对应的模型参数W1并将W1的密文发送至密文计算平台；
所述被动数据提供方，用于被动数据提供方的调用明文计算引擎基于所述M1和本地持有的样本数据进行明文运算，得到中间结果M2，并将所述M2的密文发送至密文计算平台；以及基于所述W2和本地持有的样本数据进行明文运算，得到中间结果M4并将所述M4的密文发送给所述主动数据提供方；
所述密文计算平台，用于调用密文计算引擎基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文，并将W2的密文返回给被动数据提供方；以及将所述W1的密文和W2的密文合并，得到线性回归模型的模型参数W的密文并将所述W的密文发送至结果需求方。
本发明实施例还公开了一种模型训练装置，应用于数据处理系统中，所述数据处理系统包括密文计算平台、数据提供方和结果需求方，密文计算平台中部署有密文计算引擎，数据提供方中部署有明文计算引擎，数据提供方包括主动数据提供方和被动数据提供方；所述的方法适用于线性回归模型训练所依赖的训练数据纵向分布在多个数据提供方的场景，训练数据包括样本数据和标签数据，样本数据纵向分布在多个数据提供方，标签数据由主动数据提供方持有；所述的装置部署在主动数据提供方的明文计算引擎中，所述的装置包括：
参照图9，示出了本发明一种主动数据提供方侧模型训练装置实施例的结构框图。
第一运算模块902，用于基于本地持有的样本数据进行明文运算，得到中间结果M1；
第一发送模块904，用于将所述M1的密文发送至被动数据提供方，以由被动数据提供方的明文计算引擎基于本地持有的样本数据和M1进行明文运算，得到中间结果M2并将M2的密文发送至密文计算平台；
第二运算模块906，用于基于本地持有的标签数据和M1进行明文运算，得到中间结果M3；
第二发送模块908，用于将所述M3的密文发送至密文计算平台，以由密文计算平台的密文计算引擎基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文并将W2的密文返回给被动数据提供方，以及由被动数据提供方的明文计算引擎基于本地持有的样本数据和W2进行明文运算，得到M4并将M4的密文发送至主动数据提供方；
参数计算模块910，用于获取M4的密文并基于本地持有的训练数据和M4进行明文运算，得到主动数据提供方对应的模型参数W1并将W1的密文发送至密文计算平台，以由密文计算平台的密文计算引擎将所述W1的密文和W2的密文合并，得到线性回归模型的模型参数W的密文并将所述W的密文发送至结果需求方。
参照图10，示出了本发明一种主动数据提供方侧模型训练装置可选实施例的结构框图。
本发明一个可选实施例中，所述第一运算模块902，用于基于所述样本数据、样本数据的转置和单位矩阵进行明文运算，得到中间结果M1。
本发明一个可选实施例中，所述第二运算模块906，用于将M1左乘本地持有的标签数据，得到中间结果M3。
本发明一个可选实施例中，所述参数计算模块910，包括：
模型参数计算子模块9102，用于基于所述样本数据、样本数据的转置、标签数据和M4进行明文运算，得到主动数据提供方对应的模型参数W1。
本发明一个可选实施例中，所述第一发送模块904，用于将所述M1的密文发送至密文计算平台，由所述密文计算平台将所述M1的密文发送至被动数据提供方。
本发明一个可选实施例中，所述参数计算模块910，包括：
获取子模块9104，用于从所述密文计算平台获取M4的密文，所述M4密文是由被动数据提供方发送给所述密文计算平台的；或，从所述被动数据提供方获取M4的密文。
本发明实施例还提供了一种模型训练装置，应用于数据处理系统中，所述数据处理系统包括密文计算平台、数据提供方和结果需求方，密文计算平台中部署有密文计算引擎，数据提供方中部署有明文计算引擎，数据提供方包括主动数据提供方和被动数据提供方；所述的装置适用于线性回归模型训练所依赖的训练数据纵向分布在多个数据提供方的场景，训练数据包括样本数据和标签数据，样本数据纵向分布在多个数据提供方，标签数据由主动数据提供方持有；所述的装置部署在被动数据提供方的明文计算引擎中，所述的装置包括：
参照图11，示出了本发明一种被动数据提供方侧模型训练装置实施例的结构框图。
第一结果获取模块1102，用于获取中间结果M1的密文，所述M1是主动数据提供方的明文计算引擎基于本地持有的样本数据进行明文运算得到的；
第三运算模块1104，用于基于所述M1和本地持有的样本数据进行明文运算，得到中间结果M2并将所述M2的密文发送至密文计算平台，以由密文计算平台的密文计算引擎基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文并将W2的密文返回给被动数据提供方，所述M3是主动数据提供方的明文计算引擎基于本地持有的标签数据和M1进行明文运算得到的；
第四运算模块1106，用于基于所述W2和本地持有的样本数据进行明文运算，得到中间结果M4并将所述M4的密文发送给所述主动数据提供方，以由主动数据提供方的明文计算引擎基于本地持有的训练数据和M4进行明文运算，得到主动数据提供方对应的模型参数W1并将W1的密文发送给密文计算平台，以及由密文计算平台的密文计算引擎将所述W1的密文和W2的密文合并，得到线性回归模型的模型参数W的密文并将所述W的密文发送至结果需求方。
参照图12，示出了本发明一种被动数据提供方侧模型训练装置可选实施例的结构框图。
本发明一个可选实施例中，所述第三运算模块1104，用于将所述M1左乘被动数据提供方本地持有的样本数据，得到中间结果M2。
本发明一个可选实施例中，所述第四运算模块1106，包括：
结果计算子模块11062，用于将所述被动数据提供方本地持有的样本数据左乘W2，得到中间结果M4。
本发明一个可选实施例中，当所述被动数据提供方包括一个时，所述的装置还包括：
第五运算模块1108，用于基于所述M2进行明文计算，得到中间结果M5并将M5的密文发送至密文计算平台，以由密文计算平台的密文计算引擎基于所述M2的密文、M3的密文和M5的密文进行计算，得到被动数据提供方对应的模型参数W2的密文并将W2的密文返回给被动数据提供方。
本发明一个可选实施例中，所述第四运算模块1106，包括：
结果发送子模块11064，用于将所述M4的密文发送至密文计算平台，由所述密文计算平台将所述M4的密文发送至主动数据提供方。
本发明一个可选实施例中，所述第一结果获取模块1102，用于从所述密文计算平台获取M1的密文，所述M1的密文是由主动数据提供方发送给所述密文计算平台的；或，从所述主动数据提供方获取M1的密文。
本发明实施例还提供了一种模型训练装置，应用于数据处理系统中，所述数据处理系统包括密文计算平台、数据提供方和结果需求方，密文计算平台中部署有密文计算引擎，数据提供方中部署有明文计算引擎，数据提供方包括主动数据提供方和被动数据提供方；所述的装置适用于线性回归模型训练所依赖的训练数据纵向分布在多个数据提供方的场景，训练数据包括样本数据和标签数据，样本数据纵向分布在多个数据提供方，标签数据由主动数据提供方持有；所述的装置部署在密文计算平台的密文计算引擎中，所述的装置包括：
参照图13，示出了本发明一种密文计算平台侧模型训练装置实施例的结构框图。
第二结果获取模块1302，用于从主动数据提供方获取中间结果M3的密文和从被动数据提供方获取中间结果M2的密文，所述M3是主动数据提供方的明文计算引擎基于本地持有的标签数据和中间结果M1进行明文运算得到的，所述M1是主动数据提供方的明文计算引擎基于本地持有的样本数据进行明文运算得到的，所述M2是被动数据提供方的明文计算引擎基于本地持有的样本数据和M1进行明文运算得到的；
第六运算模块1304，用于基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文并将W2的密文返回给被动数据提供方；
参数获取模块1306，用于从主动数据提供方获取对应的模型参数W1的密文，所述W1是主动数据提供方的明文计算引擎基于中间结果M4和本地持有的训练数据进行明文运算得到的，所述M4是被动数据提供方的明文计算引擎依据所述W2和样本数据进行明文运算得到的；
合并模块1308，用于将所述W1的密文和W2的密文合并，得到线性回归模型的模型参数W的密文并将所述W的密文发送至结果需求方。
参照图14，示出了本发明一种密文计算平台侧模型训练装置可选实施例的结构框图。
本发明一个可选实施例中，当所述被动数据提供方包括一个时，所述第六运算模块1304，包括：
第一密文计算子模块13042，用于在密文的基础上将M2转置的密文左乘M3的密文，得到中间结果Y1的密文；从所述被动数据提供方获取中间结果M5的密文，所述M5是被动数据提供方的明文计算引擎依据M2计算得到的；在密文的基础上将M5的密文左乘Y1的密文，得到与被动数据提供方对应的模型参数W2的密文。
本发明一个可选实施例中，当所述被动数据提供方包括多个时，所述所述第六运算模块1304，包括：
第二密文计算子模块13044，用于在密文的基础上将从多个被动数据提供方获取的M2的密文进行合并，得到中间结果Y2的密文；基于Y2的密文进行密文运算，得到中间结果Y3的密文；在密文的基础上将Y2转置的密文左乘M3的密文，得到中间结果Y4的密文；在密文的基础上将Y3的密文左乘Y4的密文，得到被动数据提供方对应的模型参数W2的密文。
本发明一个可选实施例中，所述第六运算模块1304，包括：
参数发送子模块13046，用于在密文的基础上将W2的密文拆分为各被动数据提供方对应的W2分量的密文，并将各W2分量的密文分发给对应的被动数据提供方。
本发明一个可选实施例中，所述的装置还包括：
第三结果获取模块1310，用于从各被动数据提供方获取对应的M4分量的密文，所述M4分量是被动数据提供方的明文计算引擎依据W2分量和本地持有的样本数据进行明文运算得到的；将各被动数据提供方的M4分量的密文进行密文合并，得到M4的密文并将M4的密文发送给主动数据提供方。
综上，本发明实施例中，可以由主动数据提供方的明文计算引擎基于本地持有的样本数据进行明文运算，得到中间结果M1，并将所述M1的密文发送至被动数据提供方；以及由被动数据提供方的明文计算引擎基于所述M1和本地持有的样本数据进行明文运算，得到中间结果M2，并将所述M2的密文发送至密文计算平台；再由主动数据提供方的明文计算引擎基于所述M1和本地持有的标签数据进行明文运算，得到中间结果M3，并将所述M3的密文发送至密文计算平台；然后由密文计算平台的密文计算引擎基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文，并将W2的密文返回给被动数据提供方；由被动数据提供方的明文计算引擎基于所述W2和本地持有的样本数据进行明文运算，得到中间结果M4并将所述M4的密文发送给所述主动数据提供方；以及由主动数据提供方的明文计算引擎基于本地持有的训练数据和M4进行明文运算，得到主动数据提供方对应的模型参数W1并将W1的密文发送至密文计算平台；最后密文计算平台的密文计算引擎将所述W1的密文和W2的密文合并，得到线性回归模型的模型参数W的密文并将所述W的密文发送至结果需求方；进而通过数据提供方在本地采用各自持有的数据进行明文计算的中间结果，与密文计算平台密文计算的结果的交互；实现在保证多个数据提供方持有的训练数据安全的前提下，训练线性回归模型。此外，相对于由密文计算平台进行纯密文计算来训练线性回归模型而言，本发明实施例采用各数据提供方和密文计算平台进行明密文混合计算的方式训练线性回归模型，能够减少计算量，提高模型训练的效率。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例还提供了一种可读介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如本发明实施例中一个或多个所述的模型训练方法。
本发明实施例还提供了一种电子设备，包括：一个或多个处理器；和其上存储有指令的一个或多个可读介质，当由所述一个或多个处理器执行时，使得所述电子设备执行如上述本发明实施例中一个或多个所述的模型训练方法。
本发明实施例一个示例中提供了一种电子设备，例如服务器，图15示出了可以实现根据本发明的服务器，例如管理服务器、存储服务器、应用服务器、云控服务、服务器集群等。该服务器传统上包括处理器1510和以存储器1520形式的计算机程序产品或者计算机可读介质。存储器1520可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器1520具有用于执行上述方法中的任何方法步骤的程序代码1531的存储空间1530。例如，用于程序代码的存储空间1530可以包括分别用于实现上面的方法中的各种步骤的各个程序代码1531。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为便携式或者固定存储单元。该存储单元可以具有与图15的服务器中的存储器1520类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常，存储单元包括计算机可读代码，即可以由例如诸如1510之类的处理器读取的代码，这些代码当由服务器运行时，导致该服务器执行上面所描述的方法中的各个步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种模型训练方法、一种模型训练装置、一种数据处理系统和一种电子设备，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (38)

1.一种模型训练方法，其特征在于，应用于数据处理系统中，所述数据处理系统包括密文计算平台、数据提供方和结果需求方，密文计算平台中部署有密文计算引擎，数据提供方中部署有明文计算引擎，数据提供方包括主动数据提供方和被动数据提供方；所述的方法适用于线性回归模型训练所依赖的训练数据纵向分布在多个数据提供方的场景，训练数据包括样本数据和标签数据，样本数据纵向分布在多个数据提供方，标签数据由主动数据提供方持有；所述的方法包括：
主动数据提供方的明文计算引擎基于本地持有的样本数据进行明文运算，得到中间结果M1，并将所述M1的密文发送至被动数据提供方；
被动数据提供方的明文计算引擎基于所述M1和本地持有的样本数据进行明文运算，得到中间结果M2，并将所述M2的密文发送至密文计算平台；
主动数据提供方的明文计算引擎基于所述M1和本地持有的标签数据进行明文运算，得到中间结果M3，并将所述M3的密文发送至密文计算平台；
密文计算平台的密文计算引擎基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文，并将W2的密文返回给被动数据提供方；
被动数据提供方的明文计算引擎基于所述W2和本地持有的样本数据进行明文运算，得到中间结果M4并将所述M4的密文发送给所述主动数据提供方；
主动数据提供方的明文计算引擎基于本地持有的训练数据和M4进行明文运算，得到主动数据提供方对应的模型参数W1并将W1的密文发送至密文计算平台；
密文计算平台的密文计算引擎将所述W1的密文和W2的密文合并，得到线性回归模型的模型参数W的密文并将所述W的密文发送至结果需求方。
2.一种模型训练方法，其特征在于，应用于数据处理系统中，所述数据处理系统包括密文计算平台、数据提供方和结果需求方，密文计算平台中部署有密文计算引擎，数据提供方中部署有明文计算引擎，数据提供方包括主动数据提供方和被动数据提供方；所述的方法适用于线性回归模型训练所依赖的训练数据纵向分布在多个数据提供方的场景，训练数据包括样本数据和标签数据，样本数据纵向分布在多个数据提供方，标签数据由主动数据提供方持有；所述的方法由主动数据提供方的明文计算引擎执行，包括：
基于本地持有的样本数据进行明文运算，得到中间结果M1；
将所述M1的密文发送至被动数据提供方，以由被动数据提供方的明文计算引擎基于本地持有的样本数据和M1进行明文运算，得到中间结果M2并将M2的密文发送至密文计算平台；
基于本地持有的标签数据和M1进行明文运算，得到中间结果M3；
将所述M3的密文发送至密文计算平台，以由密文计算平台的密文计算引擎基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文并将W2的密文返回给被动数据提供方，以及由被动数据提供方的明文计算引擎基于本地持有的样本数据和W2进行明文运算，得到M4并将M4的密文发送至主动数据提供方；
获取M4的密文并基于本地持有的训练数据和M4进行明文运算，得到主动数据提供方对应的模型参数W1并将W1的密文发送至密文计算平台，以由密文计算平台的密文计算引擎将所述W1的密文和W2的密文合并，得到线性回归模型的模型参数W的密文并将所述W的密文发送至结果需求方。
3.根据权利要求2所述的方法，其特征在于，所述基于本地持有的样本数据进行明文运算，得到中间结果M1，包括：
基于所述样本数据、样本数据的转置和单位矩阵进行明文运算，得到中间结果M1。
4.根据权利要求2所述的方法，其特征在于，所述基于本地持有的标签数据和M1进行明文运算，得到中间结果M3，包括：
将M1左乘本地持有的标签数据，得到中间结果M3。
5.根据权利要求2所述的方法，其特征在于，所述基于本地持有的训练数据和M4进行明文运算，得到主动数据提供方对应的模型参数W1，包括：
基于所述样本数据、样本数据的转置、标签数据和M4进行明文运算，得到主动数据提供方对应的模型参数W1。
6.根据权利要求2所述的方法，其特征在于，所述将所述M1发送至被动数据提供方，包括：
将所述M1的密文发送至密文计算平台，由所述密文计算平台将所述M1的密文发送至被动数据提供方。
7.根据权利要求2所述的方法，其特征在于，所述获取M4的密文，包括：
从所述密文计算平台获取M4的密文，所述M4密文是由被动数据提供方发送给所述密文计算平台的；或，从所述被动数据提供方获取M4的密文。
8.一种模型训练方法，其特征在于，应用于数据处理系统中，所述数据处理系统包括密文计算平台、数据提供方和结果需求方，密文计算平台中部署有密文计算引擎，数据提供方中部署有明文计算引擎，数据提供方包括主动数据提供方和被动数据提供方；所述的方法适用于线性回归模型训练所依赖的训练数据纵向分布在多个数据提供方的场景，训练数据包括样本数据和标签数据，样本数据纵向分布在多个数据提供方，标签数据由主动数据提供方持有；所述的方法由被动数据提供方的明文计算引擎执行，包括：
获取中间结果M1的密文，所述M1是主动数据提供方的明文计算引擎基于本地持有的样本数据进行明文运算得到的；
基于所述M1和本地持有的样本数据进行明文运算，得到中间结果M2并将所述M2的密文发送至密文计算平台，以由密文计算平台的密文计算引擎基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文并将W2的密文返回给被动数据提供方，所述M3是主动数据提供方的明文计算引擎基于本地持有的标签数据和M1进行明文运算得到的；
基于所述W2和本地持有的样本数据进行明文运算，得到中间结果M4并将所述M4的密文发送给所述主动数据提供方，以由主动数据提供方的明文计算引擎基于本地持有的训练数据和M4进行明文运算，得到主动数据提供方对应的模型参数W1并将W1的密文发送给密文计算平台，以及由密文计算平台的密文计算引擎将所述W1的密文和W2的密文合并，得到线性回归模型的模型参数W的密文并将所述W的密文发送至结果需求方。
9.根据权利要求8所述的方法，其特征在于，所述基于所述M1和本地持有的样本数据进行明文运算，得到中间结果M2，包括：
将所述M1左乘被动数据提供方本地持有的样本数据，得到中间结果M2。
10.根据权利要求8所述的方法，其特征在于，所述基于所述W2和本地持有的样本数据进行明文运算，得到中间结果M4，包括：
将所述被动数据提供方本地持有的样本数据左乘W2，得到中间结果M4。
11.根据权利要求8所述的方法，其特征在于，当所述被动数据提供方包括一个时，所述的方法还包括：
基于所述M2进行明文计算，得到中间结果M5并将M5的密文发送至密文计算平台，以由密文计算平台的密文计算引擎基于所述M2的密文、M3的密文和M5的密文进行计算，得到被动数据提供方对应的模型参数W2的密文并将W2的密文返回给被动数据提供方。
12.根据权利要求8所述的方法，其特征在于，所述将所述M4的密文发送给所述主动数据提供方，包括：
将所述M4的密文发送至密文计算平台，由所述密文计算平台将所述M4的密文发送至主动数据提供方。
13.根据权利要求8所述的方法，其特征在于，所述获取中间结果M1的密文，包括：
从所述密文计算平台获取M1的密文，所述M1的密文是由主动数据提供方发送给所述密文计算平台的；或，从所述主动数据提供方获取M1的密文。
14.一种模型训练方法，其特征在于，应用于数据处理系统中，所述数据处理系统包括密文计算平台、数据提供方和结果需求方，密文计算平台中部署有密文计算引擎，数据提供方中部署有明文计算引擎，数据提供方包括主动数据提供方和被动数据提供方；所述的方法适用于线性回归模型训练所依赖的训练数据纵向分布在多个数据提供方的场景，训练数据包括样本数据和标签数据，样本数据纵向分布在多个数据提供方，标签数据由主动数据提供方持有；所述的方法由密文计算平台的密文计算引擎执行，包括：
从主动数据提供方获取中间结果M3的密文和从被动数据提供方获取中间结果M2的密文，所述M3是主动数据提供方的明文计算引擎基于本地持有的标签数据和中间结果M1进行明文运算得到的，所述M1是主动数据提供方的明文计算引擎基于本地持有的样本数据进行明文运算得到的，所述M2是被动数据提供方的明文计算引擎基于本地持有的样本数据和M1进行明文运算得到的；
基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文并将W2的密文返回给被动数据提供方；
从主动数据提供方获取对应的模型参数W1的密文，所述W1是主动数据提供方的明文计算引擎基于中间结果M4和本地持有的训练数据进行明文运算得到的，所述M4是被动数据提供方的明文计算引擎依据所述W2和样本数据进行明文运算得到的；
将所述W1的密文和W2的密文合并，得到线性回归模型的模型参数W的密文并将所述W的密文发送至结果需求方。
15.根据权利要求14所述的方法，其特征在于，当所述被动数据提供方包括一个时，所述基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文，包括：
在密文的基础上将M2转置的密文左乘M3的密文，得到中间结果Y1的密文；
从所述被动数据提供方获取中间结果M5的密文，所述M5是被动数据提供方的明文计算引擎依据M2计算得到的；
在密文的基础上将M5的密文左乘Y1的密文，得到与被动数据提供方对应的模型参数W2的密文。
16.根据权利要求14所述的方法，其特征在于，当所述被动数据提供方包括多个时，所述基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文，包括：
在密文的基础上将从多个被动数据提供方获取的M2的密文进行合并，得到中间结果Y2的密文；
基于Y2的密文进行密文运算，得到中间结果Y3的密文；
在密文的基础上将Y2转置的密文左乘M3的密文，得到中间结果Y4的密文；
在密文的基础上将Y3的密文左乘Y4的密文，得到被动数据提供方对应的模型参数W2的密文。
17.根据权利要求14所述的方法，其特征在于，所述将W2的密文返回给被动数据提供方，包括：
在密文的基础上将W2的密文拆分为各被动数据提供方对应的W2分量的密文，并将各W2分量的密文分发给对应的被动数据提供方。
18.根据权利要求14所述的方法，其特征在于，所述的方法还包括：
从各被动数据提供方获取对应的M4分量的密文，所述M4分量是被动数据提供方的明文计算引擎依据W2分量和本地持有的样本数据进行明文运算得到的；
将各被动数据提供方的M4分量的密文进行密文合并，得到M4的密文并将M4的密文发送给主动数据提供方。
19.一种数据处理系统，其特征在于，所述数据处理系统包括密文计算平台、数据提供方和结果需求方，密文计算平台中部署有密文计算引擎，数据提供方中部署有明文计算引擎，数据提供方包括主动数据提供方和被动数据提供方；所述的系统适用于线性回归模型训练所依赖的训练数据纵向分布在多个数据提供方的场景，训练数据包括样本数据和标签数据，样本数据纵向分布在多个数据提供方，标签数据由主动数据提供方持有；其中，
所述主动数据提供方，用于调用主动数据提供方的明文计算引擎基于本地持有的样本数据进行明文运算，得到中间结果M1，并将所述M1的密文发送至被动数据提供方；基于所述M1和本地持有的标签数据进行明文运算，得到中间结果M3，并将所述M3的密文发送至密文计算平台；以及基于本地持有的训练数据和M4进行明文运算，得到主动数据提供方对应的模型参数W1并将W1的密文发送至密文计算平台；
所述被动数据提供方，用于调用 被动数据提供方的明文计算引擎基于所述M1和本地持有的样本数据进行明文运算，得到中间结果M2，并将所述M2的密文发送至密文计算平台；以及基于W2和本地持有的样本数据进行明文运算，得到中间结果M4并将所述M4的密文发送给所述主动数据提供方；
所述密文计算平台，用于调用密文计算引擎基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文，并将W2的密文返回给被动数据提供方；以及将所述W1的密文和W2的密文合并，得到线性回归模型的模型参数W的密文并将所述W的密文发送至结果需求方。
20.一种模型训练装置，其特征在于，应用于数据处理系统中，所述数据处理系统包括密文计算平台、数据提供方和结果需求方，密文计算平台中部署有密文计算引擎，数据提供方中部署有明文计算引擎，数据提供方包括主动数据提供方和被动数据提供方；所述的装置适用于线性回归模型训练所依赖的训练数据纵向分布在多个数据提供方的场景，训练数据包括样本数据和标签数据，样本数据纵向分布在多个数据提供方，标签数据由主动数据提供方持有；所述的装置部署在主动数据提供方的明文计算引擎中，所述的装置包括：
第一运算模块，用于基于本地持有的样本数据进行明文运算，得到中间结果M1；
第一发送模块，用于将所述M1的密文发送至被动数据提供方，以由被动数据提供方的明文计算引擎基于本地持有的样本数据和M1进行明文运算，得到中间结果M2并将M2的密文发送至密文计算平台；
第二运算模块，用于基于本地持有的标签数据和M1进行明文运算，得到中间结果M3；
第二发送模块，用于将所述M3的密文发送至密文计算平台，以由密文计算平台的密文计算引擎基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文并将W2的密文返回给被动数据提供方，以及由被动数据提供方的明文计算引擎基于本地持有的样本数据和W2进行明文运算，得到M4并将M4的密文发送至主动数据提供方；
参数计算模块，用于获取M4的密文并基于本地持有的训练数据和M4进行明文运算，得到主动数据提供方对应的模型参数W1并将W1的密文发送至密文计算平台，以由密文计算平台的密文计算引擎将所述W1的密文和W2的密文合并，得到线性回归模型的模型参数W的密文并将所述W的密文发送至结果需求方。
21.根据权利要求20所述的装置，其特征在于，
所述第一运算模块，用于基于所述样本数据、样本数据的转置和单位矩阵进行明文运算，得到中间结果M1。
22.根据权利要求20所述的装置，其特征在于，
所述第二运算模块，用于将M1左乘本地持有的标签数据，得到中间结果M3。
23.根据权利要求20所述的装置，其特征在于，所述参数计算模块，包括：
模型参数计算子模块，用于基于所述样本数据、样本数据的转置、标签数据和M4进行明文运算，得到主动数据提供方对应的模型参数W1。
24.根据权利要求20所述的装置，其特征在于，
所述第一发送模块，用于将所述M1的密文发送至密文计算平台，由所述密文计算平台将所述M1的密文发送至被动数据提供方。
25.根据权利要求20所述的装置，其特征在于，所述参数计算模块，包括：
获取子模块，用于从所述密文计算平台获取M4的密文，所述M4密文是由被动数据提供方发送给所述密文计算平台的；或，从所述被动数据提供方获取M4的密文。
26.一种模型训练装置，其特征在于，应用于数据处理系统中，所述数据处理系统包括密文计算平台、数据提供方和结果需求方，密文计算平台中部署有密文计算引擎，数据提供方中部署有明文计算引擎，数据提供方包括主动数据提供方和被动数据提供方；所述的装置适用于线性回归模型训练所依赖的训练数据纵向分布在多个数据提供方的场景，训练数据包括样本数据和标签数据，样本数据纵向分布在多个数据提供方，标签数据由主动数据提供方持有；所述的装置部署在被动数据提供方的明文计算引擎中，所述的装置包括：
第一结果获取模块，用于获取中间结果M1的密文，所述M1是主动数据提供方的明文计算引擎基于本地持有的样本数据进行明文运算得到的；
第三运算模块，用于基于所述M1和本地持有的样本数据进行明文运算，得到中间结果M2并将所述M2的密文发送至密文计算平台，以由密文计算平台的密文计算引擎基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文并将W2的密文返回给被动数据提供方，所述M3是主动数据提供方的明文计算引擎基于本地持有的标签数据和M1进行明文运算得到的；
第四运算模块，用于基于所述W2和本地持有的样本数据进行明文运算，得到中间结果M4并将所述M4的密文发送给所述主动数据提供方，以由主动数据提供方的明文计算引擎基于本地持有的训练数据和M4进行明文运算，得到主动数据提供方对应的模型参数W1并将W1的密文发送给密文计算平台，以及由密文计算平台的密文计算引擎将所述W1的密文和W2的密文合并，得到线性回归模型的模型参数W的密文并将所述W的密文发送至结果需求方。
27.根据权利要求26所述的装置，其特征在于，
所述第三运算模块，用于将所述M1左乘被动数据提供方本地持有的样本数据，得到中间结果M2。
28.根据权利要求26所述的装置，其特征在于，所述第四运算模块，包括：
结果计算子模块，用于将所述被动数据提供方本地持有的样本数据左乘W2，得到中间结果M4。
29.根据权利要求26所述的装置，其特征在于，当所述被动数据提供方包括一个时，所述的装置还包括：
第五运算模块，用于基于所述M2进行明文计算，得到中间结果M5并将M5的密文发送至密文计算平台，以由密文计算平台的密文计算引擎基于所述M2的密文、M3的密文和M5的密文进行计算，得到被动数据提供方对应的模型参数W2的密文并将W2的密文返回给被动数据提供方。
30.根据权利要求26所述的装置，其特征在于，所述第四运算模块，包括：
结果发送子模块，用于将所述M4的密文发送至密文计算平台，由所述密文计算平台将所述M4的密文发送至主动数据提供方。
31.根据权利要求26所述的装置，其特征在于，
所述第一结果获取模块，用于从所述密文计算平台获取M1的密文，所述M1的密文是由主动数据提供方发送给所述密文计算平台的；或，从所述主动数据提供方获取M1的密文。
32.一种模型训练装置，其特征在于，应用于数据处理系统中，所述数据处理系统包括密文计算平台、数据提供方和结果需求方，密文计算平台中部署有密文计算引擎，数据提供方中部署有明文计算引擎，数据提供方包括主动数据提供方和被动数据提供方；所述的装置适用于线性回归模型训练所依赖的训练数据纵向分布在多个数据提供方的场景，训练数据包括样本数据和标签数据，样本数据纵向分布在多个数据提供方，标签数据由主动数据提供方持有；所述的装置部署在密文计算平台的密文计算引擎中，所述的装置包括：
第二结果获取模块，用于从主动数据提供方获取中间结果M3的密文和从被动数据提供方获取中间结果M2的密文，所述M3是主动数据提供方的明文计算引擎基于本地持有的标签数据和中间结果M1进行明文运算得到的，所述M1是主动数据提供方的明文计算引擎基于本地持有的样本数据进行明文运算得到的，所述M2是被动数据提供方的明文计算引擎基于本地持有的样本数据和M1进行明文运算得到的；
第六运算模块，用于基于所述M2的密文和M3的密文进行计算，得到被动数据提供方对应的模型参数W2的密文并将W2的密文返回给被动数据提供方；
参数获取模块，用于从主动数据提供方获取对应的模型参数W1的密文，所述W1是主动数据提供方的明文计算引擎基于中间结果M4和本地持有的训练数据进行明文运算得到的，所述M4是被动数据提供方的明文计算引擎依据所述W2和样本数据进行明文运算得到的；
合并模块，用于将所述W1的密文和W2的密文合并，得到线性回归模型的模型参数W的密文并将所述W的密文发送至结果需求方。
33.根据权利要求32所述的装置，其特征在于，当所述被动数据提供方包括一个时，所述第六运算模块，包括：
第一密文计算子模块，用于在密文的基础上将M2转置的密文左乘M3的密文，得到中间结果Y1的密文；从所述被动数据提供方获取中间结果M5的密文，所述M5是被动数据提供方的明文计算引擎依据M2计算得到的；在密文的基础上将M5的密文左乘Y1的密文，得到与被动数据提供方对应的模型参数W2的密文。
34.根据权利要求32所述的装置，其特征在于，当所述被动数据提供方包括多个时，所述第六运算模块，包括：
第二密文计算子模块，用于在密文的基础上将从多个被动数据提供方获取的M2的密文进行合并，得到中间结果Y2的密文；基于Y2的密文进行密文运算，得到中间结果Y3的密文；在密文的基础上将Y2转置的密文左乘M3的密文，得到中间结果Y4的密文；在密文的基础上将Y3的密文左乘Y4的密文，得到被动数据提供方对应的模型参数W2的密文。
35.根据权利要求32所述的装置，其特征在于，
所述第六运算模块，包括 参数发送子模块，用于在密文的基础上将W2的密文拆分为各被动数据提供方对应的W2分量的密文，并将各W2分量的密文分发给对应的被动数据提供方。
36.根据权利要求32所述的装置，其特征在于，所述的装置还包括：
第三结果获取模块，用于从各被动数据提供方获取对应的M4分量的密文，所述M4分量是被动数据提供方的明文计算引擎依据W2分量和本地持有的样本数据进行明文运算得到的；将各被动数据提供方的M4分量的密文进行密文合并，得到M4的密文并将M4的密文发送给主动数据提供方。
37.一种可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如方法权利要求1-18中一个或多个所述的模型训练方法。
38.一种电子设备，包括：
一个或多个处理器；和
其上存储有指令的一个或多个可读介质，当指令 由所述一个或多个处理器执行时，使得所述电子设备执行如权利要求1-18中一个或多个所述的模型训练方法。
CN202110172778.0A 2021-02-08 2021-02-08 一种模型训练方法及装置、数据处理系统和电子设备 Active CN112926064B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110172778.0A CN112926064B (zh) 2021-02-08 2021-02-08 一种模型训练方法及装置、数据处理系统和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110172778.0A CN112926064B (zh) 2021-02-08 2021-02-08 一种模型训练方法及装置、数据处理系统和电子设备

Publications (2)

Publication Number Publication Date
CN112926064A CN112926064A (zh) 2021-06-08
CN112926064B true CN112926064B (zh) 2021-10-22

Family

ID=76171227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110172778.0A Active CN112926064B (zh) 2021-02-08 2021-02-08 一种模型训练方法及装置、数据处理系统和电子设备

Country Status (1)

Country Link
CN (1) CN112926064B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113517977B (zh) * 2021-09-09 2021-11-30 华控清交信息科技(北京)有限公司 一种数据处理方法、装置和用于数据处理的装置
CN114118641B (zh) * 2022-01-29 2022-04-19 华控清交信息科技(北京)有限公司 风电场功率预测方法、gbdt模型纵向训练方法及装置
CN114915455B (zh) * 2022-04-24 2024-06-14 华控清交信息科技(北京)有限公司 一种密文数据传输方法、装置和用于密文数据传输的装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109687952A (zh) * 2018-11-16 2019-04-26 创新奇智(重庆)科技有限公司 数据处理方法及其装置、电子装置及存储介质
CN111178549A (zh) * 2020-04-10 2020-05-19 支付宝(杭州)信息技术有限公司 保护数据隐私的双方联合训练业务预测模型的方法和装置
CN112288002A (zh) * 2020-10-28 2021-01-29 同盾控股有限公司 模型训练方法及装置、数据预测方法、介质、电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11250340B2 (en) * 2017-12-14 2022-02-15 Microsoft Technology Licensing, Llc Feature contributors and influencers in machine learned predictive models

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109687952A (zh) * 2018-11-16 2019-04-26 创新奇智(重庆)科技有限公司 数据处理方法及其装置、电子装置及存储介质
CN111178549A (zh) * 2020-04-10 2020-05-19 支付宝(杭州)信息技术有限公司 保护数据隐私的双方联合训练业务预测模型的方法和装置
CN112288002A (zh) * 2020-10-28 2021-01-29 同盾控股有限公司 模型训练方法及装置、数据预测方法、介质、电子设备

Also Published As

Publication number Publication date
CN112926064A (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
CN112926064B (zh) 一种模型训练方法及装置、数据处理系统和电子设备
Giacomelli et al. Privacy-preserving ridge regression with only linearly-homomorphic encryption
CN111162896B (zh) 双方联合进行数据处理的方法及装置
US10601585B1 (en) Methods and apparatus for blockchain encryption
CN112182649A (zh) 一种基于安全两方计算线性回归算法的数据隐私保护系统
CN110190945B (zh) 基于多加密的线性回归隐私保护方法及系统
CN110991655B (zh) 多方联合进行模型数据处理的方法及装置
CN107196926B (zh) 一种云外包隐私集合比较方法与装置
US9191196B2 (en) Secure computation using a server module
TW202006615A (zh) 基於模型的預測方法和裝置
CN112182644A (zh) 一种数据处理方法、装置和电子设备
CN113542228B (zh) 基于联邦学习的数据传输方法、装置以及可读存储介质
CN112347500B (zh) 分布式系统的机器学习方法、装置、系统、设备及存储介质
CN111783129A (zh) 一种保护隐私的数据处理方法及系统
CN113179158B (zh) 一种控制带宽的多方联合数据处理方法及装置
CN112668748B (zh) 一种预测方法、装置和电子设备
CN114944935A (zh) 一种多方融合计算系统、多方融合计算方法和可读存储介质
El Kaafarani et al. Anonymous reputation systems achieving full dynamicity from lattices
CN113992325B (zh) 一种隐私数据共享方法及装置
CN117879820A (zh) 一种基于区块链的数据共享方法
CN114492850A (zh) 基于联邦学习的模型训练方法、设备、介质及程序产品
CN111737756B (zh) 经由两个数据拥有方进行的xgb模型预测方法、装置及系统
CN112668016B (zh) 一种模型训练方法、装置和电子设备
CN112668038A (zh) 一种模型训练方法、装置和电子设备
Qu et al. Improved cryptanalysis of a fully homomorphic symmetric encryption scheme

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant