CN112529101B - 分类模型的训练方法、装置、电子设备及存储介质 - Google Patents

分类模型的训练方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112529101B
CN112529101B CN202011554040.2A CN202011554040A CN112529101B CN 112529101 B CN112529101 B CN 112529101B CN 202011554040 A CN202011554040 A CN 202011554040A CN 112529101 B CN112529101 B CN 112529101B
Authority
CN
China
Prior art keywords
feature
sample
coding
classification
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011554040.2A
Other languages
English (en)
Other versions
CN112529101A (zh
Inventor
衣志昊
刘洋
陈天健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202011554040.2A priority Critical patent/CN112529101B/zh
Publication of CN112529101A publication Critical patent/CN112529101A/zh
Application granted granted Critical
Publication of CN112529101B publication Critical patent/CN112529101B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/382—Payment protocols; Details thereof insuring higher security of transaction
    • G06Q20/3829—Payment protocols; Details thereof insuring higher security of transaction involving key management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种分类模型的训练方法、装置、设备及计算机可读存储介质；方法包括：获取第二参与方设备中各样本特征数据所对应的分类标签；分别对各样本特征数据对应的分类标签进行同态加密，得到各样本特征数据对应的加密标签；发送各样本特征数据对应的加密标签至第二参与方设备，以使第二参与方设备基于加密标签及各样本特征数据的编码参数，分别对各样本特征数据进行特征编码，得到相应的特征编码值并返回；分别对各特征编码值进行同态解密，得到相应的编码特征；基于编码特征及相应的分类标签构建训练样本，对分类模型进行训练。通过本申请，能够显著提升在联邦学习框架下训练得到的分类模型的鲁棒性和可解释性。

Description

分类模型的训练方法、装置、电子设备及存储介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种分类模型的训练方法、装置、电子设备及存储介质。
背景技术
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
在人工智能的联邦学习领域，是通过多个参与方提供样本的不同数据共同训练一个机器学习模型，对于各个参与方，其提供的样本数据对于其他参与方需进行隐私保护。出于样本数据的隐私保护需求，相关技术中通常的做法是各参与方对各自持有的样本数据进行加密并输入模型中进行特征编码，基于这种编码方式训练得到的模型的鲁棒性和可解释性不佳。
发明内容
本申请实施例提供一种分类模型的训练方法、装置、电子设备及计算机可读存储介质，能够显著提升在联邦学习框架下训练得到的分类模型的鲁棒性和可解释性。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种分类模型的训练方法，应用于第一参与方设备，包括：
获取第二参与方设备中各样本特征数据所对应的分类标签；
分别对各所述样本特征数据对应的分类标签进行同态加密，得到各所述样本特征数据对应的加密标签；
发送各所述样本特征数据对应的加密标签至所述第二参与方设备，以使所述第二参与方设备基于所述加密标签及各所述样本特征数据的编码参数，分别对各所述样本特征数据进行特征编码，得到相应的特征编码值并返回；
分别对各所述特征编码值进行同态解密，得到相应的编码特征；
基于所述编码特征及相应的分类标签构建训练样本，对分类模型进行训练。
本申请实施例提供一种分类模型的训练装置，包括：
获取模块，用于获取第二参与方设备中各样本特征数据所对应的分类标签；
加密模块，用于分别对各所述样本特征数据对应的分类标签进行同态加密，得到各所述样本特征数据对应的加密标签；
发送模块，用于发送各所述样本特征数据对应的加密标签至所述第二参与方设备，以使所述第二参与方设备基于所述加密标签及各所述样本特征数据的编码参数，分别对各所述样本特征数据进行特征编码，得到相应的特征编码值并返回；
解密模块，用于分别对各所述特征编码值进行同态解密，得到相应的编码特征；
训练模块，用于基于所述编码特征及相应的分类标签构建训练样本，对分类模型进行训练。
本申请实施例还提供一种分类模型的训练方法，应用于第二参与方设备，包括：
接收第一参与方设备发送的各样本特征数据对应的加密标签；
其中，所述加密标签为，所述第一参与方设备基于各所述样本特征数据所对应的分类标签，对各所述样本特征数据对应的分类标签进行同态加密得到；
获取各所述样本特征数据的编码参数；
基于所述加密标签及各所述样本特征数据的编码参数，分别对各所述样本特征数据进行特征编码，得到相应的特征编码值；
发送得到的所述特征编码值至所述第一参与方设备，以使所述第一参与方设备对所述特征编码值进行同态解密得到相应的编码特征后，基于所述编码特征及相应的分类标签构建训练样本，对分类模型进行训练。
本申请实施例还提供一种分类模型的训练装置，包括：
接收模块，用于接收第一参与方设备发送的各样本特征数据对应的加密标签；其中，所述加密标签为，所述第一参与方设备基于各所述样本特征数据所对应的分类标签，对各所述样本特征数据对应的分类标签进行同态加密得到；
获取模块，用于获取各所述样本特征数据的编码参数；
编码模块，用于基于所述加密标签及各所述样本特征数据的编码参数，分别对各所述样本特征数据进行特征编码，得到相应的特征编码值；
发送模块，用于发送得到的所述特征编码值至所述第一参与方设备，以使所述第一参与方设备对所述特征编码值进行同态解密得到相应的编码特征后，基于所述编码特征及相应的分类标签构建训练样本，对分类模型进行训练。
本申请实施例提供一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的分类模型的训练方法。
本申请实施例提供一种计算机可读存储介质，其特征在于，存储有可执行指令，用于被处理器执行时，实现本申请实施例提供的分类模型的训练方法。
本申请实施例提供一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现本申请实施例提供的分类模型的训练方法。
本申请实施例具有以下有益效果：
与现有技术中采用各参与方对各自持有的样本数据进行加密并输入模型中进行特征编码，并以该编码方式进行模型训练的方式相比，本申请实施例通过对分类标签进行同态加密并发送加密标签至第二参与方设备，以使第二参与方设备结合加密标签对样本特征数据进行编码并返回特征编码值，第一参与方设备在对特征编码值进行解密后输入至分类模型进行训练，如此，利用同态加密对密文进行相应处理的结果与加密前的明文的处理结果的一致性，实现了在通过加密的方式对分类标签进行隐私保护的前提下结合分类标签对样本特征数据的编码，同时，基于各样本特征数据的编码参数对相应样本特征数据进行编码，从而对样本特征数据进行了转换，如此，实现了在保留样本特征数据的统计特性的同时防止了样本特征数据的泄露，从而能够保证基于最终得到的编码特征进行模型训练得到具有预期分类功能的分类模型，通过这种编码方式训练得到的分类模型的鲁棒性和可解释性得到了显著提升，克服了相关技术所采用的特征编码方式进行模型训练得到的分类模型的鲁棒性和可解释性不佳的缺陷。
附图说明
图1是本申请实施例提供的分类模型的训练系统的一个可选的结构示意图；
图2是本申请实施例提供的电子设备的一个可选的结构示意图；
图3是本申请实施例提供的分类模型的训练方法的一个可选的流程示意图；
图4是本申请实施例提供的分类模型的训练系统的一个可选的结构示意图；
图5是本申请实施例提供的分类模型的训练方法的一个可选的流程示意图；
图6是本申请实施例提供的分类模型的训练方法的一个可选的流程示意图；
图7是本申请实施例提供的分类模型的训练系统的一个可选的结构示意图；
图8是本申请实施例提供的分类模型的训练系统的一个可选的结构示意图；
图9是分类模型进行训练的步骤的一个可选的细化流程示意图；
图10是本申请实施例提供的分类模型的训练方法的一个可选的流程示意图；
图11是本申请实施例提供的分类模型的训练方法的一个可选的流程示意图；
图12是本申请实施例提供的分类模型的训练方法的一个可选的流程示意图；
图13是本申请实施例提供的分类模型的训练方法的一个可选的流程示意图；
图14是本申请实施例提供的分类模型的训练装置的一个可选的结构示意图；
图15是本申请实施例提供的分类模型的训练装置的一个可选的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
1)联邦机器学习(Federated machine learning/Federated Learning)，又名联邦学习，联合学习，联盟学习。联邦机器学习是一个机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。联邦学习作为分布式的机器学习范式，可以有效解决数据孤岛问题，让参与方在不共享数据的基础上联合建模，能从技术上打破数据孤岛，实现协作智能。
联邦学习(Federated Learning,a.k.a.Federated Machine Learning)可以分为三类：横向联邦学习(Horizontal Federated Learning)，纵向联邦学习(VerticalFederated Learning)，联邦迁移学习(Federated Transfer Learning)。
其中，纵向联邦学习中，样本的训练数据是在各个参与方中纵向划分的，这里，训练数据包括样本的特征数据和分类标签。例如，样本的特征数据由一个参与方提供，而样本的分类标签由另一个参与方提供。纵向联邦学习通过联合多个参与方的共同样本的不同训练数据进行联邦学习，适用于各参与方的样本标识(ID，Identity document)重叠较多，而样本的训练数据重叠较少的情况。
2)同态加密(HE，Homomorphic Encryption)是一种对称加密算法，由IBM的CraigGentry在2009年提出。同态加密的目的是找到一种加密算法，这种加密算法能够在密文上执行加法、乘法运算，使得对加密后的密文进行某种操作所得到的结果，恰好等于对加密前的明文进行预期操作后再加密得到的密文。同态加密有效保证了数据处理方可以直接对数据的密文进行相应的处理，而无法获知其所处理的数据明文信息。同态加密的这一特性使用户的数据和隐私可以得到相应的安全保障，因此，同态加密被应用于许多现实场景来保证数据的安全。
如果一个加密函数同时满足加法同态和乘法同态，称为全同态加密。使用这个加密函数可以完成各种加密后的运算(加减乘除、多项式求值、指数、对数、三角函数等)。
3)风控模型，是一种分类模型，用于基于输入的针对目标用户的用户特征数据，输出对应目标用户的风控评估结果。它可以采用神经网络模型实现，例如长短期记忆网络(LSTM，Long Short-Term Memory)等。
4)类别特征(Categorical Feature)，指只在有限选项内取值的特征。例如性别(男、女)、学历(高中、本科、硕士、博士)、成绩等级(A、B、C)等。
本申请实施例提供一种分类模型的训练方法、装置、电子设备和计算机可读存储介质，能够显著提升在联邦学习框架下训练得到的分类模型的鲁棒性和可解释性。
首先说明本申请实施例提供的分类模型的训练方法的实施场景，参见图1，图1是本申请实施例提供的分类模型的训练方法的一个可选的实施场景示意图，第一参与方设备200-1通过网络100连接第二参与方设备200-2，网络100可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输。其中，第一参与方设备200-1可以提供样本的特征数据，第二参与方设备200-2可以提供特征数据对应的分类标签，本申请实施例通过第一参与方设备200-1和第二参与方设备200-2的协同通过纵向联邦学习共同训练一个分类模型。
在一些实施例中，第一参与方设备200-1可以实施为终端或服务器，第二参与方设备200-2也可以实施为终端或服务器。其中，终端可以是笔记本电脑，平板电脑，台式计算机，智能手机，专用消息设备，便携式游戏设备，智能音箱，智能手表等，但并不局限于此。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。网络100可以是广域网或者局域网，又或者是二者的组合。第一参与方设备200-1以及第二参与方设备200-2可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例中不做限制。
第一参与方设备200-1，用于响应于针对分类模型的训练指令，获取与第二参与方设备中各样本特征数据所对应的分类标签，分别对各分类标签进行同态加密，得到相应的加密标签，发送各加密标签至第二参与方设备。
第二参与方设备200-2，用于计算分类标签的先验概率，基于加密标签、各第一样本特征数据的相邻特征数据、分类标签的先验概率及先验概率的权值，分别对各第一样本特征数据进行特征编码，并发送特征编码值和扩展编码特征至第一参与方设备。
第一参与方设备200-1，还用于分别对各特征编码值进行同态解密，得到相应的编码特征，将特征编码值和扩展编码特征输入至分类模型的预测层，通过预测层进行分类预测，得到相应的预测分类结果基于预测分类结果与相应的分类标签之间的差异，确定预测层的梯度信息，并基于预测层的梯度信息，更新预测层的参数，并发送预测层的梯度信息至第二参与方设备。
第二参与方设备200-2，还用于基于预测层的梯度信息计算特征提取层的梯度信息，并基于特征提取层的梯度信息，更新特征提取层的参数。
接下来对本申请实施例提供的用于实施分类模型的训练方法的电子设备进行说明，参见图2，图2是本申请实施例提供的电子设备的一个可选的结构示意图，图2所示的电子设备200包括：至少一个处理器210、存储器250、至少一个网络接口220和用户接口230。电子设备200中的各个组件通过总线系统240耦合在一起。可理解，总线系统240用于实现这些组件之间的连接通信。总线系统240除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统240。
处理器210可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口230包括使得能够呈现媒体内容的一个或多个输出装置231，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口230还包括一个或多个输入装置232，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器250可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器250可选地包括在物理位置上远离处理器210的一个或多个存储设备。
存储器250包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本申请实施例描述的存储器250旨在包括任意适合类型的存储器。
在一些实施例中，存储器250能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统251，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块252，用于经由一个或多个(有线或无线)网络接口220到达其他计算设备，示例性的网络接口220包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；
呈现模块253，用于经由一个或多个与用户接口230相关联的输出装置231(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；
输入处理模块254，用于对一个或多个来自一个或多个输入装置232之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本申请实施例提供的分类模型的训练装置可以采用软件方式实现，图2示出了存储在存储器250中的分类模型的训练装置255，其可以是程序和插件等形式的软件，包括以下软件模块：获取模块2551、加密模块2552、发送模块2553、解密模块2554和训练模块2555，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分，将在下文中说明各个模块的功能。
在另一些实施例中，本申请实施例提供的分类模型的训练装置可以采用软硬件结合的方式实现，作为示例，本申请实施例提供的分类模型的训练装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的分类模型的训练方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，ApplicationSpecific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable LogicDevice)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
基于上述对本申请实施例的分类模型的训练系统及电子设备的说明，下面说明本申请实施例提供的分类模型的训练方法，本申请实施例提供的分类模型的训练方法应用于第一参与方设备。参见图3，图3是本申请实施例提供的分类模型的训练方法的一个可选的流程示意图，将结合图3示出的步骤进行说明。
步骤101，第一参与方设备获取第二参与方设备中各样本特征数据所对应的分类标签。
参见图4，图4是本申请实施例提供的分类模型的训练系统的一个可选的结构示意图。这里，第一参与方设备为分类标签持有方，第二参与方设备为样本特征数据持有方。分类标签可以存储于第一参与方设备本地，还可以存储于与第一参与方设备通信连接的存储设备内。样本特征数据也可以存储于第二参与方设备本地，还可以存储于与第二参与方设备通信连接的存储设备内。在实际实施时，第一参与方设备可以根据分类标签在本地的存储地址，直接从本地调取对应的分类标签，还可以通过访问与第一参与方设备通信连接的存储设备，从存储设备中获取分类标签。
示例性地，本申请实施例所涉及分类模型可以为风控模型，相应的，本申请实施例所涉及的样本则可以为用户，样本特征数据则为相应的用户特征数据，分类标签可以是风控评估结果，风控评估结果例如可以包括信用评估通过和信用评估未通过。第一参与方为对用户进行信用评估的平台，例如可以为金融贷款平台(例如银行)，第二参与方可以包括多种类型的消费平台(例如，商场、超市、网购平台、游戏平台、手机应用商店等)。其中，用户特征数据可以包括但不限于用户的基础信息、业务数据、行为数据及设备信息等。基础信息包括但不限于用户的姓名、性别、年龄、学历、职业、手机号、身份证号、地址、收入数据(例如，年薪、月薪)等。业务数据包括多个业务场景下的数据，例如业务场景为贷款业务，业务数据则包括贷款数据及还款数据等，贷款数据包括贷款金额、贷款时间及贷款机构(例如，xx银行)等，还款数据包括还款金额、还款时间、还款机构及逾期还款数据(例如，逾期次数及逾期天数)等；例如业务场景为消费场景，业务数据则包括消费用途(例如，教育消费、购物消费、医疗消费、生活消费等)、消费金额、消费时间、消费机构(例如，商场、超市、便利店、网购店铺等)、消费方式(例如，信用卡消费或储蓄卡消费等)及消费时用户所处的地址等。行为数据例如可以是用户常用的支付机构(例如，微信支付、银行卡支付等)、用户常用的支付方式(例如，二维码支付方式、刷卡支付方式)及操作频率(例如，一段时间内实施支付操作的频率)等。设备信息包括用户常用设备的型号、实施用户行为时设备所处的地址等。
步骤102，分别对各所述样本特征数据对应的分类标签进行同态加密，得到各所述样本特征数据对应的加密标签。
步骤103，发送各所述样本特征数据对应的加密标签至所述第二参与方设备，以使所述第二参与方设备基于所述加密标签及各所述样本特征数据的编码参数，分别对各所述样本特征数据进行特征编码，得到相应的特征编码值并返回。
在实际实施时，第一参与方设备可以采用加法同态加密算法或者全同态加密算法对分类标签进行加密，得到加密后的加密标签，并保存加密时所使用的密钥。示例性地，对于分类标签y，第一参与方设备对该分类标签y进行加密后，得到对应的加密标签[y]。接着，第一参与方设备将各加密标签发送至第二参与方设备。第二参与方设备在获取到各样本特征数据对应的加密标签后，基于加密标签、样本特征数据的编码参数，对相应的样本特征数据进行编码，得到相应的特征编码值。这里，对样本特征数据的编码为结合分类标签的编码方式，编码参数用于对样本特征数据进行编码转换，以隐藏样本特征数据的原始特征值。示例性地，若样本特征数据为x，加密标签为[y]，编码参数为a，特征编码值为[TS]，则结合加密标签和编码参数对样本特征数据的具体编码方式例如可以为[TS]＝f(x,[y],a)，这里，f(x,[y],a)可以为任意函数，例如[TS]＝x*[y]+a。
需要说明的是，各样本特征数据所对应的编码参数可以完全一致，也可以不完全一致。本申请实施例优选各样本特征数据所对应的编码参数不完全一致，也即是说，在所有样本特征数据分别对应的编码参数中存在至少一个编码参数与其他编码参数不相同，通过不完全相同的编码参数对各样本特征数据进行编码，以加强对样本特征数据的隐私保护。
步骤104，分别对各所述特征编码值进行同态解密，得到相应的编码特征。
在实际实施时，第一参与方设备在接收到第二参与方设备返回的特征编码值后，利用保存的密钥，对各特征编码值进行同态解密。具体地，第一参与方设备对特征编码值中的加密标签进行同态解密，将加密标签还原为原始的分类标签，从而将携带有加密标签的特征编码值转换为携带有分类标签的编码特征。示例性地，若特征编码值[TS]＝x*[y]+a，第一参与方设备在对该特征编码值进行同态解密后，得到编码特征TS＝x*y+a。
步骤105，基于所述编码特征及相应的分类标签构建训练样本，对分类模型进行训练。
这里，第一参与方设备将编码特征和相应的分类标签作为一个训练样本，基于得到的各编码特征和相应的分类标签构建训练样本集，通过该训练样本集训练分类模型。具体地，参见图4，第一参与方设备将编码特征输入分类模型中，通过分类模型对该编码特征进行分类预测，得到预测分类结果。接着，第一参与方设备基于分类模型的损失函数计算预测分类结果和相应的分类标签的差异，基于该差异更新分类模型的模型参数。
本申请实施例通过对分类标签进行同态加密并发送加密标签至第二参与方设备，以使第二参与方设备结合加密标签对样本特征数据进行编码并返回特征编码值，第一参与方设备在对特征编码值进行解密后输入至分类模型进行训练，如此，利用同态加密对密文进行相应处理的结果与加密前的明文的处理结果的一致性，实现了在通过加密的方式对分类标签进行隐私保护的前提下结合分类标签对样本特征数据的编码，同时，基于各样本特征数据的编码参数对相应样本特征数据进行编码，从而对样本特征数据进行了转换，如此，实现了在保留样本特征数据的统计特性的同时防止了样本特征数据的泄露，从而能够保证基于最终得到的编码特征进行模型训练得到具有预期分类功能的分类模型，通过这种编码方式训练得到的分类模型的鲁棒性和可解释性得到了显著提升。
在一些实施例中，参见图5，图5是本申请实施例提供的分类模型的训练方法的一个可选的流程示意图。基于图3，步骤105之后，还可以执行：
步骤201，当所述分类模型未收敛时，第一参与方设备获取所述第二参与方设备发送的各所述样本特征数据所对应的新的特征编码值。其中，所述新的特征编码值为所述第二参与方设备更新所述样本特征数据的编码参数后，基于所述加密标签及更新后的编码参数，对相应的所述样本特征数据进行特征编码得到。
步骤202，分别对各所述新的特征编码值进行同态解密，得到相应的新的编码特征。
步骤203，基于得到的新的编码特征及相应的分类标签构建新的训练样本，并通过所述新的训练样本对所述分类模型进行训练。
在实际实施时，第一参与方设备可以基于样本特征数据对应的同一个特征编码值进行目标次数的迭代训练后，若分类模型未收敛，则继续接收第二参与方设备发送的各样本特征数据所对应的新的特征编码值，以基于新的特征编码值对分类模型进行目标次数的迭代训练。这里，目标次数可以为一次或者多次。通过不断更新编码参数对样本特征数据进行编码得到新的特征编码值，并根据新的特征编码值对分类模型进行训练，能够在多次重复使用样本特征数据进行模型训练时，不断改变样本特征数据的特征编码值，从而进一步保护样本特征数据。
需要说明的是，第一参与方设备可以在对分类模型执行目标次数的迭代训练后，生成获取指令发送至第二参与方设备，第二参与方设备在接收到该获取指令后，响应于该获取指令更新各样本特征数据的编码参数，并基于更新后的编码参数对各样本特征数据进行编码，得到新的特征编码值并返回，第一参与方设备则基于新的特征编码值进行相应的模型训练，直至分类模型收敛。在一些实施例中，第二参与方设备还可以实时或周期性地更新编码参数，并得到新的特征编码值发送给第一参与方设备，直至第一参与方设备向第二参与方设备发送停止编码指令，第二参与方设备则基于该停止编码指令停止对编码参数的更新及相应的特征编码操作。这里，第一参与方设备可以在确定分类模型收敛时，生成停止编码指令并发送给第二参与方设备。
在一些实施例中，所述样本特征数据的特征类型为类别特征。参见图6，图6是本申请实施例提供的分类模型的训练方法的一个可选的流程示意图。基于图3，步骤105之前，还可以执行：步骤301，第一参与方设备获取所述第二参与方设备发送的扩展特征。其中，所述扩展特征为所述第二参与方设备对非类别特征的样本特征数据添加噪声得到。相应的，步骤105还可以通过如下方式实现：第一参与方设备基于所述编码特征、所述扩展特征及相应的分类标签，构建所述训练样本，对分类模型进行训练。
本申请实施例中，样本的特征数据包括类别特征的样本特征数据和非类别特征的样本特征数据。这里，类别特征包括但不限于有用户的年龄、性别、学历、职业、住址等。非类别特征包括但不限于有用户的收入数据、消费数据、贷款数据等数值类型的特征。在实际实施时，参见图7，图7是本申请实施例提供的分类模型的训练系统的一个可选的结构示意图，第二参与方设备结合加密标签对类别特征的样本特征数据进行编码，将编码得到的特征编码值发送至第一参与方设备，并对非类别特征的样本特征数据添加噪声，将添加噪声得到的扩展特征发送至第一参与方设备。这里，第二参与方设备可以针对非类别特征的样本特征数据添加高斯噪声，得到非类别特征的样本特征数据对应的至少扩展特征。通过对非类别特征的样本特征数据添加高斯噪声，可以在保护样本特征数据隐私的情况下，还能够保证原始的样本特征数据和添加噪声后得到的扩展特征的距离相差不远，以保证基于扩展特征进行模型训练得到的分类模型的准确性。在一些实施例中，第二参与方设备还可以利用差分隐私技术添加噪声。
在实际实施时，第一参与方设备在接收到第一参与方设备对类别特征的样本特征数据进行编码得到的特征编码值、以及对非类别特征的样本特征数据添加噪声得到的扩展特征后，对特征编码值进行同态解密得到相应的编码特征，并将同属一个样本的编码特征和扩展特征输入分类模型中，通过分类模型结合编码特征和扩展特征对该样本进行分类预测，得到分类预测结果。这里，分类模型可以通过特征提取层对扩展特征进行编码，得到扩展编码特征，并对扩展编码特征和编码特征进行特征拼接，基于拼接得到的拼接特征对该样本进行分类预测。此后，第一参与方设备基于分类模型输出的预测分类结果和相应的分类标签，计算损失函数的值，基于损失函数的值更新分类模型的模型参数。
本申请实施例中，利用非类别特征能够直接进行数值比较的特性，直接通过第二参与方设备对其添加噪声发送至第一参与方设备，使得第一参与方设备结合类别特征的样本数据的特征编码值和扩展特征进行样本的分类预测，能够在节省对非类别特征的编码操作的同时对非类别特征进行保密。
在一些实施例中，参见图8，图8是本申请实施例提供的分类模型的训练系统的一个可选的结构示意图。所述样本特征数据的特征类型为类别特征，所述分类模型包括对应所述第一参与方设备的预测层及对应所述第二参与方设备的特征提取层。相应的，参见图9，图9是分类模型进行训练的步骤的一个可选的细化流程示意图，基于图3，所述对分类模型进行训练，还可以通过如下方式实现：
步骤401，第一参与方设备获取所述第二参与方设备发送的扩展编码特征。其中，所述扩展编码特征为所述第二参与方设备对特征编码添加噪声得到，所述特征编码为所述第二参与方设备通过所述分类模型的特征提取层，对非类别特征的样本特征数据进行编码得到。
这里，第二参与方设备将非类别特征的样本特征数据输入至本地的特征提取层，利用该特征提取层对非类别特征的样本特征数据进行特征提取，得到特征编码，对特征编码添加噪声，将得到的扩展编码特征发送至第一参与方设备。
步骤402，通过所述分类模型的预测层，基于所述编码特征及所述扩展编码特征进行分类预测，得到预测分类结果。
这里，第一参与方设备可以通过分类模型的预测层对编码特征和扩展编码特征进行特征拼接，基于拼接得到的拼接特征对相应的样本进行分类预测。
步骤403，基于所述预测分类结果与相应的分类标签之间的差异，确定所述预测层的梯度信息，并基于所述预测层的梯度信息，更新所述预测层的参数。
在实际实施时，第一参与方设备在获得分类模型输出的预测分类结果后，通过分类模型的损失函数计算预测分类结果与相应的分类标签之间的差异，根据该差异计算预测层的梯度信息，然后基于预测层的梯度信息更新预测层的参数。
步骤404，将所述预测层的梯度信息发送至所述第二参与方设备，以使所述第二参与方设备基于所述预测层的梯度信息计算所述特征提取层的梯度信息，并基于所述特征提取层的梯度信息，更新所述特征提取层的参数。
在实际实施时，第一参与方设备可以将预测层的梯度信息直接发送至第二参与方设备，第二参与方设备则根据预测层的梯度信息和非类别特征的样本特征数据计算特征提取层的梯度信息，从而基于该梯度信息更新分类模型的特征提取层的参数。在一些实施例中，第一参与方设备还可以根据预测层的梯度信息、编码特征及扩展编码特征，计算梯度因子，将该梯度因子发送至第二参与方设备，以使第二参与方设备根据该梯度因子和非类别特征的样本特征数据，计算特征提取层的梯度信息，以基于该梯度信息更新特征提取层的参数。至此，完成对分类模型的一次迭代训练。通过对分类模型的多次迭代训练，当分类模型达到收敛条件时，完成对分类模型的训练。需要说明的是，在迭代训练过程中，第二参与方设备可以不断更新编码参数以对类别特征的样本特征数据进行更新，以基于新的特征编码值对分类模型进行训练，这里，可以在每次迭代均更新一次编码参数，还可以是迭代目标次数更新一次编码参数，或者迭代随机次数，更新一次编码参数等等。通过这种方式加强对样本特征数据的隐私保护。
在一些实施例中，所述样本特征数据的特征类型为类别特征，所述类别特征对应有至少两种特征类别。参见图10，图10是本申请实施例提供的分类模型的训练方法的一个可选的流程示意图。基于图3，还可以执行：
步骤501，第一参与方设备获取所述第二参与方设备发送的待分类样本的特征编码值。其中，所述待分类样本的特征编码值为，所述第二参与方设备将所述待分类样本的特征数据所属的特征类别作为索引，查询特征类别与相应的特征编码值的对应关系得到。
这里，类别特征对应有至少两种特征类别，例如对于年龄这一类别特征，其对应有“男”和“女”等两种特征类别，对于学历这一类别特征，其对应有“本科”、“中专”、“硕士”、“博士”等多种特征类别，一个类别特征的特征数据则所属为其中一种特征类别。待分类样本可以为任意待信用评估的用户，第二参与方持有待分类样本的特征数据。需要说明的是，在对分类模型进行训练的过程中，第二参与方设备在对类别特征的样本特征数据进行特征编码时，还将样本特征数据与相应的特征编码值进行存储，以得到存储的特征类别与相应的特征编码值的对应关系。应当理解的是，第二参与方设备还可以将该对应关系存储至信任的外部存储设备中，以节省第二参与方设备的存储空间。
在实际实施时，第二参与方设备将待分类样本的特征数据所属的特征类别作为索引，查询得到相应的特征编码值后，将查询得到的特征编码值发送至第一参与方设备。
步骤502，对所述待分类样本的特征编码值进行同态解密，得到所述待分类样本的编码特征。
步骤503，通过所述分类模型，基于所述待分类样本的编码特征对所述待分类样本进行分类预测，得到相应的分类结果。
应当理解的是，待分类样本的特征数据对应的特征编码值是在分类模型训练过程中存储，其是结合了同态加密的分类标签进行编码得到，这里，第一参与方设备则直接对待分类样本对应的特征编码值进行同态解密，得到相应的编码特征。接着，第一参与方设备将待分类样本的编码特征输入至分类模型中，通过训练好的分类模型基于该编码特征对待分类样本进行分类预测，得到待分类样本的分类结果。通过本申请实施例的分类方法，能够在不泄露待分类样本的特征数据的前提下，完成对待分类样本的分类预测。
在一些实施例中，所述样本特征数据的特征类型为类别特征，所述类别特征对应有至少两种特征类别，一种特征类别对应有至少两个特征编码值。基于图3，还可以执行：第一参与方设备获取所述第二参与方设备发送的待分类样本的特征编码值；其中，所述待分类样本的特征编码值为，所述第二参与方设备将所述待分类样本的特征数据所属的特征类别作为索引，查询特征类别与相应的特征编码值的对应关系，从查询得到的至少两个特征编码值中选取随机数量的特征编码值，并对选取的所述随机数量的特征编码值计算平均值得到；对所述待分类样本的特征编码值进行同态解密，得到所述待分类样本的编码特征；通过所述分类模型，基于所述待分类样本的编码特征对所述待分类样本进行分类预测，得到相应的分类结果。
在实际实施时，分类模型的训练过程中可能对编码参数进行了至少一次更新，则对于一个样本，其样本特征数据所对应的特征编码值可能为至少两个，也即是说，第二参与方设备存储的特征类别与相应的特征编码值的对应关系中，可能一个特征类别对应有至少两个特征编码值。在利用分类模型对待分类样本进行分类预测时，由于待分类样本的特征数据所对应的特征编码值不唯一，因此，本申请实施例中，第二参与方设备在基于待分类样本的特征数据所属的特征类别作为索引进行查询时，将查询得到的多个特征编码值的平均值作为该样本所对应的唯一的特征编码值。这里，平均值可以是算术平均值，还可以是平方平均值，或者是其他形式的平均值。在一些实施例中，第二参与方设备还可以基于其他规则，根据待分类样本对应的多个特征编码值，确定待分类样本的唯一的特征编码值，以将该特征编码值发送至第一参与方设备，使得第一参与方设备基于该唯一的特征编码值，对该待分类样本进行分类预测。
在一些实施例中，第二参与方设备在查询到待分类样本对应的至少两个特征编码值时，还从多个特征编码值中取随机数量的特征编码值，基于随机数量的特征编码值确定待分类样本的唯一的特征编码值。通过取随机数量的特征编码值来确定最终的待分类样本的唯一特征编码值，能够进一步加强对待分类样本的特征数据的隐私保护。
下面继续说明本申请实施例提供的分类模型的训练方法，本申请实施例提供的分类模型的训练方法应用于第二参与方设备。参见图11，图11是本申请实施例提供的分类模型的训练方法的一个可选的流程示意图，将结合图11示出的步骤进行说明。
步骤1101，第二参与方设备接收第一参与方设备发送的各样本特征数据对应的加密标签。其中，所述加密标签为，所述第一参与方设备基于各所述样本特征数据所对应的分类标签，对各所述样本特征数据对应的分类标签进行同态加密得到。
步骤1102，获取各所述样本特征数据的编码参数。
步骤1103，基于所述加密标签及各所述样本特征数据的编码参数，分别对各所述样本特征数据进行特征编码，得到相应的特征编码值。
这里，编码参数可以是预先设置，还可以是随机取值。在一些实施例中，所述编码参数包括各所述样本特征数据的排序。参见图12，图12是本申请实施例提供的分类模型的训练方法的一个可选的流程示意图，基于图11，步骤1103还可以通过如下方式实现：
步骤1201，第二参与方设备基于各所述样本特征数据的排序，分别确定与各所述样本特征数据相邻的相邻特征数据。
步骤1202，基于所述加密标签及各所述样本特征数据的相邻特征数据，分别对各所述样本特征数据进行特征编码，得到相应的特征编码值。
这里，各样本特征数据为随机排序，第二参与方设备基于各样本特征数据在排序中的序号，确定与该序号相邻的相邻序号，基于相邻序号确定样本特征数据的相邻特征数据。第二参与方设备还可以直接根据样本特征数据，查找该样本特征数据在排序好的各样本特征数据中的上一个样本特征数据或者下一个样本特征数据。本申请实施例中，第二参与方设备确定的某一个样本特征数据的相邻特征数据可以包括该样本特征数据的上一个样本特征数据、或者样本特征数据下一个样本特征数据中的至少一个。例如，样本的数量为3个，当前排序的各样本特征数据分别为x1、x2和x3，若相邻特征数据为上一个样本特征数据，则三者对应的相邻特征数据则分别为x3、x1、x2，若相邻特征数据为下一个样本特征数据，则三者对应的相邻特征数据则分别为x2、x3、x1，若相邻特征数据包括上一个样本特征数据和下一个样本特征数据，则三者对应的相邻特征数据则分别为“x3和x2”、“x1和x3”、“x2和x1”。由于各样本特征数据对于各样本特征数据的排序对于第一参与方设备未知，通过结合随机排序的样本特征数据的相邻特征数据对各样本特征数据进行编码，加强了对样本特征数据的保密性。
在一些实施例中，所述分类标签的数量为至少两个，所述至少两个分类标签对应的标签类别为至少两种，所述编码参数还包括各所述标签类别所对应的分类标签在所有分类标签中的数量占比。相应的，基于图12，步骤1202，还可以通过如下方式实现：第二参与方设备确定所述加密标签的总数量及各所述标签类别所对应的加密标签的数量；基于所述加密标签的总数量及各所述标签类别所对应的加密标签的数量，确定各所述标签类别所对应的分类标签在所有分类标签中的数量占比；基于所述数量占比、所述加密标签及各所述样本特征数据的相邻特征数据，分别对各所述样本特征数据进行特征编码。
这里，各标签类别所对应的分类标签在所有分类标签中的数量占比即为该了标签类别的先验概率。在实际实施时，第二参与方设备基于接收到的加密标签对各标签类别进行数量占比的计算。这里，由于加密标签是基于加法同态加密或者全同态加密，对加密标签的加法统计仍然符合加密前的分类标签的加法统计结果，因而，第二参与方设备可以通过直接对各标签类别的加密标签进行加法运算，得到各标签类别的加密标签的数量，并对所有加密标签进行加法运算，得到分类标签的总数量。从而计算得到各标签类别的数量占比。本申请实施例中，第二参与方设备还结合各分类标签的数量占比来对样本特征数据进行编码。示例性地，第二参与方设备对样本特征数据x通过如下公式(1)进行编码：
其中，为第k个样本特征数据的特征编码值，/>为第k个样本特征数据，[yj]为第j个分类标签，p为一种标签类别的分类标签在所有分类标签中的数量占比，a为该数量占比的权值，k，j，i均为大于等于1的正整数，0≤p≤1，0≤a≤1。
这里，第二参与方设备基于当前样本特征数据的上一个样本特征数据及上一个样本特征数据对应的分类标签、当前样本特征数据的分类标签、各标签类别的分类标签在所有分类标签中的数量占比，该数量占比的权值，对当前样本特征数据进行编码，得到当前样本特征数据的特征编码值。通过这种编码方式，能够保留一定的样本特征数据的分布规律，还能够保护样本特征数据不被泄露。
步骤1104，发送得到的所述特征编码值至所述第一参与方设备，以使所述第一参与方设备对所述特征编码值进行同态解密得到相应的编码特征后，基于所述编码特征及相应的分类标签构建训练样本，对分类模型进行训练。
在一些实施例中，基于图12，步骤1104之后，还可以执行：第二参与方设备重新对各所述样本特征数据进行排序，得到各所述样本特征数据的新的排序；基于所述新的排序，分别重新确定与各所述样本特征数据相邻的相邻特征数据；基于各重新确定的相邻特征数据，分别更新各所述样本特征数据的编码参数；基于所述加密标签及各所述样本特征数据对应的更新后的编码参数，分别对各所述样本特征数据进行特征编码，得到相应的新的特征编码值；发送所述新的特征编码值至所述第一参与方设备，以使所述第一参与方设备对所述新的特征编码值进行同态解密得到相应的新的编码特征后，基于所述新的编码特征及相应的分类标签构建训练样本，对分类模型进行训练。
在实际实施时，第二参与方设备可以基于第一参与方设备的获取指令，进行一次样本特征数据的重排序，还可以是自动对样本特征数据进行重排序，不断更新编码参数以对各样本特征数据重新进行特征编码，得到新的特征编码值发送至第一设备，当接收到第一参与方设备的停止编码指令时，停止对编码参数的更新和对样本特征数据的重新编码。这里，关于获取指令或停止编码指令的获取时机参照上述应用于第一参与方设备的分类模型的训练方法的实施例，在此不再赘述。
本申请实施例中，在分类模型的迭代训练过程中，通过不断打乱样本特征数据的排序，从而更新编码参数并重新根据更新后的编码参数对各样本特征数据进行编码，使得样本特征数据对应非唯一确定的特征编码值，使得第一参与方设备拿到特征编码值也难以推测得到样本特征数据，从而加强了对样本特征数据的保密保护，此外，通过打乱样本特征数据的排序，使得模型并非每一次迭代训练均基于相同排序的样本特征数据，从而避免了放大某固定排序所带来的影响，降低了模型的过拟合风险。
在一些实施例中，所述编码参数包括各所述样本特征数据的权值。基于图11，步骤1103还可以通过如下方式实现：第二参与方设备基于所述加密标签、各所述样本特征数据的权值及各所述样本特征数据的编码参数，分别对各所述样本特征数据进行特征编码，得到相应的特征编码值。
这里，各样本特征数据的权值不完全一致，通过对各样本特征数据设定不完全相同权值，并基于权值对样本特征数据进行编码，使得编码得到的特征编码值不具有线性规律，从而加大了第一参与方设备破解样本特征数据的难度。示例性地，第二参与方设备可以以任意的方式结合权值和样本特征数据及相应的加密标签，对样本特征数据进行编码，例如特征编码值[TS]＝a*x*[y]。这里，a为样本特征数据x的权值。在一些实施例中，示例性地，各样本特征数据所对应的权值可以为分类标签的数值占比的权值，也即公式(1)中的a。
在一些实施例中，基于图11，步骤1104之后，还可以执行：第二参与方设备更新各所述样本特征数据的权值；基于更新后的各所述样本特征数据的权值，分别更新各所述样本特征数据的编码参数；基于所述加密标签及各所述样本特征数据对应的更新后的编码参数，分别对各所述样本特征数据进行特征编码，得到相应的新的特征编码值；发送所述新的特征编码值至所述第一参与方设备，以使所述第一参与方设备对所述新的特征编码值进行同态解密得到相应的新的编码特征后，基于所述新的编码特征及相应的分类标签构建训练样本，对分类模型进行训练。
这里，第二参与方设备可以通过更新样本特征数据的权值来更新编码参数。例如，通过更新[TS]＝a*x*[y]中的a来更新编码参数，从而基于更新后的a编码得到新的特征编码值[TS]。在一些实施例中，还可以更新分类标签的先验概率的权值，例如公式(1)中的a，通过更新分类标签的先验概率的权值，来改变编码参数得到新的特征编码值。在一些实施例中，第二参与方设备还可以在更新各样本特征数据的同时，对各样本特征数据进行重新排序，从而基于重新排序后的各样本特征数据，以及更新后的权值，对各样本特征数据进行编码，得到新的特征编码值。
本申请上述实施例中，通过在分类模型的迭代训练过程中不断基于一种或多组方式更新编码参数，并重新进行样本特征数据的编码，使得各样本特征数据所对应的特征编码值不唯一，且不具备可推导的规律，使得对样本特征数据的保密加强。
接下来继续对本申请实施例提供的分类模型的训练方法进行介绍，图13是本申请实施例提供的分类模型的训练方法的一个可选的流程示意图，参见图13，本申请实施例提供的分类模型的训练方法由第一参与方设备、第二参与方设备协同实施。其中，第一参与方设备提供样本的特征数据，第二参与方设备提供特征数据对应的分类标签。第一参与方设备与第二参与方设备均可以是服务器，也可以是终端。参见图13，图13为本申请实施例提供的分类模型的训练方法的一个可选的流程示意图，本申请实施例提供的分类模型的训练方法包括：
步骤1301，第一参与方设备响应于针对分类模型的训练指令，获取与第二参与方设备中各样本特征数据所对应的分类标签。
这里，样本特征数据包括类别特征的第一样本特征数据以及非类别特征的第二样本特征数据。训练指令可以是由用户通过触发第一参与方设备的输入设备发出，还可以是由其他设备发送，还可以是基于一定的触发条件自动触发，例如触发条件为预设的模型训练时间到达。
步骤1302，第一参与方设备分别对各分类标签进行同态加密，得到相应的加密标签。
步骤1303，第一参与方设备发送各加密标签至第二参与方设备。
步骤1304，第二参与方设备计算分类标签的先验概率。
这里，分类标签的先验概率为分类标签所属的标签类别的分类标签数量占所有分类标签总数量的占比。本申请实施例中，分类模型为二分类的风控模型，分类标签包括信用评估通过和信用评估未通过等两种标签类别。这里，第二参与方设备则可以计算得到信用评估通过的先验概率和信用评估未通过的先验概率。
步骤1305，第二参与方设备基于加密标签、各第一样本特征数据的相邻特征数据、分类标签的先验概率及先验概率的权值，分别对各第一样本特征数据进行特征编码。
在实际实施时，第二参与方设备可以采用上述的公式(1)对各第一样本特征数据进行编码，这里，不再赘述对第一样本特征数据的编码方式和编码过程。
步骤1306，第二参与方设备通过分类模型的特征提取层，对第二样本特征数据进行编码，并对编码得到的特征编码添加噪声，得到扩展编码特征。
在实际实施时，分类模型包括输入层、隐含层和输出层。这里的特征提取层对应为分类模型的输入层。分类模型的隐含层和输出层共同对应为设置于第一参与方设备内的预测层，用于根据编码特征预测分类概率并输出分类结果
步骤1307，第二参与方设备发送特征编码值和扩展编码特征至第一参与方设备。
步骤1308，第一参与方设备分别对各特征编码值进行同态解密，得到相应的编码特征。
步骤1309，第一参与方设备将特征编码值和扩展编码特征输入至分类模型的预测层，通过预测层进行分类预测，得到相应的预测分类结果。
步骤1310，第一参与方设备基于预测分类结果与相应的分类标签之间的差异，确定预测层的梯度信息，并基于预测层的梯度信息，更新预测层的参数。
步骤1311，第一参与方设备发送预测层的梯度信息至第二参与方设备。
步骤1312，第二参与方设备基于预测层的梯度信息计算特征提取层的梯度信息，并基于特征提取层的梯度信息，更新特征提取层的参数。
步骤1313，当未接收到停止编码指令时，第二参与方设备执行重新对各第一样本特征数据进行排序或更新先验概率的权值中的至少之一，以重新对各第一样本特征数据进行特征编码，得到相应的新的特征编码。
步骤1314，第二参与方设备发送新的特征编码至第一参与方设备。
步骤1315，第一参与方设备对新的特征编码进行同态解密，并基于同态解密得到的新的编码特征及扩展编码特征对分类模型进行训练。
步骤1316，当分类模型收敛时，第一参与方设备生成并发送停止编码指令至第二参与方设备。
这里，第一参与方设备通过每次迭代训练后计算分类模型的损失函数，根据损失函数的值判断损失函数是否达到收敛条件，若达到，则生成停止编码指令发送至第二参与方设备。第二参与方设备接收到停止编码指令后，响应于停止编码指令，停止对各样本特征数据重新编码。至此，第一参与方设备和第二参与方设备对分类模型的协同训练过程结束。
步骤1317，第一参与方设备响应于针对目标用户的分类指令，发送目标用户的特征数据的获取请求至第二参与方设备。
步骤1318，第二参与方设备响应于目标用户的特征数据的获取请求，获取并发送目标用户的特征编码值和扩展编码特征至第一参与方设备。
这里，第二参与方设备将目标用户的类别特征所属的特征类别作为索引，查询特征类别与特征编码值的对应关系，获得目标用户的特征编码值，并将目标用户的非类别特征的特征数据输入至分类模型的特征提取层，得到目标用户的非类别特征的特征编码，并对特征编码添加噪声得到目标用户的扩展编码特征。
步骤1319，第一参与设备对特征编码值进行同态解密得到目标用户的编码特征，并将目标用户的编码特征和扩展编码特征输入至预测层进行分类预测，得到目标用户的分类结果。
本申请实施例通过第一参与方设备对分类标签进行同态加密并发送加密标签至第二参与方设备，第二参与方设备结合加密标签对样本特征数据进行编码并返回特征编码值，第一参与方设备在对特征编码值进行解密后输入至分类模型进行训练，如此，利用同态加密对密文进行相应处理的结果与加密前的明文的处理结果的一致性，实现了在通过加密的方式对分类标签进行隐私保护的前提下结合分类标签对样本特征数据的编码，同时，基于各样本特征数据的编码参数对相应样本特征数据进行编码，从而对样本特征数据进行了转换，如此，实现了在保留样本特征数据的统计特性的同时防止了样本特征数据的泄露，并提升了训练得到的分类模型的鲁棒性和可解释性。
下面继续说明本申请实施例提供的分类模型的训练装置255实施为软件模块的示例性结构，在一些实施例中，参见图14，图14是本申请实施例提供的分类模型的训练装置的一个可选的结构示意图，存储在存储器240的分类模型的训练装置255中的软件模块可以包括：
获取模块2551，用于获取第二参与方设备中各样本特征数据所对应的分类标签；
加密模块2552，用于分别对各所述样本特征数据对应的分类标签进行同态加密，得到各所述样本特征数据对应的加密标签；
发送模块2553，用于发送各所述样本特征数据对应的加密标签至所述第二参与方设备，以使所述第二参与方设备基于所述加密标签及各所述样本特征数据的编码参数，分别对各所述样本特征数据进行特征编码，得到相应的特征编码值并返回；
解密模块2554，用于分别对各所述特征编码值进行同态解密，得到相应的编码特征；
训练模块2555，用于基于所述编码特征及相应的分类标签构建训练样本，对分类模型进行训练。
在一些实施例中，所述获取模块2551，还用于当所述分类模型未收敛时，获取所述第二参与方设备发送的各所述样本特征数据所对应的新的特征编码值；其中，所述新的特征编码值为所述第二参与方设备更新所述样本特征数据的编码参数后，基于所述加密标签及更新后的编码参数，对相应的所述样本特征数据进行特征编码得到；所述解密模块2554，还用于分别对各所述新的特征编码值进行同态解密，得到相应的新的编码特征；所述训练模块2555，还用于基于得到的新的编码特征及相应的分类标签构建新的训练样本，并通过所述新的训练样本对所述分类模型进行训练。
在一些实施例中，所述样本特征数据的特征类型为类别特征，所述获取模块2551，还用于获取所述第二参与方设备发送的扩展特征；其中，所述扩展特征为所述第二参与方设备对非类别特征的样本特征数据添加噪声得到；所述训练模块2555，还用于基于所述编码特征、所述扩展特征及相应的分类标签，构建所述训练样本。
在一些实施例中，所述样本特征数据的特征类型为类别特征，所述分类模型包括对应所述第一参与方设备的预测层及对应所述第二参与方设备的特征提取层，所述训练模块2555，还用于获取所述第二参与方设备发送的扩展编码特征；其中，所述扩展编码特征为所述第二参与方设备对特征编码添加噪声得到，所述特征编码为所述第二参与方设备通过所述分类模型的特征提取层，对非类别特征的样本特征数据进行编码得到；通过所述分类模型的预测层，基于所述编码特征及所述扩展编码特征进行分类预测，得到预测分类结果；基于所述预测分类结果与相应的分类标签之间的差异，确定所述预测层的梯度信息，并基于所述预测层的梯度信息，更新所述预测层的参数；将所述预测层的梯度信息发送至所述第二参与方设备，以使所述第二参与方设备基于所述预测层的梯度信息计算所述特征提取层的梯度信息，并基于所述特征提取层的梯度信息，更新所述特征提取层的参数。
在一些实施例中，所述样本特征数据的特征类型为类别特征，所述类别特征对应有至少两种特征类别，所述获取模块2551，还用于获取所述第二参与方设备发送的待分类样本的特征编码值；其中，所述待分类样本的特征编码值为，所述第二参与方设备将所述待分类样本的特征数据所属的特征类别作为索引，查询特征类别与相应的特征编码值的对应关系得到；所述解密模块2554，还用于对所述待分类样本的特征编码值进行同态解密，得到所述待分类样本的编码特征；所述分类模型的训练装置255还包括：分类模块，用于通过所述分类模型，基于所述待分类样本的编码特征对所述待分类样本进行分类预测，得到相应的分类结果。
在一些实施例中，所述样本特征数据的特征类型为类别特征，所述类别特征对应有至少两种特征类别，一种特征类别对应有至少两个特征编码值，所述获取模块2551，还用于获取所述第二参与方设备发送的待分类样本的特征编码值；其中，所述待分类样本的特征编码值为，所述第二参与方设备将所述待分类样本的特征数据所属的特征类别作为索引，查询特征类别与相应的特征编码值的对应关系，从查询得到的至少两个特征编码值中选取随机数量的特征编码值，并对选取的所述随机数量的特征编码值计算平均值得到；所述解密模块2554，还用于对所述待分类样本的特征编码值进行同态解密，得到所述待分类样本的编码特征；所述分类模块，还用于通过所述分类模型，基于所述待分类样本的编码特征对所述待分类样本进行分类预测，得到相应的分类结果。
下面继续说明本申请实施例提供的分类模型的训练装置实施为软件模块的示例性结构，参见图15，图15是本申请实施例提供的分类模型的训练装置的一个可选的结构示意图，如图15所示，本申请实施例提供的分类模型的训练装置15包括：
接收模块1501，用于接收第一参与方设备发送的各样本特征数据对应的加密标签；其中，所述加密标签为，所述第一参与方设备基于各所述样本特征数据所对应的分类标签，对各所述样本特征数据对应的分类标签进行同态加密得到；
获取模块1502，用于获取各所述样本特征数据的编码参数；
编码模块1503，用于基于所述加密标签及各所述样本特征数据的编码参数，分别对各所述样本特征数据进行特征编码，得到相应的特征编码值；
发送模块1504，用于发送得到的所述特征编码值至所述第一参与方设备，以使所述第一参与方设备对所述特征编码值进行同态解密得到相应的编码特征后，基于所述编码特征及相应的分类标签构建训练样本，对分类模型进行训练。
在一些实施例中，所述编码参数包括各所述样本特征数据的排序，所述编码模块1503，还用于基于各所述样本特征数据的排序，分别确定与各所述样本特征数据相邻的相邻特征数据；基于所述加密标签及各所述样本特征数据的相邻特征数据，分别对各所述样本特征数据进行特征编码。
在一些实施例中，述分类标签的数量为至少两个，所述至少两个分类标签对应的标签类别为至少两种，所述编码参数还包括各所述标签类别所对应的分类标签在所有分类标签中的数量占比；所述编码模块1503，还用于确定所述加密标签的总数量及各所述标签类别所对应的加密标签的数量；基于所述加密标签的总数量及各所述标签类别所对应的加密标签的数量，确定各所述标签类别所对应的分类标签在所有分类标签中的数量占比；基于所述数量占比、所述加密标签及各所述样本特征数据的相邻特征数据，分别对各所述样本特征数据进行特征编码。
在一些实施例中，所述编码模块1503，还用于重新对各所述样本特征数据进行排序，得到各所述样本特征数据的新的排序；基于所述新的排序，分别重新确定与各所述样本特征数据相邻的相邻特征数据；基于各重新确定的相邻特征数据，分别更新各所述样本特征数据的编码参数；基于所述加密标签及各所述样本特征数据对应的更新后的编码参数，分别对各所述样本特征数据进行特征编码，得到相应的新的特征编码值；所述发送模块1504，还用于发送所述新的特征编码值至所述第一参与方设备，以使所述第一参与方设备对所述新的特征编码值进行同态解密得到相应的新的编码特征后，基于所述新的编码特征及相应的分类标签构建训练样本，对分类模型进行训练。
在一些实施例中，所述编码参数包括各所述样本特征数据的权值，所述编码模块1503，还用于基于所述加密标签、各所述样本特征数据的权值及各所述样本特征数据的编码参数，分别对各所述样本特征数据进行特征编码。
在一些实施例中，所述编码模块1503，还用于更新各所述样本特征数据的权值；基于更新后的各所述样本特征数据的权值，分别更新各所述样本特征数据的编码参数；基于所述加密标签及各所述样本特征数据对应的更新后的编码参数，分别对各所述样本特征数据进行特征编码，得到相应的新的特征编码值；所述发送模块1504，还用于发送所述新的特征编码值至所述第一参与方设备，以使所述第一参与方设备对所述新的特征编码值进行同态解密得到相应的新的编码特征后，基于所述新的编码特征及相应的分类标签构建训练样本，对分类模型进行训练。
需要说明的是，本申请实施例装置的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果，因此不做赘述。
本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现本申请实施例提供的分类模型的训练方法。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的方法，例如，图3示出的分类模型的训练方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述，通过本申请实施例能够显著提升在联邦学习框架下训练得到的分类模型的鲁棒性和可解释性。
以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (15)

1.一种分类模型的训练方法，其特征在于，应用于第一参与方设备，所述方法包括：
获取第二参与方设备中各样本特征数据所对应的分类标签；
分别对各所述样本特征数据对应的分类标签进行同态加密，得到各所述样本特征数据对应的加密标签；
发送各所述样本特征数据对应的加密标签至所述第二参与方设备，以使所述第二参与方设备基于所述加密标签及各所述样本特征数据的编码参数，分别对各所述样本特征数据进行特征编码，得到相应的特征编码值并返回；
分别对各所述特征编码值进行同态解密，得到相应的编码特征；
基于所述编码特征及相应的分类标签构建训练样本，对分类模型进行训练；
所述样本特征数据的特征类型为类别特征，所述分类模型包括对应所述第一参与方设备的预测层及对应所述第二参与方设备的特征提取层，所述对分类模型进行训练，包括：
获取所述第二参与方设备发送的扩展编码特征；其中，所述扩展编码特征为所述第二参与方设备对特征编码添加噪声得到，所述特征编码为所述第二参与方设备通过所述分类模型的特征提取层，对非类别特征的样本特征数据进行编码得到；
通过所述分类模型的预测层，基于所述编码特征及所述扩展编码特征进行分类预测，得到预测分类结果；
基于所述预测分类结果与相应的分类标签之间的差异，确定所述预测层的梯度信息，并基于所述预测层的梯度信息，更新所述预测层的参数；
将所述预测层的梯度信息发送至所述第二参与方设备，以使所述第二参与方设备基于所述预测层的梯度信息计算所述特征提取层的梯度信息，并基于所述特征提取层的梯度信息，更新所述特征提取层的参数。
2.根据权利要求1所述的方法，其特征在于，所述对分类模型进行训练之后，所述方法还包括：
当所述分类模型未收敛时，获取所述第二参与方设备发送的各所述样本特征数据所对应的新的特征编码值；
其中，所述新的特征编码值为所述第二参与方设备更新所述样本特征数据的编码参数后，基于所述加密标签及更新后的编码参数，对相应的所述样本特征数据进行特征编码得到；
分别对各所述新的特征编码值进行同态解密，得到相应的新的编码特征；
基于得到的新的编码特征及相应的分类标签构建新的训练样本，并通过所述新的训练样本对所述分类模型进行训练。
3.根据权利要求1所述的方法，其特征在于，所述样本特征数据的特征类型为类别特征，所述基于所述编码特征及相应的分类标签构建训练样本之前，所述方法还包括：
获取所述第二参与方设备发送的扩展特征；其中，所述扩展特征为所述第二参与方设备对非类别特征的样本特征数据添加噪声得到；
所述基于所述编码特征及相应的分类标签构建训练样本，包括：
基于所述编码特征、所述扩展特征及相应的分类标签，构建所述训练样本。
4.根据权利要求1所述的方法，其特征在于，所述样本特征数据的特征类型为类别特征，所述类别特征对应有至少两种特征类别，所述方法还包括：
获取所述第二参与方设备发送的待分类样本的特征编码值；
其中，所述待分类样本的特征编码值为，所述第二参与方设备将所述待分类样本的特征数据所属的特征类别作为索引，查询特征类别与相应的特征编码值的对应关系得到；
对所述待分类样本的特征编码值进行同态解密，得到所述待分类样本的编码特征；
通过所述分类模型，基于所述待分类样本的编码特征对所述待分类样本进行分类预测，得到相应的分类结果。
5.根据权利要求1所述的方法，其特征在于，所述样本特征数据的特征类型为类别特征，所述类别特征对应有至少两种特征类别，一种特征类别对应有至少两个特征编码值，所述方法还包括：
获取所述第二参与方设备发送的待分类样本的特征编码值；
其中，所述待分类样本的特征编码值为，所述第二参与方设备将所述待分类样本的特征数据所属的特征类别作为索引，查询特征类别与相应的特征编码值的对应关系，从查询得到的至少两个特征编码值中选取随机数量的特征编码值，并对选取的所述随机数量的特征编码值计算平均值得到；
对所述待分类样本的特征编码值进行同态解密，得到所述待分类样本的编码特征；
通过所述分类模型，基于所述待分类样本的编码特征对所述待分类样本进行分类预测，得到相应的分类结果。
6.一种分类模型的训练方法，其特征在于，应用于第二参与方设备，所述方法包括：
接收第一参与方设备发送的各样本特征数据对应的加密标签；
其中，所述加密标签为，所述第一参与方设备基于各所述样本特征数据所对应的分类标签，对各所述样本特征数据对应的分类标签进行同态加密得到；
获取各所述样本特征数据的编码参数；
基于所述加密标签及各所述样本特征数据的编码参数，分别对各所述样本特征数据进行特征编码，得到相应的特征编码值；
发送得到的所述特征编码值至所述第一参与方设备，以使所述第一参与方设备对所述特征编码值进行同态解密得到相应的编码特征后，基于所述编码特征及相应的分类标签构建训练样本，对分类模型进行训练，具体地，所述样本特征数据的特征类型为类别特征，所述分类模型包括对应所述第一参与方设备的预测层及对应所述第二参与方设备的特征提取层，所述第一参与方设备获取所述第二参与方设备发送的扩展编码特征；其中，所述扩展编码特征为所述第二参与方设备对特征编码添加噪声得到，所述特征编码为所述第二参与方设备通过所述分类模型的特征提取层，对非类别特征的样本特征数据进行编码得到；通过所述分类模型的预测层，基于所述编码特征及所述扩展编码特征进行分类预测，得到预测分类结果；基于所述预测分类结果与相应的分类标签之间的差异，确定所述预测层的梯度信息，并基于所述预测层的梯度信息，更新所述预测层的参数；将所述预测层的梯度信息发送至所述第二参与方设备，以使所述第二参与方设备基于所述预测层的梯度信息计算所述特征提取层的梯度信息，并基于所述特征提取层的梯度信息，更新所述特征提取层的参数。
7.根据权利要求6所述的方法，其特征在于，所述编码参数包括各所述样本特征数据的排序，所述基于所述加密标签及各所述样本特征数据的编码参数，分别对各所述样本特征数据进行特征编码，包括：
基于各所述样本特征数据的排序，分别确定与各所述样本特征数据相邻的相邻特征数据；
基于所述加密标签及各所述样本特征数据的相邻特征数据，分别对各所述样本特征数据进行特征编码。
8.根据权利要求7所述的方法，其特征在于，所述分类标签的数量为至少两个，所述至少两个分类标签对应的标签类别为至少两种，所述编码参数还包括各所述标签类别所对应的分类标签在所有分类标签中的数量占比；
所述基于所述加密标签及各所述样本特征数据的相邻特征数据，分别对各所述样本特征数据进行特征编码，包括：
确定所述加密标签的总数量及各所述标签类别所对应的加密标签的数量；
基于所述加密标签的总数量及各所述标签类别所对应的加密标签的数量，确定各所述标签类别所对应的分类标签在所有分类标签中的数量占比；
基于所述数量占比、所述加密标签及各所述样本特征数据的相邻特征数据，分别对各所述样本特征数据进行特征编码。
9.根据权利要求7或8所述的方法，其特征在于，所述发送得到的所述特征编码值至所述第一参与方设备之后，所述方法还包括：
重新对各所述样本特征数据进行排序，得到各所述样本特征数据的新的排序；
基于所述新的排序，分别重新确定与各所述样本特征数据相邻的相邻特征数据；
基于各重新确定的相邻特征数据，分别更新各所述样本特征数据的编码参数；
基于所述加密标签及各所述样本特征数据对应的更新后的编码参数，分别对各所述样本特征数据进行特征编码，得到相应的新的特征编码值；
发送所述新的特征编码值至所述第一参与方设备，以使所述第一参与方设备对所述新的特征编码值进行同态解密得到相应的新的编码特征后，基于所述新的编码特征及相应的分类标签构建训练样本，对分类模型进行训练。
10.根据权利要求6所述的方法，其特征在于，所述编码参数包括各所述样本特征数据的权值，所述基于所述加密标签及各所述样本特征数据的编码参数，分别对各所述样本特征数据进行特征编码，包括：
基于所述加密标签、各所述样本特征数据的权值及各所述样本特征数据的编码参数，分别对各所述样本特征数据进行特征编码。
11.根据权利要求10所述的方法，其特征在于，所述发送得到的所述特征编码值至所述第一参与方设备之后，所述方法还包括：
更新各所述样本特征数据的权值；
基于更新后的各所述样本特征数据的权值，分别更新各所述样本特征数据的编码参数；
基于所述加密标签及各所述样本特征数据对应的更新后的编码参数，分别对各所述样本特征数据进行特征编码，得到相应的新的特征编码值；
发送所述新的特征编码值至所述第一参与方设备，以使所述第一参与方设备对所述新的特征编码值进行同态解密得到相应的新的编码特征后，基于所述新的编码特征及相应的分类标签构建训练样本，对分类模型进行训练。
12.一种分类模型的训练装置，其特征在于，包括：
获取模块，用于获取第二参与方设备中各样本特征数据所对应的分类标签，所述样本特征数据的特征类型为类别特征；
加密模块，用于分别对各所述样本特征数据对应的分类标签进行同态加密，得到各所述样本特征数据对应的加密标签；
发送模块，用于发送各所述样本特征数据对应的加密标签至所述第二参与方设备，以使所述第二参与方设备基于所述加密标签及各所述样本特征数据的编码参数，分别对各所述样本特征数据进行特征编码，得到相应的特征编码值并返回；
解密模块，用于分别对各所述特征编码值进行同态解密，得到相应的编码特征；
训练模块，用于基于所述编码特征及相应的分类标签构建训练样本，对分类模型进行训练，所述分类模型包括对应第一参与方设备的预测层及对应所述第二参与方设备的特征提取层，所述训练模块，还用于获取所述第二参与方设备发送的扩展编码特征；其中，所述扩展编码特征为所述第二参与方设备对特征编码添加噪声得到，所述特征编码为所述第二参与方设备通过所述分类模型的特征提取层，对非类别特征的样本特征数据进行编码得到；通过所述分类模型的预测层，基于所述编码特征及所述扩展编码特征进行分类预测，得到预测分类结果；基于所述预测分类结果与相应的分类标签之间的差异，确定所述预测层的梯度信息，并基于所述预测层的梯度信息，更新所述预测层的参数；将所述预测层的梯度信息发送至所述第二参与方设备，以使所述第二参与方设备基于所述预测层的梯度信息计算所述特征提取层的梯度信息，并基于所述特征提取层的梯度信息，更新所述特征提取层的参数。
13.一种分类模型的训练装置，其特征在于，包括：
接收模块，用于接收第一参与方设备发送的各样本特征数据对应的加密标签；其中，所述加密标签为，所述第一参与方设备基于各所述样本特征数据所对应的分类标签，对各所述样本特征数据对应的分类标签进行同态加密得到，所述样本特征数据的特征类型为类别特征；
获取模块，用于获取各所述样本特征数据的编码参数；
编码模块，用于基于所述加密标签及各所述样本特征数据的编码参数，分别对各所述样本特征数据进行特征编码，得到相应的特征编码值；
发送模块，用于发送得到的所述特征编码值至所述第一参与方设备，以使所述第一参与方设备对所述特征编码值进行同态解密得到相应的编码特征后，基于所述编码特征及相应的分类标签构建训练样本，对分类模型进行训练，所述分类模型包括对应所述第一参与方设备的预测层及对应第二参与方设备的特征提取层，所述第一参与方设备获取所述第二参与方设备发送的扩展编码特征；其中，所述扩展编码特征为所述第二参与方设备对特征编码添加噪声得到，所述特征编码为所述第二参与方设备通过所述分类模型的特征提取层，对非类别特征的样本特征数据进行编码得到；通过所述分类模型的预测层，基于所述编码特征及所述扩展编码特征进行分类预测，得到预测分类结果；基于所述预测分类结果与相应的分类标签之间的差异，确定所述预测层的梯度信息，并基于所述预测层的梯度信息，更新所述预测层的参数；将所述预测层的梯度信息发送至所述第二参与方设备，以使所述第二参与方设备基于所述预测层的梯度信息计算所述特征提取层的梯度信息，并基于所述特征提取层的梯度信息，更新所述特征提取层的参数。
14.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至11任一项所述的分类模型的训练方法。
15.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于被处理器执行时，实现权利要求1至11任一项所述的分类模型的训练方法。
CN202011554040.2A 2020-12-24 2020-12-24 分类模型的训练方法、装置、电子设备及存储介质 Active CN112529101B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011554040.2A CN112529101B (zh) 2020-12-24 2020-12-24 分类模型的训练方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011554040.2A CN112529101B (zh) 2020-12-24 2020-12-24 分类模型的训练方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112529101A CN112529101A (zh) 2021-03-19
CN112529101B true CN112529101B (zh) 2024-05-14

Family

ID=74976244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011554040.2A Active CN112529101B (zh) 2020-12-24 2020-12-24 分类模型的训练方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112529101B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112989399B (zh) * 2021-05-18 2021-08-03 杭州金智塔科技有限公司 数据处理系统及方法
CN113780530B (zh) * 2021-09-09 2024-05-24 浙江数秦科技有限公司 一种三角式隐私计算方法
CN114329127B (zh) * 2021-12-30 2023-06-20 北京瑞莱智慧科技有限公司 特征分箱方法、装置及存储介质
CN114239863B (zh) * 2022-02-24 2022-05-20 腾讯科技（深圳）有限公司 机器学习模型的训练方法及其预测方法、装置、电子设备
CN114330759B (zh) * 2022-03-08 2022-08-02 富算科技(上海)有限公司 一种纵向联邦学习模型的训练方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165683A (zh) * 2018-08-10 2019-01-08 深圳前海微众银行股份有限公司 基于联邦训练的样本预测方法、装置及存储介质
CN109241770A (zh) * 2018-08-10 2019-01-18 深圳前海微众银行股份有限公司 基于同态加密的信息值计算方法、设备及可读存储介质
CN110968886A (zh) * 2019-12-20 2020-04-07 支付宝(杭州)信息技术有限公司 机器学习模型的训练样本的筛选方法及其系统
CN111104731A (zh) * 2019-11-19 2020-05-05 北京集奥聚合科技有限公司 一种用于联邦学习的图形化模型全生命周期建模方法
CN111275133A (zh) * 2020-02-24 2020-06-12 腾讯科技（深圳）有限公司 分类模型的融合方法、装置及存储介质
CN111368336A (zh) * 2020-05-27 2020-07-03 支付宝(杭州)信息技术有限公司 基于秘密共享的训练方法、装置、电子设备及存储介质
CN111784001A (zh) * 2020-09-07 2020-10-16 腾讯科技（深圳）有限公司 一种模型训练方法、设备及计算机可读存储介质
CN111859440A (zh) * 2020-08-21 2020-10-30 安徽大学 基于混合协议的分布式隐私保护逻辑回归模型的样本分类方法
CN111931216A (zh) * 2020-09-16 2020-11-13 支付宝(杭州)信息技术有限公司 一种基于隐私保护的方式获取联合训练模型的方法及系统
CN112000987A (zh) * 2020-08-28 2020-11-27 深圳前海微众银行股份有限公司 因子分解机分类模型构建方法、设备及可读存储介质
CN112016697A (zh) * 2020-08-27 2020-12-01 深圳前海微众银行股份有限公司 一种联邦学习方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10296709B2 (en) * 2016-06-10 2019-05-21 Microsoft Technology Licensing, Llc Privacy-preserving genomic prediction

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165683A (zh) * 2018-08-10 2019-01-08 深圳前海微众银行股份有限公司 基于联邦训练的样本预测方法、装置及存储介质
CN109241770A (zh) * 2018-08-10 2019-01-18 深圳前海微众银行股份有限公司 基于同态加密的信息值计算方法、设备及可读存储介质
CN111104731A (zh) * 2019-11-19 2020-05-05 北京集奥聚合科技有限公司 一种用于联邦学习的图形化模型全生命周期建模方法
CN110968886A (zh) * 2019-12-20 2020-04-07 支付宝(杭州)信息技术有限公司 机器学习模型的训练样本的筛选方法及其系统
CN111275133A (zh) * 2020-02-24 2020-06-12 腾讯科技（深圳）有限公司 分类模型的融合方法、装置及存储介质
CN111368336A (zh) * 2020-05-27 2020-07-03 支付宝(杭州)信息技术有限公司 基于秘密共享的训练方法、装置、电子设备及存储介质
CN111859440A (zh) * 2020-08-21 2020-10-30 安徽大学 基于混合协议的分布式隐私保护逻辑回归模型的样本分类方法
CN112016697A (zh) * 2020-08-27 2020-12-01 深圳前海微众银行股份有限公司 一种联邦学习方法、装置、设备及存储介质
CN112000987A (zh) * 2020-08-28 2020-11-27 深圳前海微众银行股份有限公司 因子分解机分类模型构建方法、设备及可读存储介质
CN111784001A (zh) * 2020-09-07 2020-10-16 腾讯科技（深圳）有限公司 一种模型训练方法、设备及计算机可读存储介质
CN111931216A (zh) * 2020-09-16 2020-11-13 支付宝(杭州)信息技术有限公司 一种基于隐私保护的方式获取联合训练模型的方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
（全）同态加密在基于密文计算模型中的应用;蒋林智 等;《密码学报》;第4卷(第6期);596-610 *
End-to-End Feature-Aware Label Space Encoding for Multilabel Classification With Many Classes;Zijia Lin 等;《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》;第29卷(第6期);2472-2487 *
智能电网大数据去隐私化加密提取模型构建;李建锦 等;《电力信息与通信技术》;第17卷(第6期);8-13 *

Also Published As

Publication number Publication date
CN112529101A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN112529101B (zh) 分类模型的训练方法、装置、电子设备及存储介质
CN113159327B (zh) 基于联邦学习系统的模型训练方法、装置、电子设备
CN111428881B (zh) 识别模型的训练方法、装置、设备及可读存储介质
CN110245510B (zh) 用于预测信息的方法和装置
US20230023520A1 (en) Training Method, Apparatus, and Device for Federated Neural Network Model, Computer Program Product, and Computer-Readable Storage Medium
EP3965023A1 (en) Method and device for constructing decision trees
Xu et al. A lightweight RFID mutual authentication protocol based on physical unclonable function
CN112749749B (zh) 基于分类决策树模型的分类方法、装置及电子设备
JP7095140B2 (ja) 特徴抽出に基くマルチモデルトレーニング方法及び装置、電子機器と媒体
CN111784001B (zh) 一种模型训练方法、设备及计算机可读存储介质
CN111814985A (zh) 联邦学习网络下的模型训练方法及其相关设备
CN113505882B (zh) 基于联邦神经网络模型的数据处理方法、相关设备及介质
WO2021174877A1 (zh) 基于智能决策的目标检测模型的处理方法、及其相关设备
CN110929806B (zh) 基于人工智能的图片处理方法、装置及电子设备
CN112529100B (zh) 多分类模型的训练方法、装置、电子设备及存储介质
CN112529429B (zh) 客户信息校验方法、装置、计算机设备及存储介质
CN113240524A (zh) 联邦学习系统中账户的异常检测方法、装置及电子设备
CN111400504A (zh) 企业关键人的识别方法和装置
CN113408668A (zh) 基于联邦学习系统的决策树构建方法、装置及电子设备
Callegaro et al. Pricing via recursive quantization in stochastic volatility models
CN112508075A (zh) 基于横向联邦的dbscan聚类方法、及其相关设备
US20240005165A1 (en) Machine learning model training method, prediction method therefor, apparatus, device, computer-readable storage medium, and computer program product
CN112488163A (zh) 一种异常账号的识别方法、装置、计算机设备及存储介质
CN116150663A (zh) 数据分级方法、装置、计算机设备和存储介质
CN112085469B (zh) 基于向量机模型的数据审批方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant