CN112651170B - 一种纵向联邦学习场景中高效的特征贡献评估方法 - Google Patents
一种纵向联邦学习场景中高效的特征贡献评估方法 Download PDFInfo
- Publication number
- CN112651170B CN112651170B CN202011465467.5A CN202011465467A CN112651170B CN 112651170 B CN112651170 B CN 112651170B CN 202011465467 A CN202011465467 A CN 202011465467A CN 112651170 B CN112651170 B CN 112651170B
- Authority
- CN
- China
- Prior art keywords
- approximation
- sampling
- feature
- participant
- federal learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000005070 sampling Methods 0.000 claims abstract description 31
- 238000004891 communication Methods 0.000 claims abstract description 20
- 238000011156 evaluation Methods 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 230000002776 aggregation Effects 0.000 claims abstract description 5
- 238000004220 aggregation Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 9
- 238000007477 logistic regression Methods 0.000 claims description 4
- 238000012804 iterative process Methods 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/08—Probabilistic or stochastic CAD
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Telephonic Communication Services (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种纵向联邦学习场景中高效的特征贡献评估方法，所述该方法包括三个模块：1)运算拆分2)MC采样近似3)通信聚合，本发明设计了一个面向纵向联邦学习预测过程的公平的特征贡献评估方法。基于shapley value评估，保证了评估结果的公平性。同时通过MC采样近似，降低双方的计算开销。通过泰勒展开和运算拆分，降低通信开销。
Description
技术领域
本发明涉及的纵向联邦学习场景中高效的特征贡献评估方法，属于特征选择和模型可解释性领域。
背景技术
数据是人工智能发展的“土壤”。能否获得大规模、高质量的数据集已经成为制约AI相关研究发展的重要因素。隐私、制度等限制了数据共享，而联邦学习在数据保存在本地的情况下实现共同建模，是数据共享的新趋势和机遇。而在联邦学习场景下，模型预测过程中参与方的特征贡献评估及后续的收益分配，是一个重要的问题。本发明针对特征分布在不同拥有方的纵向联邦学习场景，旨在模型预测过程中，公平地评估每个参与方提供的特征值的贡献，同时降低评估过程中的计算开销和通信开销。
现有的特征贡献评估方法主要基于Shapley value(SV)。SV具有很好的公平性，但SV基于边际增益的期望计算导致计算复杂度很高。现有方法从两个角度降低计算开销：1)蒙特卡洛(MC)采样近似。根据中心极限定理，随着采样次数的增加，采样均值趋于期望。通过调整采样次数来调节计算开销与计算精度之前的平衡，同时可以在有限的开销预算下，降低计算结果的误差。2)线性解释方法(SHAP)。在评估点附近采样，结合基于SV的权重训练线性模型，以模型系数作为特征贡献，可以降低采样次数，同时计算结果更稳定。但是现有方法在联邦学习场景下面临困境。基于采样的方法，不仅带来巨大的计算开销，同时还有通信开销。线上采样过程中双方通信带来的时间延迟在一些情况下远大于计算延迟。
发明内容
本发明的目的在于克服现有技术的不足，为公平地评估联邦学习中参与方的特征贡献，同时降低计算和通信开销，本发明的主要步骤为：主要步骤如下：一种纵向联邦学习场景中高效的特征贡献评估方法，所述该方法包括三个模块：1)运算拆分2)MC采样近似3)通信聚合。
作为优选：所述运算拆分为根据SV，将特征i的贡献用边际增益期望的表示：E(i)＝Ex[f(x∪i)-f(i)]。基于SV的评估满足公平性的需求。为了降低在线采样计算的通信开销，将f的运算拆分成只与参与方A(xA)有关和只与参与方B(xB)有关的两部分。该模块分为两步：一、交换运算顺序。首先根据期望运算的性质，和的期望等于期望的和：E(i)＝Ex[f(x∪i)-f(x)]＝Ex[f(x∪i)]-Ex[f(x)].然后，对f进行线性近似，得到交换运算顺序：二、线性近似/>由于逻辑回归模型f中包含非线性函数：sigmoid函数。对sigmoid函数在评估点x附近求导，作为泰勒近似的系数。当x＝0时，/>其中z＝θAxA+θBxB.然后将A、B的特征xA，xB带入展开式，得到模型近似结果和A,B双方特征的关系：/> 将模型中的非线性运算用泰勒三阶展开近似。在计算/>的期望时，对于展开项中只与单个参与方特征有关的项(例如/>)，直接由该参与方独立计算该项的期望。对于与双方特征都有关的项(例如/>)，在假设双方特征独立的情况下，交换期望运算和项运算的顺序:/>拆分成两个只与单个参与方特征相关的项，并由相应的参与方独立计算其期望。
作为优选：所述2)MC采样近似为每个参与方独立计算只与本地特征相关的项的期望(例如)。期望的计算采样MC近似：随机采样xA计算θAxA的采样值，多次迭代计算均值，作为期望的近似值。针对参与方A，评估特征i时，在每一轮迭代中，对xA所有特征进行随机排序。排在特征i之前的特征用真实值，之后的特征用数据集中的随机采样点的取值替代，构造特征x′A,计算相应的θAx′A。不断循环迭代过程，直到该项的均值收敛。
作为优选：所述3)通信聚合为双方通过采样近似得到本地项的期望后，通过一次通信，得到最终的边际收益期望值，作为特征的贡献评估结果。 同样的方法计算E[x]，进而得到E[i]＝E[x∪i]-E[x]。
本发明设计了一个面向纵向联邦学习预测过程的公平的特征贡献评估方法。基于shapley value评估，保证了评估结果的公平性。同时通过MC采样近似，降低双方的计算开销。通过泰勒展开和运算拆分，降低通信开销。
附图说明
图1为本发明基于MC采样近似的评估方法，通信开销为O(2m)。
图2为本发明基于MC采样结合泰勒近似的评估方法，通信开销为O(1)。
具体实施方式
下面将结合附图对本发明作详细的介绍：如图1-2所示。本发明针对纵向联邦学习场景下的逻辑回归模型，评估双方在预测过程中的特征贡献。本方法基于MC采样法进行优化，在计算边际增益的期望的情况下，优化参与双方的通信开销和计算开销。分为三个模块：1)运算拆分2)MC采样近似3)通信聚合
(1)运算拆分：根据SV，将特征i的贡献用边际增益期望的表示：E(i)＝Ex[f(x∪i)-f(i)]。基于SV的评估满足公平性的需求。为了降低在线采样计算的通信开销，将f的运算拆分成只与参与方A(xA)有关和只与参与方B(xB)有关的两部分。该模块分为两步：
i)交换运算顺序。首先根据期望运算的性质，和的期望等于期望的和：E(i)＝Ex[f(x∪i)-f(x)]＝Ex[f(x∪i)]-Ex[f(x)].然后，对f进行线性近似，得到交换运算顺序：
ii)线性近似由于逻辑回归模型f中包含非线性函数：sigmoid函数。对sigmoid函数在评估点x附近求导，作为泰勒近似的系数。当x＝0时，/>其中z＝θAxA+θBxB.然后将A、B的特征xA,xB带入展开式，得到模型近似结果和A,B双方特征的关系：
将模型中的非线性运算用泰勒三阶展开近似。在计算/>的期望时，对于展开项中只与单个参与方特征有关的项(例如/>)，直接由该参与方独立计算该项的期望。对于与双方特征都有关的项(例如/>)，在假设双方特征独立的情况下，交换期望运算和项运算的顺序:/>拆分成两个只与单个参与方特征相关的项，并由相应的参与方独立计算其期望。
2)MC采样近似。每个参与方独立计算只与本地特征相关的项的期望(例如)。期望的计算采样MC近似：随机采样xA计算θAxA的采样值，多次迭代计算均值，作为期望的近似值。针对参与方A，评估特征i时，在每一轮迭代中，对xA所有特征进行随机排序。排在特征i之前的特征用真实值，之后的特征用数据集中的随机采样点的取值替代，构造特征x′A,计算相应的θAx′A。不断循环迭代过程，直到该项的均值收敛。
3)通信聚合。双方通过采样近似得到本地项的期望后，通过一次通信，得到最终的边际收益期望值，作为特征的贡献评估结果。 withi.同样的方法计算E[x]，进而得到E[i]＝E[x∪i]-E[x]。
Claims (3)
1.一种纵向联邦学习场景中高效的特征贡献评估方法，其特征在于所述该方法包括三个模块：1)运算拆分；2)MC采样近似；3)通信聚合；
所述运算拆分为根据SV，将特征i的贡献用边际增益期望的表示：E(i)＝Ex[f(x∪i)-f(i)]；基于SV的评估满足公平性的需求，为了降低在线采样计算的通信开销，将f的运算拆分成只与参与方A(xA)有关和只与参与方B(xB)有关的两部分，该模块分为两步：
一、交换运算顺序，首先根据期望运算的性质，和的期望等于期望的和：E(i)＝Ex[f(x∪i)-f(x)]＝Ex[f(x∪i)]-Ex[f(x)].然后，对f进行线性近似，得到交换运算顺序：
二、线性近似由于逻辑回归模型f中包含非线性函数：sigmoid函数，对sigmoid函数在评估点x附近求导，作为泰勒近似的系数，当x＝0时，/>其中z＝θAxA+θBxB.然后将A、B的特征xA,xB带入展开式，得到模型近似结果和A,B双方特征的关系： 将模型中的非线性运算用泰勒三阶展开近似，在计算/>的期望时，对于展开项中只与单个参与方特征有关的项，直接由该参与方独立计算该项的期望，对于与双方特征都有关的项，在假设双方特征独立的情况下，交换期望运算和项运算的顺序:/> 拆分成两个只与单个参与方特征相关的项，并由相应的参与方独立计算其期望。
2.根据权利要求1所述的所述纵向联邦学习场景中高效的特征贡献评估方法，其特征在于所述2)MC采样近似为每个参与方独立计算只与本地特征相关的项的期望，期望的计算采样MC近似：随机采样xA计算θAxA的采样值，多次迭代计算均值，作为期望的近似值，针对参与方A，评估特征i时，在每一轮迭代中，对xA所有特征进行随机排序，排在特征i之前的特征用真实值，之后的特征用数据集中的随机采样点的取值替代，构造特征xA′,计算相应的θAxA′，不断循环迭代过程，直到该项的均值收敛。
3.根据权利要求1所述的所述纵向联邦学习场景中高效的特征贡献评估方法，其特征在于所述3)通信聚合为双方通过采样近似得到本地项的期望后，通过一次通信，得到最终的边际收益期望值，作为特征的贡献评估结果；
同样的方法计算E[x]，进而得到E[i]＝E[x∪i]-E[x]。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011465467.5A CN112651170B (zh) | 2020-12-14 | 2020-12-14 | 一种纵向联邦学习场景中高效的特征贡献评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011465467.5A CN112651170B (zh) | 2020-12-14 | 2020-12-14 | 一种纵向联邦学习场景中高效的特征贡献评估方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112651170A CN112651170A (zh) | 2021-04-13 |
| CN112651170B true CN112651170B (zh) | 2024-02-27 |
Family
ID=75353810
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011465467.5A Active CN112651170B (zh) | 2020-12-14 | 2020-12-14 | 一种纵向联邦学习场景中高效的特征贡献评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112651170B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113902134A (zh) * | 2021-09-29 | 2022-01-07 | 光大科技有限公司 | 一种贡献评估处理方法及装置 |
| CN113947213A (zh) * | 2021-10-19 | 2022-01-18 | 中国电信股份有限公司 | 联邦学习参与方贡献度量方法、装置、存储介质及设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6078904A (en) * | 1998-03-16 | 2000-06-20 | Saddle Peak Systems | Risk direct asset allocation and risk resolved CAPM for optimally allocating investment assets in an investment portfolio |
| CN110851785A (zh) * | 2019-11-14 | 2020-02-28 | 深圳前海微众银行股份有限公司 | 纵向联邦学习优化方法、装置、设备及存储介质 |
| CN111027715A (zh) * | 2019-12-11 | 2020-04-17 | 支付宝(杭州)信息技术有限公司 | 基于蒙特卡洛的联邦学习模型训练方法及装置 |
| CN111652383A (zh) * | 2020-06-04 | 2020-09-11 | 深圳前海微众银行股份有限公司 | 数据贡献度评估方法、装置、设备及存储介质 |
| CN111724175A (zh) * | 2020-06-19 | 2020-09-29 | 安徽迪科数金科技有限公司 | 一种应用逻辑回归建模的市民信用积分评估方法 |
| CN111931253A (zh) * | 2020-09-15 | 2020-11-13 | 腾讯科技（深圳）有限公司 | 基于节点群的数据处理方法、系统、设备和介质 |
| CN112070240A (zh) * | 2020-09-07 | 2020-12-11 | 清华大学 | 一种高效通信的分层联邦学习框架及其优化方法和系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180129937A1 (en) * | 2016-11-04 | 2018-05-10 | Salesforce.Com, Inc. | Quasi-recurrent neural network |
| CA3065684A1 (en) * | 2018-12-22 | 2020-06-22 | Schlumberger Canada Limited | Dynamic reservoir characterization |
-
2020
- 2020-12-14 CN CN202011465467.5A patent/CN112651170B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6078904A (en) * | 1998-03-16 | 2000-06-20 | Saddle Peak Systems | Risk direct asset allocation and risk resolved CAPM for optimally allocating investment assets in an investment portfolio |
| CN110851785A (zh) * | 2019-11-14 | 2020-02-28 | 深圳前海微众银行股份有限公司 | 纵向联邦学习优化方法、装置、设备及存储介质 |
| CN111027715A (zh) * | 2019-12-11 | 2020-04-17 | 支付宝(杭州)信息技术有限公司 | 基于蒙特卡洛的联邦学习模型训练方法及装置 |
| CN111652383A (zh) * | 2020-06-04 | 2020-09-11 | 深圳前海微众银行股份有限公司 | 数据贡献度评估方法、装置、设备及存储介质 |
| CN111724175A (zh) * | 2020-06-19 | 2020-09-29 | 安徽迪科数金科技有限公司 | 一种应用逻辑回归建模的市民信用积分评估方法 |
| CN112070240A (zh) * | 2020-09-07 | 2020-12-11 | 清华大学 | 一种高效通信的分层联邦学习框架及其优化方法和系统 |
| CN111931253A (zh) * | 2020-09-15 | 2020-11-13 | 腾讯科技（深圳）有限公司 | 基于节点群的数据处理方法、系统、设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112651170A (zh) | 2021-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112651170B (zh) | 一种纵向联邦学习场景中高效的特征贡献评估方法 | |
| TWI794157B (zh) | 自動多閾值特徵過濾方法及裝置 | |
| CN113112027A (zh) | 一种基于动态调整模型聚合权重的联邦学习方法 | |
| CN111985523A (zh) | 基于知识蒸馏训练的2指数幂深度神经网络量化方法 | |
| CN110570034B (zh) | 一种基于多XGBoost模型融合的母线负荷预测方法 | |
| CN115271099A (zh) | 一种支持异构模型的自适应个性化联邦学习方法 | |
| CN114580498A (zh) | 一种无线通信场景下高通信效率的联邦学习方法 | |
| CN114585006B (zh) | 基于深度学习的边缘计算任务卸载和资源分配方法 | |
| CN113691594B (zh) | 一种基于二阶导数解决联邦学习中数据不平衡问题的方法 | |
| CN114118406A (zh) | 一种卷积神经网络的量化压缩方法 | |
| CN116306912A (zh) | 一种分布式联邦学习的模型参数更新方法 | |
| CN114116705A (zh) | 联合学习中确定参与方贡献值的方法及装置 | |
| CN114116707A (zh) | 确定联合学习中参与方贡献度的方法及装置 | |
| CN117217328A (zh) | 基于约束因子的联邦学习客户端选择方法 | |
| CN111260706A (zh) | 一种基于单目相机的稠密深度图计算方法 | |
| CN112232565A (zh) | 基于两阶段的时间序列预测方法、预测系统、终端及介质 | |
| CN111814190B (zh) | 一种基于差分隐私的分布式深度学习优化的隐私保护方法 | |
| CN111416595B (zh) | 一种基于多核融合的大数据滤波方法 | |
| CN116341636A (zh) | 联邦学习方法、设备、系统和存储介质 | |
| CN110047509A (zh) | 一种两级子空间划分方法及装置 | |
| CN114548429A (zh) | 一种安全高效的横向联邦神经网络模型训练方法 | |
| CN111522240A (zh) | 四旋翼飞行器模型、辨识方法、系统及存储介质 | |
| Prykhodko et al. | The non-linear regression model to estimate the part of NPLS in the whole loan portfolio of Ukrainian banks | |
| CN117172338B (zh) | 纵向联邦学习场景中的贡献评估方法 | |
| CN117592538A (zh) | 一种基于通道剪枝的高效联邦学习系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |