CN114386336B - 一种基于多方3d打印数据库联合训练的方法 - Google Patents

一种基于多方3d打印数据库联合训练的方法 Download PDF

Info

Publication number
CN114386336B
CN114386336B CN202210284844.8A CN202210284844A CN114386336B CN 114386336 B CN114386336 B CN 114386336B CN 202210284844 A CN202210284844 A CN 202210284844A CN 114386336 B CN114386336 B CN 114386336B
Authority
CN
China
Prior art keywords
training
model
server
members
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210284844.8A
Other languages
English (en)
Other versions
CN114386336A (zh
Inventor
荣鹏
高鹏
高川云
杜娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Aircraft Industrial Group Co Ltd
Original Assignee
Chengdu Aircraft Industrial Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Aircraft Industrial Group Co Ltd filed Critical Chengdu Aircraft Industrial Group Co Ltd
Priority to CN202210284844.8A priority Critical patent/CN114386336B/zh
Publication of CN114386336A publication Critical patent/CN114386336A/zh
Application granted granted Critical
Publication of CN114386336B publication Critical patent/CN114386336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00—Details relating to the application field
    • G06F2113/10—Additive manufacturing, e.g. 3D printing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)

Abstract

本发明公开了一种基于多方3D打印数据库联合训练的方法，在第j次训练迭代过程中，得到训练成员i的梯度矩阵G i ；训练成员i对梯度矩阵G i 中的元素按照绝对值大小进行排序，并选择前m个元素得到对应是稀疏矩阵
Figure 100004_DEST_PATH_IMAGE001
，填充元素为0；计算各训练成员自身数据质量Pi与服务器所有样本对应的数据质量Q之间的相关度，并基于相关度进行排序，获取得到参与当前迭代的训练成员；最后使用参与当前迭代的训练成员稀疏矩阵更新服务器的模型，并对应更新训练成员的模型W i 。本发明实现了多个数据库之间的联合训练，且基于相关度确定当前轮迭代的训练成员，降低了联合训练过程中数据的传输量，降低了数据传输带宽的需求和投入成本，具有较好的实用性。

Description

一种基于多方3D打印数据库联合训练的方法
技术领域
本发明属于打印数据联合处理的技术领域，具体涉及一种基于多方3D打印数据库联合训练的方法。
背景技术
上世纪八十年代，3D打印技术诞生了，3D打印并不仅限于传统的“去除”加工方法，而且3D打印是一种自下而上的制造方式，也称为增材制造技术，其实现了数学模型的建立。3D打印技术自诞生之日起就受到人们的广泛关注，因此获得了快速发展。近几十年来，3D打印技术已成为人们关注的焦点。工业设计，建筑，汽车，航空航天，牙科，教育领域等都被应用，但是其应用和开发仍然受到因素的限制。
在3D打印实施过程中，由于3D打印相关参数太多，在实验过程中无法穷尽所有3D打印参数，并判断这些参数是否能够成型合适的零件，因此需要一种3D打印参数学习和预测的方式实现3D打印参数的预测。
由于3D打印实验成本高昂，由一家企业或单位完成所有实验无太大可能，可以基于多个数据库共同训练得到更加精准的模型参数，这里，就涉及到多个数据库之间的保密问题。例如，A公司拥有n个数据，B公司拥有m个数据，双方均不想让对方知道自己的工艺参数，但又希望联合进行模型训练。因此，需要一种基于多方3D打印数据库联合训练的方法。
发明内容
本发明的目的在于提供一种基于多方3D打印数据库联合训练的方法，旨在解决上述问题。
本发明主要通过以下技术方案实现：
一种基于多方3D打印数据库联合训练的方法，包括多个训练成员以及服务器，所述训练成员的模型为Wi，每个训练成员的数据为Xi，
Figure 100002_DEST_PATH_IMAGE001
，标签为y i ；所述服务器的模型为W，且服务器的模型W与训练成员的模型Wi的网络结构一致；包括以下步骤：
步骤S100：在第j次训练迭代过程中，训练成员i读取Xi中一个batch的数据bi，并进行模型Wi的前向传播，得到预测标签
Figure DEST_PATH_IMAGE002
，进而根据实际标签y i ，计算得到模型Wi的损失函数，进而利用反向传播算法得到梯度矩阵G i ；
步骤S200：训练成员i对梯度矩阵G i 中的元素按照绝对值大小进行从大至小排序，并选择前m个元素得到对应是稀疏矩阵
Figure 100002_DEST_PATH_IMAGE003
，填充元素为0；
步骤S300：计算各训练成员自身数据质量Pi与服务器所有样本对应的数据质量Q之间的相关度，并基于相关度进行排序，获取得到参与当前迭代的训练成员；
步骤S400：使用参与当前迭代的训练成员稀疏矩阵更新服务器的模型，并对应更新训练成员的模型W i 。
为了更好地实现本发明，进一步地，在迭代训练之前，进行模型初始化：服务器对模型W进行初始化，并将初始化结果下发至所有的训练成员，对模型W i 进行初始化，确定梯度上传比例系数α、衰减系数ρ、学习率γ。
为了更好地实现本发明，进一步地，所述步骤S200中，统计得到模型W i 的中元素总个数为M，计算得到本次需要上传的梯度元素个数
Figure DEST_PATH_IMAGE004
。
为了更好地实现本发明，进一步地，所述步骤S300中相关度计算如下：
Figure 100002_DEST_PATH_IMAGE005
其中：
Figure DEST_PATH_IMAGE006
其中：D KL 为KL散度，
P表示各训练成员的自身数据质量，
Q表示服务器所有样本的数据质量。
为了更好地实现本发明，进一步地，所述步骤S300中，训练成员i计算得到加权模型参数
Figure 100002_DEST_PATH_IMAGE007
，并利用秘密共享算法对
Figure DEST_PATH_IMAGE008
进行加密得到
Figure 100002_DEST_PATH_IMAGE009
，并上传至服务器；
其中：
Figure DEST_PATH_IMAGE010
为加权模型参数；
Figure DEST_PATH_IMAGE011
为加密的加权模型参数。
为了更好地实现本发明，进一步地，所述步骤S400中，服务器更新模型
Figure DEST_PATH_IMAGE012
，服务器将更新的模型下发至本地，并更新训练成员的模型W i ；
其中：t为模型更新次数，
γ为学习率，
K为上传数据的数训练成员数。
本发明的有益效果：
1、本发明可以应用于在保证各方数据安全的情况下，各方协同训练机器学习模型供多方使用的场景。在这个场景中，多个数据方拥有自己的数据，他们想共同使用彼此的数据来统一建模（例如，分类模型、线性回归模型、逻辑回归模型等），并通过梯度稀疏矩阵的方式保证各自的数据不被泄露，具有较好的实用性；
2、本发明还可以基于相关度确定当前轮迭代的训练成员，从而实现在训练过程中仅有部分训练成员需要进行数据上传，降低了联合训练过程中数据的传输量，降低了数据传输带宽的需求和投入成本，具有较好的实用性；
3、本发明通过加权模型参数矩阵的设计使得不同数据质量的训练样本具有不同的权重，这样的设置使得更高质量的训练样本可以对模型的训练方向起到更大的作用，从而使得整个多轮训练过程更容易收敛，提升了联合训练的效率，减小了总体训练的轮数。
具体实施方式
实施例1：
一种基于多方3D打印数据库联合训练的方法，包括多个训练成员以及服务器，所述训练成员的模型为Wi，每个训练成员的数据为Xi，
Figure 823162DEST_PATH_IMAGE001
，标签为y i ；所述服务器的模型为W，且服务器的模型W与训练成员的模型Wi的网络结构一致；包括以下步骤：
步骤S100：在第j次训练迭代过程中，训练成员i读取Xi中一个batch的数据bi，并进行模型Wi的前向传播，得到预测标签
Figure 309638DEST_PATH_IMAGE002
，进而根据实际标签y i ，计算得到模型Wi的损失函数，进而利用反向传播算法得到梯度矩阵G i ；
步骤S200：训练成员i对梯度矩阵G i 中的元素按照绝对值大小进行从大至小排序，并选择前m个元素得到对应是稀疏矩阵
Figure 600942DEST_PATH_IMAGE003
，填充元素为0；
步骤S300：计算各训练成员自身数据质量Pi与服务器所有样本对应的数据质量Q之间的相关度，并基于相关度进行排序，获取得到参与当前迭代的训练成员；
步骤S400：使用参与当前迭代的训练成员稀疏矩阵更新服务器的模型，并对应更新训练成员的模型W i 。
实施例2：
本实施例是在实施例1的基础上进行优化，在迭代训练之前，进行模型初始化：服务器对模型W进行初始化，并将初始化结果下发至所有的训练成员，对模型W i 进行初始化，确定梯度上传比例系数α、衰减系数ρ、学习率γ。
进一步地，所述步骤S200中，统计得到模型W i 的中元素总个数为M，计算得到本次需要上传的梯度元素个数
Figure 602397DEST_PATH_IMAGE004
。
本实施例的其他部分与实施例1相同，故不再赘述。
实施例3：
本实施例是在实施例1或2的基础上进行优化，所述步骤S300中相关度计算如下：
Figure 473401DEST_PATH_IMAGE005
其中：
Figure 876700DEST_PATH_IMAGE006
其中：D KL 为KL散度，
P表示各训练成员的自身数据质量，
Q表示服务器所有样本的数据质量。
本实施例的其他部分与上述实施例1或2相同，故不再赘述。
实施例4：
一种基于多方3D打印数据库联合训练的方法，以水平切分的分类任务为例，假设共有k个训练成员，每个训练成员的数据集为Xi，
Figure 542168DEST_PATH_IMAGE001
，标签为y i ，训练成员的模型为Wi，训练过程中对应的模型梯度为G i ，服务器的模型W与训练成员模型的网络结构保持一致。包括以下步骤：
步骤1，模型初始化：
服务器对模型W进行初始化，并将初始化结果下发至所有训练成员，对Wi进行统一的初始化。确定梯度上传比例系数α。衰减系数ρ，学习率γ。
步骤2，训练成员得到稀疏模型参数矩阵:
（1）在第j次训练迭代过程中（j=0,1,...,N）,训练成员i读取Xi中一个batch的数据bi，batch大小为n i ，进行模型Wi的前向传播，得到预测标签
Figure 30918DEST_PATH_IMAGE002
，进而根据实际标签y i ，计算得到损失函数L i ，进而利用反向传播算法得到梯度矩阵G i 。
（2）统计得到模型Wi中的元素总个数为M，计算本次需要上传的梯度元素个数
Figure 236771DEST_PATH_IMAGE004
。
（3）训练成员i对G i 中的元素按照绝对值大小进行从大到小排序，并选择前m个元素，得到Wi对应的稀疏矩阵
Figure 513819DEST_PATH_IMAGE003
，填充元素为0。
步骤3，模型加密：
（1）训练成员i获取自身数据对应的数据质量Pi；
（2）服务器所有样本对应的数据质量Q
（3）那么对于训练成员i
Figure 615767DEST_PATH_IMAGE005
其中：
Figure 591813DEST_PATH_IMAGE006
其中：D KL 为KL散度，
P表示各训练成员的自身数据质量，
Q表示服务器所有样本的数据质量。
（4）训练成员计算得到加权模型参数
Figure 539041DEST_PATH_IMAGE007
，利用秘密共享算法对
Figure 916932DEST_PATH_IMAGE008
进行加密得到
Figure 924203DEST_PATH_IMAGE009
，并上传至服务器；
其中：
Figure 387545DEST_PATH_IMAGE010
为加权模型参数；
Figure 935201DEST_PATH_IMAGE011
为加密的加权模型参数。
步骤4，模型更新：
（1）服务器更新模型
Figure 902020DEST_PATH_IMAGE012
；
其中：t为模型更新次数，
γ为学习率，
K为上传数据的数训练成员数。
（2）服务器将更新模型下发至本地，更新训练成员的模型W i 。
步骤5，循环训练。
进一步地，在数据质量中，模型性能参数可以包括以下中的一种或多种的组合：错误率、精度、查准率、查全率、AUC、ROC等。可以使用平均性能
Figure DEST_PATH_IMAGE013
，平均性能
Figure 77262DEST_PATH_IMAGE013
可以是多个性能指标F的综合表征。例如，平均性能
Figure 496742DEST_PATH_IMAGE013
可以是错误率、精度、查准率、查全率、AUC、ROC中任意两种或两种以上的参数的综合计算结果。综合计算结果可以是以任意算式或者函数进行运算，包括但不限于求和、求平均、加权平均、方差等方式。采用多个参数共同表征平均性能
Figure 51351DEST_PATH_IMAGE013
可以选出综合性能最高的模型，而非选出某个参数最优的模型。
以下简单介绍错误率、精度、查准率、查全率、AUC、ROC的计算方式。
设样本集T={(X1,Y1),···,（Xn,Yn）},其中Xi为该样本i的输入特征，Yi为样本的真实标签。
T的预测结果：
Figure DEST_PATH_IMAGE014
，其中PYi表示模型对T中第i个样本的预测结果。
则错误率
Figure DEST_PATH_IMAGE015
精度
Figure DEST_PATH_IMAGE016
查准率Precision，反映有多少结果是预测准确的，是基于混淆矩阵得到：
Figure DEST_PATH_IMAGE017
查全率Recall为：
Figure 216884DEST_PATH_IMAGE018
其中：TP为真阳性，
FP为伪阳性，
FN为伪阴性，
TN为真阴性。
ROC(Receiver Operating Characteristic)，常用来评价一个二值数据质量的优劣。在逻辑回归中通常会设置一个阈值，超过阈值则预测为正类，小于阈值则为负类。如果调小该值预测为正类的数量就会增加，同时这里面会包含一些本是负类的样本被识别为正类。ROC可以直观的表达该现象。ROC曲线就是以TPR（真阳性率）为y轴，FPR（伪阳性率）为x轴根据分类结果得到的一条曲线。如果曲线比较平滑的话一般不会出现过拟合问题。
其中：
Figure DEST_PATH_IMAGE019
AUC(Area Under Curve)：是ROC曲线下方的面积，面积越大意味着数据质量越好。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (1)

1.一种基于多方3D打印数据库联合训练的方法，其特征在于，包括多个训练成员以及服务器，所述训练成员的模型为Wi，每个训练成员的数据为Xi，
Figure DEST_PATH_IMAGE001
，标签为yi；所述服务器的模型为W，且服务器的模型W与训练成员的模型Wi的网络结构一致；包括以下步骤：
步骤S100：在第j次训练迭代过程中，训练成员i读取Xi中一个batch的数据bi，并进行模型Wi的前向传播，得到预测标签
Figure 48635DEST_PATH_IMAGE002
，进而根据实际标签yi，计算得到模型Wi的损失函数，进而利用反向传播算法得到梯度矩阵Gi；
步骤S200：训练成员i对梯度矩阵Gi中的元素按照绝对值大小进行从大至小排序，并选择前m个元素得到对应是稀疏矩阵
Figure DEST_PATH_IMAGE003
，填充元素为0；
步骤S300：计算各训练成员自身数据质量Pi与服务器所有样本对应的数据质量Q之间的相关度，并基于相关度进行排序，获取得到参与当前迭代的训练成员；
步骤S400：使用参与当前迭代的训练成员稀疏矩阵更新服务器的模型，并对应更新训练成员的模型Wi；
在迭代训练之前，进行模型初始化：服务器对模型W进行初始化，并将初始化结果下发至所有的训练成员，对模型Wi进行初始化，确定梯度上传比例系数α、衰减系数ρ、学习率γ；
所述步骤S200中，统计得到模型Wi的中元素总个数为M，计算得到本次需要上传的梯度元素个数
Figure 489849DEST_PATH_IMAGE004
；
所述步骤S300中相关度计算如下：
Figure DEST_PATH_IMAGE005
其中：
Figure 100959DEST_PATH_IMAGE006
其中：DKL为KL散度，
P表示各训练成员的自身数据质量，
Q表示服务器所有样本的数据质量；
所述步骤S300中，训练成员i计算得到加权模型参数
Figure DEST_PATH_IMAGE007
，并利用秘密共享算法对
Figure 720159DEST_PATH_IMAGE008
进行加密得到
Figure DEST_PATH_IMAGE009
，并上传至服务器；
其中：
Figure 534663DEST_PATH_IMAGE008
为加权模型参数；
Figure 999142DEST_PATH_IMAGE009
为加密的加权模型参数；
所述步骤S400中，服务器更新模型
Figure 199179DEST_PATH_IMAGE010
，服务器将更新的模型下发至本地，并更新训练成员的模型Wi；
其中：t为模型更新次数，
γ为学习率，
K为上传数据的数训练成员数。
CN202210284844.8A 2022-03-22 2022-03-22 一种基于多方3d打印数据库联合训练的方法 Active CN114386336B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210284844.8A CN114386336B (zh) 2022-03-22 2022-03-22 一种基于多方3d打印数据库联合训练的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210284844.8A CN114386336B (zh) 2022-03-22 2022-03-22 一种基于多方3d打印数据库联合训练的方法

Publications (2)

Publication Number Publication Date
CN114386336A CN114386336A (zh) 2022-04-22
CN114386336B true CN114386336B (zh) 2022-07-15

Family

ID=81205185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210284844.8A Active CN114386336B (zh) 2022-03-22 2022-03-22 一种基于多方3d打印数据库联合训练的方法

Country Status (1)

Country Link
CN (1) CN114386336B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112288100A (zh) * 2020-12-29 2021-01-29 支付宝(杭州)信息技术有限公司 一种基于联邦学习进行模型参数更新的方法、系统及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115257B (zh) * 2019-06-20 2023-07-14 百度在线网络技术（北京）有限公司 用于生成信息评估模型的方法和装置
CN110728375B (zh) * 2019-10-16 2021-03-19 支付宝(杭州)信息技术有限公司 多个计算单元联合训练逻辑回归模型的方法和装置
CN110990857B (zh) * 2019-12-11 2021-04-06 支付宝(杭州)信息技术有限公司 保护隐私安全的多方联合进行特征评估的方法及装置
CN112149158A (zh) * 2020-08-19 2020-12-29 成都飞机工业（集团）有限责任公司 一种基于同态加密技术的3d打印多数据库共享优化算法
CN111931216B (zh) * 2020-09-16 2021-03-30 支付宝(杭州)信息技术有限公司 一种基于隐私保护的方式获取联合训练模型的方法及系统
CN113379039B (zh) * 2021-07-02 2022-05-17 支付宝(杭州)信息技术有限公司 一种模型训练的方法、系统及装置
CN113808267A (zh) * 2021-09-16 2021-12-17 江苏自由光智能科技有限公司 一种基于gis地图的社区三维展示方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112288100A (zh) * 2020-12-29 2021-01-29 支付宝(杭州)信息技术有限公司 一种基于联邦学习进行模型参数更新的方法、系统及装置

Also Published As

Publication number Publication date
CN114386336A (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
JP6750854B2 (ja) 情報処理装置および情報処理方法
US20180260714A1 (en) Global optimization, search and machine learning method based on the lamarckian principle of inheritance of acquired characteristics
Raissi et al. Deep multi-fidelity Gaussian processes
Paulus et al. Learning to cut by looking ahead: Cutting plane selection via imitation learning
CN111124840A (zh) 业务运维中告警的预测方法、装置与电子设备
CN113191484A (zh) 基于深度强化学习的联邦学习客户端智能选取方法及系统
KR20210040248A (ko) 물질의 생성 구조-특성 역 계산 공동 설계
Bai et al. Don’t just blame over-parametrization for over-confidence: Theoretical analysis of calibration in binary classification
KR20160011776A (ko) 다중 의사 결정 문제 해결을 위한 계층적 분석 기법, 회색수 및 엔트로피 기반의 해법 연산 방법
CN108536784B (zh) 评论信息情感分析方法、装置、计算机存储介质和服务器
Assunção et al. Fast denser: Efficient deep neuroevolution
Haruvy et al. Modeling and testing for heterogeneity in observed strategic behavior
CN114386336B (zh) 一种基于多方3d打印数据库联合训练的方法
Hamidi et al. Fair wireless federated learning through the identification of a common descent direction
JP6921526B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN113887723A (zh) 一种基于关系型的动态路由网络学习方法
CN113642226A (zh) 基于多目标进化算法的公平机器学习模型的训练方法
Puleko et al. The Scalar Metric of Classification Algorithm Choice in Machine Learning Problems Based on the Scheme of Nonlinear Compromises.
López et al. Algorithm and software based on multilayer perceptron neural networks for estimating channel use in the spectral decision stage in cognitive radio networks
Wang et al. Mitigating group bias in federated learning: Beyond local fairness
Merzougui Multi-measures fusion based on multi-objective genetic programming for full-reference image quality assessment
Gao et al. Bpnn-Based Image Restoration Algorithm Optimized Using Hybrid Genetic Algorithm
CN115890738B (zh) 一种机器人迁移能力评价方法及系统
CN115688605B (zh) 一种基于多目标优化算法的民机研制需求排序方法
CN115890738A (zh) 一种机器人迁移能力评价方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant