CN114048672A - 基于联邦学习的织物纤维成分检测方法 - Google Patents

基于联邦学习的织物纤维成分检测方法 Download PDF

Info

Publication number
CN114048672A
CN114048672A CN202111242183.4A CN202111242183A CN114048672A CN 114048672 A CN114048672 A CN 114048672A CN 202111242183 A CN202111242183 A CN 202111242183A CN 114048672 A CN114048672 A CN 114048672A
Authority
CN
China
Prior art keywords
model
convolution
parameters
participants
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111242183.4A
Other languages
English (en)
Inventor
池明旻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202111242183.4A priority Critical patent/CN114048672A/zh
Publication of CN114048672A publication Critical patent/CN114048672A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/08—Probabilistic or stochastic CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00—Details relating to the application field
    • G06F2113/12—Cloth

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于联邦学习的织物纤维成分检测方法。该检测方法包含以下步骤：获取多个参与方的纺织品纤维成分近红外光谱特征数据；各个参与方进行本地的局部卷积神经网络模型训练；中控服务器向各个参与方的服务器发起联合建模任务请求；各参与方的服务器收到建模任务请求后，将局部模型的参数发送给所述中控服务器；中控服务器对收到的局部模型参数进行聚合操作，根据聚合后的结果对全局模型的参数进行更新，将更新后的全局模型返回给所述各参与方的服务器；直至达到容忍误差下界或最大迭代次数，输出最终的全局模型。基于联邦学习的检测方法允许多个数据所有者协作训练和使用共享的预测模型，打破了数据壁垒，并能够保持本地训练数据的私密性。

Description

基于联邦学习的织物纤维成分检测方法
技术领域
本发明属于纺织品成分分析和人工智能技术交叉领域，具体涉及一种基于联邦学习的织物纤维成分检测方法。
背景技术
织物纤维的成分分析具有重要意义。传统的人工分析方法耗时长、成本高，利用深度神经网络对纤维样品的近红外光谱进行分析则可以解决这些问题。然而深度神经网络需要大量传统的纤维成分分析方法得来的有标签数据进行支撑，单个数据拥有方在本地训练出的算法模型在准确度上有所欠缺。
联邦学习是一种机器学习环境，其目标是在训练数据分布在大量不同客户的情况下，训练一个高质量的集中模型。它允许多个数据所有者协作训练和使用共享的预测模型，同时能够保持所有本地训练数据的私密性。将联邦学习算法利用于织物纤维的成分分析，可以通过汇总所有可用的数据以得到一个更准确的预测模型。
发明内容
为解决现有技术中存在的问题，本发明提供一种基于联邦学习的织物纤维成分检测方法。考虑标签数据来源于多个客户端的现状，利用联邦学习算法将各个客户端的数据进行联合建模，能够在保障数据安全的同时有效解决单个客户端数据不足以支撑模型训练的问题。
为实现上述目的，本发明提供一种基于联邦学习的织物纤维成分检测方法，按照如下步骤进行：
S1：获取多个参与方的纺织品纤维成分的近红外光谱特征数据，对数据进行清洗、预处理和存储；
S11：数据包括：利用手持式近红外光谱仪，采集织物900至1700纳米波段反射率的近红外光谱特征作为特征向量x，作为模型的输入；12种常见材质难以区分的问题，包括：棉、麻、氨纶、腈纶、涤纶、天丝、人丝、丝绸、尼龙、羊毛、羊绒、莫代尔作为标签向量y；
S12：对数据进行清洗，对数据进行必要的重读、切分、去冗、平滑、降噪等预处理，对各参与方提供的数据进行标准化处理；
S13：将清洗和预处理后的数据上传到本地服务器中；
S2：各个参与方训练本地的局部卷积神经网络(CNN)模型。
S21：所使用的卷积神经网络模型主干包括残差卷积神经网络模块，分支卷积神经网络模块，注意力模块，中间卷积层和池化层；
S22：使用可处理一维序列数据的深度残差卷积神经网络提取一维光谱数据的深层特征，分为四个由残差块组成的卷积模块，每个模块使用若干个同样输出通道数的残差块；在每个卷积模块后增加通道注意力，深层特征提取后经过一个由卷积、批量归一化层和ReLu组成的中间卷积结构以适应特征大小至下一模块。
S23：而后，该特征同时经过四个不同的由卷积、批量归一化层、ReLu组成的分支卷积神经网络模块，将提取的四个特征连接以提升网络宽度；最后通过一个全局池化层将提取到的特征维度转换为一维。构建十二个并行的全连接层，对得到的一维高级特征进行综合.对十二个全连接层中的每一层都构建Sigmoid分类器，对一维特征进行分类。
S24：将训练集作为损失函数的输入，通过反向传播算法计算参数的梯度，利用梯度下降算法更新模型参数，得到训练好的模型。将训练集作为损失函数的输入，通过反向传播算法计算参数的梯度，利用梯度下降算法更新模型参数，得到训练好的模型。定义损失函数Loss度量真实标签和预测概率之间的差异，选用交叉熵损失函数CrossEntropy，总损失TotalLoss为十二个分类器的平均损失：
Figure BDA0003319597850000031
Figure BDA0003319597850000032
Figure BDA0003319597850000033
其中N为样本数，在每个二分类器中yi为第i个样本的标签，Pi为第i个样本的预测概率，k为第k个二分类器。
S3：中控服务器向所述各个参与方的服务器发起联合建模任务请求；
S4：所述各参与方的服务器收到建模任务请求后，将局部模型的参数发送给所述中控服务器；
S5：所属中控服务器对收到的来自所述各参与方服务器的局部模型参数进行聚合操作并对全局模型的参数进行更新，将更新后的全局模型返回给所述各参与方的服务器；
S6：所述各参与方服务器根据收到的全局模型参数更新局部模型参数；
S7：重复步骤S2-S6，直至模型收敛或达到最大迭代次数，输出最终的全局模型。
与现有的技术相比，本发明具有如下优点：能够在保障数据安全的同时有效解决单个客户端数据不足以支撑模型训练的问题。
附图说明
下面结合附图和具体实施方式对本申请作进一步详细的说明。
图1为本发明实施例的基于联邦学习的织物纤维成分检测方法流程图。
图2为本发明实施例的联邦学习框架示意图。
图3为本发明实施例的局部卷积神经网络模型架构图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例一
步骤1：各参与方将纺织品纤维成分的近红外光谱特征数据上传到本地服务器。
需要采集的数据包括：织物900至1700纳米波段反射率的近红外光谱特征作为特征向量x，作为模型的输入；十二种常见材质包括棉、麻、氨纶、腈纶、涤纶、天丝、人丝、丝绸、尼龙、羊毛、羊绒、莫代尔作为标签向量y。x是228维的向量，y是12维的{0，1}向量y＝[y1,y2,…,yi,…,y12]，分别表示该样本中第i种材质是否存在。
对数据进行清洗，对数据进行必要的重读、切分、去冗、平滑、降噪等预处理，对各参与方提供的数据进行标准化处理。完成后各参与方将清洗和预处理后的数据上传到本地服务器中。
步骤2：各个参与方训练本地的局部卷积神经网络(CNN)模型。
所使用的卷积神经网络模型主干包括残差卷积神经网络模块，分支卷积神经网络模块，注意力模块，中间卷积层和池化层；
使用可处理一维序列数据的深度残差卷积神经网络提取一维光谱数据的深层特征，分为四个由残差块组成的卷积模块，每个模块使用若干个同样输出通道数的残差块；
残差网络可以解决深度网络难以训练的问题。将残差单元表示为
xl+1＝xl+F(xl,Wl)
其中xl和xl+1表示第l个单元的输入和输出，F为残差函数。则通过递归可以从浅层的l单元得到深层的L单元
Figure BDA0003319597850000051
将代价函数用loss表示，则
Figure BDA0003319597850000061
这样抑制了梯度的衰减，可以避免梯度消失现象的发生。
在每个卷积模块后增加通道注意力，深层特征提取后经过一个由卷积、批量归一化层和ReLu组成的中间卷积结构以适应特征大小至下一模块。
而后，该特征同时经过四个不同的由卷积、批量归一化层、ReLu组成的分支卷积神经网络模块，分别为：卷积核大小为1×1卷积的分支1；卷积核大小为1×1和3×1卷积堆叠，卷积核大于1的padding填充大小为1的分支2；卷积核大小为1×1，3×1和3×1卷积堆叠，卷积核大于1的padding填充大小为1的分支3；池化窗口为3×1的最大池化和卷积核大小为1×1卷积的堆叠，池化窗口padding填充大小为1的分支4。将提取的四个特征连接以提升网络宽度；最后通过一个全局池化层将提取到的特征维度转换为一维。
构建十二个并行的全连接层，对得到的一维高级特征进行综合，十二个并行的全连接层分别表示步骤1所述的十二种常见材质特征的综合，构建过程如：
yk＝fk(wk×x+bk),k＝1,2,…,12
其中k表示全连接层的序号，wk是第k层的参数，bk是第k层的偏置，×代表矩阵乘法，f是恒等函数f(x)＝x。对十二个全连接层中的每一层都构建Sigmoid分类器，对一维特征进行分类，如下式所示：
Figure BDA0003319597850000071
将训练集作为损失函数的输入，通过反向传播算法计算参数的梯度，利用梯度下降算法更新模型参数，得到训练好的模型。定义损失函数Loss度量真实标签和预测概率之间的差异，选用交叉熵损失函数CrossEntropy,总损失TotalLoss为十二个分类器的平均损失：
Figure BDA0003319597850000072
Figure BDA0003319597850000073
Figure BDA0003319597850000074
其中N为样本数，在每个二分类器中yi为第i个样本的标签，Pi为第i个样本的预测概率，k为第k个二分类器。
步骤3：中控服务器向所述各个参与方的服务器发起联合建模任务请求，各参与方的服务器收到建模任务请求后，将局部模型的参数发送给所述中控服务器。
步骤4：所属中控服务器对收到的来自所述各参与方服务器的局部模型参数进行聚合操作并对全局模型的参数进行更新，将更新后的全局模型返回给所述各参与方的服务器。
假设有K个参与方的服务器协作进行模型训练，其拥有的数据分别为n1,n2,…,nK，各本地模型参数分别为w1,w2,…,wK，w是全局模型参数，则每次聚合操作维
Figure BDA0003319597850000075
Figure BDA0003319597850000076
步骤5：各参与方服务器根据收到的全局模型参数更新局部模型参数。
步骤6：重复步骤2-5，直至模型收敛或达到最大迭代次数，输出最终的全局模型。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本申请的保护范围。

Claims (4)

1.基于联邦学习的织物纤维成分检测方法，其特征在于，所述织物纤维成分检测方法包括：
S1：各参与方对数据进行清洗、标准化等预处理，完成后上传数据到本地服务器中；
S2：各个参与方训练本地的局部卷积神经网络(CNN)模型；
S3：中控服务器向所述各个参与方的服务器发起联合建模任务请求，各参与方的服务器收到建模任务请求后，将局部模型的参数发送给所述中控服务器；
S4：所属中控服务器对收到的来自所述各参与方服务器的局部模型参数进行聚合操作并对全局模型的参数进行更新，将更新后的全局模型返回给所述各参与方的服务器；
S5：各参与方服务器根据收到的全局模型参数更新局部模型参数；
S6：重复步骤S2-S5，直至模型收敛或达到最大迭代次数，输出最终的全局模型。
2.根据权利要求1所述的织物纤维成分检测方法，其特征在于，所述步骤S2进一步包括：
S21：所使用的卷积神经网络模型主干包括残差卷积神经网络模块，分支卷积神经网络模块，注意力模块，中间卷积层和池化层；
S22：使用可处理一维序列数据的深度残差卷积神经网络提取一维光谱数据的深层特征，分为四个由残差块组成的卷积模块，每个模块使用若干个同样输出通道数的残差块；在每个卷积模块后增加通道注意力，深层特征提取后经过一个由卷积、批量归一化层和ReLu组成的中间卷积结构以适应特征大小至下一模块；
S23：而后，该特征同时经过四个不同的由卷积、批量归一化层、ReLu组成的分支卷积神经网络模块，分别为：卷积核大小为1×1卷积的分支1；卷积核大小为1×1和3×1卷积堆叠，卷积核大于1的padding填充大小为1的分支2；卷积核大小为1×1，3×1和3×1卷积堆叠，卷积核大于1的padding填充大小为1的分支3；池化窗口为3×1的最大池化和卷积核大小为1×1卷积的堆叠，池化窗口padding填充大小为1的分支4；将提取的四个特征连接以提升网络宽度；最后通过一个全局池化层将提取到的特征维度转换为一维；构建十二个并行的全连接层，对得到的一维高级特征进行综合；对十二个全连接层中的每一层都构建Sigmoid分类器，对一维特征进行分类；
S24：将训练集作为损失函数的输入，通过反向传播算法计算参数的梯度，利用梯度下降算法更新模型参数，得到训练好的模型。将训练集作为损失函数的输入，通过反向传播算法计算参数的梯度，利用梯度下降算法更新模型参数，得到训练好的模型；定义损失函数Loss度量真实标签和预测概率之间的差异，选用交叉熵损失函数CrossEntropy，总损失TotalLoss为十二个分类器的平均损失：
Figure FDA0003319597840000021
Figure FDA0003319597840000022
Figure FDA0003319597840000023
其中N为样本数，在每个二分类器中yi为第i个样本的标签，Pi为第i个样本的预测概率，k为第k个二分类器。
3.根据权利要求1所述的织物纤维成分检测方法，其特征在于，所述步骤S4进一步包括：
S41：假设有K个参与方的服务器协作进行模型训练，其拥有的数据分别为n1,n2,…,nK，各本地模型参数分别为w1,w2,…,wK，w是全局模型参数，则每次聚合操作维
Figure FDA0003319597840000031
4.根据权利要求1所述的织物纤维成分检测方法，其特征在于，所述中控服务器完成对全局模型参数的更新后，将评估模型的预测准确率，当准确率达到规定要求后终止训练过程，输出最终的全局模型。
CN202111242183.4A 2021-10-25 2021-10-25 基于联邦学习的织物纤维成分检测方法 Pending CN114048672A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111242183.4A CN114048672A (zh) 2021-10-25 2021-10-25 基于联邦学习的织物纤维成分检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111242183.4A CN114048672A (zh) 2021-10-25 2021-10-25 基于联邦学习的织物纤维成分检测方法

Publications (1)

Publication Number Publication Date
CN114048672A true CN114048672A (zh) 2022-02-15

Family

ID=80206144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111242183.4A Pending CN114048672A (zh) 2021-10-25 2021-10-25 基于联邦学习的织物纤维成分检测方法

Country Status (1)

Country Link
CN (1) CN114048672A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115328691A (zh) * 2022-10-14 2022-11-11 山东大学 基于模型差异的故障诊断方法、系统、存储介质及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115328691A (zh) * 2022-10-14 2022-11-11 山东大学 基于模型差异的故障诊断方法、系统、存储介质及设备
CN115328691B (zh) * 2022-10-14 2023-03-03 山东大学 基于模型差异的故障诊断方法、系统、存储介质及设备

Similar Documents

Publication Publication Date Title
Hou et al. Fruit recognition based on convolution neural network
CN110222592B (zh) 一种基于互补时序行为提案生成的时序行为检测网络模型的构建方法
CN112367273B (zh) 基于知识蒸馏的深度神经网络模型的流量分类方法及装置
CN111368926B (zh) 图像筛选方法、装置和计算机可读存储介质
CN111488917A (zh) 一种基于增量学习的垃圾图像细粒度分类方法
CN113420651B (zh) 深度卷积神经网络的轻量化方法、系统及目标检测方法
CN104751186A (zh) 一种基于bp网络和小波变换的虹膜图像质量分类方法
CN114048672A (zh) 基于联邦学习的织物纤维成分检测方法
CN115510950A (zh) 基于时间卷积网络的飞行器遥测数据异常检测方法及系统
CN115358838A (zh) 一种基于卷积神经网络的信贷时序数据建模方法及装置
Cunha et al. Bag of tricks for long-tail visual recognition of animal species in camera-trap images
de Souza et al. Exploring parameter spaces with artificial intelligence and machine learning black-box optimisation algorithms
CN112784919B (zh) 一种面向智能制造多模态数据的分类方法
CN111898614A (zh) 神经网络系统以及图像信号、数据处理的方法
Liu et al. Wavelet energy signatures and robust Bayesian neural network for visual quality recognition of nonwovens
CN111782857B (zh) 基于混合注意力密集网络的足迹图像检索方法
CN117853861A (zh) 农作物病害识别模型的训练方法及农作物病害识别方法
CN116826734A (zh) 一种基于多输入模型的光伏发电功率预测方法及装置
CN115100509B (zh) 基于多分支块级注意力增强网络的图像识别方法及系统
CN110706804A (zh) 一种混合专家系统在肺腺癌分类中给的应用方法
CN113820291B (zh) 基于多阶段卷积神经网络的纺织品无损环保定性方法
CN114383845A (zh) 一种基于嵌入式零样本学习模型的轴承复合故障诊断方法
CN115936477A (zh) 一种基于边云协同的工业企业效益综合评价方法及系统
Pajares et al. Feature selection for time series forecasting: a case study
CN115187312A (zh) 基于深度学习的客户流失预测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination