CN115438735A - 基于联邦学习的质检方法、系统、可读介质及电子设备 - Google Patents
基于联邦学习的质检方法、系统、可读介质及电子设备 Download PDFInfo
- Publication number
- CN115438735A CN115438735A CN202211105136.XA CN202211105136A CN115438735A CN 115438735 A CN115438735 A CN 115438735A CN 202211105136 A CN202211105136 A CN 202211105136A CN 115438735 A CN115438735 A CN 115438735A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- network model
- quality inspection
- federal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 104
- 238000012360 testing method Methods 0.000 claims abstract description 27
- 230000006870 function Effects 0.000 claims description 29
- 238000012795 verification Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 7
- 238000003908 quality control method Methods 0.000 claims description 5
- 238000001228 spectrum Methods 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 238000003860 storage Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000002159 abnormal effect Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请属于人工智能技术领域，具体涉及一种基于联邦学习的质检方法、系统、可读介质及电子设备。该方法包括获取各个厂商采集到的工业数据，并将工业数据划分为训练集数据和测试集数据；构建联邦网络模型，并初始化模型参数；将训练集数据输入到联邦网络模型进行模型训练，并通过测试集数据对模型进行验证，以形成最终联邦网络模型；将最终联邦网络模型分发到各个厂商对应的边缘服务器进行更新，以对各个厂商的待验证工业数据进行质检，并得到质检结果。联合多个厂商来获取样本数据，以对训练集的样本类型量做扩展，通过该样本数据对联邦网络模型进行训练，以得到较优的训练模型，有利于得到较为准确的质检结果。
Description
技术领域
本申请属于人工智能技术领域，具体涉及一种基于联邦学习的质检方法、系统、可读介质及电子设备。
背景技术
工业厂商的产线、机床、电机、流水线产品等可以通过人工智能算法对大量声音及振动数据的深度学习，实现对工业声音的自动非接触的智能检测。出于商业竞争及故障数据成本高等考虑，基本上各自工业数据都是封闭的，由于工业机械故障及负样本数据的不均衡性和稀缺性，单独依靠一个厂商的数据无法实现智能化。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本申请的目的在于提供一种基于联邦学习的质检方法、系统、可读介质及电子设备，在一定程度上实现了解决了工业质检模型训练样本不均衡问题。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面，提供一种基于联邦学习的质检方法，所述方法包括：
获取各个厂商采集到的工业数据，并将所述工业数据划分为训练集数据和测试集数据；
构建联邦网络模型，并初始化模型参数；
将所述训练集数据输入到联邦网络模型进行模型训练，并通过所述测试集数据对模型进行验证，以形成最终联邦网络模型；
将所述最终联邦网络模型分发到各个厂商对应的边缘服务器进行更新，以对各个厂商的待验证工业数据进行质检，并得到质检结果。
根据本申请实施例的一个方面，提供一种基于联邦学习的质检系统，所述系统包括：
数据采集模块，用于采集工业数据；
边缘服务器，用于接收所述数据采集模块的工业数据，并基于所述工业数据进行本地模型训练；
中央服务器，用于接收所述边缘服务器上传的工业数据，并将所述工业数据划分为训练集数据和测试集数据；构建联邦网络模型，并初始化模型参数；将所述训练集数据输入到联邦网络模型进行模型训练，并通过所述测试集数据对模型进行验证，以形成最终联邦网络模型；将所述最终联邦网络模型分发到各个厂商对应的边缘服务器进行更新，以对各个厂商的待验证工业数据进行质检，并得到质检结果。
根据本申请实施例的一个方面，提供一种基于联邦学习的质检装置，所述装置包括：
获取模块，用于获取各个厂商采集到的工业数据，并将所述工业数据划分为训练集数据和测试集数据；
构建模块，用于构建联邦网络模型，并初始化模型参数；
训练模块，用于将所述训练集数据输入到联邦网络模型进行模型训练，并通过所述测试集数据对模型进行验证，以形成最终联邦网络模型；
分发模块，用于将所述最终联邦网络模型分发到各个厂商对应的边缘服务器进行更新，以对各个厂商的待验证工业数据进行质检，并得到质检结果。
在本申请的一些实施例中，基于以上技术方案，所述训练模块还用于，将所述训练集数据输入到所述联邦网络模型中，对所述训练集中各个数据进行特征向量提取并计算平均值，得到多个分类原型；对所述训练集之外的数据进行特征向量提取，得到验证集；计算所述验证集与各个所述分类原型之间的距离，采用预设的损失函数对模型参数进行调整，直至模型收敛，以得到所述最终联邦网络模型。
在本申请的一些实施例中，基于以上技术方案，所述训练模块还用于，将所述训练集数据利用离散小波变换方式转换成第一频谱图，并将所述第一频谱图输入到所述联邦网络模型中。
在本申请的一些实施例中，基于以上技术方案，所述训练模块还用于，在采用预设的损失函数对模型参数进行调整时，所述预设的损失函数为AM-softmax函数。
在本申请的一些实施例中，基于以上技术方案，所述训练模块还用于，采用欧式距离公式计算得到所述验证集与各个所述分类原型之间的距离。
在本申请的一些实施例中，基于以上技术方案，所述分发模块还用于，通过各个厂商对应的所述边缘服务器获取各个厂商的待验证工业数据，并将所述待验证工业数据经过频谱变化，得到第二频谱图；将所述第二频谱图输入到所述最终联邦网络模型中，以提取得到待验证特征；计算所述待验证特征与每一个分类原型的距离，并计算所述距离对应的概率值；将最大概率值对应的分类原型类别确定为所述待验证工业数据的所属类别，以得到所述质检结果。
在本申请的一些实施例中，基于以上技术方案，所述训练模块还用于，当所述联邦网络模型的损失函数值变化量小于设定的变化阈值，则模型收敛。
根据本申请实施例的一个方面，提供一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如以上技术方案中的基于联邦学习的质检方法。
根据本申请实施例的一个方面，提供一种电子设备，该电子设备包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器被配置为经由执行所述可执行指令来执行如以上技术方案中的基于联邦学习的质检方法。
根据本申请实施例的一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如以上技术方案中的基于联邦学习的质检方法。
在本申请实施例提供的技术方案中，通过获取各个厂商采集到的工业数据，即联合多个厂商来获取样本数据，以对训练集的样本类型量做了扩展，从而有利于改善质检模型训练过程中样本不均衡的问题，其次，通过样本数据对联邦网络模型进行训练，以得到较优的训练模型，最后，将该模型分发更新回各个厂商以用于工业质检的预测，有利于得到较为准确的质检结果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性地示出了应用本申请技术方案的示例性系统架构框图。
图2示意性地示出了本申请一实施例提供的基于联邦学习的质检方法步骤流程。
图3示意性地出了本申请一实施例将训练集数据输入到联邦网络模型进行模型训练，并通过测试集数据对模型进行验证，以形成最终联邦网络模型的方法步骤流程。
图4示意性地出了本申请一实施例将最终联邦网络模型分发到各个厂商对应的边缘服务器进行更新，以对各个厂商的待验证工业数据进行质检，并得到质检结果的方法步骤流程。
图5示意性地示出了本申请实施例提供的基于联邦学习的质检装置的结构框图。
图6示意性示出了适于用来实现本申请实施例的电子设备的计算机系统结构框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
联邦学习是一种机器学习框架，在模型训练时，数据是只存在于各个参与方本地客户端上的，并不会像传统的集中式学习那样将所有的数据聚集到某一个地方进行模型训练。联邦学习包括横向联邦学习，横向联邦学习也称为按样本划分的联邦学习、特征对齐的联邦学习，指的是多个参与方的数据集中的特征重叠较多而用户不同。
参见图1所示，图1示意性地示出了应用本申请技术方案的示例性系统架构框图。本申请适用于横向联邦架构，通过横向联邦架构，可以实现多个厂商内工业质检信号数据类型的安全共享。具体地，本申请基于联邦学习的质检系统包括：
数据采集模块，用于采集工业数据；
边缘服务器，用于接收数据采集模块的工业数据，并基于工业数据进行本地模型训练；
中央服务器，用于接收边缘服务器上传的工业数据，并将工业数据划分为训练集数据和测试集数据；构建联邦网络模型，并初始化模型参数；将训练集数据输入到联邦网络模型进行模型训练，并通过测试集数据对模型进行验证，以形成最终联邦网络模型；将最终联邦网络模型分发到各个厂商对应的边缘服务器进行更新，以对各个厂商的待验证工业数据进行质检，并得到质检结果。
其中，数据采集模块采集得到的工业数据例如可以为机床振动、产品声音等工业数据，而这些工业数据包括正常数据以及异常数据。对于正常数据，将正常的工业数据传输到边缘服务器中，边缘服务器基于这些数据进行本地模型训练，得到自身的梯度数据。同样地，对于异常数据，将异常的工业数据传输到对应的边缘服务器中，对应的边缘服务器基于这些数据进行本地模型训练，得到对应的梯度数据。将得到的梯度数据发送给中央服务器，中央服务器将这些数据梯度进行聚合训练，将聚合后的结果再分发给各个边缘服务器，即本申请的中央服务器支持多数据梯度共享实现聚合训练，通过查询多种数据来筛选拟合程度最佳的模型，通过多个厂商贡献不同工业质检信号数据和模型梯度联合更新，能够训练更适用的质检模型。这样，通过梯度共享解决了商业数据安全和隐私性问题，能够解决机械制造业数据孤岛及加速智能制造的问题，另外，得到的模型适用性更好。
下面结合具体实施方式对本申请提供的基于联邦学习的质检方法、系统、可读介质及电子设备做出详细说明。
参见图2，图2示意性地示出了本申请一实施例提供的基于联邦学习的质检方法步骤流程。该基于联邦学习的质检方法可以由中央服务器来执行，主要可以包括如下步骤S201至步骤S203。
步骤S201，获取各个厂商采集到的工业数据，并将工业数据划分为训练集数据和测试集数据。
在步骤S201中，获取得到各个厂商的工业数据，这些工业数据中包括各个厂商的正常数据和异常数据。其中，工业数据例如可以为机床振动、产品声音等工业数据。这样，通过联合多个厂商来获取样本数据，对训练集的样本类型量做了扩展，从而有利于改善质检模型训练过程中样本不均衡的问题。另外，通过联合多个厂商来获取样本数据，对训练集的样本类型量做了扩展，有效解决了单一厂商由于缺乏工业故障数据而无法进行智能化预测和质检的问题。
其次，在得到工业数据之后，将工业数据划分为训练集数据和测试集数据，训练集数据为用于进行训练的数据，测试集数据为用于进行验证的数据。而训练集数据也可以称为支持集，测试集数据也可以称为查询集。将参与横向联邦元学习的厂商数据进行归类，同类下的厂商又分为支持集厂商和查询集厂商分别提供同类元学习训练时所用到的支持集和查询集，这样做可以避免了数据的重复。另外，将联邦横向数据提供厂商按7:3的比例划分为训练集厂商和测试集厂商。
步骤S202，构建联邦网络模型，并初始化模型参数。
通过构建联邦网络模型并初始化模型参数，从而有利于后续的模型训练，最终可以训练得到较佳的最终模型。
步骤S203，将训练集数据输入到联邦网络模型进行模型训练，并通过测试集数据对模型进行验证，以形成最终联邦网络模型。
在进行模型训练时，可以将训练集数据输入到联邦网络模型中，进行特征提取，并对训练集中各个数据对应的类别原型进行标记，得到多个分类原型，然后对测试集数据进行特征提取并进行标记，得到验证集；计算验证集与各个分类原型之间的距离，采用预设的损失函数对模型参数进行调整，直至模型收敛，以得到最终联邦网络模型。这样，联邦聚合训练的方式，来拓展工业质检信号数据的样本分类，综合训练出来的模型更加适用和泛化。
步骤S204，将最终联邦网络模型分发到各个厂商对应的边缘服务器进行更新，以对各个厂商的待验证工业数据进行质检，并得到质检结果。
将最终联邦网络模型分发到各个厂商对应的边缘服务器进行更新，各个厂商在使用聚合的最新模型，把采集到的信号数据经过变化的频谱图输入模型，计算模型提取到的特征与每一个原型类的距离，并计算属于每一个的概率，概率值最大的那个记为预测的所属类，以此来进行工业异常故障数据的检测。
在本申请实施例提供的技术方案中，通过获取各个厂商采集到的工业数据，即联合多个厂商来获取样本数据，以对训练集的样本类型量做了扩展，其次，通过样本数据对联邦网络模型进行训练，以得到较优的训练模型，最后，将该模型分发更新回各个厂商以用于工业质检的预测，有利于得到较为准确的质检结果。
在本申请的一个实施例中，参见图3，图3示意性地出了本申请一实施例将训练集数据输入到联邦网络模型进行模型训练，并通过测试集数据对模型进行验证，以形成最终联邦网络模型的方法步骤流程。将训练集数据输入到联邦网络模型进行模型训练，并通过测试集数据对模型进行验证，以形成最终联邦网络模型，主要可以包括如下步骤S301至步骤S303。
步骤S301，将训练集数据输入到联邦网络模型中，对训练集中各个数据进行特征向量提取并计算平均值，得到多个分类原型；
步骤S302，对训练集之外的数据进行特征向量提取，得到验证集；
步骤S303，计算验证集与各个分类原型之间的距离，采用预设的损失函数对模型参数进行调整，直至模型收敛，以得到最终联邦网络模型。
在本申请的一个实施例中，该方法还包括当联邦网络模型的损失函数值变化量小于设定的变化阈值，则模型收敛。
具体地，在进行模型训练时，对于支持集厂商里的样本数据sk＝{(xi,yi)}进行本地模型训练，一般一个厂商的样本数据比较单一记为sk，采用卷积操作对针对信号频谱图进行编码特征提取，对于厂商下此类数据的所有n个样本的编码向量做求和平均操作作为原型，具体公式为：
(xi,yi)属于此厂商样本数据sk；在横向联邦中选取同质的查询集厂商样本数据做同样的编码特征提取记为Q(c)，从中央服务器同步支持集原型P(c)，查询集与支持集原型之间的距离记为d(Q(c),P(c))。在计算距离时，一般可以采用欧式距离度量作为距离度量，当然也可以使用余弦距离作为距离度量。另外，可以采用AM-Softmax损失函数来缩小模型同类内的距离，扩大不同类间的距离，重复执行上述步骤过程，直至模型收敛可用，从而能够训练更适用的质检模型。
在本申请的一个实施例中，将训练集数据输入到联邦网络模型中，包括：
将训练集数据利用离散小波变换方式转换成第一频谱图，并将第一频谱图输入到联邦网络模型中。
这样，在对于训练集数据的采集和特征提取，采用离散小波变换DWT方式提取到的信号编码图更加准确。
在本申请的一个实施例中，在采用预设的损失函数对模型参数进行调整时，预设的损失函数为AM-softmax函数。
这样，对于振动查询集进行预测的过程中，采用AM-Softmax，通过直接增加向量距离来是类间距离更大，区分更明显。
在本申请的一个实施例中，计算验证集与各个分类原型之间的距离，包括：
采用欧式距离公式计算得到验证集与各个分类原型之间的距离。
这样，通过采用欧式距离度量作为距离度量，有利于快速确定距离。
在本申请的一个实施例中，参见图4，图4示意性地出了本申请一实施例将最终联邦网络模型分发到各个厂商对应的边缘服务器进行更新，以对各个厂商的待验证工业数据进行质检，并得到质检结果的方法步骤流程。将最终联邦网络模型分发到各个厂商对应的边缘服务器进行更新，以对各个厂商的待验证工业数据进行质检，并得到质检结果，主要可以包括如下步骤S401至步骤S404。
步骤S401，通过各个厂商对应的边缘服务器获取各个厂商的待验证工业数据，并将待验证工业数据经过频谱变化，得到第二频谱图；
步骤S402，将第二频谱图输入到最终联邦网络模型中，以提取得到待验证特征；
步骤S403，计算待验证特征与每一个分类原型的距离，并计算距离对应的概率值；
步骤S404，将最大概率值对应的分类原型类别确定为待验证工业数据的所属类别，以得到质检结果。
为了便于理解本申请的技术方案，举例如下，例如，假设支持集数据也就是训练集数据包括A厂商正常数据X1、B厂商正常数据X2以及C厂商异常数据X3，基于初始数据对这些数据进行分类，得到分类原型，三个厂商的数据分别对应c1、c2以及c3三个分类原型，将待验证的数据经过最终联邦网络模型可输出一个特征值，分别计算该特征值到c1、c2以及c3的距离，对计算得到的距离进行分类归一，得到对应的概率值，分别为0.8、0.1以及0.1，选择最大概率值对应的分类原型，也就是c1，从而可以得到待验证工业数据为正常数据。
应当注意，尽管在附图中以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的基于联邦学习的质检方法。图5示意性地示出了本申请实施例提供的基于联邦学习的质检装置的结构框图。如图5所示，基于联邦学习的质检装置500包括：
获取模块501，用于获取各个厂商采集到的工业数据，并将工业数据划分为训练集数据和测试集数据；
构建模块502，用于构建联邦网络模型，并初始化模型参数；
训练模块503，用于将训练集数据输入到联邦网络模型进行模型训练，并通过测试集数据对模型进行验证，以形成最终联邦网络模型；
分发模块504，用于将最终联邦网络模型分发到各个厂商对应的边缘服务器进行更新，以对各个厂商的待验证工业数据进行质检，并得到质检结果。
在本申请的一些实施例中，基于以上技术方案，训练模块503还用于，将训练集数据输入到联邦网络模型中，对训练集中各个数据进行特征向量提取并计算平均值，得到多个分类原型；对训练集之外的数据进行特征向量提取，得到验证集；计算验证集与各个分类原型之间的距离，采用预设的损失函数对模型参数进行调整，直至模型收敛，以得到最终联邦网络模型。
在本申请的一些实施例中，基于以上技术方案，训练模块503还用于，将训练集数据利用离散小波变换方式转换成第一频谱图，并将第一频谱图输入到联邦网络模型中。
在本申请的一些实施例中，基于以上技术方案，训练模块503还用于，在采用预设的损失函数对模型参数进行调整时，预设的损失函数为AM-softmax函数。
在本申请的一些实施例中，基于以上技术方案，训练模块503还用于，采用欧式距离公式计算得到验证集与各个分类原型之间的距离。
在本申请的一些实施例中，基于以上技术方案，分发模块504还用于，通过各个厂商对应的边缘服务器获取各个厂商的待验证工业数据，并将待验证工业数据经过频谱变化，得到第二频谱图；将第二频谱图输入到最终联邦网络模型中，以提取得到待验证特征；计算待验证特征与每一个分类原型的距离，并计算距离对应的概率值；将最大概率值对应的分类原型类别确定为待验证工业数据的所属类别，以得到质检结果。
在本申请的一些实施例中，基于以上技术方案，训练模块还用于，当联邦网络模型的损失函数值变化量小于设定的变化阈值，则模型收敛。
本申请各实施例中提供的基于联邦学习的质检装置的具体细节已经在对应的方法实施例中进行了详细的描述，此处不再赘述。
图6示意性地示出了用于实现本申请实施例的电子设备的计算机系统结构框图。
需要说明的是，图6示出的电子设备的计算机系统600仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括中央处理器601(Central Processing Unit，CPU)，其可以根据存储在只读存储器602(Read-Only Memory，ROM)中的程序或者从存储部分608加载到随机访问存储器603(Random Access Memory，RAM)中的程序而执行各种适当的动作和处理。在随机访问存储器603中，还存储有系统操作所需的各种程序和数据。中央处理器601、在只读存储器602以及随机访问存储器603通过总线604彼此相连。输入/输出接口605(Input/Output接口，即I/O接口)也连接至总线604。
以下部件连接至输入/输出接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至输入/输出接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本申请的实施例，各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理器601执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (10)
1.一种基于联邦学习的质检方法，其特征在于，所述方法包括：
获取各个厂商采集到的工业数据，并将所述工业数据划分为训练集数据和测试集数据；
构建联邦网络模型，并初始化模型参数；
将所述训练集数据输入到联邦网络模型进行模型训练，并通过所述测试集数据对模型进行验证，以形成最终联邦网络模型；
将所述最终联邦网络模型分发到各个厂商对应的边缘服务器进行更新，以对各个厂商的待验证工业数据进行质检，并得到质检结果。
2.根据权利要求1所述的基于联邦学习的质检方法，其特征在于，所述将所述训练集数据输入到联邦网络模型进行模型训练，并通过所述测试集数据对模型进行验证，以形成最终联邦网络模型，包括：
将所述训练集数据输入到所述联邦网络模型中，对所述训练集中各个数据进行特征向量提取并计算平均值，得到多个分类原型；
对所述训练集之外的数据进行特征向量提取，得到验证集；
计算所述验证集与各个所述分类原型之间的距离，采用预设的损失函数对模型参数进行调整，直至模型收敛，以得到所述最终联邦网络模型。
3.根据权利要求2所述的基于联邦学习的质检方法，其特征在于，所述将所述训练集数据输入到所述联邦网络模型中，包括：
将所述训练集数据利用离散小波变换方式转换成第一频谱图，并将所述第一频谱图输入到所述联邦网络模型中。
4.根据权利要求2所述的基于联邦学习的质检方法，其特征在于，在采用预设的损失函数对模型参数进行调整时，所述预设的损失函数为AM-softmax函数。
5.根据权利要求2所述的基于联邦学习的质检方法，其特征在于，所述计算所述验证集与各个所述分类原型之间的距离，包括：
采用欧式距离公式计算得到所述验证集与各个所述分类原型之间的距离。
6.根据权利要求1所述的基于联邦学习的质检方法，其特征在于，所述将所述最终联邦网络模型分发到各个厂商对应的边缘服务器进行更新，以对各个厂商的待验证工业数据进行质检，并得到质检结果，包括：
通过各个厂商对应的所述边缘服务器获取各个厂商的待验证工业数据，并将所述待验证工业数据经过频谱变化，得到第二频谱图；
将所述第二频谱图输入到所述最终联邦网络模型中，以提取得到待验证特征；
计算所述待验证特征与每一个分类原型的距离，并计算所述距离对应的概率值；
将最大概率值对应的分类原型类别确定为所述待验证工业数据的所属类别，以得到所述质检结果。
7.根据权利要求2所述的基于联邦学习的质检方法，其特征在于，所述方法还包括：
当所述联邦网络模型的损失函数值变化量小于设定的变化阈值，则模型收敛。
8.一种基于联邦学习的质检系统，其特征在于，所述系统包括：
数据采集模块，用于采集工业数据；
边缘服务器，用于接收所述数据采集模块的工业数据，并基于所述工业数据进行本地模型训练；
中央服务器，用于接收所述边缘服务器上传的工业数据，并将所述工业数据划分为训练集数据和测试集数据；构建联邦网络模型，并初始化模型参数；将所述训练集数据输入到联邦网络模型进行模型训练，并通过所述测试集数据对模型进行验证，以形成最终联邦网络模型；将所述最终联邦网络模型分发到各个厂商对应的边缘服务器进行更新，以对各个厂商的待验证工业数据进行质检，并得到质检结果。
9.一种计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1至7中任意一项所述的基于联邦学习的质检方法。
10.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任意一项所述的基于联邦学习的质检方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211105136.XA CN115438735A (zh) | 2022-09-09 | 2022-09-09 | 基于联邦学习的质检方法、系统、可读介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211105136.XA CN115438735A (zh) | 2022-09-09 | 2022-09-09 | 基于联邦学习的质检方法、系统、可读介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115438735A true CN115438735A (zh) | 2022-12-06 |
Family
ID=84247734
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211105136.XA Withdrawn CN115438735A (zh) | 2022-09-09 | 2022-09-09 | 基于联邦学习的质检方法、系统、可读介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115438735A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647721A (zh) * | 2018-05-10 | 2018-10-12 | 邢汉发 | 基于网络图片自动识别的地表覆盖验证方法及系统 |
| CN112183764A (zh) * | 2020-10-12 | 2021-01-05 | 中国石油大学(华东) | 一种基于区块链和联邦学习的物联网设备故障检测方法 |
| CN112308240A (zh) * | 2020-11-02 | 2021-02-02 | 清华大学 | 基于联邦学习的边缘侧机器协同与优化的系统 |
| CN112884059A (zh) * | 2021-03-09 | 2021-06-01 | 电子科技大学 | 一种融合先验知识的小样本雷达工作模式分类方法 |
| CN113033624A (zh) * | 2021-03-08 | 2021-06-25 | 中国石油大学(华东) | 一种基于联邦学习的工业图像故障诊断方法 |
| CN113033772A (zh) * | 2021-03-05 | 2021-06-25 | 中国石油大学(华东) | 一种基于联邦学习的多设备状态监测方法 |
| CN113139536A (zh) * | 2021-05-12 | 2021-07-20 | 哈尔滨工业大学（威海） | 一种基于跨域元学习的文本验证码识别方法、设备及存储介质 |
| CN114091617A (zh) * | 2021-11-29 | 2022-02-25 | 深圳前海微众银行股份有限公司 | 联邦学习建模优化方法、电子设备、存储介质及程序产品 |
| CN114169433A (zh) * | 2021-12-07 | 2022-03-11 | 中国石油大学(华东) | 一种基于联邦学习+图学习+cnn的工业故障预测方法 |
| EP4009222A1 (en) * | 2020-12-04 | 2022-06-08 | Airesearch S.r.l. | Method for automatic processing of natural language by means of artificial intelligence |
-
2022
- 2022-09-09 CN CN202211105136.XA patent/CN115438735A/zh not_active Withdrawn
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647721A (zh) * | 2018-05-10 | 2018-10-12 | 邢汉发 | 基于网络图片自动识别的地表覆盖验证方法及系统 |
| CN112183764A (zh) * | 2020-10-12 | 2021-01-05 | 中国石油大学(华东) | 一种基于区块链和联邦学习的物联网设备故障检测方法 |
| CN112308240A (zh) * | 2020-11-02 | 2021-02-02 | 清华大学 | 基于联邦学习的边缘侧机器协同与优化的系统 |
| EP4009222A1 (en) * | 2020-12-04 | 2022-06-08 | Airesearch S.r.l. | Method for automatic processing of natural language by means of artificial intelligence |
| CN113033772A (zh) * | 2021-03-05 | 2021-06-25 | 中国石油大学(华东) | 一种基于联邦学习的多设备状态监测方法 |
| CN113033624A (zh) * | 2021-03-08 | 2021-06-25 | 中国石油大学(华东) | 一种基于联邦学习的工业图像故障诊断方法 |
| CN112884059A (zh) * | 2021-03-09 | 2021-06-01 | 电子科技大学 | 一种融合先验知识的小样本雷达工作模式分类方法 |
| CN113139536A (zh) * | 2021-05-12 | 2021-07-20 | 哈尔滨工业大学（威海） | 一种基于跨域元学习的文本验证码识别方法、设备及存储介质 |
| CN114091617A (zh) * | 2021-11-29 | 2022-02-25 | 深圳前海微众银行股份有限公司 | 联邦学习建模优化方法、电子设备、存储介质及程序产品 |
| CN114169433A (zh) * | 2021-12-07 | 2022-03-11 | 中国石油大学(华东) | 一种基于联邦学习+图学习+cnn的工业故障预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108197652B (zh) | 用于生成信息的方法和装置 | |
| CN105912500A (zh) | 机器学习模型生成方法和装置 | |
| CN113095512A (zh) | 联邦学习建模优化方法、设备、介质及计算机程序产品 | |
| CN108229419A (zh) | 用于聚类图像的方法和装置 | |
| CN112037223B (zh) | 图像缺陷检测方法、装置及电子设备 | |
| CN111340233B (zh) | 机器学习模型的训练方法及装置、样本处理方法及装置 | |
| CN115130536A (zh) | 特征提取模型的训练方法、数据处理方法、装置及设备 | |
| CN109145984B (zh) | 用于机器训练的方法和装置 | |
| CN107886113B (zh) | 一种基于卡方检验的电磁频谱噪声提取和滤波方法 | |
| CN113568899A (zh) | 基于大数据的数据优化方法及云服务器 | |
| TWI818496B (zh) | 指紋識別方法、指紋模組及電子設備 | |
| CN115114329A (zh) | 数据流异常检测的方法、装置、电子设备和存储介质 | |
| CN108615006A (zh) | 用于输出信息的方法和装置 | |
| CN110866609B (zh) | 解释信息获取方法、装置、服务器和存储介质 | |
| CN113094415B (zh) | 数据抽取方法、装置、计算机可读介质及电子设备 | |
| CN110046670B (zh) | 特征向量降维方法和装置 | |
| CN115438735A (zh) | 基于联邦学习的质检方法、系统、可读介质及电子设备 | |
| CN115905983A (zh) | 一种人工智能数据归类系统 | |
| CN110490245B (zh) | 身份验证模型训练方法及装置、存储介质、电子设备 | |
| CN114067149A (zh) | 互联网服务提供方法、装置和计算机设备 | |
| CN114722061B (zh) | 数据处理方法及装置、设备、计算机可读存储介质 | |
| CN116205154B (zh) | 空气动力系数的生成方法、装置、终端设备及存储介质 | |
| CN117118689B (zh) | 一种不平衡数据物联网入侵检测方法及装置 | |
| CN110084511B (zh) | 一种无人机配型方法、装置、设备及可读存储介质 | |
| CN112861951B (zh) | 一种图像神经网络参数的确定方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20221206 |