CN115310603A - 一种基于联邦迁移学习的装配监测模型训练方法及系统 - Google Patents

一种基于联邦迁移学习的装配监测模型训练方法及系统 Download PDF

Info

Publication number
CN115310603A
CN115310603A CN202210763972.0A CN202210763972A CN115310603A CN 115310603 A CN115310603 A CN 115310603A CN 202210763972 A CN202210763972 A CN 202210763972A CN 115310603 A CN115310603 A CN 115310603A
Authority
CN
China
Prior art keywords
model
task
node
federal
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210763972.0A
Other languages
English (en)
Inventor
谢龙汉
王闯
袁瑜容
肖鹏
郝颖
林泽
苏楚鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Zhongshan Institute of Modern Industrial Technology of South China University of Technology
Original Assignee
South China University of Technology SCUT
Zhongshan Institute of Modern Industrial Technology of South China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT, Zhongshan Institute of Modern Industrial Technology of South China University of Technology filed Critical South China University of Technology SCUT
Priority to CN202210763972.0A priority Critical patent/CN115310603A/zh
Publication of CN115310603A publication Critical patent/CN115310603A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提公开了一种基于联邦迁移学习的装配监测模型训练方法及系统。所述方法包括:创建多任务联邦学习模型库;根据客户任务特征数据分析当前任务场景与现有模型场景相似度,判断该客户任务相对于仓库子节点任务是否为新任务;设计融合权重,选择性加权融合多任务联邦学习模型库中的模型,为客户节点任务生成具有先验知识的初始化模型,下放模型至边缘客户节点;客户节点使用本地数据训练模型,并将模型分享到云服务器;更新多任务联邦学习模型库。本发明采用边云协同的模型训练方式,降低边缘端对计算和存储资源的要求;充分考虑装配任务的相似性和差异性,根据客户节点任务特征,生成定制化的初始化模型,降低了模型训练成本。

Description

一种基于联邦迁移学习的装配监测模型训练方法及系统
技术领域
本发明属于工业机器人监测领域,具体涉及基于机器学习的机器人装配监测方法及系统,适用于智能制造背景下的工业生产场景。
背景技术
机器人装配得到普遍应用,特别是柔性制造场景中,具有任务种类多、重构频繁等特点;基于深度学习的监测方法,具有学习能力强、人工成本低等特点,但是训练模型需要的计算量和样本数据量增加了应用难度。
针对工业设备监测模型训练存在的问题,业界提出了边云协同的训练框架和联邦学习方法。中国专利202011405412.5提供一种基于云边协同的工业设备监测的方法和系统,边缘平台负责实际的设备检测,云平台负责多个边缘平台控制管理,避免将监测数据汇集到云平台,提高数据传输效率和工业数据的安全性,减少网络带宽压力;云平台基于联邦学习技术融合不同边缘平台的故障检测模型,获得共享模型后下发给边缘平台使用,提高故障检测模型的泛化能力,通过边缘平台对设备状态进行检测,提高检测的响应速度,保证检测的实效性。该云边协同的联邦学习方法能够很好的提高故障检测模型的泛化能力和响应速度,联邦迁移学习方法能够在保护隐私的情况下兼顾模型迁移过程中的域对齐。但是机器人装配任务具有多样性,如轴孔装配、齿轮装配等,并且任务之间具有一定的相似性,如装配任务相同类型不同材料。现有的联邦学习方法没有考虑任务的差异性。
发明内容
为了解决现有技术存在的问题,本发明提供了一种基于联邦迁移学习的多机器人装配任务监测模型边云协同训练方法。充分利用实际装配任务的多样性和相似性,构建模型库,使用联邦迁移学习方法,选择性地融合现有模型为当前任务提供初始化模型,并使用当前任务训练后的模型对模型库进行更新,提高了多种任务场景下模型的利用率和可迁移性,降低了对样本数据的依赖,减少训练过程的计算量。
为了解决上述技术问题,本发明提供了一种基于联邦迁移学习的工业多任务监测模型定制化方法,包括如下步骤:
1、定义统一神经网络模型,构建模型库。根据多种典型装配任务中常见典型故障下类型,采用统一神经网络结构模型作为机器人装配监测模型,考虑装配任务的差异性,多个相同结构的监测模型作为子任务场景节点的基础模型,构成多任务联邦学习模型库。
2、任务相似度计算。根据客户节点的任务特征数据,使用相似度计算方法获取当前任务与模型库中已有基础模型的相似度。
3、设计模型融合机制。根据当前客户节点任务与已有基础模型的相似度,对比相似阈值,筛选出高于相似阈值的子节点模型作为融合对象,将其相似度转化为与该客户节点任务的融合权重,使用联邦学习方法进行模型融合,作为客户节点任务的初始化模型。
4、模型迁移训练与分享。在客户节点使用统一的数据标注方法对本地数据进行标注,使用本地数据对从服务节点获得的初始化模型进行微调,获得适用于当前任务监测的模型,并将该模型进行共享。
5、模型回收与模型库重构。根据已训练的客户节点任务模型与已有基础模型的相似度,对比价值阈值,判断该客户任务相对于仓库子节点任务是否属于新任务。如果是,模型回收后直接作为一个独立的基础模型,代表一种新的任务场景;否则,模型回收后,计算对应子节点模型的泛化融合权重,根据泛化基础模型方法进行加权融合。
具体的,步骤1中所述多种装配任务多种典型故障,根据任务操作的差异性,可以将装配任务分为若干类,如轴孔装配、齿轮装配、L型零部件装配等,每类任务内具有操作上的相似性,学习的知识具有可推广性;装配操作由许多相似的动作组合而成,主要发生的故障在不同任务中种类相似,如装配零部件缺失、障碍物阻塞等;故将机器人装配监测问题定义为分类问题。
可选的,步骤1中所述统一神经网络采用卷积神经网络,将多维度机器人运行时间序列数据切分成矩阵,为典型故障类型设计统一标注方法,神经网络通过监督学习的方法学习机器人状态与故障之间的映射关系。
具体的,步骤1中所述多任务联邦学习模型库,用于储存各子任务场景的监测模型,支持模型读取、更新和子场景扩充。假设云端已存储了n个任务场景下的监测模型,在收到新任务场景下的监测模型时则将其编号为n+1并分配新节点储存该模型,同时更新仓库监测模型数量。
可选的,步骤2中所述任务特征数据,客户节点收集该任务场景的正常工作时序数据,进行切片,乱序,重塑等一系列操作,随后以张量形式保存。
具体的,步骤2中所述相似性计算方法,从多任务联邦学习模型库调取所有子节点(1,2,……,n)的基础模型,使用客户节点任务特征数据计算出各节点模型的最大分类概率,作为该客户节点与联邦学习模型仓库中各节点基础模型的相似度[s1,s2,……,sn]。
具体的,步骤3中所述相似阈值sthre,是人为确定的反映该模型相对于多任务联邦学习模型库中各子节点模型的相似程度的临界值,用于筛选相似场景节点模型进行联邦学习,减小任务差异性对联邦学习的影响,其具体值可在实践过程中被通过经验或数学关系确定。
具体的,步骤3中所述融合权重
Figure BDA0003724865290000036
即筛选后得到的m个高相似度节点的模型在联邦学习中参数融合比例。该权重计算方法如下:
Figure BDA0003724865290000031
具体的,步骤3中所述基于联邦学习的模型融合,依据筛选后的子节点任务的融合权重
Figure BDA0003724865290000037
i∈[1,2,……m],对筛选后的子节点模型参数αi加权融合,得到定制化模型参数αs
Figure BDA0003724865290000032
具体的,步骤4中所述模型微调,不改变模型结构,仅使用本地数据对获得的初始模型进行参数矫正。
具体的,步骤5中所述价值阈值svalue,即人为确定的反映该模型相对于多任务联邦学习模型库的价值的临界值,用于选择多任务联邦学习模型库更新策略,其具体值可在实践过程中被通过经验或数学关系确定。
具体的,步骤5中所述泛化融合权重,即根据客户节点分享模型与现有仓库子节点的基础模型相似度,计算其与现有模型库子节点的基础模型泛化融合权重
Figure BDA0003724865290000033
计算公式如下:
Figure BDA0003724865290000034
smax=max{s1,s2,……,sn}
具体的,步骤5中泛化加权融合方法,是使用泛化融合权重,将客户节点分享的模型参数αc与模型库中高相似度模型αb进行加权融合,更新现有基础模型:
Figure BDA0003724865290000035
本发明还提供一种用于实现上述方法的系统。所述系统包括:多任务联邦学习模型库、任务特征数据获取模块,任务相似度判断模块,联邦模型融合模块、模型下放模块、模型回收模块、联邦模型更新模块。
多任务联邦学习模型库,用于存放多任务场景监测模型。该模型库由具有统一神经网络结构的各子节点的基础模型组成,并通过联邦模型更新模块利用客户边缘模型对模型库进行更新。
任务特征数据获取模块,用于采集客户边缘任务的特征数据。在执行步骤2时,将待监测任务场景的原始数据作为输入,通过运行该模块,对数据进行切片、乱序、重塑等操作,输出以张量形式保存的任务特征数据。
任务相似度判断模块,用于判断客户节点任务场景与模型库现有子节点任务场景模型的相似度。在执行步骤2时,将任务特征数据获取模块输出的客户边缘的特征数据作为输入,通过运行该模块,计算客户节点任务与多任务联邦学习模型库中各子节点任务的相似度,作为输出。
联邦模型融合模块,用于融合多任务联邦学习模型库中的模型,并生成客户节点任务的定制化模型。在执行步骤3时,将任务相似度判断模块输出的相似度作为输入,通过运行该模块,根据相似阈值筛选融合对象和计算融合权重,根据融合权重对筛选后的子节点任务的基础模型进行联邦融合,并输出得到的定制化模型。
模型下放模块,用于向边缘客户节点下发联邦模型融合模块中生成的定制化模型和对应的故障标签。
模型回收模块,用于回收客户本地化的模型。在执行步骤4时,通过运行该模块,从边缘客户节点回收客户在本地个性化后的模型。
联邦模型更新模块,用于重构多任务联邦学习模型库。在执行步骤4时,将任务相似度判断模块输出的融合权重作为输入,通过运行该模块,判断客户任务是否为新任务,从而使用不同策略更新多任务联邦学习模型库。
与现有技术相比,本发明的有益效果至少为:
本发明通过多个装配机器人之间的知识分享与融合,低成本地构建装配任务监测模型,保障装配过程的安全性,为柔性装配提供有力的支撑。采用边云协同的模型训练方式,降低边缘端对计算和存储资源的要求;充分利用实际装配任务的相似性,使用联邦迁移学习方法,通过模型共享实现不同个体之间知识的共享,避免了大规模数据交换与传输;充分考虑装配任务的相似性和差异性,根据客户节点任务特征,生成定制化的初始化模型,并可选的根据不同客户任务实现系统的更新从而提高子节点模型的泛化性和准确率,降低了模型训练成本和提高了对已有模型的知识利用水平。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例提供的系统的结构连接示意图图;
图2为本发明实施例提供的边云协同训练方法流程图;
图3为本发明实施例的系统运行流程图。
具体实施方式
以下将结合说明书附图和具体实施例对本发明做进一步详细说明。
本发明提供一种基于联邦迁移学习的装配监测模型训练方法及系统。所述系统采用边云协同的架构,如图1所示,包含一个云服务器节点和多个边缘客户节点。云服务器节点用于定义统一全局模型,并采用多任务联邦迁移学习策略为边缘客户节点提供初始全局模型;边缘客户节点使用本地训练数据和全局模型训练客户模型;边云协同策略用于云服务器节点与边缘客户节点进行任务特征数据与模型参数交互。
如图2所示,本发明提供的一种基于联邦迁移学习的装配监测模型训练方法,包括以下步骤:
S1,采用统一的神经网络模型分别构建各任务下的装配监测模型,将各装配监测模型上传至云服务器节点中的模型库子节点,形成初始化的多任务联邦学习模型库;
基于工业机器人多种典型任务下多种典型故障的工作场景,根据树莓派实时采集的机器人传感器生成的各类数据收集样本数据,采用统一的神经网络模型分别构建各任务下的装配监测模型,将各装配监测模型上传至云服务器节点中的模型库子节点,形成初始化的多任务联邦学习模型库。其中,各装配监测模型中的神经网络结构具有相同的网络结构,但具有不同的参数(神经网络模型参数主要包含卷积核参数以及全连接层的权重和偏置参数,多个模型库子节点模型参数不同的根本原因是装配任务具有较大的差异性,根据相似性和差异性进行模型库更新,形成不同的模型族)。
在本发明的其中一些实施例中,所述多种装配任务多种典型故障,根据任务操作的差异性,可以将装配任务分为若干类,如轴孔装配、齿轮装配、L型零部件装配等,每类任务内具有操作上的相似性,学习的知识具有可推广性;装配操作由许多相似的动作组合而成,主要发生的故障在不同任务中种类相似,如装配零部件缺失、障碍物阻塞等;故将机器人装配监测问题定义为分类问题。
在本发明的其中一些实施例中,根据装配机器人状态数据和故障类型的相似性,多种场景采用统一网络模型,神经网络模型结构包括“卷积神经网络+全连接层”(本实施例采用标准的卷积层,可替代的有空洞卷积层、转置卷积层等),具体可以采用“3层卷积层+3层全连接层”的网络模型结构;根据装配任务的差异性,将其分为多种场景分别训练模型,得到多个相同结构的装配监测模型,多个相同结构而参数不同的装配监测模型作为子任务场景节点的基础模型,构成多任务联邦学习模型库。
在本发明的其中一些实施例中,多任务联邦学习模型库用于储存各子任务场景的装配监测模型,支持模型读取、更新和子场景扩充。假设云端已存储了n个任务场景下的装配监测模型,在收到新任务场景下的监测模型时则将其编号为n+1并分配新节点储存该模型,同时更新模型库中装配监测模型数量。
S2,定义客户节点的任务特征数据。
在本发明的其中一些实施例中,所述任务特征数据为客户节点收集的任务场景的正常工作时序数据进行预处理后以张量形式保存的数据。
将客户节点产生的原始时序数据进行数据格式转换为统一格式的数据,该格式数据可以直接作为任务相似度判断模块的输入而不需额外进行处理。在本发明的其中一些实施例中,将以数组形式储存的原始时序信号进行切片、乱序和重塑成120*18的张量格式,保证多种装配任务中数据格式的统一,便于模型知识的共享。将多维度机器人运行时间序列数据切分成矩阵,为故障类型设计统一标注方法,神经网络通过监督学习的方法学习机器人状态与故障之间的映射关系。
S3,根据任务特征数据和多任务联邦学习模型库中已有模型,使用相似度计算方法计算客户节点的当前任务与模型库子节点已有模型之间的相似度,并通过预设的相似阈值和价值阈值进行模型融合。
相似度计算方法用于接收来自于客户节点的特定格式数据,该特定格式数据在本发明其中一些实施例中为120*18的张量。接着从多任务联邦学习模型库调取所有现存模型库子节点(1,2……,i,j≤n)的装配监测模型,输入来自于客户节点的格式数据,对于每一个现有的装配监测模型,提取卷积神经网络的最后一层输出值计算最大分类概率,作为该客户节点与对应多任务联邦学习模型库中子节点的相似度[s1,s2,……,sn],其中n为多任务联邦学习模型库中的n个子节点,sn是客户节点与多任务联邦学习模型库中第n个子节点的相似度。
S4,多任务联邦学习方法。根据当前客户节点任务与已有基础模型的相似度,对比预设的相似阈值,筛选出相似度高于相似阈值sthre的模型库子节点,相似阈值的模型库子节点的基础模型作为融合对象,将其相似度转化为与该客户节点任务的融合权重,使用联邦融合算法进行模型融合,生成客户节点任务定制化的初始化模型,并下放模型用于客户在本地化训练;
所述相似阈值sthre,是人为确定的反映客户节点的当前任务相对于多任务联邦学习模型库中各模型库子节点的装配监测模型的相似程度的临界值,用于筛选客户节点中相似场景节点模型进行联邦学习,减小任务差异性对联邦学习的影响。当相似度高于相似阈值sthre时,则该相似度所对应的模型库子节点与当客户节点的当前任务具有一定的相关性,可用于初始模型融合,其具体值可在实践过程中被通过经验或数学关系确定。在本发明的其中一些实施例中,相似阈值sthre为根据工业场景下专家确定的具体值。
在本发明的其中一些实施例中,筛选出相似度高于相似阈值sthre的模型库子节点,并重新编号为1到m,并根据其与客户节点的相似度的大小为节点赋予权重,称为融合权重
Figure BDA0003724865290000071
m为筛选出的模型库子节点的数量。然后将该融合权重值用于联邦模型融合。
融合权重
Figure BDA0003724865290000072
i∈[1,2,……m]为筛选后得到的各高相似度节点的模型在联邦模型融合模块中参数融合比例。该权重根据对应相似度大小在相似度之和之中所占比例决定。
Figure BDA0003724865290000073
式中,si是从模型库子节点筛选出的m个模型中第i个模型的相似度,sm是从模型库子节点筛选出的m个模型中第m个模型的相似度;
所述联邦融合算法,即使用融合权重
Figure BDA0003724865290000075
i∈[1,2,……m],对筛选后的模型库子节点已有的基础模型的参数αi进行加权融合,得到客户节点定制化的模型参数αs,具体公式为:
Figure BDA0003724865290000074
其中,αi为模型库子节点已有的装配监测模型的参数,在本发明的其中一些实施例中,可为卷积神经网络的卷积核参数,但模型全连接层的权重和偏置亦可作为本发明联邦融合算法的使用对象。一般选择卷积核参数,可以扩展同时包含卷积核参数、权重和偏置。
S5,迁移学习。在客户节点接收客户节点定制化的模型参数αs之后,客户节点利用本地数据fine-tune(微调)模型,经过短时间的本地训练即可生成本地个性化后的模型,获得适用于客户节点当前任务监测的模型。该模型能既将云端的知识迁移到客户端,又实现了模型在客户端的本地化。
在本发明的其中一些实施例中,所述模型微调,不改变模型结构,在客户节点使用统一的数据标注方法对本地数据进行标注,仅使用本地数据对获得的初始模型进行参数矫正。
S6,设计模型回收和模型更新机制。通过相似度和价值阈值,判断客户节点的任务类型是否属于新任务。若客户节点任务与模型库子节点中的模型的最大相似度smax=max{s1,s2,……,sn}小于预设的价值阈值svalue,则该客户节点任务属于新任务,则回收客户节点本地化训练后的模型作为新节点任务加入多任务联邦学习模型库,将其编号为n+1并分配新节点储存,模型回收后直接作为一个独立的基础模型,代表一种新的任务场景。若最大相似度smax大于价值阈值svalue,认为与已有模型库子节点的模型高度相似,则回收客户节点本地化训练后的模型与已有模型库子节点的模型进行加权融合,泛化已有子节点模型。
所述价值阈值svalue,是人为确定的反映客户节点的当前任务相对于多任务联邦学习模型库的价值的临界值,当存在对应现有模型库子节点的模型相似度高于价值阈值svalue时,说明该客户节点任务与模型库现有子节点任务相似度高,则判定其为已有任务;相反,当所有对应现有模型库子节点的模型相似度均低于价值阈值svalue时,则认为该客户节点任务为新任务。价值阈值svalue的具体取值可在实践过程中被通过经验或数学关系确定。
所述泛化融合权重和泛化基础模型方法,回收客户模型后,当判断为旧任务场景时,使用最大相似度,构建客户模型与对应模型仓库子节点模型的泛化融合权重。使用泛化融合权重和客户模型,对相应的模型仓库子节点模型进行泛化更新。
在本发明的其中一些实施例中,泛化已有任务模型的加权融合算法为,根据客户节点的共享模型与现有模型库子节点的模型最大相似度smax,来确定客户节点本地化训练后的共享模型与已有子节点模型的泛化融合权重
Figure BDA0003724865290000081
Figure BDA0003724865290000082
使用泛化融合权重
Figure BDA0003724865290000083
将客户节点共享的模型参数αc与多任务联邦学习模型库中高相似度模型参数αb进行加权融合,更新多任务联邦学习模型库中的模型:
Figure BDA0003724865290000084
本发明还提供一种基于联邦迁移学习的工业多任务监测模型定制化系统,包括:
多任务联邦模型学习库,用于存放多任务场景监测模型。该仓库由具有统一神经网络结构的各子节点的基础模型组成,并通过联邦模型更新模块利用客户边缘模型对仓库进行更新。
任务特征数据获取模块,用于采集客户边缘任务的特征数据。在执行步骤2时,将待监测任务场景的原始数据作为输入,通过运行该模块,对数据进行切片、乱序、重塑等操作,输出以张量形式保存的任务特征数据。
任务相似度判断模块,用于判断客户节点任务场景与模型库现有子节点任务场景模型的相似度。在执行步骤2时,将任务特征数据获取模块输出的客户边缘的特征数据作为输入,通过运行该模块,计算客户节点任务与多任务联邦学习模型库中各子节点任务的相似度,作为输出。
联邦模型融合模块,用于融合多任务联邦学习模型库中的模型,并生成客户节点任务的定制化模型。在执行步骤3时,将任务相似度判断模块输出的相似度作为输入,通过运行该模块,根据相似阈值筛选融合对象和计算融合权重,根据融合权重对筛选后的子节点任务的基础模型进行联邦融合,并输出得到的定制化模型。
模型下放模块,用于向边缘客户节点下发联邦模型融合模块中生成的定制化模型和对应的故障标签。
模型回收模块,用于回收客户本地化的模型。在执行步骤4时,通过运行该模块,从边缘客户节点回收客户在本地个性化后的模型。
联邦模型更新模块,用于重构多任务联邦学习模型库。在执行步骤4时,将任务相似度判断模块输出的融合权重作为输入,通过运行该模块,判断客户任务是否为新任务,从而使用更新多任务联邦学习模型库。
本发明的具体的系统运行流程,如图3所示:
S1,发送模型请求。边缘客户节点收集该任务场景的正常运行数据,转换数据为特定格式。当边缘客户节点向系统发送定制化监测模型的请求,并向系统的客户节点任务识别模块发送特定格式的数据。
S2,多任务联邦学习。根据客户任务特征数据,选择性融合现有模型,为客户节点提供良好的初始化模型。该过程包括如下步骤:1)根据客户发送的定制化监测模型的请求,运行任务相似度判断模块,该模块通过将客户数据作为输入参数运行现有多个基础模型,输出客户节点与多任务联邦模型学习库中各子节点任务的相似度。2)根据该客户节点数据,运行任务相似度模块得出客户节点与多任务联邦学习模型库中各子节点任务的相似度,将其与相似阈值进行比较,仅留下高于阈值的对应子节点任务作为融合对象,再将其相似度转化为与该客户节点任务的融合权重。3)根据客户节点任务的融合权重,加权融合多任务联邦模型学习库中的对应子节点模型,从而生成客户节点任务的定制化模型。
S3,模型下发。通过TCP/IP协议将生成的定制化模型和对应的故障标签下发给边缘客户节点。
S4,迁移学习。边缘客户节点接收定制化模型后,利用本地数据fine-tune(微调)模型,生成本地个性化后的模型。
S5,模型回收。通过TCP/IP协议向云服务器节点发送请求并上传本地化模型,完成模型的回收。
S6,模型库更新。根据客户节点任务的与现有任务的融合权重,判断该节点任务是否属于新任务。如属于新任务,则回收客户本地化训练后的模型作为新节点任务加入多任务联邦学习模型库。如属于已有任务,则回收客户本地化训练后的模型与对应基础模型进行加权融合,泛化对应基础模型。
本发明实施例提供的方法和系统,采用边云协同的模型训练方式,降低边缘端对计算和存储资源的要求;通过模型共享实现不同个体之间知识的共享,避免了大规模数据交换与传输;充分考虑装配任务的相似性和差异性,根据客户节点任务特征,生成定制化的初始化模型,降低了模型训练成本和提高了对已有模型的知识利用水平。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其他实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于联邦迁移学习的装配监测模型训练方法,其特征在于,所述方法包括:
采用统一的神经网络模型分别构建各任务下的装配监测模型,将各装配监测模型上传至云服务器节点中的模型库子节点,形成初始化的多任务联邦学习模型库;
定义客户节点的任务特征数据;
根据任务特征数据和多任务联邦学习模型库中已有的基础模型,使用相似度计算方法计算客户节点的当前任务与模型库子节点已有基础模型之间的相似度;
根据当前客户节点任务与已有基础模型的相似度,对比预设的相似阈值,筛选出高于相似阈值的子节点模型作为融合对象,将其相似度转化为与该客户节点任务的融合权重,使用联邦融合算法进行模型融合,生成客户节点任务定制化的初始化模型,并下放模型用于客户在本地化训练;
客户节点使用本地数据对从云服务器节点获得的初始化模型进行微调,获得适用于客户节点当前任务监测的模型,并将该模型上传到云服务器节点更新多任务联邦学习模型库,与其他客户节点共享模型知识;
根据已训练的客户节点任务模型与已有基础模型的相似度,对比预设的价值阈值,判断该客户任务相对于模型库子节点任务是否属于新任务,如果是,则回收客户节点本地化训练后的模型作为新节点任务加入多任务联邦学习模型库,否则回收客户节点本地化训练后的模型与已有模型库子节点的模型进行加权融合,泛化更新已有模型库子节点模型。
2.根据权利要求1所述的一种基于联邦迁移学习的装配监测模型训练方法,其特征在于,所述神经网络模型包括卷积神经网络和全连接层。
3.根据权利要求1所述的一种基于联邦迁移学习的装配监测模型训练方法,其特征在于,所述客户节点的任务特征数据,是对客户节点产生的正常运行状态下的原始时序数据进行预处理后以张量形式保存的数据。
4.根据权利要求1所述的一种基于联邦迁移学习的装配监测模型训练方法,其特征在于,所述相似度的计算方法为,从多任务联邦学习模型库中调取所有模型库子节点的基础模型,使用客户节点任务特征数据计算出各模型库子节点的模型的最大分类概率,作为该客户节点与多任务联邦学习模型库中各子节点的基础模型的相似度。
5.根据权利要求1所述的一种基于联邦迁移学习的装配监测模型训练方法,其特征在于,根据对应相似度大小在相似度之和之中所占比例计算融合权重得到所述融合权重,包括:
筛选出相似度高于相似阈值sthre的模型库子节点,并重新编号为1到m,并根据其与客户节点的相似度的大小为节点赋予权重,称为融合权重
Figure FDA0003724865280000025
Figure FDA0003724865280000021
m为筛选出的模型库子节点的数量:
Figure FDA0003724865280000022
式中,si是从模型库子节点筛选出的m个模型中第i个模型的相似度,sm是从模型库子节点筛选出的m个模型中第m个模型的相似度,i∈[1,2,......m]为筛选后得到的各高相似度节点的模型在联邦模型融合模块中参数融合比例。
6.根据权利要求5所述的一种基于联邦迁移学习的装配监测模型训练方法,其特征在于,所述使用联邦融合算法进行模型融合,是指使用融合权重
Figure FDA0003724865280000023
对筛选后的模型库子节点已有的基础模型的参数αi进行加权融合,得到客户节点定制化的模型参数αs
Figure FDA0003724865280000024
αi为模型库子节点已有的基础模型的参数。
7.根据权利要求1所述的一种基于联邦迁移学习的装配监测模型训练方法,其特征在于,客户节点进行本地训练前,需要在客户节点使用统一的数据标注方法对本地数据进行标注。
8.根据权利要求1所述的一种基于联邦迁移学习的装配监测模型训练方法,其特征在于,所述模型微调,不改变模型结构,仅使用本地数据对获得的初始模型进行参数矫正。
9.根据权利要求1-8任一所述的一种基于联邦迁移学习的装配监测模型训练方法,其特征在于,泛化融合权重和泛化更新基础模型方法为,回收客户模型后,当判断为旧任务场景时,使用最大相似度,构建客户模型与对应模型仓库子节点模型的泛化融合权重。使用泛化融合权重和客户模型,对相应的模型仓库子节点模型进行泛化更新。
10.一种基于联邦迁移学习的装配监测模型训练系统,其特征在于,用于实现权利要求1-9任一所述的方法,所述系统包括:
多任务联邦模型学习库,用于存放多任务场景监测模型;
任务特征数据获取模块,用于采集边缘客户节点的任务特征数据;
任务相似度判断模块,用于判断客户节点任务场景与多任务联邦模型学习库现有子节点任务场景模型的相似度;
联邦模型融合模块,用于融合多任务联邦模型学习库中的模型,并生成客户节点任务的定制化模型;
模型下放模块,用于向边缘客户节点下发联邦模型融合模块中生成的定制化模型和对应的故障标签;
模型回收模块,用于回收客户本地化的模型;
联邦模型更新模块,用于更新多任务联邦模型学习库。
CN202210763972.0A 2022-06-30 2022-06-30 一种基于联邦迁移学习的装配监测模型训练方法及系统 Pending CN115310603A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210763972.0A CN115310603A (zh) 2022-06-30 2022-06-30 一种基于联邦迁移学习的装配监测模型训练方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210763972.0A CN115310603A (zh) 2022-06-30 2022-06-30 一种基于联邦迁移学习的装配监测模型训练方法及系统

Publications (1)

Publication Number Publication Date
CN115310603A true CN115310603A (zh) 2022-11-08

Family

ID=83854882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210763972.0A Pending CN115310603A (zh) 2022-06-30 2022-06-30 一种基于联邦迁移学习的装配监测模型训练方法及系统

Country Status (1)

Country Link
CN (1) CN115310603A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117648585A (zh) * 2024-01-29 2024-03-05 中国人民解放军军事科学院国防科技创新研究院 基于任务相似度的智能决策模型泛化方法和装置
CN117951749A (zh) * 2024-03-27 2024-04-30 青岛文达通科技股份有限公司 一种基于动态引导注意力的联邦多任务学习方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117648585A (zh) * 2024-01-29 2024-03-05 中国人民解放军军事科学院国防科技创新研究院 基于任务相似度的智能决策模型泛化方法和装置
CN117648585B (zh) * 2024-01-29 2024-05-10 中国人民解放军军事科学院国防科技创新研究院 基于任务相似度的智能决策模型泛化方法和装置
CN117951749A (zh) * 2024-03-27 2024-04-30 青岛文达通科技股份有限公司 一种基于动态引导注意力的联邦多任务学习方法
CN117951749B (zh) * 2024-03-27 2024-06-07 青岛文达通科技股份有限公司 一种基于动态引导注意力的联邦多任务学习方法

Similar Documents

Publication Publication Date Title
CN111368888B (zh) 基于深度动态贝叶斯网络的服务功能链故障诊断方法
CN115310603A (zh) 一种基于联邦迁移学习的装配监测模型训练方法及系统
CN110135319B (zh) 一种异常行为检测方法及其系统
CN111369094A (zh) 告警派单方法、装置、系统及计算机可读存储介质
US11367002B1 (en) Method for constructing and training decentralized migration diagram neural network model for production process
CN113037802A (zh) 一种用于电力物联网的云边数据协同方法
CN113825165B (zh) 基于时间图网络的5g切片网络拥塞预警方法及装置
CN115686868B (zh) 一种基于联邦哈希学习的面向跨节点多模态检索方法
CN117110748A (zh) 一种基于融合终端的变电站主设备运行状态异常检测方法
CN113129284A (zh) 一种基于5g云边协同的外观检测方法及实现系统
CN117315331A (zh) 一种基于gnn和lstm的动态图异常检测方法及系统
CN115686846A (zh) 边缘计算中融合图神经网络和强化学习的容器集群在线部署方法
CN116094792A (zh) 基于时空特征和注意力机制的加密恶意流识别方法及装置
CN117077041B (zh) 基于物联网的智慧社区管理方法及系统
KR20190132223A (ko) 네트워크 장애 원인 분석 장치 및 방법
CN113541986B (zh) 5g切片的故障预测方法、装置及计算设备
CN116484016B (zh) 一种基于时序路径自动维护的时序知识图谱推理方法和系统
CN112580702B (zh) 多传感器协同感知方法及装置
CN114330500A (zh) 基于storm平台的电网电力设备在线并行诊断方法及系统
CN113255977A (zh) 基于工业互联网的智慧工厂生产设备故障预测方法及系统
CN113740650A (zh) 一种船舶电力系统故障检测方法、终端设备及存储介质
CN112104684A (zh) 一种基于物联网的平台管理系统
CN118277371B (zh) 基于交换机接口检测的图像数据智能处理方法
CN117522091B (zh) 震后电力设备应急抢修的智能调度系统及方法
WO2022102054A1 (ja) ニューラルアーキテクチャ探索システムおよび探索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination