CN114782758B - 图像处理模型训练方法、系统、计算机设备及存储介质 - Google Patents

图像处理模型训练方法、系统、计算机设备及存储介质 Download PDF

Info

Publication number
CN114782758B
CN114782758B CN202210702620.4A CN202210702620A CN114782758B CN 114782758 B CN114782758 B CN 114782758B CN 202210702620 A CN202210702620 A CN 202210702620A CN 114782758 B CN114782758 B CN 114782758B
Authority
CN
China
Prior art keywords
model
image
local
feature
loss value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210702620.4A
Other languages
English (en)
Other versions
CN114782758A (zh
Inventor
司世景
王健宗
张传尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202210702620.4A priority Critical patent/CN114782758B/zh
Publication of CN114782758A publication Critical patent/CN114782758A/zh
Application granted granted Critical
Publication of CN114782758B publication Critical patent/CN114782758B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能技术领域，揭露了一种图像处理模型训练方法、系统、计算机设备及存储介质，该方法通过基于服务模型参数构建初始本地模型；采用孪生网络模型对样本图像进行特征提取得到第一损失值；孪生网络模型基于初始本地模型构建；获取全局图像特征，通过初始本地模型对样本图像进行特征提取得到本地图像特征；根据全局图像特征以及本地图像特征确定第二损失值；根据第一损失值以及第二损失值对初始本地模型进行更新，得到更新本地模型；更新本地模型关联更新模型参数；将更新模型参数发送至服务器中，以令服务器根据更新模型参数对服务全局模型进行更新，得到图像处理模型。本发明提高了图像处理模型训练效率以及准确率。

Description

图像处理模型训练方法、系统、计算机设备及存储介质
技术领域
本发明涉及检测模型技术领域，尤其涉及一种图像处理模型训练方法、系统、计算机设备及存储介质。
背景技术
随着大数据时代的来临，数据处理技术发展也越来越迅速，例如推荐系统、语音助手等广泛应用，但是随着时间的推移，往往需要根据各个不同客户端上的反馈数据对应用进行调整更新应用，以满足不同客户的需求。
现有技术中，一般是通过联邦学习的方式根据不同客户端的模型参数训练得到一个统一的联邦学习模型。但是联邦学习的方式存在如下不足：由于不同客户端数据的分布不一致，可能导致联邦学习模型的性能较低；并且每一客户端为了保护数据的隐私安全，不会将数据进行公开，往往会出现数据不全的问题，从而降低联邦学习模型的性能。
发明内容
本发明实施例提供一种图像处理模型训练方法、系统、计算机设备及存储介质，以解决由于不同的客户端数据的分布不一致，导致联邦学习模型的性能较低的问题。
一种图像处理模型训练方法，应用于图像处理模型训练系统的系统客户端中，所述图像处理模型训练系统还包括服务器；所述图像处理模型训练方法，包括：
在接收到所述服务器发送的包含服务模型参数的联邦学习指令时，基于所述服务模型参数构建初始本地模型；
采用孪生网络模型对样本图像进行特征提取，得到与所述初始本地模型对应的第一损失值；所述孪生网络模型基于所述初始本地模型构建；
通过所述服务全局模型对所述样本图像进行特征提取得到全局图像特征，通过所述初始本地模型对所述样本图像进行特征提取得到本地图像特征；
根据所述全局图像特征以及所述本地图像特征，确定与所述初始本地模型对应的第二损失值；
根据所述第一损失值以及所述第二损失值对所述初始本地模型进行更新，得到更新本地模型；所述更新本地模型关联更新模型参数；
将所述更新模型参数发送至所述服务器中，以令所述服务器根据所述更新模型参数对所述服务全局模型进行更新，得到图像处理模型。
一种图像处理模型训练方法，应用于图像处理模型训练系统的服务器中，所述图像处理模型训练系统还包括至少一个系统客户端；所述图像处理模型训练方法包括：
获取预设联邦比例，根据所述预设联邦比例自所有所述系统客户端中选择目标客户端；
对服务全局模型的模型参数进行初始化处理，得到服务模型参数，并将包含所述服务模型参数的联邦学习指令发送至所有所述目标客户端中，以令所述目标客户端基于所述服务模型参数构建初始本地模型；
接收目标客户端发送的更新模型参数；所述更新模型参数是目标客户端根据第一损失值以及第二损失值对初始本地模型进行更新得到；所述第一损失值是目标客户端采用基于初始本地模型构建的孪生网络模型对样本图像进行特征提取得到；所述第二损失值是根据全局图像特征以及本地图像特征确定；所述全局图像特征是服务全局模型对样本图像进行特征提取得到；所述本地图像特征通过初始本地模型对样本图像进行特征提取得到；
根据所有所述目标客户端发送的所述更新模型参数对所述服务全局模型进行更新，得到图像处理模型。
一种图像处理模型训练系统，包括一个服务器以及至少一个系统客户端；所述系统客户端用于执行上述应用于系统客户端的图像处理模型训练方法；所述服务器用于执行上述应用于服务器的图像处理模型训练方法。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述图像处理模型训练方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述图像处理模型训练方法。
上述图像处理模型训练方法、系统、计算机设备及存储介质，该图像处理模型训练方法首先引入服务器和系统客户端之间的联邦学习的方式，通过基于初始本地模型构建孪生网络模型，如此即可通过孪生网络模型当中两个具有相同模型参数的模型进行特征提取以确定第一损失值，再根据服务全局模型对样本图像进行特征提取得到的全局图像特征，以及初始本地模型对样本图像进行特征提取得到的本地图像特征，确定第二损失值，该第二损失值考虑到服务全局模型和初始本地模型之间特征提取的差距，从而最终根据第一损失值和第二损失值对初始本地模型进行更新时，除了改善初始本地模型自身的图像特征提取的性能之外，还考虑到了服务全局模型和初始本地模型之间的特征提取差距，缩短了服务全局模型和初始本地模型对样本图像进行特征提取得到的图像特征之间的距离，从而提高了图像处理模型训练效率以及准确率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中图像处理模型训练方法的一应用环境示意图；
图2是本发明一实施例中应用于系统客户端的图像处理模型训练方法的一流程图；
图3是本发明一实施例中应用于服务器的图像处理模型训练方法的一流程图；
图4是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的图像处理模型训练方法，该图像处理模型训练方法可应用如图1所示的应用环境中。具体地，该图像处理模型训练方法应用在图像处理模型训练系统中，该图像处理模型训练系统包括如图1所示的客户端和服务器，系统客户端与服务器通过网络进行通信，用于解决由于不同的客户端数据的分布不一致，导致联邦学习模型的性能较低的问题。其中，系统客户端又称为用户端，是指与服务器相对应,为客户提供本地服务的程序。系统客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。其中，服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一实施例中，如图2所示，提供一种图像处理模型训练方法，以该方法应用在图1中的系统客户端为例进行说明，包括如下步骤：
S10：在接收到所述服务器发送的包含服务模型参数的联邦学习指令时，基于所述服务模型参数构建初始本地模型。
可以理解地，由于图像处理模型训练系统中可能包括若干系统客户端，在进行联邦学习时，不需要所有的系统客户端参与每一轮的联邦学习，会降低联邦学习的效率，因此在进行联邦学习之前服务器会根据预设的比例在所有系统客户端中进行随机选取，并向被选取的系统客户端发送包含服务模型参数的联邦学习指令，此时接收到该联邦学习指令的系统客户端被视为目标客户端（目标客户端可以存在多个），进而该目标客户端基于联邦学习指令中携带的服务模型参数构建初始本地模型，如本实施例中可以预先构建一个模型框架（该模型框架中可以包括如主干网络和预测网络），再根据该服务模型参数对该模型框架进行参数调整，从而得到初始本地模型。一个目标客户端具有一个初始本地模型。
进一步地，上述说明中指出图像处理模型训练系统中包括若干系统客户端，其中的每一个系统客户端均可以执行步骤S10至S60的步骤，但是需要在接收到服务器发送的包含服务模型参数的联邦学习指令之后，才可以执行，也即该联邦学习指令可以视为一个联邦学习启动指令，接收到该联邦学习指令的系统客户端加入至联邦学习中，未接收到该联邦学习指令的系统客户端无需加入至联邦学习中，可以通过如系统客户端之间进行模型参数共享的方式，使得未加入联邦学习中的系统客户端可以根据共享得到的模型参数（如上述服务模型参数）对其所对应的初始本地模型进行构建或更新。
S20：采用孪生网络模型对样本图像进行特征提取，得到与所述初始本地模型对应的第一损失值；所述孪生网络模型基于所述初始本地模型构建。
可以理解地，在步骤S10中基于服务模型参数构建初始本地模型之后，构建一个与初始本地模型相同的孪生本地模型，该孪生本地模型与初始本地模型具有相同的结构以及参数，进而基于孪生本地模型以及初始本地模型构建得到孪生网络模型。样本图像即为系统客户端的数据库中所存储的图像数据，该样本图像可以为如动物图像、人脸图像等，且本实施例中的样本图像是无标签的图像。第一损失值即为孪生网络模型在对样本图像进行特征提取的过程中生成的损失。进一步地，此处所采用的是训练数据为样本图像，除了图像数据外还可以为其它数据，例如在针对语音数据处理模型训练场景下，该样本图像可以替换为语音数据。
在一实施例中，所述初始本地模型对应本地模型参数；步骤S20中，也即所述采用孪生网络模型对样本图像进行特征提取，得到与所述初始本地模型对应的第一损失值，包括：
对所述样本图像进行图像增强，得到与所述样本图像对应的第一增强图像以及第二增强图像。
可以理解地，图像增强可以为如灰度变换、图像平滑、锐化亦或者高通滤波等方法。第一增强图像以及第二增强图像即为对样本图像进行图像增强后得到的图像。第一增强图像和第二增强可以为通过不同的图像增强方法对样本图像进行图像增强得到的，例如第一增强图像可以用灰度变换方法，第二增强图像可以采用图像平滑方法等。
通过所述孪生网络模型对所述第一增强图像以及所述第二增强图像进行特征提取，得到所述第一损失值；所述孪生网络模型中包括所述初始本地模型以及具有本地模型参数的孪生本地模型。
可以理解地，在上述说明中指出孪生本地模型与初始本地模型具有相同的结构以及参数，也即孪生本地模型具有与初始本地模型相同的本地模型参数，进而基于孪生本地模型以及初始本地模型构建得到孪生网络模型。因此在得到第一增强图像以及第二增强图像之后，可以将第一增强图像输入至初始本地模型，将第二增强图像输入至孪生本地模型中，以根据初始本地模型以及孪生本地模型的输出确定第一损失值。需要说明的是，虽然初始本地模型是基于服务模型参数进行构建的，但是可能初始本地模型中存在自身具有的参数而服务全局模型不具有的参数，因此初始本地模型的本地模型参数可以和服务模型参数不完全一致。
在一实施例中，所述初始本地模型中包括第一主干网络以及第一预测网络；所述孪生本地模型中包括第二主干网络以及第二预测网络；
所述通过所述孪生网络模型对所述第一增强图像以及所述第二增强图像进行特征提取，得到所述第一损失值，包括：
将所述第一增强图像输入至所述孪生网络模型的初始本地模型中，以通过所述第一主干网络对所述第一增强图像进行特征提取，得到第一图像特征，并通过第一预测网络对所述第一图像特征进行特征转换，得到第一转换特征。
将所述第二增强图像输入至所述孪生网络模型的孪生本地模型中，以通过所述第二主干网络对所述第二增强图像进行特征提取，得到第二图像特征，并通过第二预测网络对所述第二图像特征进行特征转换，得到第二转换特征。
可以理解地，此处将第一增强图像输入至初始本地模型，将第二增强图像输入至孪生本地模型仅为一种示例，也可以将第一增强图像输入至孪生本地模型，将第二增强图像输入至初始本地模型中，也即仅需要将第一增强图像和第二增强图像分别输入至初始本地模型和孪生本地模型中即可。进一步地，在本实施例中，所有系统客户端所构建的初始本地模型和孪生本地模型均具有一个主干网络（如上述第一主干网络和第二主干网络）以及一个预测网络（如上述第一预测网络和第二预测网络）；其中，主干网络可以为ResNet网络或者CNN（Convolutional Neural Network，卷积神经网络）网络，孪生本地模型和初始本地模型共享权重，该主干网络用于提取图像的特征；预测网络为MLP（MultilayerPerceptron，多层感知器）网络，该预测网络用于对提取到的图像特征进行转换，例如可以将图像特征转换为图像类别等。
具体地，在对样本图像进行图像增强得到第一增强图像以及第二增强图像之后，即可将第一增强图像输入至初始本地模型中，通过初始本地模型中的第一主干网络对第一增强图像进行图像特征提取，如通过第一主干网络对第一增强图像进行卷积、池化、全连接、降低图像维度等步骤之后得到第一图像特征，再通过初始本地模型中的第一预测网络对第一图像特征进行特征转换，得到第一转换特征；将第二增强图像输入至孪生本地模型中，通过孪生本地模型中的第二主干网络对第二增强图像进行图像特征提取，如通过第二主干网络对第二增强图像进行卷积、池化、全连接、降低图像维度等步骤之后得到第二图像特征，再通过孪生本地模型中的第二预测网络对第二图像特征进行特征转换，得到第二转换特征。
根据第一图像特征、第一转换特征、第二图像特征以及第二转换特征，确定所述第一损失值。
具体地，在得到与第一增强图像对应的第一图像特征以及第一转换特征，与第二增强图像对应的第二图像特征以及第二转换特征之后，即可确定第一转换特征与第二图像特征之间的负余弦相似度，得到第一负余弦相似度；确定第二转换特征与第一图像特征之间的负余弦相似度，得到第二负余弦相似度 ；进而可以根据第一负余弦相似度以及第二负余弦相似度进行损失值计算，得到第一损失值。第一负余弦相似度用于表征第一转换特征与第二图像特征之间的特征相似度，第二负余弦相似度用于表征第二转换特征与第一图像特征之间的特征相似度；在上述说明中指出第一增强图像以及第二增强图像均为对样本图像进行图像增强之后得到的图像，因此此处采用负余弦相似度来判断初始本地模型和孪生本地模型在针对不同的增强图像进行特征识别时，能否较好的区分出不同的增强图像。
进一步地，可以根据下述表达式确定第一损失值：
Figure 253918DEST_PATH_IMAGE001
其中，
Figure 590965DEST_PATH_IMAGE002
为第一损失值；
Figure 901861DEST_PATH_IMAGE003
为第一转换特征
Figure 438015DEST_PATH_IMAGE004
和第二图像特征
Figure 517967DEST_PATH_IMAGE005
之间的第一负余弦相似度；
Figure 606008DEST_PATH_IMAGE007
为第二转换特征
Figure 138621DEST_PATH_IMAGE008
和第一图像特征
Figure 727734DEST_PATH_IMAGE009
之间的第二负余弦相似度。
S30：获取全局图像特征，并通过所述初始本地模型对所述样本图像进行特征提取得到本地图像特征；所述全局图像特征是所述服务器通过服务全局模型对所述样本图像进行特征提取得到。
可以理解地，服务全局模型是设置在服务器中的模型，服务器在对该服务全局模型进行初始化之后即可得到该服务全局模型的服务模型参数，该服务全局模型可以根据系统客户端反馈的参数进行更新，服务全局模型和初始本地模型之间的识别能力存在不同，因此服务全局模型针对样本图像进行特征提取得到的全局图像特征，和初始本地模型对样本图像进行特征得到的本地图像特征可能是不同的。与上述说明类似，服务全局模型和初始本地模型对样本图像进行特征提取时，均可以包括如卷积、池化、全连接等特征提取过程。
S40：根据所述全局图像特征以及所述本地图像特征，确定与所述初始本地模型对应的第二损失值。
可以理解地，在本实施例中所示例的可以为第一次的联邦学习，也可以是经过多轮训练后的联邦学习，因此服务全局模型在不断更新过程中综合了不同的系统客户端的模型识别能力，且由于不同的系统客户端的数据之间可能存在数据分布不一致的现象，进而导致最终训练得到的图像处理模型存在偏差，从而降低了图像处理模型对样本图像的识别能力。在本实施例中，通过全局图像特征以及本地图像特征确定初始本地模型的第二损失值，以通过第一损失值和第二损失值对初始本地模型进行更新，如此即可缩小系统客户端的本地模型（如上述初始本地模型，但在不同轮次的联邦学习的过程中该初始本地模型也会不断更新，相应的服务全局模型也不断更新）与服务全局模型的特征识别之间的差距，增加本次联邦学习的系统客户端和前一次联邦学习的系统客户端的特征识别之间的差距。
在一实施例中，步骤S40中，也即所述根据所述全局图像特征以及所述本地图像特征，确定与所述初始本地模型对应的第二损失值，包括：
确定所述全局图像特征以及所述本地图像特征之间的第一特征距离。
可以理解地，第一特征距离即表征全局图像特征和本地图像特征之间的表示距离，也即用于表征全局图像特征和本地图像特征之间的相似度，该第一特征距离可以采用如欧式距离等进行确定。
获取历史本地特征集；所述历史本地特征集中包括至少一个历史图像特征。
可以理解地，在上述说明中指出本实施例的步骤S10至S60可以为第一次联邦学习的过程，也可以为多轮联邦学习后的第n轮联邦学习的过程。因此，假设步骤S10至S60为第一次联邦学习的过程，则该历史图像特征可以为一个预设的图像特征，如在未基于服务模型参数对初始本地模型构建时对图像进行识别得到的图像特征；假设步骤S10至S60为第n轮联邦学习的过程，则该历史图像特征则为该系统客户端上前n-1轮联邦学习的过程中本地模型对样本图像进行识别得到的图像特征，例如假设步骤S10至步骤S60为第三轮联邦学习的过程，则该历史本地特征集中包括第一轮初始本地模型对样本图像进行特征提取得到的历史图像特征，以及第二轮更新后的初始本地模型对样本图像进行特征提取得到的历史图像特征。
获取预设偏移数值，自所述历史本地特征集中选取与所述预设偏移数值相同数量的历史图像特征，并将被选取的历史图像特征记录为选取图像特征。
可以理解地，预设偏移数值可以根据应用场景，或者根据初始本地模型和服务全局模型的联邦学习质量确定，例如在联邦学习n轮后，初始本地模型和服务全局模型对图像进行特征提取得到的图像特征之间仍然存在较大的差别，则可以将预设偏移数值设定为n-1，n-2（根据n的数值确定）等。如此，即可根据不同的联邦学习情况针对性调整加入至第二损失值计算的历史图像特征的数量，
具体地，在获取预设偏移数值以及历史本地特征集之后，即可从历史本地特征集中选取与预设偏移数值相同数量的历史图像特征，在选取的过程中，根据各历史图像特征对应的联邦学习轮次进行选取，示例性地，假设该预设偏移数值为2，历史本地特征集中包括5个历史图像特征（也即表征当前所要进行的联邦学习的轮次为第六轮），则选取的历史图像特征为：第五轮联邦学习对应的历史图像特征，以及第四轮联邦学习对应的历史图像特征，并将被选取的历史图像特征记录为选取图像特征，也即选取图像特征的数量与预设偏移数值相等。
确定所述本地图像特征与各所述选取图像特征之间的第二特征距离；一个所述选取图像特征对应一个所述第二特征距离。
具体地，在获取历史本地特征集之后，即可通过如欧氏距离等确定本地图像特征与各选取图像特征之间的第二特征距离，也即需要确定本地图像特征和每一个选取图像特征之间的第二特征距离，一个选取图像特征对应一个第二特征距离。
根据所述第一特征距离以及所有所述第二特征距离，确定所述第二损失值。
具体地，在确定第一特征距离以及第二特征距离之后，将所有第二特征距离以及第一特征距离之和记录为特征距离总值，并根据第一特征距离以及特征距离总值，确定第二损失值。
进一步地，可以通过下述表达式确定第二损失值：
Figure 662192DEST_PATH_IMAGE010
其中，
Figure 921135DEST_PATH_IMAGE011
为第二损失值；
Figure 941044DEST_PATH_IMAGE012
即为取对数函数；
Figure 819001DEST_PATH_IMAGE013
为指数运算方法；
Figure 607965DEST_PATH_IMAGE014
为全局图像特征
Figure 303389DEST_PATH_IMAGE015
与本地图像特征
Figure 810594DEST_PATH_IMAGE016
之间的第一特征距离；
Figure 977395DEST_PATH_IMAGE017
为本地图像特征
Figure 886445DEST_PATH_IMAGE016
和第
Figure 221612DEST_PATH_IMAGE018
个选取图像特征之间的第二特征距离，其中，
Figure 216112DEST_PATH_IMAGE019
是指当前联邦学习的轮次；
Figure 560506DEST_PATH_IMAGE020
是指预设偏移数值；示例性地，假设预设偏移数值为2，历史本地特征集中包括5个历史图像特征（也即表征当前所要进行的联邦学习的轮次为第六轮），则选取的历史图像特征为：第五轮联邦学习对应的历史图像特征（第五轮对应的选取图像特征即为
Figure 199429DEST_PATH_IMAGE021
），以及第四轮联邦学习对应的历史图像特征（第四轮对应的选取图像特征即为
Figure 236655DEST_PATH_IMAGE022
），此处所要计算的即为第五轮联邦学习对应的选取图像特征与全局图像特征之间的第二特征距离，以及第四轮联邦学习对应的选取图像特征与全局图像特征之间的第二特征距离。
S50：根据所述第一损失值以及所述第二损失值对所述初始本地模型进行更新，得到更新本地模型；所述更新本地模型关联更新模型参数。
具体地，在确定初始本地模型对应的第一损失值和第二损失值之后，即可根据该第一损失值以及第二损失值确定初始本地模型的总损失值，进而根据该总损失值对初始本地模型进行更新，如调整初始本地模型的模型参数，使得该总损失值小于或等于一个设定的阈值，即可认为该初始本地模型更新完成，得到更新本地模型，且该初始本地模型在更新过程中模型参数是不断调整的，因此该初始本地模型更新为更新本地模型之后，该初始本地模型的模型参数变换为更新模型参数。
进一步地，可以通过下述表达式确定总损失值：
Figure 452873DEST_PATH_IMAGE023
其中，
Figure 600957DEST_PATH_IMAGE024
为总损失值；
Figure 343654DEST_PATH_IMAGE025
为第二损失值；
Figure 551782DEST_PATH_IMAGE026
为第二损失值；
Figure DEST_PATH_IMAGE027
为超参数，该超参数用于控制第二损失值的权重，该超参数可以根据不同的应用场景进行设定，数值范围在0至1之间。
S60：将所述更新模型参数发送至所述服务器中，以令所述服务器根据所述更新模型参数对所述服务全局模型进行更新，得到图像处理模型。
具体地，在根据第一损失值以及第二损失值对初始本地模型进行更新，得到更新本地模型之后，将更新本地模型的更新模型参数发送至服务器中，以令服务器在接收到所有参与至联邦学习的系统客户端发送的更新模型参数之后，对所有更新模型参数进行聚合，并根据聚合后的模型参数对服务全局模型进行更新，得到图像处理模型。进一步地，此处所直接得到的图像处理模型表征的当前轮次的联邦学习已经学习完成，若仍需要继续进行联邦学习，则可以继续执行步骤S10至S60，形成新的一轮联邦学习过程。
在本实施例中，首先引入服务器和系统客户端之间的联邦学习的方式，通过基于初始本地模型构建孪生网络模型，如此即可通过孪生网络模型当中两个具有相同模型参数的模型进行特征提取以确定第一损失值，再根据服务全局模型对样本图像进行特征提取得到的全局图像特征，以及初始本地模型对样本图像进行特征提取得到的本地图像特征，确定第二损失值，该第二损失值考虑到服务全局模型和初始本地模型之间特征提取的差距，从而最终根据第一损失值和第二损失值对初始本地模型进行更新时，除了改善初始本地模型自身的图像特征提取的性能之外，还考虑到了服务全局模型和初始本地模型之间的特征提取差距，缩短了服务全局模型和初始本地模型对样本图像进行特征提取得到的图像特征之间的距离，从而提高了图像处理模型训练效率以及准确率。
在一实施例中，如图3所示，提供一种图像处理模型训练方法，应用于图像处理模型训练系统的服务器中，所述图像处理模型训练系统还包括至少一个系统客户端；所述图像处理模型训练方法，包括：
S70：获取预设联邦比例，根据所述预设联邦比例自所有所述系统客户端中选择目标客户端。
可以理解地，预设联邦比例用于筛选参与联邦学习的系统客户端的数量，由于在进行联邦学习时，不需要所有的系统客户端参与每一轮的联邦学习，会降低联邦学习的效率，因此在进行联邦学习之前服务器可以根据该预设联邦比例从所有系统客户端中选择目标客户端，示例性地，假设该预设联邦比例为0.3，存在20个系统客户端时，则任意选取6个系统客户端作为该目标客户端。
S80：对服务全局模型的模型参数进行初始化处理，得到服务模型参数，并将包含所述服务模型参数的联邦学习指令发送至所有所述目标客户端中，以令所述目标客户端基于所述服务模型参数构建初始本地模型。
可以理解地，服务全局模型可以为基于如神经网络等框架进行构建的模型，在对服务全局模型的参数进行初始化处理之后，即可将该服务全局模型的模型参数视为服务模型参数，并生成包含服务模型参数的联邦学习指令，进而将该联邦学习指令发送至所有目标客户端中，以令接收到该联邦学习指令的目标客户端基于该服务模型参数构建初始本地模型。
S90：接收目标客户端发送的更新模型参数；所述更新模型参数是目标客户端根据第一损失值以及第二损失值对初始本地模型进行更新得到；所述第一损失值是目标客户端采用基于初始本地模型构建的孪生网络模型对样本图像进行特征提取得到；所述第二损失值是根据全局图像特征以及本地图像特征确定；所述全局图像特征是服务全局模型对样本图像进行特征提取得到；所述本地图像特征通过初始本地模型对样本图像进行特征提取得到。
具体地，在目标客户端基于服务模型参数构建初始本地模型之后，目标客户端采用基于初始本地模型构建的孪生网络模型对样本图像进行特征提取得到第一损失值；目标客户端根据服务器发送的全局图像特征，以及通过目标客户端中的初始本地模型对样本图像进行特征提取得到的本地图像特征，确定第二损失值，再根据第一损失值以及第二损失值对初始本地模型进行更新，从而得到更新本地模型之后，目标客户端将更新本地模型的更新模型参数发送至服务器中。
S100：根据所有所述目标客户端发送的所述更新模型参数对所述服务全局模型进行更新，得到图像处理模型。
具体地，在服务器接收到各个目标客户端发送的更新模型参数之后，即可对所有更新模型参数进行聚合，并根据聚合后的模型参数对服务全局模型进行更新，得到图像处理模型。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，如图1所示，提供一种图像处理模型训练系统，包括一个服务器以及至少一个系统客户端；所述系统客户端用于执行上述应用于系统客户端的图像处理模型训练方法；所述服务器用于执行上述应用于服务器的图像处理模型训练方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储上述实施例中图像处理模型训练方法所使用到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理模型训练方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中的图像处理模型训练方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中的图像处理模型训练方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像处理模型训练方法，其特征在于，应用于图像处理模型训练系统的系统客户端中，所述图像处理模型训练系统还包括服务器；所述图像处理模型训练方法，包括：
在接收到所述服务器发送的包含服务模型参数的联邦学习指令时，基于所述服务模型参数构建初始本地模型；
采用孪生网络模型对样本图像进行特征提取，得到与所述初始本地模型对应的第一损失值；所述孪生网络模型基于所述初始本地模型构建；
获取全局图像特征，并通过所述初始本地模型对所述样本图像进行特征提取得到本地图像特征；所述全局图像特征是所述服务器通过服务全局模型对所述样本图像进行特征提取得到；
根据所述全局图像特征以及所述本地图像特征，确定与所述初始本地模型对应的第二损失值；
根据所述第一损失值以及所述第二损失值对所述初始本地模型进行更新，得到更新本地模型；所述更新本地模型关联更新模型参数；
将所述更新模型参数发送至所述服务器中，以令所述服务器根据所述更新模型参数对所述服务全局模型进行更新，得到图像处理模型。
2.如权利要求1所述的图像处理模型训练方法，其特征在于，所述初始本地模型对应本地模型参数；所述采用孪生网络模型对样本图像进行特征提取，得到与所述初始本地模型对应的第一损失值，包括：
对所述样本图像进行图像增强，得到与所述样本图像对应的第一增强图像以及第二增强图像；
通过所述孪生网络模型对所述第一增强图像以及所述第二增强图像进行特征提取，得到所述第一损失值；所述孪生网络模型中包括所述初始本地模型以及具有本地模型参数的孪生本地模型。
3.如权利要求2所述的图像处理模型训练方法，其特征在于，所述初始本地模型中包括第一主干网络以及第一预测网络；所述孪生本地模型中包括第二主干网络以及第二预测网络；
所述通过所述孪生网络模型对所述第一增强图像以及所述第二增强图像进行特征提取，得到所述第一损失值，包括：
将所述第一增强图像输入至所述孪生网络模型的初始本地模型中，以通过所述第一主干网络对所述第一增强图像进行特征提取，得到第一图像特征，并通过第一预测网络对所述第一图像特征进行特征转换，得到第一转换特征；
将所述第二增强图像输入至所述孪生网络模型的孪生本地模型中，以通过所述第二主干网络对所述第二增强图像进行特征提取，得到第二图像特征，并通过第二预测网络对所述第二图像特征进行特征转换，得到第二转换特征；
根据第一图像特征、第一转换特征、第二图像特征以及第二转换特征，确定所述第一损失值。
4.如权利要求3所述的图像处理模型训练方法，其特征在于，所述根据第一图像特征、第一转换特征、第二图像特征以及第二转换特征，确定所述第一损失值，包括：
对所述第一转换特征以及所述第二图像特征进行负余弦相似度计算，得到第一负余弦相似度；
对所述第二转换特征以及所述第一图像特征进行负余弦相似度计算，得到第二负余弦相似度；
根据所述第一负余弦相似度以及所述第二负余弦相似度，确定所述第一损失值。
5.如权利要求1所述的图像处理模型训练方法，其特征在于，所述根据所述全局图像特征以及所述本地图像特征，确定与所述初始本地模型对应的第二损失值，包括：
确定所述全局图像特征以及所述本地图像特征之间的第一特征距离；
获取历史本地特征集；所述历史本地特征集中包括至少一个历史图像特征；
获取预设偏移数值，自所述历史本地特征集中选取与所述预设偏移数值相同数量的历史图像特征，并将被选取的历史图像特征记录为选取图像特征；
确定所述本地图像特征与各所述选取图像特征之间的第二特征距离；一个所述选取图像特征对应一个所述第二特征距离；
根据所述第一特征距离以及所有所述第二特征距离，确定所述第二损失值。
6.如权利要求5所述的图像处理模型训练方法，其特征在于，所述根据所述第一特征距离以及所有所述第二特征距离，确定所述第二损失值，包括：
将所有所述第二特征距离以及所述第一特征距离之和记录为特征距离总值；
根据所述第一特征距离以及所述特征距离总值，确定所述第二损失值。
7.一种图像处理模型训练方法，其特征在于，应用于图像处理模型训练系统的服务器中，所述图像处理模型训练系统还包括至少一个系统客户端；所述图像处理模型训练方法，包括：
获取预设联邦比例，根据所述预设联邦比例自所有所述系统客户端中选择目标客户端；
对服务全局模型的模型参数进行初始化处理，得到服务模型参数，并将包含所述服务模型参数的联邦学习指令发送至所有所述目标客户端中，以令所述目标客户端基于所述服务模型参数构建初始本地模型；
接收目标客户端发送的更新模型参数；所述更新模型参数是目标客户端根据第一损失值以及第二损失值对初始本地模型进行更新得到；所述第一损失值是目标客户端采用基于初始本地模型构建的孪生网络模型对样本图像进行特征提取得到；所述第二损失值是根据全局图像特征以及本地图像特征确定；所述全局图像特征是服务全局模型对样本图像进行特征提取得到；所述本地图像特征通过初始本地模型对样本图像进行特征提取得到；
根据所有所述目标客户端发送的所述更新模型参数对所述服务全局模型进行更新，得到图像处理模型。
8.一种图像处理模型训练系统，其特征在于，包括一个服务器以及至少一个系统客户端；所述系统客户端用于执行如权利要求1至6任一项所述的图像处理模型训练方法；所述服务器用于执行如权利要求7所述的图像处理模型训练方法。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述图像处理模型训练方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述图像处理模型训练方法。
CN202210702620.4A 2022-06-21 2022-06-21 图像处理模型训练方法、系统、计算机设备及存储介质 Active CN114782758B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210702620.4A CN114782758B (zh) 2022-06-21 2022-06-21 图像处理模型训练方法、系统、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210702620.4A CN114782758B (zh) 2022-06-21 2022-06-21 图像处理模型训练方法、系统、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN114782758A CN114782758A (zh) 2022-07-22
CN114782758B true CN114782758B (zh) 2022-09-02

Family

ID=82421101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210702620.4A Active CN114782758B (zh) 2022-06-21 2022-06-21 图像处理模型训练方法、系统、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN114782758B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105240A (zh) * 2019-12-12 2020-05-05 中国科学院深圳先进技术研究院 资源敏感的联合金融欺诈检测模型训练方法及检测方法
CN112257774A (zh) * 2020-10-20 2021-01-22 平安科技（深圳）有限公司 基于联邦学习的目标检测方法、装置、设备及存储介质
CN112329557A (zh) * 2020-10-21 2021-02-05 杭州趣链科技有限公司 模型的应用方法、装置、计算机设备及存储介质
CN114492849A (zh) * 2022-01-24 2022-05-13 光大科技有限公司 一种基于联邦学习的模型更新方法及装置
CN114528304A (zh) * 2022-02-18 2022-05-24 安徽工业大学 一种自适应客户端参数更新的联邦学习方法、系统及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11170320B2 (en) * 2018-07-19 2021-11-09 Adobe Inc. Updating machine learning models on edge servers
US20210073639A1 (en) * 2018-12-04 2021-03-11 Google Llc Federated Learning with Adaptive Optimization

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105240A (zh) * 2019-12-12 2020-05-05 中国科学院深圳先进技术研究院 资源敏感的联合金融欺诈检测模型训练方法及检测方法
CN112257774A (zh) * 2020-10-20 2021-01-22 平安科技（深圳）有限公司 基于联邦学习的目标检测方法、装置、设备及存储介质
CN112329557A (zh) * 2020-10-21 2021-02-05 杭州趣链科技有限公司 模型的应用方法、装置、计算机设备及存储介质
CN114492849A (zh) * 2022-01-24 2022-05-13 光大科技有限公司 一种基于联邦学习的模型更新方法及装置
CN114528304A (zh) * 2022-02-18 2022-05-24 安徽工业大学 一种自适应客户端参数更新的联邦学习方法、系统及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Federated Learning Using Sparse-Adaptive Model Selection for Embedded Edge Computing;SHAN ULLAH et al;《IEEE Access》;20211228;第167868-167879页 *
基于边缘的联邦学习模型清洗和设备聚类方法;刘艳 等;《计算机学报》;20211231;第44卷(第12期);第2515-2528页 *
面向区块链的在线联邦增量学习算法;罗长银 等;《计算机应用》;20210210;第41卷(第2期);第363-371页 *

Also Published As

Publication number Publication date
CN114782758A (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
CN109241903B (zh) 样本数据清洗方法、装置、计算机设备及存储介质
CN110750267A (zh) 业务信息更新方法、装置、计算机设备和存储介质
CN111523686B (zh) 一种模型联合训练的方法和系统
CN111598213B (zh) 网络训练方法、数据识别方法、装置、设备和介质
WO2019200738A1 (zh) 数据特征提取的方法、装置、计算机设备和存储介质
CN113222143B (zh) 图神经网络训练方法、系统、计算机设备及存储介质
CN111881737A (zh) 年龄预测模型的训练方法及装置、年龄预测方法及装置
CN110912908A (zh) 网络协议异常检测方法、装置、计算机设备和存储介质
CN113642707A (zh) 基于联邦学习的模型训练方法、装置、设备及存储介质
CN110163151B (zh) 人脸模型的训练方法、装置、计算机设备和存储介质
JPWO2016125500A1 (ja) 特徴変換装置、認識装置、特徴変換方法及びコンピュータ読み取り可能記録媒体
CN113283388B (zh) 活体人脸检测模型的训练方法、装置、设备及存储介质
CN109190757B (zh) 任务处理方法、装置、设备及计算机可读存储介质
CN114332556A (zh) 训练样本筛选方法、装置、计算机设备和存储介质
CN111885181B (zh) 监控数据上报方法、装置、计算机设备及存储介质
CN109034176B (zh) 辨识系统以及辨识方法
CN114782758B (zh) 图像处理模型训练方法、系统、计算机设备及存储介质
CN116363445A (zh) 图像角度分类模型训练方法、装置、设备及存储介质
CN113239171B (zh) 对话管理系统更新方法、装置、计算机设备及存储介质
CN113610709B (zh) 模型量化方法、装置、电子设备和计算机可读存储介质
CN115146292A (zh) 一种树模型构建方法、装置、电子设备及存储介质
CN112784990A (zh) 一种成员推断模型的训练方法
CN110765303A (zh) 一种更新数据库的方法及系统
CN115277555B (zh) 异构环境的网络流量分类方法、装置、终端及存储介质
CN113220858B (zh) 对话系统更新方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant