CN113343938B - 一种图像识别方法、装置、设备及计算机可读存储介质 - Google Patents

一种图像识别方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113343938B
CN113343938B CN202110806770.5A CN202110806770A CN113343938B CN 113343938 B CN113343938 B CN 113343938B CN 202110806770 A CN202110806770 A CN 202110806770A CN 113343938 B CN113343938 B CN 113343938B
Authority
CN
China
Prior art keywords
current
weight
round
round set
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110806770.5A
Other languages
English (en)
Other versions
CN113343938A (zh
Inventor
胡一
毛冰城
金朝汇
谌明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Hithink Royalflush Information Network Co Ltd
Original Assignee
Zhejiang University ZJU
Hithink Royalflush Information Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, Hithink Royalflush Information Network Co Ltd filed Critical Zhejiang University ZJU
Priority to CN202110806770.5A priority Critical patent/CN113343938B/zh
Publication of CN113343938A publication Critical patent/CN113343938A/zh
Application granted granted Critical
Publication of CN113343938B publication Critical patent/CN113343938B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像识别方法、装置、设备及计算机可读存储介质,方法包括:将模型参数发送至选取的设备;确定从设备接收的参数是否属于当前轮次,属于则加入当前轮次集合及轮次集合,不属于则加入轮次集合;当当前轮次集合中设备数量与设备总数量的比值大于阈值,根据当前轮次集合计算权重平均相似性;判断权重平均相似性是否小于预设值,否则根据当前轮次集合计算全局权重,是则根据轮次集合计算全局权重;待达到设定轮次得到图像识别模型;利用图像识别模型进行图像识别。本申请公开的技术方案,无需等所有设备完成训练才进行模型更新,以提高训练效率及图像识别效率,通过相似性计算选取集合计算全局权重,以提高模型精度及图像识别准确性。

Description

一种图像识别方法、装置、设备及计算机可读存储介质
技术领域
本申请涉及图像识别技术领域,更具体地说,涉及一种图像识别方法、装置、设备及计算机可读存储介质。
背景技术
随着AI(Artificial Intelligence,人工智能)技术的发展,越来越多的领域开始使用AI技术。其中,AI技术在图像识别领域也得到了广泛应用,且在利用AI技术进行图像识别时主要是基于神经网络进行图像识别。
在基于神经网络进行图像识别时,需要先对神经网络进行训练,然后基于训练得到的神经网络模型进行图像识别,其中,对神经网络的训练包括分布式神经网络训练方法。目前,分布式神经网络训练方法主要包括同步训练和异步训练两种,其中,同步训练一般采用分布式随机梯度下降算法等,且同步训练是中心服务器在每一轮的训练中,均待所选择的所有设备均完成训练并上传模型参数信息之后,才根据接收到的模型参数信息进行模型更新和继续下一轮的模型训练;异步训练一般采用异步分布式随机梯度下降算法等,且异步训练是中心服务器在每一轮的训练中,只要接收到一个设备上传的模型参数信息,就进行模型的更新,直至训练轮数达到设定值。但是,对于同步训练而言,由于设备间计算能力的差异,有的设备计算的快,有的设备计算的慢,而同步训练需要等所有设备均完成计算才能进行模型更新,因此,则会造成时间上的浪费,从而导致图像识别效率比较低;对于异步训练而言,由于其是每接收到一个设备上传的信息就进行模型更新,而好多滞后的设备训练的模型信息并没有及时参与到模型更新中,因此,则会导致最终得到的模型精度比较低,从而导致图像识别的准确性比较低。
综上所述,如何提高图像识别的效率和准确性,是目前本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此,本申请的目的是提供一种图像识别方法、装置、设备及计算机可读存储介质,用于提高图像识别的效率和准确性。
为了实现上述目的,本申请提供如下技术方案:
一种图像识别方法,包括:
将模型参数发送至从空闲设备中选取的各设备,由各所述设备根据所述模型参数利用本地图像集进行训练;
确定从所述设备接收的训练参数是否属于当前轮次,若属于,则加入当前轮次集合及轮次集合,若不属于,则加入所述轮次集合;
当所述当前轮次集合中设备数量与选取的设备总数量间的比值大于阈值时,则根据所述当前轮次集合中的训练参数及当前全局权重,计算权重平均相似性;所述阈值小于1且选取的设备总数量与所述阈值的乘积大于1;
判断所述权重平均相似性是否小于预设值,若否,则根据所述当前轮次集合计算全局权重,若是,则根据所述轮次集合计算全局权重;并继续训练,直至训练轮次达到设定轮次为止,且利用全局权重得到图像识别模型;
利用所述图像识别模型对待识别图像进行识别,并输出识别结果。
优选的,根据所述当前轮次集合计算全局权重,包括:
根据所述当前轮次集合中的每个设备对应的图像集的数据条数、每个设备的本地训练轮数,计算每个设备对应的第一延迟权重;
根据所述当前轮次集合中每个设备对应的第一延迟权重,计算第一归一化因子;
根据所述当前轮次集合中每个设备对应的第一延迟权重、所述第一归一化因子,计算所述当前轮次集合中每个设备对应的第一归一化后权重;
利用所述当前轮次集合中每个设备对应的训练参数中的当前本地权重、所述当前全局权重及所述当前轮次集合中每个设备对应的第一归一化后权重,计算所述全局权重。
优选的,根据所述轮次集合计算全局权重,包括:
根据所述轮次集合中的每个设备对应的图像集的数据条数、每个设备的本地训练轮数及每个设备的时延系数,计算每个设备对应的第二延迟权重;其中,每个设备的时延系数根据设备对应的当前训练轮次、当前本地权重与所述轮次集合中无时延设备平均当前本地权重确定;
根据所述轮次集合中每个设备对应的第二延迟权重,计算第二归一化因子;
根据所述轮次集合中每个设备对应的第二延迟权重、所述第二归一化因子,计算所述轮次集合中每个设备对应的第二归一化后权重;
利用所述轮次集合中每个设备对应的训练参数中的当前本地权重、所述当前全局权重及所述轮次集合中每个设备对应的第二归一化后权重,计算所述全局权重。
优选的,在将模型参数发送至从空闲设备中选取的各设备之前,还包括:
对所述模型参数进行加密;
在确定从所述设备接收的训练参数是否属于当前轮次之前,还包括:
对接收到的设备上传的训练参数进行解密。
优选的,在将模型参数发送至从空闲设备中选取的各设备之前,还包括:
对所述模型参数进行压缩;
在确定从所述设备接收的训练参数是否属于当前轮次之前,还包括:
接收设备上传的压缩后的训练参数,并对所述压缩后的训练参数进行解压缩。
优选的,在判断所述权重平均相似性是否小于预设值,若是,则根据所述当前轮次集合计算全局权重,若否,则根据所述轮次集合计算全局权重之后,还包括:
将所述轮次集合中的各所述设备标记为空闲设备,并清空所述轮次集合和所述当前轮次集合。
优选的,从空闲设备中选取各设备,包括:
从所述空闲设备中随机选取多个所述设备;其中,所述设备的数量小于所述空闲设备的总数量。
一种图像识别装置,包括:
发送模块,用于将模型参数发送至从空闲设备中选取的各设备,由各所述设备根据所述模型参数利用本地图像集进行训练;
确定模块,用于确定从所述设备接收的训练参数是否属于当前轮次,若属于,则加入当前轮次集合,若不属于,则加入轮次集合及所述当前轮次集合;
计算模块,用于当所述当前轮次集合中设备数量与选取的设备总数量间的比值大于阈值时,则根据所述当前轮次集合中的训练参数及当前全局权重,计算权重平均相似性;所述阈值小于1且选取的设备总数量与所述阈值的乘积大于1;
判断模块,用于判断所述权重平均相似性是否小于预设值,若是,则根据所述当前轮次集合计算全局权重,若否,则根据所述轮次集合计算全局权重;并继续训练,直至训练轮次达到设定轮次为止,且利用全局权重得到图像识别模型;
识别模块,用于利用所述图像识别模型对待识别图像进行识别,并输出识别结果。
一种图像识别设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上述任一项所述的图像识别方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现如权上述任一项所述的图像识别方法的步骤。
本申请提供了一种图像识别方法、装置、设备及计算机可读存储介质,其中,该方法包括:将模型参数发送至从空闲设备中选取的各设备,由各设备根据模型参数利用本地图像集进行训练;确定从设备接收的训练参数是否属于当前轮次,若属于,则加入当前轮次集合及轮次集合,若不属于,则加入轮次集合;当当前轮次集合中设备数量与选取的设备总数量间的比值大于阈值时,则根据当前轮次集合中的训练参数及当前全局权重,计算权重平均相似性;阈值小于1且选取的设备总数量与所述阈值的乘积大于1;判断权重平均相似性是否小于预设值,若否,则根据当前轮次集合计算全局权重,若是,则根据轮次集合计算全局权重;并继续训练,直至训练轮次达到设定轮次为止,且利用全局权重得到图像识别模型;利用图像识别模型对待识别图像进行识别,并输出识别结果。
本申请公开的上述技术方案,将从设备接收到的属于当前轮次的训练参数加入当前轮次集合及轮次集合,将不属于当前轮次的训练参数仅加入轮次集合,之后,在当前轮次集合中设备数量与选取的设备总数量间的比值大于阈值时再开始全局权重的计算,由于阈值小于1,因此,无需等待所选取的所有设备均完成训练为止才进行模型更新,从而可以缩短等待时间,以提高图像识别模型训练效率,进而可以提高图像识别效率,而且由于选取的设备总数量与所述阈值的乘积大于1,所以,不止有一个设备参与模型更新,因此,则便于降低滞后设备对图像识别模型的影响。另外,在比值大于阈值之后,根据当前轮次集合中的训练参数及当前全局权重计算权重平均相似性,若权重平均相似度小于预设值,则表明当前轮次集合中各设备对应的训练参数差异比较大,此时,则根据轮次集合计算全局权重,由于轮次集合不仅包含当前轮次选取的设备的训练参数,而且还包括当前轮次接收到的过往轮次选取的设备的训练参数,也即还包含之前滞后的设备的训练参数,因此,则将其参与到全局权重的计算中,则可以降低滞后带来的影响,从而提高图像识别模型的精度,若权重平均相似度不小于预设值,则表明当前轮次集合中各设备对应的训练参数比较相似,因此,其足以代表当前轮次所选取的所有设备,因此,为了减少滞后设备带来的不良影响,则此时直接根据当前轮次集合计算全局权重,以提高图像识别模型的精度,相应地,在利用训练得到的图像识别模型对待识别图像进行识别时,则可以提高图像识别的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种图像识别方法的流程图;
图2为本申请实施例提供的设备根据模型参数利用本地图像集进行训练的示意图;
图3为本申请实施例提供的图像识别模型的训练示意图;
图4为本申请实施例提供的一种图像识别装置的结构示意图;
图5为本申请实施例提供的一种图像识别设备的结构示意图。
具体实施方式
本申请的核心是提供一种图像识别方法、装置、设备及计算机可读存储介质,用于提高图像识别的效率和准确性。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参见图1,示出了本申请实施例提供的一种图像识别方法的流程图,本申请实施例提供的一种图像识别方法,可以包括:
S11:将模型参数发送至从空闲设备中选取的各设备,由各设备根据模型参数利用本地图像集进行训练。
在要获取最终的图像识别模型时,中心服务器可以先初始化一个神经网络模型框架(对于图像识别而言,具体可以初始化一个卷积神经网络模型)及模型的相关参数,其中,相关参数具体为模型的当前全局权重wg、各设备的本地训练轮数E、当前轮次t(在初始化时具体可以设置为1)等。其中,需要说明的是,每个设备的本地训练轮数E可以并不相同。
在完成初始化之后,中心服务器可以根据空闲设备设置一个空闲设备池Mt,并把所有的空闲设备加入到空闲设备池Mt中。
在完成上述工作之后,中心服务器可以从空闲设备池Mt中选取S个设备(S≥2),并从空闲设备池Mt中减去所选取的设备,然后,将模型参数发送至当前轮次所选取出的设备中。其中,这里提及的模型参数可以包括当前全局权重wg、各设备的本地训练轮数E、当前轮次t等。另外,中心服务器也可以在第一轮训练时将神经网络模型框架发送给各设备,且后续每次轮训时则无需再进行神经网络模型框架的发送。
各设备在接收到模型参数之后,可以根据接收到的模型参数利用本地图像集进行训练,得到训练参数。其中,各设备利用本地图像集进行训练的过程具体可以参见图2,其示出了本申请实施例提供的设备根据模型参数利用本地图像集进行训练的示意图:
1)初始化数据批次大小B和初始化学习率η。
2)接收到中心服务器传送过来的当前全局权重wg、本地训练轮数E、当前轮次t。
3)按照w0=wg,w=wg,τ0=t进行记录,其中,w0是设备的初始权重,τ0是设备接收到的当前轮次,w是设备的当前本地权重。
4)按照批次大小B把图像集中的数据条数m分成m/B份子数据。
5)随机选择一份子数据,计算其在当前本地权重w下的梯度g,并根据梯度g更新当前本地权重w,例如:可以利用w=w-ηg进行更新,当然,也可以采用例如ADAM、拟牛顿等方法对当前本地权重w进行更新,本申请对此不做任何限定。重复5)步骤E次。
6)设备在完成E次训练之后,若与中心服务器连接良好,则将训练参数(具体包括w0、τ0、w和E)发送至中心服务器,若与中心服务器无法正常连接,则按照5)步骤继续进行一次训练,并将本地训练轮数E加1,然后,则进行6)步骤,直至将训练参数发送至中心服务器为止。
S12:确定从设备接收的训练参数是否属于当前轮次,若属于,则加入当前轮次集合及轮次集合,若不属于,则加入轮次集合。
考虑到有些设备训练的快、有些设备训练的慢,因此,中心服务器在当前轮次不仅会接收到当前轮次所选取到的设备的训练参数,而且还可能会接收到之前轮次所选取的设备的训练参数,所以,中心服务器在当前轮次接收到设备上传的训练参数之后,确定从设备接收到的训练参数是否属于当前轮次,具体可以根据训练参数中的τ0判断是否属于当前轮次,如果τ0=t,则表明从设备接收到的训练参数属于当前轮次,此时,则将从设备接收到的训练参数加入当前轮次集合Sf及轮次集合S’,如果τ0<t,则表明从设备接收到的训练参数不属于当前轮次,而是过往轮次选取的设备的训练参数,此时,则将接收到的设备的训练参数加入轮次集合S’。
由上述可知,本申请将接收到的设备的训练参数分为当前轮次集合Sf及轮次集合S’这两个集合,其中,当前轮次集合Sf仅保存当前轮次选取的设备的训练参数,轮次集合S’不仅包含当前轮次选取的设备的训练参数,而且还包括当前轮次接收到的过往轮次选取的设备的训练参数,轮次集合S’中所包含的设备数量大于或等于当前轮次集合Sf中包含的设备数量。例如:对于t=3而言,当前轮次集合Sf仅包含t=3时中心服务器所选取的设备的训练参数,也即仅保存τ0=3的设备的训练参数,轮次集合S’不仅保存t=3时中心服务器所选取的设备的训练参数,还保存有在当前轮次下接收到的τ0<3(可能有τ0=1、τ0=2)时中心服务器所选取的设备在此时完成训练时得到的训练参数(这些设备均是训练速度比较慢的设备)。
S13:当当前轮次集合中设备数量与选取的设备总数量间的比值大于阈值时,则根据当前轮次集合中的训练参数及当前全局权重,计算权重平均相似性;阈值小于1且选取的设备总数量与所述阈值的乘积大于1。
在执行步骤S12的期间,中心服务器每隔预设时间间隔检查当前轮次集合Sf,判断当前轮次集合Sf中包含的设备数量与当前轮次选取的设备总数量间的比值是否大于阈值,也即判断|Sf|>P*S是否满足,其中,P即为上述提及的阈值,P小于1且选取的设备总数量与所述阈值的乘积大于1,其中,选取的设备总数量与所述阈值的乘积大于1可以保证当前轮次集合Sf中包含的设备数量至少为两个,也即P控制同步程度,表示有多少被选择的设备必须在当前轮次就返回结果,P越大表示同步性越强(大的P要求每一轮次选择到的设备都尽可能在当前轮次就返回训练参数),P越小表示异步性越强(小的P只要求每一轮次选择到的一部分快速设备都在当前轮次就返回训练参数,其他设备可以到后面的轮次返回训练参数)。其中,上述提及的预设时间间隔以及阈值的大小可以根据实际需求或者经验进行设置,为了尽量提高模型训练效率同时降低重心服务器的压力,预设时间间隔具体可以为100ms,当然,也可以为其他值。另外,除了采用每隔预设时间间隔进行检查外,中心服务器也可以实时检查当前轮次集合Sf,以进行判断。
若当前轮次集合Sf中包含的设备数量与当前轮次选取的设备总数量间的比值不大于阈值,则返回步骤S12和步骤S13,直至当前轮次集合Sf中包含的设备数量与当前轮次选取的设备总数量间的比值大于阈值。若当前轮次集合Sf中包含的设备数量与当前轮次选取的设备总数量间的比值大于阈值,则根据当前轮次集合Sf中的训练参数及当前全局权重,利用
Figure BDA0003166635750000091
计算权重平均相似性C,即利用Sf中的数据计算其中所有数据(w-wg)(权重的差)的整体相似性,并根据权重平均相似性C计算全局权重,以利用全局权重对模型进行更新,其中,相似性sim函数的计算可以采用欧式距离、余弦距离等各种距离度量(只要满足计算出来的相似性取值在-1到1之间),且i和j表示当前轮次集合Sf中不同设备,wi表示当前轮次集合Sf中第i个设备对应的当前本地权重,wg表示当前全局权重。
通过上述过程可知,在本申请中,只要当前轮次集合中设备数量与选取的设备总数量间的比值大于阈值,则计算全局权重并利用全局权重对模型进行更新,由于阈值小于1,因此,无需等待并接收到当前轮次所选取的所有设备的训练参数之后才进行模型更新,因此,则可以缩短等待时间,提高模型更新效率。另外,由于阈值大于0.1,因此,在进行模型更新时不止有一个一个当前轮次选取到的设备参与到全局权重的计算中,而是至少有P*S个设备参与到模型更新中,也即可以将当前轮次中稍微滞后的设备参与到全局权重的计算中,因此,则便于提高模型的精度,从而便于提高图像识别的准确性。
S14:判断权重平均相似性是否小于预设值;若否,则执行步骤S15;若是,则执行步骤S16,在执行完步骤S15或步骤S16之后,返回步骤S11;
S15:根据当前轮次集合计算全局权重;
S16:根据轮次集合计算全局权重;
在利用步骤S13计算出权重平均相似性C之后,可以判断权重平均相似性C是否小于预设值C0,若C不小于C0,则表明当前轮次集合Sf中各设备计算出的当前本地权重比较相似,也即表明模型间的相似性比较高,此时则说明数据的差异比较小,直接丢失一些模型造成的数据信息丢失很小,因此,则可以直接丢弃轮次集合S’里面有延迟的数据,以降低滞后设备给模型更新带来的不良影响,也就是说,C≥C0表示足以利用当前轮次集合Sf中这些设备对应的模型来代表全局模型,因为大家都很相似,因此,则可以直接根据当前轮次集合来计算全局权重。
若C小于C0,则表明当前轮次集合Sf中各设备计算出的当前本地权重并非特别相似,也即代表较大的数据分布差异导致了模型权重的差异比较大,因此,则需要使用全部接收到的当前本地权重来进行全局权重的计算和模型的更新,也即需要利用轮次集合S’中各设备计算出的当前本地权重来进行全局权重的计算和模型的更新,以此学习到当前轮次接收到的所有设备中数据的信息,从而便于提高模型的精度。
对于上述过程,具体可以表示为:
Figure BDA0003166635750000101
S*表示参与全局权重计算的集合,然后,利用S*中各设备的当前本地权重进行全局权重的计算,具体地,利用可以S*中各设备的数据条数及所有设备的总数据条数计算每个设备对应的权重,然后,利用
Figure BDA0003166635750000102
对全局权重wg进行更新,其中,wi*为S*中第i*个设备的当前本地权重,
Figure BDA0003166635750000103
为S*中第i*个设备对应的权重。
S17:直至训练轮次达到设定轮次为止,利用全局权重得到图像识别模型。
在执行完S11-S16步骤之后,则清空当前轮次集合Sf以及轮次集合S’,然后,令t=t+1,并判断t是否大于T,其中,T为设定轮次,若t≤T,则继续进行训练,也即返回步骤S11,继续进行训练,若t>T,则利用最后一轮训练时计算出的全局权重来得到图像识别模型,也即将最后一轮训练时计算出的全局权重带入到神经网络框架中,以得到图像识别模型,具体可以参见图3,其示出了本申请实施例提供的图像识别模型的训练示意图,其中,图3中的更新全局模型即为更新全局模型的全局权重,并利用全局权重对全局模型进行更新,中止条件即为t>T,最终模型即为图像识别模型。
S18:利用图像识别模型对待识别图像进行识别,并输出识别结果。
在得到图像识别模型之后,中心服务器可以接收待识别图像或者可以从预先存储的图像中调取出待识别图像,并利用最终得到的图像识别模型对待识别图像进行识别,且输出进行识别得到的识别结果。
另外,中心服务器也可以将最终得到的图像识别模型发送至各设备,以使得各设备利用图像识别模型对各自接收到或存储的待识别图像进行识别,并各自输出对应的识别结果。
通过上述过程可知,本申请可以缩短图像识别模型的训练时间,提高图像识别模型的精度,因此,在进行图像识别时,则可以缩短图像识别的时间,提高图像识别的效率,并提高图像识别的精度和准确性。
本申请公开的上述技术方案,将从设备接收到的属于当前轮次的训练参数加入当前轮次集合及轮次集合,将不属于当前轮次的训练参数仅加入轮次集合,之后,在当前轮次集合中设备数量与选取的设备总数量间的比值大于阈值时再开始全局权重的计算,由于阈值小于1,因此,无需等待所选取的所有设备均完成训练为止才进行模型更新,从而可以缩短等待时间,以提高图像识别模型训练效率,进而可以提高图像识别效率,而且由于选取的设备总数量与所述阈值的乘积大于1,所以,不止有一个设备参与模型更新,因此,则便于降低滞后设备对图像识别模型的影响。另外,在比值大于阈值之后,根据当前轮次集合中的训练参数及当前全局权重计算权重平均相似性,若权重平均相似度小于预设值,则表明当前轮次集合中各设备对应的训练参数差异比较大,此时,则根据轮次集合计算全局权重,由于轮次集合不仅包含当前轮次选取的设备的训练参数,而且还包括当前轮次接收到的过往轮次选取的设备的训练参数,也即还包含之前滞后的设备的训练参数,因此,则将其参与到全局权重的计算中,则可以降低滞后带来的影响,从而提高图像识别模型的精度,若权重平均相似度不小于预设值,则表明当前轮次集合中各设备对应的训练参数比较相似,因此,其足以代表当前轮次所选取的所有设备,因此,为了减少滞后设备带来的不良影响,则此时直接根据当前轮次集合计算全局权重,以提高图像识别模型的精度,相应地,在利用训练得到的图像识别模型对待识别图像进行识别时,则可以提高图像识别的准确性。
本申请实施例提供的一种图像识别方法,根据当前轮次集合计算全局权重,可以包括:
根据当前轮次集合中的每个设备对应的图像集的数据条数、每个设备的本地训练轮数,计算每个设备对应的第一延迟权重;
根据当前轮次集合中每个设备对应的第一延迟权重,计算第一归一化因子;
根据当前轮次集合中每个设备对应的第一延迟权重、第一归一化因子,计算当前轮次集合中每个设备对应的第一归一化后权重;
利用当前轮次集合中每个设备对应的训练参数中的当前本地权重、当前全局权重及当前轮次集合中每个设备对应的第一归一化后权重,计算全局权重。
在根据当前轮次集合计算全局权重时,可以根据当前轮次集合Sf中的每个设备对应的图像集的数据条数、每个设备的本地训练轮数,利用pi=mi/Ei计算每个设备对应的第一延迟权重pi,其中,mi为当前轮次集合Sf中第i个设备对应的图像集的数据条数,Ei为当前轮次集合Sf中第i个设备对应的本地训练轮数。由于当前轮次集合Sf中仅包含当前轮次选取的设备的训练参数,而并不存在时延,因此,第一延迟权重pi的计算无需考虑时延的影响,而只需考虑各设备中各数据和各设备的本地训练轮数的影响,其中,对于数据条数越多,拥有越多本地数据的设备,则给予更高的合并系数,对于本地训练轮数过多的设备,则给予更小的合并系数。
在计算出当前轮次集合Sf中各设备的第一延迟权重pi之后,可以利用Φ=∑pi计算第一归一化因子Φ,并利用
Figure BDA0003166635750000121
计算第一归一化后权重
Figure BDA0003166635750000122
然后,利用
Figure BDA0003166635750000123
计算全局权重wg,其中,wi为前轮次集合Sf中第i个设备的当前本地权重。
通过上述过程可知,本申请在利用当前轮次集合Sf计算全局权重时,将当前轮次集合Sf中各设备的数据条数和本地训练轮数考虑在内,以通过对数据条数的考虑而降低设备数据分布多少带来的损失,并通过对本地训练轮数的考虑而降低各设备之间计算能力差异带来的损失,同时通过每个设备的当前本地权重之间的关系而减少每个设备学习到的当前本地权重差异带来的损失,从而便于进一步提高图像识别模型的精度。
本申请实施例提供的一种图像识别方法,根据轮次集合计算全局权重,可以包括:
根据轮次集合中的每个设备对应的图像集的数据条数、每个设备的本地训练轮数及每个设备的时延系数,计算每个设备对应的第二延迟权重;其中,每个设备的时延系数根据设备对应的当前训练轮次、当前本地权重与轮次集合中无时延设备平均当前本地权重确定;
根据轮次集合中每个设备对应的第二延迟权重,计算第二归一化因子;
根据轮次集合中每个设备对应的第二延迟权重、第二归一化因子,计算轮次集合中每个设备对应的第二归一化后权重;
利用轮次集合中每个设备对应的训练参数中的当前本地权重、当前全局权重及轮次集合中每个设备对应的第二归一化后权重,计算全局权重。
在利用轮次集合计算全局权重时,可以根据轮次集合S’中每个设备对应的图像集的数据条数、每个设备的本地训练轮数及每个设备的时延系数,利用pi'=mi'/(Ei'*di')计算每个设备对应的第二延迟权重pi’,其中,mi’为轮次集合S’中第i’个设备对应的图像集的数据条数,Ei’为轮次集合S’中第i’个设备对应的本地训练轮数,di’为轮次集合S’中第i’个设备对应的时延系数,其中,对于时延系数而言,具体可以采用如下方式进行计算:
Figure BDA0003166635750000131
其中,τi'为轮次集合S’中第i’个设备对应的轮次,sim函数与上述相同,
Figure BDA0003166635750000132
为轮次集合S’中无时延设备平均当前本地权重,且
Figure BDA0003166635750000133
由于轮次集合不仅包含当前轮次选取的设备的训练参数,而且还包括当前轮次接收到的过往轮次选取的设备的训练参数,因此,第二延迟权重pi’的计算不仅将各设备中各数据和各设备的本地训练轮数的影响考虑在内(与第一延迟权重的计算类似,在此不再赘述),而且还将时延(即t-τi')考虑在内,对于时延更长的设备则给予更小的合并系数,其中,在考虑时延时,为了判断时延带来的严重程度,本申请将时延设备对应的当前本地权重与无时延设备平均当前本地权重进行比较,若时延设备对应的当前本地权重与无时延设备平均当前本地权重差距比较小,则表明时延带来的影响比较小,此时,则利用时延系数计算中的第三个公式进行计算,若时延设备对应的当前本地权重与无时延设备平均当前本地权重差距比较大,此时,则利用时延系数计算中的第二个公式进行计算,以准确地将时延带来的影响考虑。
在计算出轮次集合S’中每个设备的第二延迟权重pi’之后,利用Φ'=∑pi'计算第二归一化因子Φ',并利用
Figure BDA0003166635750000141
计算第二归一化后权重
Figure BDA0003166635750000142
然后,利用
Figure BDA0003166635750000143
计算全局权重wg,其中,wi'为前轮次集合Sf中第i个设备的当前本地权重。
通过上述过程可知,本申请在利用轮次集合S’计算全局权重时,将轮次集合S’中各设备的数据条数、本地训练轮数及时延系数考虑在内,以通过对数据条数的考虑而降低设备数据分布多少带来的损失,并通过对本地训练轮数的考虑而降低各设备之间计算能力差异带来的损失,且通过对时延系数的考虑而降低设备时延带来的损失,同时通过每个设备的当前本地权重之间的关系而减少每个设备学习到的当前本地权重差异带来的损失,从而便于进一步提高图像识别模型的精度。
本申请实施例提供的一种图像识别方法,在将模型参数发送至从空闲设备中选取的各设备之前,还可以包括:
对模型参数进行加密;
在确定从设备接收的训练参数是否属于当前轮次之前,还可以包括:
对接收到的设备上传的训练参数进行解密。
在本申请中,在将模型参数发送至从空闲设备中选取的各设备之前,还可以对模型参数进行加密,然后,将加密后的模型参数发送至所选取的各设备,各设备在接收到加密后的模型参数之后,先对加密后的模型参数进行解密,之后,再进行训练。而且各设备在进行训练得到训练参数之后,可以将训练参数进行加密,并将加密后的训练参数发送至中心服务器。中心服务器在接收到加密后的训练参数之后,对接收到的设备上传的训练参数进行解密,之后,再确定从设备接收到的训练参数是否属于当前轮次。
上述在中心服务器与设备间的传输数据上进行加密一方面可以保护隐私数据,另一方面可以防止恶意攻击,以提高数据传输的安全性。
本申请实施例提供的一种图像识别方法,在将模型参数发送至从空闲设备中选取的各设备之前,还可以包括:
对模型参数进行压缩;
在确定从设备接收的训练参数是否属于当前轮次之前,还可以包括:
接收设备上传的压缩后的训练参数,并对压缩后的训练参数进行解压缩。
在本申请中,在将模型数据发送至从空闲设备中选取的各设备之前,可以对模型进行压缩,之后,则将压缩后的模型参数发送至各设备,然后,由各设备进行解压缩,并进行训练。而且各设备在得到训练参数之后,可以将训练参数进行压缩,并将压缩后的训练参数发送至中心服务器。中心服务器在接收到设备上传的压缩后的训练参数之后,可以对压缩后的训练参数进行解压缩,并确定从设备接收的训练参数是否属于当前轮次。其中,上述提及的压缩具体可以为参数修剪和共享、弱权重过滤、知识蒸馏等
通过上述过程可知,本申请对中心服务器和设备间的传输数据进行压缩,以便于降低数据传输量,提高数据传输速度,从而便于提高图像识别模型的训练效率,进而便于提高图像识别效率。
本申请实施例提供的一种图像识别方法,在判断权重平均相似性是否小于预设值,若是,则根据当前轮次集合计算全局权重,若否,则根据轮次集合计算全局权重之后,还可以包括:
将轮次集合中的各设备标记为空闲设备,并清空轮次集合和当前轮次集合。
在本申请中,在判断权重平均相似性是否小于预设值,若是,则根据当前轮次集合计算全局权重,若否,则根据轮次集合计算全局权重之后,则将轮次集合中的各设备标记为空闲设备,并重新放入空闲设备池Mt,以便于在后续的训练中,中心服务器可以重新从空闲设备池Mt中选取设备进行训练。且在将轮次集合中的各设备标记为空闲设备,并重新放入空闲设备池Mt之后,则清空轮次集合和当前轮次集合,以避免轮次集合和当前轮次集合中所存储的设备信息对此后的训练和计算过程造成影响,从而便于提高全局权重计算的准确性,进而便于提高图像识别模型的准确性。
本申请实施例提供的一种图像识别方法,从空闲设备中选取各设备,可以包括:
从空闲设备中随机选取多个设备;其中,设备的数量小于空闲设备的总数量。
中心服务器在从空闲设备中选取各设备时,具体可以从空闲设备中随机选取多个设备,其中,随机选择方式可以减少数据分布差异带来的影响,从而便于提高图像识别模型的准确性,进而便于提高图像识别的准确性。另外,所选取的设备的数量小于空闲设备的总数量,以缩短每轮次训练的时间,且降低中心服务器的计算压力,从而便于提高图像识别模型获取的效率,进而提高图像识别的效率。
本申请实施例还提供了一种图像识别装置,参见图4,其示出了本申请实施例提供的一种图像识别装置的结构示意图,可以包括:
发送模块41,用于将模型参数发送至从空闲设备中选取的各设备,由各设备根据模型参数利用本地图像集进行训练;
确定模块42,用于确定从设备接收的训练参数是否属于当前轮次,若属于,则加入当前轮次集合,若不属于,则加入轮次集合及当前轮次集合;
计算模块43,用于当当前轮次集合中设备数量与选取的设备总数量间的比值大于阈值时,则根据当前轮次集合中的训练参数及当前全局权重,计算权重平均相似性;阈值小于1且选取的设备总数量与所述阈值的乘积大于1;
判断模块44,用于判断权重平均相似性是否小于预设值,若是,则根据当前轮次集合计算全局权重,若否,则根据轮次集合计算全局权重;并继续训练,直至训练轮次达到设定轮次为止,且利用全局权重得到图像识别模型;
识别模块45,用于利用图像识别模型对待识别图像进行识别,并输出识别结果。
本申请实施例提供的一种图像识别装置,判断模块44可以包括:
第一计算单元,用于根据当前轮次集合中的每个设备对应的图像集的数据条数、每个设备的本地训练轮数,计算每个设备对应的第一延迟权重;
第二计算单元,用于根据当前轮次集合中每个设备对应的第一延迟权重,计算第一归一化因子;
第三计算单元,用于根据当前轮次集合中每个设备对应的第一延迟权重、第一归一化因子,计算当前轮次集合中每个设备对应的第一归一化后权重;
第四计算单元,用于利用当前轮次集合中每个设备对应的训练参数中的当前本地权重、当前全局权重及当前轮次集合中每个设备对应的第一归一化后权重,计算全局权重。
本申请实施例提供的一种图像识别装置,判断模块44可以包括:
第五计算单元,用于根据轮次集合中的每个设备对应的图像集的数据条数、每个设备的本地训练轮数及每个设备的时延系数,计算每个设备对应的第二延迟权重;其中,每个设备的时延系数根据设备对应的当前训练轮次、当前本地权重与轮次集合中无时延设备平均当前本地权重确定;
第六计算单元,用于根据轮次集合中每个设备对应的第二延迟权重,计算第二归一化因子;
第七计算单元,用于根据轮次集合中每个设备对应的第二延迟权重、第二归一化因子,计算轮次集合中每个设备对应的第二归一化后权重;
第八计算单元,用于利用轮次集合中每个设备对应的训练参数中的当前本地权重、当前全局权重及轮次集合中每个设备对应的第二归一化后权重,计算全局权重。
本申请实施例提供的一种图像识别装置,还可以包括:
加密模块,用于在将模型参数发送至从空闲设备中选取的各设备之前,对模型参数进行加密;
解密模块,用于在确定从设备接收的训练参数是否属于当前轮次之前,对接收到的设备上传的训练参数进行解密。
本申请实施例提供的一种图像识别装置,还可以包括:
压缩模块,用于在将模型参数发送至从空闲设备中选取的各设备之前,对模型参数进行压缩;
解压缩模块,用于在确定从设备接收的训练参数是否属于当前轮次之前,接收设备上传的压缩后的训练参数,并对压缩后的训练参数进行解压缩。
本申请实施例提供的一种图像识别装置,还可以包括:
标记模块,用于在判断权重平均相似性是否小于预设值,若是,则根据当前轮次集合计算全局权重,若否,则根据轮次集合计算全局权重之后,将轮次集合中的各设备标记为空闲设备,并清空轮次集合和当前轮次集合。
本申请实施例提供的一种图像识别装置,发送模块41可以包括:
选取单元,用于从空闲设备中随机选取多个设备;其中,设备的数量小于空闲设备的总数量。
本申请实施例还提供了一种图像识别设备,参见图5,其示出了本申请实施例提供的一种图像识别设备的结构示意图,可以包括:
存储器51,用于存储计算机程序;
处理器52,用于执行存储器51存储的计算机程序时可实现如下步骤:
将模型参数发送至从空闲设备中选取的各设备,由各设备根据模型参数利用本地图像集进行训练;确定从设备接收的训练参数是否属于当前轮次,若属于,则加入当前轮次集合及轮次集合,若不属于,则加入轮次集合;当当前轮次集合中设备数量与选取的设备总数量间的比值大于阈值时,则根据当前轮次集合中的训练参数及当前全局权重,计算权重平均相似性;阈值小于1且选取的设备总数量与阈值的乘积大于1;判断权重平均相似性是否小于预设值,若否,则根据当前轮次集合计算全局权重,若是,则根据轮次集合计算全局权重;并继续训练,直至训练轮次达到设定轮次为止,且利用全局权重得到图像识别模型;利用图像识别模型对待识别图像进行识别,并输出识别结果。
本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时可实现如下步骤:
将模型参数发送至从空闲设备中选取的各设备,由各设备根据模型参数利用本地图像集进行训练;确定从设备接收的训练参数是否属于当前轮次,若属于,则加入当前轮次集合及轮次集合,若不属于,则加入轮次集合;当当前轮次集合中设备数量与选取的设备总数量间的比值大于阈值时,则根据当前轮次集合中的训练参数及当前全局权重,计算权重平均相似性;阈值小于1且选取的设备总数量与阈值的乘积大于1;判断权重平均相似性是否小于预设值,若否,则根据当前轮次集合计算全局权重,若是,则根据轮次集合计算全局权重;并继续训练,直至训练轮次达到设定轮次为止,且利用全局权重得到图像识别模型;利用图像识别模型对待识别图像进行识别,并输出识别结果。
该计算机可读存储介质可以包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的一种图像识别装置、设备及计算机可读存储介质中相关部分的说明可以参见本申请实施例提供的一种图像识别方法中对应部分的详细说明,在此不再赘述。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外,本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明,以免过多赘述。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种图像识别方法,其特征在于,包括:
将模型参数发送至从空闲设备中选取的各设备,由各所述设备根据所述模型参数利用本地图像集进行训练;
确定从所述设备接收的训练参数是否属于当前轮次,若属于,则加入当前轮次集合及轮次集合,若不属于,则加入所述轮次集合;
当所述当前轮次集合中设备数量与选取的设备总数量间的比值大于阈值时,则根据所述当前轮次集合中的训练参数及当前全局权重,计算权重平均相似性;所述阈值小于1且选取的设备总数量与所述阈值的乘积大于1;
判断所述权重平均相似性是否小于预设值,若否,则根据所述当前轮次集合计算全局权重,若是,则根据所述轮次集合计算全局权重;并继续训练,直至训练轮次达到设定轮次为止,且利用全局权重得到图像识别模型;
利用所述图像识别模型对待识别图像进行识别,并输出识别结果;
所述根据所述当前轮次集合中的训练参数及当前全局权重,计算权重平均相似性,包括:
利用
Figure FDA0003869537060000011
计算权重平均相似性;
其中,C表示权重平均相似性;Sf表示当前轮次集合;i和j表示当前轮次集合中的不同设备;wi表示当前轮次集合中第i个设备对应的当前本地权重;wj表示当前轮次集合中第j个设备对应的当前本地权重;wg表示当前全局权重;
所述根据所述当前轮次集合计算全局权重,包括:
根据所述当前轮次集合中的每个设备对应的图像集的数据条数、每个设备的本地训练轮数,计算每个设备对应的第一延迟权重;
根据所述当前轮次集合中每个设备对应的第一延迟权重,计算第一归一化因子;
根据所述当前轮次集合中每个设备对应的第一延迟权重、所述第一归一化因子,计算所述当前轮次集合中每个设备对应的第一归一化后权重;
利用所述当前轮次集合中每个设备对应的训练参数中的当前本地权重、所述当前全局权重及所述当前轮次集合中每个设备对应的第一归一化后权重,计算所述全局权重;
所述根据所述轮次集合计算全局权重,包括:
根据所述轮次集合中的每个设备对应的图像集的数据条数、每个设备的本地训练轮数及每个设备的时延系数,计算每个设备对应的第二延迟权重;其中,每个设备的时延系数根据设备对应的当前训练轮次、当前本地权重与所述轮次集合中无时延设备平均当前本地权重确定;
根据所述轮次集合中每个设备对应的第二延迟权重,计算第二归一化因子;
根据所述轮次集合中每个设备对应的第二延迟权重、所述第二归一化因子,计算所述轮次集合中每个设备对应的第二归一化后权重;
利用所述轮次集合中每个设备对应的训练参数中的当前本地权重、所述当前全局权重及所述轮次集合中每个设备对应的第二归一化后权重,计算所述全局权重;
所述每个设备的时延系数根据设备对应的当前训练轮次、当前本地权重与所述轮次集合中无时延设备平均当前本地权重确定,包括:
利用
Figure FDA0003869537060000021
计算时延系数;
其中,di’为轮次集合中第i’个设备对应的时延系数;τi'为轮次集合中第i’个设备对应的轮次;t为当前轮次;
Figure FDA0003869537060000022
为轮次集合中无时延设备平均当前本地权重;wi’表示当前轮次集合中第i’个设备对应的当前本地权重;wg表示当前全局权重。
2.根据权利要求1所述的图像识别方法,其特征在于,在将模型参数发送至从空闲设备中选取的各设备之前,还包括:
对所述模型参数进行加密;
在确定从所述设备接收的训练参数是否属于当前轮次之前,还包括:
对接收到的设备上传的训练参数进行解密。
3.根据权利要求1所述的图像识别方法,其特征在于,在将模型参数发送至从空闲设备中选取的各设备之前,还包括:
对所述模型参数进行压缩;
在确定从所述设备接收的训练参数是否属于当前轮次之前,还包括:
接收设备上传的压缩后的训练参数,并对所述压缩后的训练参数进行解压缩。
4.根据权利要求1所述的图像识别方法,其特征在于,在判断所述权重平均相似性是否小于预设值,若是,则根据所述当前轮次集合计算全局权重,若否,则根据所述轮次集合计算全局权重之后,还包括:
将所述轮次集合中的各所述设备标记为空闲设备,并清空所述轮次集合和所述当前轮次集合。
5.根据权利要求1所述的图像识别方法,其特征在于,从空闲设备中选取各设备,包括:
从所述空闲设备中随机选取多个所述设备;其中,所述设备的数量小于所述空闲设备的总数量。
6.一种图像识别装置,其特征在于,包括:
发送模块,用于将模型参数发送至从空闲设备中选取的各设备,由各所述设备根据所述模型参数利用本地图像集进行训练;
确定模块,用于确定从所述设备接收的训练参数是否属于当前轮次,若属于,则加入当前轮次集合,若不属于,则加入轮次集合及所述当前轮次集合;
计算模块,用于当所述当前轮次集合中设备数量与选取的设备总数量间的比值大于阈值时,则根据所述当前轮次集合中的训练参数及当前全局权重,计算权重平均相似性;所述阈值小于1且选取的设备总数量与所述阈值的乘积大于1;
判断模块,用于判断所述权重平均相似性是否小于预设值,若是,则根据所述当前轮次集合计算全局权重,若否,则根据所述轮次集合计算全局权重;并继续训练,直至训练轮次达到设定轮次为止,且利用全局权重得到图像识别模型;
识别模块,用于利用所述图像识别模型对待识别图像进行识别,并输出识别结果;
所述根据所述当前轮次集合中的训练参数及当前全局权重,计算权重平均相似性,包括:
利用
Figure FDA0003869537060000041
计算权重平均相似性;
其中,C表示权重平均相似性;Sf表示当前轮次集合;i和j表示当前轮次集合中的不同设备;wi表示当前轮次集合中第i个设备对应的当前本地权重;wj表示当前轮次集合中第j个设备对应的当前本地权重;wg表示当前全局权重;
所述根据所述当前轮次集合计算全局权重,包括:
根据所述当前轮次集合中的每个设备对应的图像集的数据条数、每个设备的本地训练轮数,计算每个设备对应的第一延迟权重;
根据所述当前轮次集合中每个设备对应的第一延迟权重,计算第一归一化因子;
根据所述当前轮次集合中每个设备对应的第一延迟权重、所述第一归一化因子,计算所述当前轮次集合中每个设备对应的第一归一化后权重;
利用所述当前轮次集合中每个设备对应的训练参数中的当前本地权重、所述当前全局权重及所述当前轮次集合中每个设备对应的第一归一化后权重,计算所述全局权重;
所述根据所述轮次集合计算全局权重,包括:
根据所述轮次集合中的每个设备对应的图像集的数据条数、每个设备的本地训练轮数及每个设备的时延系数,计算每个设备对应的第二延迟权重;其中,每个设备的时延系数根据设备对应的当前训练轮次、当前本地权重与所述轮次集合中无时延设备平均当前本地权重确定;
根据所述轮次集合中每个设备对应的第二延迟权重,计算第二归一化因子;
根据所述轮次集合中每个设备对应的第二延迟权重、所述第二归一化因子,计算所述轮次集合中每个设备对应的第二归一化后权重;
利用所述轮次集合中每个设备对应的训练参数中的当前本地权重、所述当前全局权重及所述轮次集合中每个设备对应的第二归一化后权重,计算所述全局权重;
所述每个设备的时延系数根据设备对应的当前训练轮次、当前本地权重与所述轮次集合中无时延设备平均当前本地权重确定,包括:
利用
Figure FDA0003869537060000051
计算时延系数;
其中,di’为轮次集合中第i’个设备对应的时延系数;τi’为轮次集合中第i’个设备对应的轮次;t为当前轮次;
Figure FDA0003869537060000052
为轮次集合中无时延设备平均当前本地权重;wi’表示当前轮次集合中第i’个设备对应的当前本地权重;wg表示当前全局权重。
7.一种图像识别设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至5任一项所述的图像识别方法的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的图像识别方法的步骤。
CN202110806770.5A 2021-07-16 2021-07-16 一种图像识别方法、装置、设备及计算机可读存储介质 Active CN113343938B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110806770.5A CN113343938B (zh) 2021-07-16 2021-07-16 一种图像识别方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110806770.5A CN113343938B (zh) 2021-07-16 2021-07-16 一种图像识别方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113343938A CN113343938A (zh) 2021-09-03
CN113343938B true CN113343938B (zh) 2023-01-31

Family

ID=77479906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110806770.5A Active CN113343938B (zh) 2021-07-16 2021-07-16 一种图像识别方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113343938B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381169A (zh) * 2020-11-23 2021-02-19 济南博观智能科技有限公司 一种图像识别方法、装置、电子设备及可读存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2323046A1 (en) * 2009-10-16 2011-05-18 Telefónica, S.A. Method for detecting audio and video copy in multimedia streams
US20170177708A1 (en) * 2015-12-17 2017-06-22 Linkedin Corporation Term weight optimization for content-based recommender systems
CN110348571B (zh) * 2016-11-29 2024-03-29 华为技术有限公司 一种神经网络模型训练方法、装置、芯片和系统
US11087174B2 (en) * 2018-09-25 2021-08-10 Nec Corporation Deep group disentangled embedding and network weight generation for visual inspection
CN111310938A (zh) * 2020-02-10 2020-06-19 深圳前海微众银行股份有限公司 基于半监督的横向联邦学习优化方法、设备及存储介质
CN111783898B (zh) * 2020-07-09 2021-09-14 腾讯科技(深圳)有限公司 图像识别模型的训练、图像识别方法、装置及设备
CN112487805B (zh) * 2020-11-30 2024-02-02 武汉大学 一种基于元学习框架的小样本Web服务分类方法
CN112528109B (zh) * 2020-12-01 2023-10-27 科大讯飞(北京)有限公司 一种数据分类方法、装置、设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381169A (zh) * 2020-11-23 2021-02-19 济南博观智能科技有限公司 一种图像识别方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN113343938A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN108428132B (zh) 欺诈交易识别方法、装置、服务器及存储介质
CN111667267B (zh) 一种区块链交易风险识别方法及装置
CN112163637B (zh) 基于非平衡数据的图像分类模型训练方法、装置
CN112107866A (zh) 用户行为数据处理方法、装置、设备及存储介质
CN112597984B (zh) 图像数据处理方法、装置、计算机设备和存储介质
CN112669215A (zh) 一种训练文本图像生成模型、文本图像生成的方法和装置
CN111260220A (zh) 群控设备识别方法、装置、电子设备和存储介质
CN113011529A (zh) 文本分类模型的训练方法、装置、设备及可读存储介质
CN114842546A (zh) 动作计数方法、装置、设备及存储介质
CN110162769B (zh) 文本主题输出方法和装置、存储介质及电子装置
CN114066421A (zh) 基于人工智能的任务催办方法、装置及电子设备
CN110489131B (zh) 一种灰度用户选取方法及装置
CN113343938B (zh) 一种图像识别方法、装置、设备及计算机可读存储介质
CN111626098B (zh) 模型的参数值更新方法、装置、设备及介质
CN115455457B (zh) 基于智慧大数据的链数据管理方法、系统和存储介质
CN112668723A (zh) 一种机器学习方法及系统
CN112002075A (zh) 一种提升储物柜安全性的信息处理方法和装置
CN111523604A (zh) 一种用户分类的方法和相关装置
CN111368552A (zh) 一种面向特定领域的网络用户群组划分方法及装置
CN115578765A (zh) 目标识别方法、装置、系统及计算机可读存储介质
CN109308565B (zh) 人群绩效等级识别方法、装置、存储介质及计算机设备
CN115706940A (zh) 5g消息加密算法的选择方法、装置及计算设备
CN112528068A (zh) 声纹特征存储方法、声纹特征匹配方法、装置及电子设备
CN112328779A (zh) 训练样本构建方法、装置、终端设备及存储介质
CN111461207B (zh) 一种图片识别模型训练系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant