CN112994981B - 时延数据的调整方法和装置、电子设备和存储介质 - Google Patents

时延数据的调整方法和装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112994981B
CN112994981B CN202110235536.1A CN202110235536A CN112994981B CN 112994981 B CN112994981 B CN 112994981B CN 202110235536 A CN202110235536 A CN 202110235536A CN 112994981 B CN112994981 B CN 112994981B
Authority
CN
China
Prior art keywords
network
participants
delay
training
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110235536.1A
Other languages
English (en)
Other versions
CN112994981A (zh
Inventor
蔡怡蕾
郑悦
景艳山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Minglue Artificial Intelligence Group Co Ltd
Original Assignee
Shanghai Minglue Artificial Intelligence Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Minglue Artificial Intelligence Group Co Ltd filed Critical Shanghai Minglue Artificial Intelligence Group Co Ltd
Priority to CN202110235536.1A priority Critical patent/CN112994981B/zh
Publication of CN112994981A publication Critical patent/CN112994981A/zh
Application granted granted Critical
Publication of CN112994981B publication Critical patent/CN112994981B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852Delays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提供了一种时延数据的调整方法和装置、电子设备和存储介质,其中,该方法包括:在第一预设时间内获取多个参与方的训练参数所对应的多个网络时延,其中,训练参数为参与方训练数据聚合模型的参数;在多个差值中存在大于第一时延阈值的第一差值的情况下,根据网络时延确定多个参与方对应的待迭代次数,其中,多个差值中的每个差值是多个网络时延中两个网络时延之间的差值;根据待迭代次数,确定多个参与方传输训练参数至数据聚合模型的时延时间。通过本申请,解决了相关技术中存在的联邦学习的数据聚合模型训练效率较低的问题。

Description

时延数据的调整方法和装置、电子设备和存储介质
技术领域
本申请涉及数据处理领域,尤其涉及一种时延数据的调整方法和装置、电子设备和存储介质。
背景技术
人工智能的发展依赖于大量的优质数据,在企业中,除了少数大规模企业拥有大量数据外,更多的中小规模企业都存在数据量少、数据质量差等原因,不足以支撑人工智能技术的开发和实现。为了寻求更大的利益,多个公司或机构会以数据买卖或合作的方式将多方数据进行融合,从而训练出效果更优的人工智能模型。
但是由于各项数据安全法案的提出,这些中小规模企业无法直接寻求和外界的合作,数据往往以孤岛的形式分散在各个企业中,为了打破现有的数据孤岛的僵局,联邦学习技术应运而生。其中,联邦学习技术可以通过安全手段使各方参与者在不相互泄漏数据隐私的前提下,协同训练一个效果堪比数据聚合后训练的模型。该方法既保障了数据隐私安全,又实现了多方共赢。
但是现有的联邦学习技术也存在着一些问题,其中最为主要的就是数据传输的高时延低并发问题,即多个参与方的模型训练时长不等,传输时延各异,这就会导致负责模型聚合的第三方收到某些参与方的训练参数后,一直等待其余参与方的训练参数,会导致联邦学习的数据聚合模型训练效率较低。
发明内容
本申请提供了一种时延数据的调整方法和装置、电子设备和存储介质,以至少解决相关技术中存在联邦学习的数据聚合模型训练效率较低的问题。
根据本申请实施例的一个方面,提供了一种时延数据的调整方法,包括:在第一预设时间内获取多个参与方的训练参数所对应的多个网络时延,其中,所述训练参数为所述参与方训练数据聚合模型的参数;在多个差值中存在大于第一时延阈值的第一差值的情况下,根据所述网络时延确定所述多个参与方对应的待迭代次数,其中,所述多个差值中的每个差值是所述多个网络时延中两个网络时延之间的差值;根据所述待迭代次数,确定所述多个参与方传输所述训练参数至所述数据聚合模型的时延时间。
根据本申请实施例的另一个方面,还提供了一种时延数据的调整装置,所述装置包括:第一获取单元,用于在第一预设时间内获取多个参与方的训练参数所对应的多个网络时延,其中,所述训练参数为所述参与方训练数据聚合模型的参数;第一确定单元,用于在多个差值中存在大于第一时延阈值的第一差值的情况下,根据所述网络时延确定所述多个参与方对应的待迭代次数,其中,所述多个差值中的每个差值是所述多个网络时延中两个网络时延之间的差值;第二确定单元,用于根据所述待迭代次数,确定所述多个参与方传输所述训练参数至所述数据聚合模型的时延时间。
根据本申请实施例的又一个方面,还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器、通信接口和存储器通过通信总线完成相互间的通信;其中,存储器,用于存储计算机程序;处理器,用于通过运行所述存储器上所存储的所述计算机程序来执行上述任一实施例中的方法步骤。
根据本申请实施例的又一个方面,还提供了一种计算机可读的存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一实施例中的方法步骤。
在本申请实施例中,采用调整多个参与方的迭代次数的方式,通过在第一预设时间内获取多个参与方的训练参数所对应的多个网络时延;在多个差值中存在大于第一时延阈值的第一差值的情况下,根据网络时延确定多个参与方对应的待迭代次数;根据待迭代次数,确定多个参与方传输训练参数至数据聚合模型的时延时间,由于本申请是根据网络状态实时调整多个参与方对应的待迭代次数,进而确定多个参与方传输训练参数的时延时间,从而可以实现灵活适应网络状态的变化,更改联邦学习的数据聚合模型中两次训练参数传输期间迭代次数的目的,达到了统一各个参与方传输训练参数的时延时间,提高数据聚合模型训练效率的技术效果,进而解决了相关技术中存在的联邦学习的数据聚合模型训练效率较低的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种可选的时延数据的调整方法的硬件环境的示意图;
图2是根据本申请实施例的一种可选的时延数据的调整方法的流程示意图;
图3是根据本申请实施例的一种可选的多个参与方的迭代状态转移示意图;
图4是根据本申请实施例的一种可选的时延数据的调整装置的结构框图;
图5是根据本申请实施例的一种可选的电子设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例的一个方面,提供了一种时延数据的调整方法。可选地,在本实施例中,上述时延数据的调整方法可以应用于如图1所示的硬件环境中。如图1所示,终端102中可以包含有存储器104、处理器106和显示器108(可选部件)。终端102可以通过网络110与服务器112进行通信连接,该服务器112可用于为终端或终端上安装的客户端提供服务(如游戏服务、应用服务等),可在服务器112上或独立于服务器112设置数据库114,用于为服务器112提供数据存储服务。此外,服务器112中可以运行有处理引擎116,该处理引擎116可以用于执行由服务器112所执行的步骤。
可选地,终端102可以但不限于为可以计算数据的终端,如移动终端(例如手机、平板电脑)、笔记本电脑、PC(Personal Computer,个人计算机)机等终端上,上述网络可以包括但不限于无线网络或有线网络。其中,该无线网络包括:蓝牙、WIFI(Wireless Fidelity,无线保真)及其他实现无线通信的网络。上述有线网络可以包括但不限于:广域网、城域网、局域网。上述服务器112可以包括但不限于任何可以进行计算的硬件设备。
此外,在本实施例中,上述时延数据的调整方法还可以但不限于应用于处理能力较强大的独立的处理设备中,而无需进行数据交互。例如,该处理设备可以但不限于为处理能力较强大的终端设备,即,上述时延数据的调整方法中的各个操作可以集成在一个独立的处理设备中。上述仅是一种示例,本实施例中对此不作任何限定。
可选地,在本实施例中,上述时延数据的调整方法可以由服务器112来执行,也可以由终端102来执行,还可以是由服务器112和终端102共同执行。其中,终端102执行本申请实施例的时延数据的调整方法也可以是由安装在其上的客户端来执行。
以运行在服务器为例,图2是根据本申请实施例的一种可选的时延数据的调整方法的流程示意图,如图2所示,该方法的流程可以包括以下步骤:
步骤S201,在第一预设时间内获取多个参与方的训练参数所对应的多个网络时延,其中,训练参数为参与方训练数据聚合模型的参数。
可选地,在初始状态下,各参与方在迭代一次后,需要向联邦学习的数据聚合模型发送训练参数,在此之前,服务器事先设置好数据聚合模型接收各训练参数的规定时间,即第一预设时间,如果在第一预设时间内获取到各参与方发送的训练参数,则说明当前各参与方的网络正常,不存在丢包情况,这时,计算出各参与方的网络时延。
步骤S202,在多个差值中存在大于第一时延阈值的第一差值的情况下,根据网络时延确定多个参与方对应的待迭代次数,其中,多个差值中的每个差值是多个网络时延中两个网络时延之间的差值。
可选地,将多个网络时延中的任意两个网络时延进行相减,得到多个差值,在多个差值中查看是否存在数值大于第一时延阈值的差值,并将该差值作为第一差值。
若存在该第一差值,说明存在至少两个参与方之间的时延相差较大的情况,这时,可以根据网络时延来调整时延差值为第一差值的多个参与方对应的迭代次数。
步骤S203,根据待迭代次数,确定多个参与方传输训练参数至数据聚合模型的时延时间。
可选地,服务器获取到各参与方的待迭代次数,根据待迭代次数确定传输至数据聚合模型的时延时间。例如,参与方A的待迭代次数为2次,参与方B的待迭代次数为1次,那么,调整参与方的时延时间为2s,参与方B的时延时间为4s,这样,参与方A和参与方B可以统一发送训练参数至数据聚合模型。
在本申请实施例中,采用调整多个参与方的迭代次数的方式,通过在第一预设时间内获取多个参与方的训练参数所对应的多个网络时延;在多个差值中存在大于第一时延阈值的第一差值的情况下,根据网络时延确定多个参与方对应的待迭代次数;根据待迭代次数,确定多个参与方传输训练参数至数据聚合模型的时延时间,由于本申请是根据网络状态实时调整多个参与方对应的待迭代次数,进而确定多个参与方传输训练参数的时延时间,从而可以实现灵活适应网络状态的变化,更改联邦学习的数据聚合模型中两次训练参数传输期间迭代次数的目的,达到了统一各个参与方传输训练参数的时延时间,提高数据聚合模型训练效率的技术效果,进而解决了相关技术中存在的联邦学习的数据聚合模型训练效率较低的问题。
作为一种可选的实施例,在多个差值中存在大于第一时延阈值的第一差值的情况下,根据网络时延确定多个参与方对应的待迭代次数包括:
将多个差值与第一时延阈值进行比较;
在多个差值中存在大于或者等于第一时延阈值的第一差值的情况下,比较第二差值与预设数值的大小,得到比较结果,其中,第二差值为多个参与方中的最大迭代次数与迭代阈值之间的差值,预设数值为多个参与方迭代次数待增加或待减少的数值;
根据比较结果,调整多个参与方对应的待迭代次数。
可选地,在多个差值中,若存在大于或者等于第一时延阈值的第一差值,则获取到多个参与方中最大迭代次数与迭代阈值之间的差值,作为第二差值,然后比较该第二差值与预设数值之间的大小,得到比较结果。
其中,迭代阈值是迭代次数所允许的最大数值;多个参与方中的最大迭代次数是指多个参与方的迭代次数中的最大数值;预设数值是针对多个参与方当前迭代次数,其需要增加或减少的数值。
根据比较结果(包括第二差值大于或者等于预设数值或第二差值小于预设数值),来调整多个参与方对应的迭代次数。
本申请实施例,通过比较多个差值和第一时延阈值的数值大小,在确定多个差值中存在大于或者等于第一时延阈值的第一差值的情况下,进而比较第二差值与预设数值的大小,再根据比较结果调整多个参与方的迭代次数,这样能够适应网络状态,准确得到多个参与方的迭代次数,不需要因未收到某些参与方的训练参数,而导致联邦学习数据融合模型训练的停滞。
作为一种可选的实施例,根据比较结果,调整多个参与方对应的待迭代次数包括:
在第二差值大于或等于预设数值的情况下,将网络时延小于第二时延阈值的参与方的迭代次数增加预设数值,其中,第二时延阈值为网络时延中的最大数值;
在第二差值小于预设数值的情况下,将网络时延介于第二时延阈值和第三时延阈值的参与方的迭代次数降低预设数值,其中,第三时延阈值为第二时延阈值与迭代阈值的差值。
可选地,在比较第二差值和预设数值的大小时,包括两种情景:情景1:第二差值大于或者等于预设数值。这时,获取多个参与方对应的多个网络时延,将网络时延小于第二时延阈值的参与方所对应的迭代次数增加预设数值,比如,迭代次数+1。其中,第二时延阈值是所有参与方中时延的最大值,在将迭代次数增加预设数值的情况下,可以增加参与方两次传输训练参数内的迭代次数。
情景2:第二差值小于预设数值。这时,求得上述第二时延阈值与迭代阈值之间的差值,作为第三时延阈值,然后获取网络时延介于第二时延阈值和第三时延阈值的参与方,将这些参与方的迭代次数降低预设数值,比如,迭代次数-1。
作为一种可选的实施例,在将多个差值与第一时延阈值进行比较之后,方法还包括:
在多个差值均小于第一时延阈值的情况下,多个参与方分别执行当前迭代次数。
可选地,若多个差值中不存在大于或者等于第一时延阈值的第一差值,即多个差值均小于第一时延阈值,这时,说明各个参与方中任意两方的网络时延差值都较小,此时,不需要更改迭代次数,多个参与方分别执行当前迭代次数即可。
作为一种可选的实施例,在在第一预设时间内获取多个参与方的训练参数所对应的网络时延之前,方法还包括:
在第一预设时间内未获取到目标参与方的训练参数的情况下,将任一字符发送至目标参与方,其中,字符用于指示多个参与方的网络状态,目标参与方为多个参与方中的任意一方;
在第一预设时间内接收到目标参与方的训练数据的情况下,根据训练数据,确定目标参与方的网络状态,其中,训练数据包括训练参数。
可选地,由于训练参数分散在各个参与方的服务器中,各参与方数据的物理位置相距较远,因此训练参数在因特网传输过程中会有不同的时延,且由于因特网的特性,会出现一定的丢包问题。如果参与方出现网络故障时,会出现数据丢包情况,若在网络中出现丢包等状况,负责模型聚合的第三方会一直等待该参数,停止训练,但是丢包参与方不知数据包丢失,从而容易造成死循环。
具体地,若在第一预设时间内未收到目标参与方的训练参数的情况下,则认为该目标参与方为丢包参与方,这时,需要发送任一字符(标点、数字等)至该目标参与方,其中,该字符可以表征多个参与方的网络状态,目标参与方为多个参与方中的任意一方。
另外,该字符可以是一随机数,进一步地,将网络生成的任一随机数发送至目标参与方;也可以是一固定数值,进一步地,将服务器设置的某一固定数值,作为发送至目标参与方的字符。
如果服务器在第一预设时间内能够接收到目标参与方发送的训练数据,这时可以根据该训练数据包含的数据,确定目标参与方的网络状态。
本申请实施例,考虑到训练参数在网络传输过程中的丢包问题,在第一预设时间内未收到目标参与方的训练参数的情况下,及时向该目标参与方发送字符,并根据收到结果及时确定网络状态。
作为一种可选的实施例,在第一预设时间内接收到目标参与方的训练数据的情况下,根据训练数据,确定目标参与方的网络状态包括:
在训练数据内包含训练参数和字符的情况下,确定目标参与方的网络状态为正常状态;
接收目标参与方的训练参数。
在训练数据内仅包含训练参数的情况下,确定目标参与方的网络状态为非正常状态;
在推迟第二预设时间后,接收到训练数据包含训练参数和字符的情况下,确定目标参与方的网络状态为正常状态,其中,第二预设时间为训练数据中包含训练参数和字符的时间;
接收目标参与方的训练参数。
可选地,在第一预设时间内接收到目标参与方的训练数据的情况下,如果训练数据中包含训练参数和字符的情况下,说明当前目标参与方的网络状态为正常状态,这时,目标参与方可以直接向数据聚合模型发送训练参数。
在训练数据内仅包含训练参数的情况下,说明目标参与方的网络状态处于非正常状态,这时需要等待第二预设时间后,也可以是等到第一预设时间超时后,接收到训练数据包含训练参数和字符的情况下,才能确定目标参与方的网络状态为正常状态,这时,目标参与方可以直接向数据聚合模型发送训练参数。其中,第二预设时间是训练数据中包含训练参数和字符的时间。
作为一种可选的实施例,将任一字符发送至目标参与方之后,方法还包括:
在第一预设时间内未接收到目标参与方的训练数据的情况下,继续向目标参与方发送字符。
可选地,如果在第一预设时间内未接收到目标参与方的训练数据的情况下,也即,目标参与方没有任何回应,这时,继续向目标参与方发送字符,直到在第一预设时间内收到目标参与方发送的训练数据为止。
作为一种可选的实施例,图3是根据本申请实施例的一种可选的多个参与方的迭代状态转移示意图,如图3所示,具体流程如下:
(1)状态一:初始状态,各参与方迭代一次并发送训练参数,计算各参与方网络时延{t1,t2,……,tn};
a)在规定时间time_ttl内收到数据包(即无丢包现象),存在两方时延相差大于阈值th1,则转移至状态二;
b)在规定时间time_ttl内收到数据包,任两方时延相差不大于th1(即各参与方时延相差几乎相同),则转移至状态四;
c)某一任务存在超时time_ttl(即认为有丢包现象),随机发送一个种子(即随机数或固定数)给该超时方,转移至状态五;
(2)状态二:增加低时延迭代次数,时延小于ti的参与方,两次传输参数内迭代次数加一;
a)在规定时间time_ttl内收到数据包,存在两方时延相差大于th1,且当前最大迭代次数+1不大于迭代阈值r,则转移至状态二;
b)在规定时间time_ttl内收到数据包,存在两方时延相差大于th1,且当前最大迭代次数+1大于迭代阈值r,则转移至状态三;
c)在规定时间time_ttl内收到数据包,任两方时延相差不大于th1,则转移至状态四;
d)某一任务存在超时time_ttl,随机发送一个种子给该超时方,转移至状态五;
(3)状态三:降低高时延迭代次数,时延为[max(ti)-r,max(ti)]的参与方,两次传输参数内迭代次数减一;
a)在规定时间time_ttl内收到数据包,存在两方时延相差大于th1,且当前最大迭代次数+1不大于迭代阈值r,则转移至状态二;
b)在规定时间time_ttl内收到数据包,任两方时延相差不大于th1,则转移至状态四;
c)某一任务存在超时time_ttl,随机发送一个种子给该超时方,转移至状态五;
(4)状态四:按照当前迭代次数继续训练;
a)在规定时间time_ttl内收到数据包,存在两方时延相差大于th1,且当前最大迭代次数+1不大于迭代阈值r,则转移至状态二;
b)在规定时间time_ttl内收到数据包,存在两方时延相差大于th1,且当前最大迭代次数+1大于迭代阈值r,则转移至状态三;
c)在规定时间time_ttl内收到数据包,任两方时延相差不大于th1,则转移至状态四;
d)某一任务存在超时time_ttl,随机发送一个种子给该超时方,转移至状态五;
(5)状态五:发送询问;
a)在time_ttl时间内有回应,且数据为种子+参数,则计算完此次loss后转移至状态一;
b)在time_ttl时间内有回应,且数据仅为参数,则继续等待time_ttl超时或者收到种子+参数的数据;
c)在time_ttl时间内无回应,则转移至状态五。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
根据本申请实施例的另一个方面,还提供了一种用于实施上述时延数据的调整方法的时延数据的调整装置。图4是根据本申请实施例的一种可选的时延数据的调整装置的结构框图,如图4所示,该装置可以包括:
第一获取单元401,用于在第一预设时间内获取多个参与方的训练参数所对应的多个网络时延,其中,训练参数为参与方训练数据聚合模型的参数;
第一确定单元402,与第一获取单元401相连,用于在多个差值中存在大于第一时延阈值的第一差值的情况下,根据网络时延确定多个参与方对应的待迭代次数,其中,多个差值中的每个差值是多个网络时延中两个网络时延之间的差值;
第二确定单元403,与第一确定单元402相连,用于根据待迭代次数,确定多个参与方传输训练参数至数据聚合模型的时延时间。
需要说明的是,该实施例中的第一获取单元401可以用于执行上述步骤S201,该实施例中的第一确定单元402可以用于执行上述步骤S202,该实施例中的第二确定单元403可以用于执行上述步骤S203。
通过上述模块,采用调整多个参与方的迭代次数的方式,通过在第一预设时间内获取多个参与方的训练参数所对应的多个网络时延;在多个差值中存在大于第一时延阈值的第一差值的情况下,根据网络时延确定多个参与方对应的待迭代次数;根据待迭代次数,确定多个参与方传输训练参数至数据聚合模型的时延时间,由于本申请是根据网络状态实时调整多个参与方对应的待迭代次数,进而确定多个参与方传输训练参数的时延时间,从而可以实现灵活适应网络状态的变化,更改联邦学习的数据聚合模型中两次训练参数传输期间迭代次数的目的,达到了统一各个参与方传输训练参数的时延时间,提高数据聚合模型训练效率的技术效果,进而解决了相关技术中存在的联邦学习的数据聚合模型训练效率较低的问题。
作为一种可选的实施例,第一确定单元包括:第一比较模块,用于将多个差值与第一时延阈值进行比较;第二比较模块,用于在多个差值中存在大于或者等于第一时延阈值的第一差值的情况下,比较第二差值与预设数值的大小,得到比较结果,其中,第二差值为多个参与方中的最大迭代次数与迭代阈值之间的差值,预设数值为多个参与方迭代次数待增加或待减少的数值;调整模块,用于根据比较结果,调整多个参与方对应的待迭代次数。
作为一种可选的实施例,调整模块包括:增加子单元,用于在第二差值大于或等于预设数值的情况下,将网络时延小于第二时延阈值的参与方的迭代次数增加预设数值,其中,第二时延阈值为网络时延中的最大数值;降低子单元,用于在第二差值小于预设数值的情况下,将网络时延介于第二时延阈值和第三时延阈值的参与方的迭代次数降低预设数值,其中,第三时延阈值为第二时延阈值与迭代阈值的差值。
作为一种可选的实施例,该装置还包括:执行单元,用于在将多个差值与第一时延阈值进行比较之后,在多个差值均小于第一时延阈值的情况下,多个参与方分别执行当前迭代次数。
作为一种可选的实施例,该装置还包括:第一发送单元,用于在在第一预设时间内获取多个参与方的训练参数所对应的网络时延之前,在第一预设时间内未获取到目标参与方的训练参数的情况下,将任一字符发送至目标参与方,其中,字符用于指示多个参与方的网络状态,目标参与方为多个参与方中的任意一方;第三确定单元,用于在第一预设时间内接收到目标参与方的训练数据的情况下,根据训练数据,确定目标参与方的网络状态,其中,训练数据包括训练参数。
作为一种可选的实施例,第三确定单元包括:第一确定模块,用于在训练数据内包含训练参数和字符的情况下,确定目标参与方的网络状态为正常状态;第一接收模块,用于接收目标参与方的训练参数。
作为一种可选的实施例,第三确定单元包括:第二确定模块,用于在训练数据内仅包含训练参数的情况下,确定目标参与方的网络状态为非正常状态;第三确定模块,用于在推迟第二预设时间后,接收到训练数据包含训练参数和字符的情况下,确定目标参与方的网络状态为正常状态,其中,第二预设时间为训练数据中包含训练参数和字符的时间;第二接收模块,用于接收目标参与方的训练参数。
作为一种可选的实施例,该装置还包括:第二发送单元,用于将任一字符发送至目标参与方之后,在第一预设时间内未接收到目标参与方的训练数据的情况下,继续向目标参与方发送字符。
此处需要说明的是,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在如图1所示的硬件环境中,可以通过软件实现,也可以通过硬件实现,其中,硬件环境包括网络环境。
根据本申请实施例的又一个方面,还提供了一种用于实施上述时延数据的调整方法的电子设备,该电子设备可以是服务器、终端、或者其组合。
图5是根据本申请实施例的一种可选的电子设备的结构框图,如图5所示,包括处理器501、通信接口502、存储器503和通信总线504,其中,处理器501、通信接口502和存储器503通过通信总线504完成相互间的通信,其中,
存储器503,用于存储计算机程序;
处理器501,用于执行存储器503上所存放的计算机程序时,实现如下步骤:
S1,在第一预设时间内获取多个参与方的训练参数所对应的多个网络时延,其中,训练参数为参与方训练数据聚合模型的参数;
S2,在多个差值中存在大于第一时延阈值的第一差值的情况下,根据网络时延确定多个参与方对应的待迭代次数,其中,多个差值中的每个差值是多个网络时延中两个网络时延之间的差值;
S3,根据待迭代次数,确定多个参与方传输训练参数至数据聚合模型的时延时间。
可选地,在本实施例中,上述的通信总线可以是PCI(Peripheral ComponentInterconnect,外设部件互连标准)总线、或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括RAM,也可以包括非易失性存储器(non-volatile memory),例如,至少一个磁盘存储器。可选地,存储器还可以是至少一个位于远离前述处理器的存储装置。
作为一种示例,如图5所示,上述存储器503中可以但不限于包括上述时延数据的调整装置中的第一获取单元401、第一确定单元402、第二确定单元403此外,还可以包括但不限于上述时延数据的调整装置中的其他模块单元,本示例中不再赘述。
上述处理器可以是通用处理器,可以包含但不限于:CPU(Central ProcessingUnit,中央处理器)、NP(Network Processor,网络处理器)等;还可以是DSP(DigitalSignal Processing,数字信号处理器)、ASIC(Application Specific IntegratedCircuit,专用集成电路)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
此外,上述电子设备还包括:显示器,用于显示时延数据的调整结果。
可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例在此不再赘述。
本领域普通技术人员可以理解,图5所示的结构仅为示意,实施上述时延数据的调整方法的设备可以是终端设备,该终端设备可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图5其并不对上述电子设备的结构造成限定。例如,终端设备还可包括比图5中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图5所示的不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、ROM、RAM、磁盘或光盘等。
根据本申请实施例的又一个方面,还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于执行时延数据的调整方法的程序代码。
可选地,在本实施例中,上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:
S1,在第一预设时间内获取多个参与方的训练参数所对应的多个网络时延,其中,训练参数为参与方训练数据聚合模型的参数;
S2,在多个差值中存在大于第一时延阈值的第一差值的情况下,根据网络时延确定多个参与方对应的待迭代次数,其中,多个差值中的每个差值是多个网络时延中两个网络时延之间的差值;
S3,根据待迭代次数,确定多个参与方传输训练参数至数据聚合模型的时延时间。
可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例中对此不再赘述。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、ROM、RAM、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
根据本申请实施例的又一个方面,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中;计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述任一个实施例中的时延数据的调整方法步骤。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例时延数据的调整方法的全部或部分步骤。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例中所提供的方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (11)

1.一种时延数据的调整方法,其特征在于,所述方法包括:
在第一预设时间内获取多个参与方的训练参数所对应的多个网络时延,其中,所述训练参数为所述参与方训练数据聚合模型的参数;
在多个差值中存在大于第一时延阈值的第一差值的情况下,根据所述网络时延确定所述多个参与方对应的待迭代次数,其中,所述多个差值中的每个差值是所述多个网络时延中两个网络时延之间的差值;
根据所述待迭代次数,确定所述多个参与方传输所述训练参数至所述数据聚合模型的时延时间。
2.根据权利要求1所述的方法,其特征在于,所述在多个差值中存在大于第一时延阈值的第一差值的情况下,根据所述网络时延确定所述多个参与方对应的待迭代次数包括:
将所述多个差值与所述第一时延阈值进行比较;
在多个差值中存在大于或者等于所述第一时延阈值的第一差值的情况下,比较第二差值与预设数值的大小,得到比较结果,其中,所述第二差值为所述多个参与方中的最大迭代次数与迭代阈值之间的差值,所述预设数值为所述多个参与方迭代次数待增加或待减少的数值;
根据所述比较结果,调整所述多个参与方对应的所述待迭代次数。
3.根据权利要求2所述的方法,其特征在于,所述根据所述比较结果,调整所述多个参与方对应的所述待迭代次数包括:
在所述第二差值大于或等于所述预设数值的情况下,将所述网络时延小于第二时延阈值的参与方的迭代次数增加所述预设数值,其中,所述第二时延阈值为所述网络时延中的最大数值;
在所述第二差值小于所述预设数值的情况下,将所述网络时延介于第二时延阈值和第三时延阈值的参与方的迭代次数降低所述预设数值,其中,所述第三时延阈值为所述第二时延阈值与所述迭代阈值的差值。
4.根据权利要求2所述的方法,其特征在于,在所述将所述多个差值与所述第一时延阈值进行比较之后,所述方法还包括:
在所述多个差值均小于所述第一时延阈值的情况下,所述多个参与方分别执行当前迭代次数。
5.根据权利要求1所述的方法,其特征在于,在所述在第一预设时间内获取多个参与方的训练参数所对应的网络时延之前,所述方法还包括:
在所述第一预设时间内未获取到目标参与方的所述训练参数的情况下,将任一字符发送至所述目标参与方,其中,所述字符用于指示所述多个参与方的网络状态,所述目标参与方为所述多个参与方中的任意一方;
在所述第一预设时间内接收到所述目标参与方的训练数据的情况下,根据所述训练数据,确定所述目标参与方的网络状态,其中,所述训练数据包括所述训练参数。
6.根据权利要求5所述的方法,其特征在于,所述在所述第一预设时间内接收到所述目标参与方的训练数据的情况下,根据所述训练数据,确定所述目标参与方的网络状态包括:
在所述训练数据内包含所述训练参数和所述字符的情况下,确定所述目标参与方的网络状态为正常状态;
接收所述目标参与方的所述训练参数。
7.根据权利要求5所述的方法,其特征在于,所述在所述第一预设时间内接收到所述目标参与方的训练数据的情况下,根据所述训练数据,确定所述目标参与方的网络状态包括:
在所述训练数据内仅包含所述训练参数的情况下,确定所述目标参与方的网络状态为非正常状态;
在推迟第二预设时间后,接收到所述训练数据包含所述训练参数和所述字符的情况下,确定所述目标参与方的网络状态为正常状态,其中,所述第二预设时间为所述训练数据中包含所述训练参数和所述字符的时间;
接收所述目标参与方的所述训练参数。
8.根据权利要求5所述的方法,其特征在于,所述将任一字符发送至所述目标参与方之后,所述方法还包括:
在所述第一预设时间内未接收到所述目标参与方的所述训练数据的情况下,继续向所述目标参与方发送所述字符。
9.一种时延数据的调整装置,其特征在于,所述装置包括:
第一获取单元,用于在第一预设时间内获取多个参与方的训练参数所对应的多个网络时延,其中,所述训练参数为所述参与方训练数据聚合模型的参数;
第一确定单元,用于在多个差值中存在大于第一时延阈值的第一差值的情况下,根据所述网络时延确定所述多个参与方对应的待迭代次数,其中,所述多个差值中的每个差值是所述多个网络时延中两个网络时延之间的差值;
第二确定单元,用于根据所述待迭代次数,确定所述多个参与方传输所述训练参数至所述数据聚合模型的时延时间。
10.一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信,其特征在于,
所述存储器,用于存储计算机程序;
所述处理器,用于通过运行所述存储器上所存储的所述计算机程序来执行权利要求1至8中任一项所述的方法步骤。
11.一种计算机可读的存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行权利要求1至8中任一项中所述的方法步骤。
CN202110235536.1A 2021-03-03 2021-03-03 时延数据的调整方法和装置、电子设备和存储介质 Active CN112994981B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110235536.1A CN112994981B (zh) 2021-03-03 2021-03-03 时延数据的调整方法和装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110235536.1A CN112994981B (zh) 2021-03-03 2021-03-03 时延数据的调整方法和装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN112994981A CN112994981A (zh) 2021-06-18
CN112994981B true CN112994981B (zh) 2022-05-10

Family

ID=76352344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110235536.1A Active CN112994981B (zh) 2021-03-03 2021-03-03 时延数据的调整方法和装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112994981B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023082291A1 (zh) * 2021-11-15 2023-05-19 Oppo广东移动通信有限公司 通信方法、终端设备、接入网设备及核心网网元
CN114860633B (zh) * 2022-04-20 2024-07-19 深圳市双翼科技股份有限公司 时延信号的自动校准方法、装置、终端设备及存储介质
CN114818011B (zh) * 2022-06-27 2022-09-27 国网智能电网研究院有限公司 一种适用碳信用评价的联邦学习方法、系统及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263908A (zh) * 2019-06-20 2019-09-20 深圳前海微众银行股份有限公司 联邦学习模型训练方法、设备、系统及存储介质
CN111538598A (zh) * 2020-04-29 2020-08-14 深圳前海微众银行股份有限公司 联邦学习建模方法、装置、设备及可读存储介质
CN111562985A (zh) * 2020-05-09 2020-08-21 上海商汤智能科技有限公司 资源管理方法及装置、电子设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316083B (zh) * 2017-07-04 2021-05-25 北京百度网讯科技有限公司 用于更新深度学习模型的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263908A (zh) * 2019-06-20 2019-09-20 深圳前海微众银行股份有限公司 联邦学习模型训练方法、设备、系统及存储介质
CN111538598A (zh) * 2020-04-29 2020-08-14 深圳前海微众银行股份有限公司 联邦学习建模方法、装置、设备及可读存储介质
CN111562985A (zh) * 2020-05-09 2020-08-21 上海商汤智能科技有限公司 资源管理方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN112994981A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN112994981B (zh) 时延数据的调整方法和装置、电子设备和存储介质
US20180285053A1 (en) Screenshot method and apparatus
CN111163130B (zh) 一种网络服务系统及其数据传输方法
WO2016188181A1 (zh) 一种测试方法、移动终端、服务器及计算机存储介质
CN108712320B (zh) 消息推送方法及装置
CN110213147B (zh) 一种云网络互通方法、装置、存储介质及终端设备
US9832787B2 (en) Attention management
CN113435534A (zh) 一种基于相似度度量的数据异构处理方法、装置、计算机设备及计算机可读存储介质
CN110582998A (zh) 群组的通信方法及装置、计算机存储介质、计算机设备
CN103986788A (zh) Ott应用的数据抓取方法和装置
CN106713684A (zh) 统一通信客户端账号与话机的号码的绑定方法及设备
CN114492854A (zh) 训练模型的方法、装置、电子设备以及存储介质
CN110022323A (zh) 一种基于WebSocket与Redux的跨终端实时交互的方法和系统
EP3276914A1 (en) Data sharing method and device for virtual desktop
US11063948B2 (en) Handling potential service load interruptions by presenting action items for service requester to complete to increase time to address potential service load interruption
CN107465669A (zh) 一种多用户的设备安全隔离方法及装置
WO2017185632A1 (zh) 数据传输的方法及电子设备
CN109224451B (zh) 基于区块链子链的游戏开发方法、设备以及存储介质
CN110892427B (zh) 用于检索数据包的方法和设备
CN113383515A (zh) 实时通信的设备增强
CN109165145A (zh) 一种应用程序的使用情况统计方法及装置
CN114765625B (zh) 基于联合学习的信息交互方法、装置和系统
CN114253797A (zh) 一种微服务系统的故障处理方法及相关装置
CN113626402A (zh) 日志数据的获取方法和装置、电子设备和存储介质
CN113919511A (zh) 联邦学习方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant