CN111967609B - 模型参数验证方法、设备及可读存储介质 - Google Patents

模型参数验证方法、设备及可读存储介质 Download PDF

Info

Publication number
CN111967609B
CN111967609B CN202010830270.0A CN202010830270A CN111967609B CN 111967609 B CN111967609 B CN 111967609B CN 202010830270 A CN202010830270 A CN 202010830270A CN 111967609 B CN111967609 B CN 111967609B
Authority
CN
China
Prior art keywords
hash
model
preset
encryption
hash code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010830270.0A
Other languages
English (en)
Other versions
CN111967609A (zh
Inventor
吴锦和
李月
范力欣
张天豫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202010830270.0A priority Critical patent/CN111967609B/zh
Publication of CN111967609A publication Critical patent/CN111967609A/zh
Application granted granted Critical
Publication of CN111967609B publication Critical patent/CN111967609B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/602Providing cryptographic facilities or services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2107File encryption

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Storage Device Security (AREA)

Abstract

本申请公开了一种模型参数验证方法、设备及可读存储介质,所述模型参数验证方法包括:接收联邦参与设备发送的加密模型参数,并将所述加密模型参数输入预设哈希编码模型,以基于所述加密模型参数的类别特征信息,对所述加密模型参数进行哈希编码,获得输出哈希编码值,获取加密模型参数对应的类别目标哈希编码值,并基于所述输出哈希编码值和所述类别目标哈希编码值,对所述加密模型参数进行验证,获得目标验证结果,基于所述目标验证结果,确定并剔除所述联邦参与设备中存在的恶意参与设备,以进行联邦学习。本申请解决了联邦学习建模效率低和精度低的技术问题。

Description

模型参数验证方法、设备及可读存储介质
技术领域
本申请涉及金融科技(Fintech)的人工智能领域,尤其涉及一种模型参数验证方法、设备及可读存储介质。
背景技术
随着金融科技,尤其是互联网科技金融的不断发展,越来越多的技术(如分布式、区块链Blockchain、人工智能等)应用在金融领域,但金融业也对技术提出了更高的要求,如对金融业对应待办事项的分发也有更高的要求。
随着计算机软件和人工智能的不断发展,联邦学习的应用领域也越来越广泛,目前,在联邦学习迭代训练过程中协调者通常直接将各参与方的模型参数进行聚合,进而将聚合获得的聚合模型参数反馈至各参与方,以供各参与方对本地模型进行更新,但是,若各参与方中存在恶意参与方,且恶意参与方在训练过程中提供虚假的本地模型参数,将导致聚合模型参数的有效性变低,进而将会直接影响整体模型质量,导致整个联邦学习过程失效,进而导致联邦学习建模的效率和精度变低。
发明内容
本申请的主要目的在于提供一种模型参数验证方法、设备及可读存储介质,旨在解决现有技术中联邦学习建模效率低和精度低的技术问题。
为实现上述目的,本申请提供一种模型参数验证方法,所述模型参数验证方法应用于模型参数验证设备,所述模型参数验证方法包括:
接收联邦参与设备发送的加密模型参数;
将所述加密模型参数输入预设哈希编码模型,以基于所述加密模型参数的类别特征信息,对所述加密模型参数进行哈希编码,获得输出哈希编码值;
获取加密模型参数对应的类别目标哈希编码值,并基于所述输出哈希编码值和所述类别目标哈希编码值,对所述加密模型参数进行验证,获得目标验证结果;
基于所述目标验证结果,确定并剔除所述联邦参与设备中存在的恶意参与设备,以进行联邦学习。
本申请还提供一种模型参数验证装置,所述模型参数验证装置为虚拟装置,且所述模型参数验证装置应用于模型参数验证设备,所述模型参数验证装置包括:
接收模块,用于接收联邦参与设备发送的加密模型参数;
哈希编码模块,用于将所述加密模型参数输入预设哈希编码模型,以基于所述加密模型参数的类别特征信息,对所述加密模型参数进行哈希编码,获得输出哈希编码值;
验证模块,用于获取加密模型参数对应的类别目标哈希编码值,并基于所述输出哈希编码值和所述类别目标哈希编码值,对所述加密模型参数进行验证,获得目标验证结果;
确定模块,用于基于所述目标验证结果,确定并剔除所述联邦参与设备中存在的恶意参与设备,以进行联邦学习。
本申请还提供一种模型参数验证设备,所述模型参数验证设备为实体设备,所述模型参数验证设备包括:存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述模型参数验证方法的程序,所述模型参数验证方法的程序被处理器执行时可实现如上述的模型参数验证方法的步骤。
本申请还提供一种可读存储介质,所述可读存储介质上存储有实现模型参数验证方法的程序,所述模型参数验证方法的程序被处理器执行时实现如上述的模型参数验证方法的步骤。
本申请提供了一种模型参数验证方法、设备和可读存储介质,相比于现有技术采用的在联邦学习迭代训练过程中协调者直接将各参与方的模型参数进行聚合的技术手段,本申请在联邦参与设备上传加密模型参数之后,将加密模型参数输入预设哈希编码模型,以基于所述加密模型参数的类别特征信息,对所述加密模型参数进行哈希编码,获得输出哈希编码值,进而通过判断所述输出哈希编码值与所述加密模型参数对应的类别模型哈希编码值之间差异度是否在可接受差异度范围之内,对所述加密模型参数进行验证,获得目标验证结果,也即,若所述输出哈希编码值与所述类别模型哈希编码值之间差异度在不可接受差异度范围之内,则判定所述输出哈希编码值与所述类别模型哈希编码值不属于同一模型的模型参数的哈希编码值,也即,不属于同一数据类别的哈希编码值,进而判定所述加密模型参数为虚假模型参数,可确定所述联邦参与设备中存在恶意参与方,进而基于所述目标验证结果,即可确定并剔除提供虚假模型参数的恶意参与设备,以进行联邦学习,进而克服了现有技术中若各参与方中存在恶意参与方,且恶意参与方在训练过程中提供虚假的本地模型参数,将导致联邦学习建模的效率和精度变低的技术缺陷,进而提高了联邦学习建模的效率和精度。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请模型参数验证方法第一实施例的流程示意图;
图2为本申请模型参数验证方法第二实施例的流程示意图;
图3为本申请实施例方案涉及的硬件运行环境的设备结构示意图。
本申请目的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
本申请实施例提供一种模型参数验证方法,在本申请模型参数验证方法的第一实施例中,参照图1,所述模型参数验证方法包括:
步骤S10,接收联邦参与设备发送的加密模型参数;
步骤S20,将所述加密模型参数输入预设哈希编码模型,以基于所述加密模型参数的类别特征信息,对所述加密模型参数进行哈希编码,获得输出哈希编码值;
在本实施例中,需要说明的是,所述预设哈希编码模型包括深度极化网络,其中,所述深度极化网络为基于预设类别信息和极化损失函数优化的深度学习模型,且对属于同一样本类别的输入样本,所述预设哈希编码模型均能输出相同的哈希编码值,所述模型参数验证设备为联邦学习建模的协调方,所述联邦参与设备至少包括一个联邦学习建模的联邦参与方,一所述联邦参与方对应一所述预设哈希编码模型,且在每一轮联邦学习时,各联邦参与方均会向所述协调方发送同态加密的加密模型参数,以供所述协调方对各所述加密模型参数进行聚合处理,其中,所述聚合处理包括加权平均、加权求和等。
另外地,需要说明的是,所述深度极化网络包括隐藏层和哈希层,其中,所述隐藏层为所述预设深度极化网络的数据处理层,用于进行卷积处理、池化处理等数据处理过程,且所述隐藏层为基于深度学习训练好的一层或者多层神经网络,所述哈希层为所述预设深度极化网络的输出层,用于对所述待处理数据进行哈希,并输出对应的哈希结果,且所述哈希层为基于深度学习训练好的一层或者多层神经网络,所述加密模型参数可用矩阵或者向量进行表示,所述类别特征信息为所述深度极化网络的隐藏层输出的所述加密模型参数对应的数据特征表示矩阵,其中,所述数据特征表示矩阵包括所述加密模型参数对应的所有特征信息。
接收联邦参与设备发送的加密模型参数,并将所述加密模型参数输入预设哈希编码模型,以基于所述加密模型参数的类别特征信息,对所述加密模型参数进行哈希编码,获得输出哈希编码值,具体地,接收各联邦参与方发送的加密模型参数,并对每一所述加密模型参数,均执行以下步骤:
将所述加密模型参数对应的模型参数矩阵输入所述预设哈希编码模型的隐藏层,对所述模型参数矩阵进行数据处理,其中,所述模型参数矩阵为所述加密模型参数的矩阵表示形式,进而获得所述数据特征表示矩阵,进而将所述数据特征表示矩阵输入所述预设哈希编码模型的哈希层,对所述数据特征表示矩阵进行哈希,获得所述输出哈希编码值。
其中,所述哈希编码模型包括隐藏层和哈希层,
所述将所述加密模型参数输入预设哈希编码模型,以基于所述加密模型参数的类别特征信息,对所述加密模型参数进行哈希编码,获得输出哈希编码值的步骤包括:
步骤S21,将所述加密模型参数输入所述隐藏层,对所述加密模型参数进行数据处理,获得所述类别特征信息;
在本实施例中,将所述加密模型参数输入所述隐藏层,对所述加密模型参数进行数据处理,获得所述类别特征信息,具体地,将所述加密模型参数对应的模型参数矩阵输入所述深度极化网络的隐藏层,对所述模型参数矩阵进行预设次数的卷积和池化交替处理,获得所述模型参数矩阵对应的数据特征表示矩阵,并将所述数据特征表示矩阵作为所述类别特征信息。
步骤S22,将所述类别特征信息输入所述哈希层,对所述类别特征信息进行极化哈希,获得极化哈希结果;
在本实施例中,将所述类别特征信息输入所述哈希层,对所述类别特征信息进行极化哈希,获得极化哈希结果,具体地,将所述类别特征信息对应的特征表示矩阵输入所述深度极化网络的哈希层,对所述数据特征表示矩阵进行全连接,获得全连接向量,进而为所述全连接向量中的各目标比特位匹配对应的极化输出通道,并基于各所述极化输出通道,对各所述极化输出通道各自对应的目标比特位进行极化,为各所述目标比特位赋予极化标识,进而输出极化后的各所述目标比特位共同对应的哈希向量,并将所述哈希向量作为所述极化哈希结果,其中,所述极化输出通道是为所述目标比特位赋予极化标识的模型输出通道,所述极化标识为所述目标比特位的正负符号,例如,假设所述全连接向量为(a,b),所述哈希向量为(a,-b),进而目标比特位a对应的极化标识为+1,目标比特位b对应的极化标识为+1。
步骤S23,提取所述极化哈希结果中的各极化标识,并基于各所述极化标识,生成所述输出哈希编码值。
在本实施例中,提取所述极化哈希结果中的各极化标识,并基于各所述极化标识,生成所述输出哈希编码值,具体地,提取所述哈希向量中每一输出比特位对应的极化标识,并基于各所述极化标识和各所述极化标识对应的输出比特位在所述哈希向量中的位置,生成所述输出哈希编码值,例如,假设所述哈希向量为1*3的向量(a,-b,c),则输出比特位a对的极化标识为正,输出比特位-b对应的极化标识为负,输出比特位c对应的极化标识为正,进而所述哈希编码值为(1,-1,1)。
其中,在所述将所述加密模型参数输入预设哈希编码模型,以基于所述加密模型参数的类别特征信息,对所述加密模型参数进行哈希编码,获得输出哈希编码值的步骤之后,所述模型参数验证方法还包括:
步骤A10,获取所述输出哈希编码值对应的各关联输出哈希编码值,并计算所述输出哈希编码值和各所述关联输出哈希编码值之间的平均输出哈希编码值;
在本实施例中,需要说明的是,所述关联输出哈希编码值为所述输出哈希编码值对应的当前联邦参与方的关联参与方的输出哈希编码值,所述关联参与方为预先设定好的与所述当前联邦参与方关联的联邦参与方。
获取所述输出哈希编码值对应的各关联输出哈希编码值,并计算所述输出哈希编码值和各所述关联输出哈希编码值之间的平均输出哈希编码值,具体地,获取所述输出哈希编码值对应的联邦参与方的参与方编码,其中,所述参与方编码为所述联邦参与方的标识,进而获得所述参与方编码对应的各关联参与方编码,其中,所述关联参与方编码为所述关联参与方的标识,进而基于各所述关联参与方编码,确定各关联参与方,进而获得基于所述预设哈希编码模型生成的各所述关联参与方的关联输出哈希编码值,并计算所述输出哈希编码值与各所述关联输出哈希编码值共同对应的平均值,并将所述平均值作为所述平均输出哈希编码值。
步骤A20,获取所述平均哈希编码值对应的平均目标哈希编码值,并基于所述平均输出哈希编码值和所述平均目标哈希编码值,对所述加密模型参数进行验证,获得第二目标验证结果;
在本实施例中,需要说明的是,所述平均目标哈希编码值为所述联邦参与方的类别目标哈希编码值和各所述关联参与方的类别目标哈希编码值共同的平均值。
获取所述平均哈希编码值对应的平均目标哈希编码值,并基于所述平均输出哈希编码值和所述平均目标哈希编码值,对所述加密模型参数进行验证,获得第二目标验证结果,具体地,获取所述平均哈希编码值对应的平均目标哈希编码值,并计算所述平均哈希编码值和所述平均目标哈希编码之间的计算汉明距离,并将所述计算汉明距离与预设距离阀值进行比对,若所述计算汉明距离大于所述预设距离阀值,则证明所述平均哈希编码值和所述平均目标哈希编码值不属于同一数据类别,进而所述联邦参与方及其对应的各关联参与方中存在可疑参与方,进而对于所述输出哈希编码值和所述关联输出哈希编码值中的每一待验证哈希编码值,均执行以下步骤:
确定所述待验证哈希编码值对应的类别目标哈希编码值,并计算所述待验证哈希编码值和所述待验证哈希编码值对应的类别目标哈希编码值之间的第二计算汉明距离,并将所述第二计算汉明距离和预设第二距离阀值进行比对,若所述第二计算汉明距离大于所述预设第二距离阀值,则判定所述待验证哈希编码值对应的加密模型参数可疑,进而判定所述待验证哈希编码值对应的联邦参与方或者对应的关联参与方为可疑参与方,若所述第二计算汉明距离小于或者等于所述预设第二距离阀值,则判定所述待验证哈希编码值对应的加密模型参数不可疑,进而判定所述待验证哈希编码值对应的联邦参与方或者对应的关联参与方不为可疑参与方,进而所述第二目标验证结果即为对所述联邦参与方及其对应的各关联参与方中的可疑参与方的确定结果,若所述计算汉明距离大于所述预设距离阀值,则证明所述平均哈希编码值和所述平均目标哈希编码值属于同一数据类别,进而所述第二目标验证结果为所述联邦参与方及其对应的各关联参与方中不存在可疑参与方,其中,所述可疑参与方为提供可疑的加密模型参数的联邦参与方。
步骤A30,基于所述第二目标验证结果,确定并剔除所述联邦参与设备中存在的恶意参与设备,以进行联邦学习。
在本实施例中,需要说明的是,所述恶意参数设备至少包括一个恶意参与方。
基于所述第二目标验证结果,确定并剔除所述联邦参与设备中存在的恶意参与设备,以进行联邦学习,具体地,基于所述第二目标验证结果,确定可疑参与方,并更新所述可疑参与方对应的可疑确定次数,若所述可疑确定次数大于预设次数阀值,则确定所述可疑参与方为恶意参与方,进而在各联邦参与方中剔除所述恶意参与方,也即,剔除恶意参与方的联邦学习资格,以进行联邦学习,若所述可疑确定次数小于或者等于预设次数阀值,则在聚合各联邦参与方的加密模型参数时,剔除所述可疑参与方对应的加密模型参数,并向所述可疑参与方发送可疑通知,将所述可疑参与方从本轮联邦学习建模进行剔除,其中,所述可疑确定次数为联邦参与方被认定为可疑参与方的次数,在每一轮联邦学习建模的迭代中,均会进行所述可疑参与方的寻找和剔除,以进行联邦学习。
步骤S30,获取加密模型参数对应的类别目标哈希编码值,并基于所述输出哈希编码值和所述类别目标哈希编码值,对所述加密模型参数进行验证,获得目标验证结果;
在本实施例中,需要说明的是,所述类别模型哈希编码值为所述加密模型参数对应的数据类别对应的哈希编码值,在联邦学习建模的各轮迭代过程中,由于联邦参与方的本地模型的模型参数的迭代更新为一个渐进过程,最后趋近于目标值,进而模型参数的迭代更新范围可以预期,进而可将属于同一联邦参与方发送的加密模型参数设定为同一数据类别。
获取加密模型参数对应的类别目标哈希编码值,并基于所述输出哈希编码值和所述类别目标哈希编码值,对所述加密模型参数进行验证,获得目标验证结果,具体地,获取加密模型参数对应的类别目标哈希编码值,并计算所述输出哈希编码值和所述类别目标哈希编码值之间的计算汉明距离,并基于所述计算汉明距离,对所述加密模型参数进行验证,获得目标验证结果,其中,所述目标验证结果为判定所述加密模型参数是否可疑的结果。
其中,所述基于所述输出哈希编码值和所述类别目标哈希编码值,对所述加密模型参数进行验证,获得目标验证结果的步骤包括:
步骤S31,计算所述输出哈希编码值和所述类别目标哈希编码值之间的计算汉明距离,并将所述计算汉明距离与预设第一汉明距离阀值进行比对;
在本实施例中,计算所述输出哈希编码值和所述类别目标哈希编码值之间的计算汉明距离,并将所述计算汉明距离与预设第一汉明距离阀值进行比对,具体地,将所述输出哈希编码值和所述类别目标哈希编码值进行比对,确定所述输出哈希编码值和所述类别目标哈希编码值之间的相异比特位的比特位数量,并将所述比特位数量作为所述计算汉明距离,并将所述计算汉明距离与预设第一汉明距离阀值进行比对,其中,所述相异比特位为所述输出哈希编码值和所述类别目标哈希编码值中相应比特位上的比特位数值不同的比特位,例如,假设所述输出哈希编码值为101010,所述类别目标哈希编码值为111010,则所述相异比特位为从左至右第2位的比特位。
步骤S32,若所述计算汉明距离大于所述预设第一汉明距离阀值,则所述目标验证结果为加密模型参数可疑;
在本实施例中,若所述计算汉明距离大于所述预设第一汉明距离阀值,则所述目标验证结果为加密模型参数可疑,具体地,若所述计算汉明距离大于所述预设第一汉明距离阀值,则判定所述输出哈希编码值和所述类别目标哈希编码值不属于同一数据类别,进而所述输出哈希编码值不为所述联邦参与方的本地模型的真实模型参数对应的加密模型参数,也即所述加密模型参数为虚假加密模型参数,进而所述目标验证结果为加密模型参数可疑,对应的联邦参与方为可疑参与方。
步骤S33,若所述计算汉明距离小于或者等于所述预设第一汉明距离阀值,则所述目标验证结果为加密模型参数可信。
在本实施例中,若所述计算汉明距离小于或者等于所述预设第一汉明距离阀值,则所述目标验证结果为加密模型参数可信,具体地,若所述计算汉明距离小于或者等于所述预设第一汉明距离阀值,则判定所述输出哈希编码值和所述类别目标哈希编码值属于同一数据类别,进而所述输出哈希编码值为所述联邦参与方的本地模型的真实模型参数对应的加密模型参数,也即所述加密模型参数不为虚假加密模型参数,进而所述目标验证结果为加密模型参数可信,对应的联邦参与方不为可疑参与方。
其中,所述获取加密模型参数对应的类别目标哈希编码值的步骤包括:
步骤B10,获取所述加密模型参数对应的在先加密模型参数;
在本实施例中,需要说明的是,所述在先加密模型参数为本轮迭代之前所述加密模型参数对应的联邦参与方发送的同态加密之后的模型参数。
步骤B20,将所述在先加密模型参数输入所述预设哈希编码模型,以基于所述在先加密模型参数的在先类别特征信息,对所述在先加密模型参数进行哈希编码,获得所述类别目标哈希编码值。
在本实施例中,将所述在先加密模型参数输入所述预设哈希编码模型,以基于所述在先加密模型参数的在先类别特征信息,对所述在先加密模型参数进行哈希编码,获得所述类别目标哈希编码值,具体地,将所述在先加密模型参数输入所述预设哈希编码模型的隐藏层,对所述在先加密模型参数进行数据处理,获得所述在先类别特征信息,其中,所述在先类别特征信息为所述在先加密模型参数对应的类别特征信息,进而将所述在先类别特征信息输入所述哈希层,对所述在先类别特征信息进行全连接,获得在先全连接向量,并为所述在先全连接向量中的各比特位匹配对应的极化输出通道,并基于各所述极化输出通道,对各所述极化输出通道各自对应的比特位进行极化,获得所述在先全连接向量中各比特位对应的在先极化标识,并基于各所述在先极化标识,生成所述联邦目标哈希编码值,其中,由于所述在先加密模型参数和所述加密模型参数为同一联邦参与方基于同一本地模型在不同迭代轮次中发送的同态加密的模型参数,进而所述在先加密模型参数和所述加密模型参数属于同一数据类别,进而若所述加密模型参数不为虚假模型参数,则所述在先加密模型参数对应的输出哈希编码值和所述加密模型参数对应的输出哈希编码值应当一致,若所述加密模型参数为虚假模型参数,则所述在先加密模型参数对应的输出哈希编码值和所述加密模型参数对应的输出哈希编码值应当不一致,其中,所述在先加密模型参数已经确定不为虚假模型参数。
步骤S40,基于所述目标验证结果,确定并剔除所述联邦参与设备中存在的恶意参与设备,以进行联邦学习。
在本实施例中,需要说明的是,所述目标验证结果为验证加密模型参数是否为虚假模型参数的验证结果,所述恶意参与设备至少包括一个恶意参与方。
基于所述目标验证结果,确定并剔除所述联邦参与设备中存在的恶意参与设备,以进行联邦学习,具体地,基于所述目标验证结果,将提供虚假模型参数的各联邦参与方作为可疑参与方,并获取每一所述可疑参与方对应的可疑累计次数,进而基于各所述可疑累计次数,在各所述可疑参与方中确定恶意参与方。
其中,所述基于所述目标验证结果,确定并剔除所述联邦参与设备中存在的恶意参与设备的步骤包括:
步骤S41,基于所述目标验证结果,确定所述联邦参与设备中存在的可疑参与设备;
在本实施例中,需要说明的是,所述目标验证结果至少包括一个所述联邦参与方的可疑验证结果,其中,所述可疑验证结果为判定所述联邦参与方是否为可疑参与方的结果,所述可疑参数方为发送的加密模型参数可疑的联邦参与方。
基于所述目标验证结果,确定所述联邦参与设备中存在的可疑参与设备,具体地,基于各所述可疑验证结果,将提供可疑的加密模型参数的联邦参与方作为可疑参与方。
步骤S42,获取所述可疑参与设备的可疑累计次数,并将所述可疑累计次数大于预设累计次数阀值的可疑参与设备作为所述恶意参与设备,并剔除所述恶意参与设备。
在本实施例中,需要说明的是,所述可疑累计次数为可疑参与方在联邦学习的各轮联邦中发送可疑的加密模型参数的次数。
获取所述可疑参与设备的可疑累计次数,并将所述可疑累计次数大于预设累计次数阀值的可疑参与设备作为所述恶意参与设备,并剔除所述恶意参与设备,具体地,获取每一所述可疑参与方的可疑累计次数,并将每一所述可疑累计次数与预设累计次数阀值进行比对,若所述可疑累计次数大于所述预设累计次数阀值,则将所述可疑累计次数大于所述预设累计次数阀值的可疑参与方作为恶意参与方,并剔除所述恶意参与方的联邦学习资格,若所述可疑累计次数小于或者等于所述预设累计次数阀值,则将所述可疑累计次数小于或者等于所述预设累计次数阀值的可疑参与方发送的加密模型参数进行剔除,获得可信的加密模型参数,进而对剔除后的各可信的加密模型参数进行聚合,以进行联邦学习。
本实施例提供了一种模型参数验证方法,相比于现有技术采用的在联邦学习迭代训练过程中协调者直接将各参与方的模型参数进行聚合的技术手段,本实施例在联邦参与设备上传加密模型参数之后,将加密模型参数输入预设哈希编码模型,以基于所述加密模型参数的类别特征信息,对所述加密模型参数进行哈希编码,获得输出哈希编码值,进而通过判断所述输出哈希编码值与所述加密模型参数对应的类别模型哈希编码值之间差异度是否在可接受差异度范围之内,对所述加密模型参数进行验证,获得目标验证结果,也即,若所述输出哈希编码值与所述类别模型哈希编码值之间差异度在不可接受差异度范围之内,则判定所述输出哈希编码值与所述类别模型哈希编码值不属于同一模型的模型参数的哈希编码值,也即,不属于同一数据类别的哈希编码值,进而判定所述加密模型参数为虚假模型参数,可确定所述联邦参与设备中存在恶意参与方,进而基于所述目标验证结果,即可确定并剔除提供虚假模型参数的恶意参与设备,以进行联邦学习,进而克服了现有技术中若各参与方中存在恶意参与方,且恶意参与方在训练过程中提供虚假的本地模型参数,将导致联邦学习建模的效率和精度变低的技术缺陷,进而提高了联邦学习建模的效率和精度。
进一步地,参照图2,基于本申请中第一实施例,在本申请的另一实施例中,在所述将所述加密模型参数输入预设哈希编码模型,以基于所述加密模型参数的类别特征信息,对所述加密模型参数进行哈希编码,获得输出哈希编码值的步骤之前,所述模型参数验证方法还包括:
步骤C10,获取训练联邦模型参数和待训练哈希编码模型,并基于预设目标哈希编码方式,确定所述训练联邦模型参数对应的预设哈希编码值;
在本实施例中,需要说明的是,所述待训练哈希编码模型为未训练好的神经网络模型,所述预设目标哈希编码方式可为预先设定好的任意一种哈希编码方式,所述训练联邦模型参数为用于训练所述待训练哈希编码模型的训练数据,所述预设哈希编码值为所述训练样本所属的训练样本类别对应的哈希编码值,其中,一所述训练样本类别对应一所述预设哈希编码值,所述训练样本类别至少包括一个训练样本,且一所述训练样本类别对应的一联邦参与方的本地模型。
另外地,需要说明的是,所述训练联邦模型参数可通过向获取的正常联邦模型参数中加入噪音数据确定,且向所述正常联邦模型参数加入不同强度的噪音数据可获得各联邦参与方的对应的待训练模型哈希编码模型的训练联邦模型参数,其中,所述噪音数据包括高斯噪音等,例如,假设所述正常联邦模型参数为(m1,m2),则训练联邦模型参数为(m1+N(μ,σ)1,m2+N(μ,σ)2),其中,N(μ,σ)为正态分布函数,N(μ,σ)1和N(μ,σ)2均为正态分布函数值。
获取训练联邦模型参数和待训练哈希编码模型,并基于预设目标哈希编码方式,确定所述训练联邦模型参数对应的预设哈希编码值,具体地,从预设训练联邦模型参数存储数据库中提取所述训练样本和待训练哈希编码模型,并基于预设目标哈希编码方式,对所述训练样本进行哈希编码,生成所述训练样本所属的训练样本类别对应的预设哈希编码值。
其中,在步骤C10中,所述预设目标哈希编码方式包括随机目标哈希编码和自适应目标哈希编码,
所述基于预设目标哈希编码方式,生成所述训练联邦模型参数对应的所述预设哈希编码值的步骤包括:
步骤C11,对所述训练联邦模型参数进行所述随机目标哈希编码,获得所述预设哈希编码值;
在本实施例中,需要说明的是,若所述预设目标哈希编码方式为随机目标哈希编码,则属于不同分类样本的对应的预设哈希编码值之间的汉明距离应为目标汉明距离2*K*p*(1-p),其中,K为所述预设哈希编码值中比特位的数量,p为所述预设哈希编码值对应的样本属于所述分类样本的概率。
对所述训练联邦模型参数进行所述随机目标哈希编码,获得所述预设哈希编码值,具体地,基于预设高斯随机方法,生成所述训练样本对应的预设哈希编码值。
步骤C12,对所述训练联邦模型参数进行所述自适应目标哈希编码,获得所述预设哈希编码值。
在本实施例,对所述训练联邦模型参数进行所述自适应目标哈希编码,获得所述预设哈希编码值,具体地,获取所述训练联邦模型参数对应的训练样本类别的多个训练样本,以基于预设高斯随机方法分别生成各所述训练样本对应的随机哈希编码值,其中,一所述训练样本对应一个所述随机哈希编码值,进而确定各所述训练样本类别中每一所述训练样本对应的随机哈希编码值,并分别求取每一所述训练样本类别对应的各随机哈希编码值的平均值,获得各所述训练样本类别对应的平均哈希值,进而将所述平均哈希值作为对应的训练样本类别中所有训练样本对应的预设哈希编码值。
步骤C20,基于所述预设哈希编码值和所述训练联邦模型参数,对所述待训练哈希编码模型进行迭代训练,以优化所述待训练哈希编码模型对应的极化损失函数,直至所述待训练哈希编码模型达到预设迭代结束条件,获得所述预设哈希编码模型。
在本实施例中,需要说明的是,所述预设迭代结束条件包括达到预设迭代次数阀值、极化损失函数收敛等,所述迭代训练包括一轮或者多轮训练。
基于所述预设哈希编码值和所述训练联邦模型参数,对所述待训练哈希编码模型进行迭代训练,以优化所述待训练哈希编码模型对应的极化损失函数,直至所述待训练哈希编码模型达到预设迭代结束条件,获得所述预设哈希编码模型,具体地,将所述训练联邦模型参数输入所述待训练哈希编码模型,以基于所述预设哈希编码值,对所述待训练哈希编码模型进行训练更新,并判断训练更新后的所述待训练哈希编码模型是否满足预设迭代结束条件,若训练更新后的所述待训练哈希编码模型满足预设迭代结束条件,则将训练更新后的所述待训练哈希编码模型作为所述预设哈希编码模型,若训练更新后的所述待训练哈希编码模型不满足预设迭代结束条件,则获取所述待训练哈希编码模型基于所述训练联邦模型参数输出的初始哈希编码值,并基于所述初始哈希编码值和所述预设哈希编码值,优化所述待训练哈希编码模型的各极化输出通道对应的极化损失函数,并重新所述待训练哈希编码模型进行训练更新,直至训练更新后的所述待训练哈希编码模型满足预设迭代结束条件。
其中,所述基于所述预设哈希编码值和所述训练联邦模型参数,对所述待训练哈希编码模型进行迭代训练,以优化所述待训练哈希编码模型对应的极化损失函数,直至所述待训练哈希编码模型达到预设迭代结束条件,获得所述预设哈希编码模型的步骤包括:
步骤C21,将所述训练联邦模型参数输入所述待训练哈希编码模型,以基于所述极化损失函数,对所述训练联邦模型参数进行哈希编码,获得初始哈希编码值;
在本实施例中,所述训练联邦模型参数至少包括一个训练样本,所述初始哈希编码值包括各所述训练样本对应的初始哈希编码值。
将所述训练联邦模型参数输入所述待训练哈希编码模型,以基于所述极化损失函数,对所述训练联邦模型参数进行哈希编码,获得初始哈希编码值,具体地,将所述训练样本对应的待处理训练矩阵输入所述待训练哈希编码模型,其中,所述待处理训练矩阵为训练样本的矩阵表示形式,进而对所述待处理训练矩阵进行哈希,获得训练哈希向量,进而基于所述极化损失函数,对所述训练哈希向量的每一比特位进行强制极化,获得所述训练哈希向量对应的训练极化向量,进而基于所述训练极化向量中每一比特位对应的极化标识,生成所述训练样本对应的初始哈希编码值,其中,所述极化损失函数如下所示,
L(v,t^c)=max(m-v*t^c,0)
其中,L为所述极化损失函数,m为预设强制极化参数,v为所述训练哈希向量中每一哈希向量比特位上的数值,且v的绝对值大于m,t^c为所述哈希向量比特位对应的目标哈希值,所述目标哈希值为所述训练样本对应的预设哈希编码值上的比特位数值,且t^c={-1,+1},且所述极化损失函数收敛于0,例如,假设m为1,t^c为1,v为-1,此时,L=2,若要使得极化损失函数收敛于0,则需要对v进行强制极化,使得v为1,此时L=0,进而当t^c等于1时,所述训练哈希向量比特位上的数值将朝正方向逐渐远离0,当t^c等于-1时,所述训练哈希向量比特位上的数值将朝负方向逐渐远离0,进而在极化成功后,获得的训练极化向量中每一比特位的极化标识应与对应的目标哈希值一致,进一步地,由于同一训练样本类别的预设哈希编码值相同,所以属于同一训练样本类别的各训练样本对应的训练极化向量中每一比特位上的极化标识一致,进而基于各极化标识,获得的模型输出值一致,也即,对于属于同一样本类别的模型输入样本,基于训练好的所述预设哈希编码模型可获得相同的哈希编码值。
另外地,需要说明的是,所述训练哈希向量中每一比特位均对应所述待训练哈希编码模型中的一极化输出通道,每一所述极化输出通道对应的预设强制极化参数均由对所述哈希编码模型进行训练优化而得到,进而每一所述极化输出通道对应的预设强制极化参数可能相同,也可能不同,其中,所述极化输出通道用于基于所述预设强制极化参数,通过对应的所述极化损失函数,强制极化所述训练哈希向量中对应的比特位上的数值,并输出所述初始哈希编码值中对应的比特位的编码数值。
步骤C22,计算所述初始哈希编码值和所述预设哈希编码值之间的训练汉明距离,并将所述训练汉明距离与预设第二汉明距离阀值进行比对;
在本实施例中,计算所述初始哈希编码值和所述预设哈希编码值之间的训练汉明距离,并将所述训练汉明距离与预设第二汉明距离阀值进行比对,具体地,将所述初始哈希编码值的每一比特位上的数值与所述预设哈希编码值的每一比特位上的数值进行比对,确定所述初始哈希编码值和所述预设哈希编码值之间比特位数值不相同的比特位数量,并将所述比特位数量作为所述训练汉明距离,并将所述训练汉明距离与预设第二汉明距离阀值进行比对,例如,假设所述初始哈希编码值为向量(1,1,1,1),所述目标哈希编码结果为向量(-1,1,1,-1),则所述比特位数量为2,则所述训练汉明距离为2。
步骤C23,若所述训练汉明距离大于所述预设第二汉明距离阀值,则判定所述待训练哈希编码模型未达到所述预设迭代结束条件,并基于所述初始哈希编码值,优化所述极化损失函数;
在本实施例中,若所述训练汉明距离大于所述预设第二汉明距离阀值,则判定所述待训练哈希编码模型未达到所述预设迭代结束条件,并基于所述初始哈希编码值优化所述极化损失函数,具体地,若所述训练汉明距离大于所述预设第二汉明距离阀值,则判定所述极化损失函数并未在所有所述极化输出通道上收敛,也即,所述极化损失函数未收敛,进而判定所述待训练哈希编码模型未达到所述预设迭代结束条件,进而确定所述初始哈希编码值和所述预设哈希编码值之间的一个或者多个相异比特位,并确定各所述相异比特位对应的未收敛极化输出通道,进而调整各所述未收敛极化输出通道对应的极化损失函数中的预设强制极化参数,其中,所述未收敛极化输出通道为未收敛的极化损失函数对应的极化输出通道,其中,所述待训练哈希编码模型至少包括一个极化输出通道,且所述极化输出通道的数量与所述训练哈希向量中的比特位的数量相关,也即,一所述训练哈希向量中的比特位对应一所述极化输出通道。
步骤C24,基于优化后的所述极化损失函数,重新进行所述待训练哈希编码模型的训练,直至所述训练汉明距离小于或者等于所述预设第二汉明距离阀值;
在本实施例中,基于优化后的所述极化损失函数,重新进行所述待训练哈希编码模型的训练,直至所述训练汉明距离小于或者等于所述预设第二汉明距离阀值,具体地,重新获取所述训练数据,并基于重新获取的训练数据,对优化后的所述极化损失函数对应的待训练哈希编码模型重新进行迭代训练,以继续优化所述极化损失函数,直至所述训练汉明距离小于或者等于所述预设第二汉明距离阀值。
步骤C25,若所述训练汉明距离小于或者等于所述预设第二汉明距离阀值,则判定所述待训练哈希编码模型达到所述预设迭代结束条件,并将所述待训练哈希编码模型作为所述预设哈希编码模型。
在本实施例中,若所述训练汉明距离小于或者等于所述预设第二汉明距离阀值,则判定所述待训练哈希编码模型达到所述预设迭代结束条件,并将所述待训练哈希编码模型作为所述预设哈希编码模型,具体地,若所述训练汉明距离小于或者等于所述预设第二汉明距离阀值,则判定所述待训练哈希编码模型达到所述预设迭代结束条件,也即,所述待训练哈希编码模型中各所述极化输出通道对应的极化损失函数收敛,进而将所述待训练哈希编码模型作为所述预设哈希编码模型。
另外地,需要说明的是,目前基于深度学习的哈希编码方式,通常以成对相似度标签为训练目标,且在训练时需加上约束条件,进而导致在训练预设哈希编码模型时需要进行优化的参数变多,而本实施例中训练预设哈希编码模型时,只需基于简单的极化损失函数,即可完成预设哈希编码模型的优化,进行避免了以成对相似度标签为训练目标,且在训练时需加上约束条件以训练预设哈希编码模型的情况发生,进而可显著提高预设哈希编码模型的构建效率。
本实施例提供了一种基于深度学习直接训练哈希模型的方法,也即,基于所述训练数据和所述预设哈希编码值,对所述待训练哈希层进行迭代训练,以优化所述待训练哈希层对应的预设极化损失函数,直至所述待训练哈希层达到预设迭代结束条件,获得所述哈希模型,其中,在迭代训练过程中,并未加上约束条件,且直接基于深度学习对所述待训练哈希层进行迭代训练,进而避免了以成对相似度标签为训练目标,且加上约束条件,训练所述待训练哈希层的情况发生,降低了模型训练时的计算复杂度,提高了哈希编码模型训练时的计算效率,进而基于训练好的哈希编码模型,即可获取加密模型参数对应的输出哈希编码值,进而即可实现对加密模型参数的验证,获得目标验证结果,进而基于目标验证结果,即可确定并剔除提供虚假模型参数的恶意参与设备,以进行联邦学习,即可克服现有技术中若各参与方中存在恶意参与方,且恶意参与方在训练过程中提供虚假的本地模型参数,将导致联邦学习建模的效率和精度变低的技术缺陷,进而为提高联邦学习建模的效率和精度奠定了基础。
参照图3,图3是本申请实施例方案涉及的硬件运行环境的设备结构示意图。
如图3所示,该模型参数验证设备可以包括:处理器1001,例如CPU,存储器1005,通信总线1002。其中,通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地,该模型参数验证设备还可以包括矩形用户接口、网络接口、摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏(Display)、输入子模块比如键盘(Keyboard),可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
本领域技术人员可以理解,图3中示出的模型参数验证设备结构并不构成对模型参数验证设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图3所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及模型参数验证程序。操作系统是管理和控制模型参数验证设备硬件和软件资源的程序,支持模型参数验证程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信,以及与模型参数验证系统中其它硬件和软件之间通信。
在图3所示的模型参数验证设备中,处理器1001用于执行存储器1005中存储的模型参数验证程序,实现上述任一项所述的模型参数验证方法的步骤。
本申请模型参数验证设备具体实施方式与上述模型参数验证方法各实施例基本相同,在此不再赘述。
本申请实施例还提供一种模型参数验证装置,所述模型参数验证装置应用于模型参数验证设备,所述模型参数验证装置包括:
接收模块,用于接收联邦参与设备发送的加密模型参数;
哈希编码模块,用于将所述加密模型参数输入预设哈希编码模型,以基于所述加密模型参数的类别特征信息,对所述加密模型参数进行哈希编码,获得输出哈希编码值;
验证模块,用于获取加密模型参数对应的类别目标哈希编码值,并基于所述输出哈希编码值和所述类别目标哈希编码值,对所述加密模型参数进行验证,获得目标验证结果;
确定模块,用于基于所述目标验证结果,确定并剔除所述联邦参与设备中存在的恶意参与设备,以进行联邦学习。
可选地,所述哈希编码模块包括:
数据处理单元,用于将所述加密模型参数输入所述隐藏层,对所述加密模型参数进行数据处理,获得所述类别特征信息;
极化哈希单元,用于将所述类别特征信息输入所述哈希层,对所述类别特征信息进行极化哈希,获得极化哈希结果;
生成单元,用于提取所述极化哈希结果中的各极化标识,并基于各所述极化标识,生成所述输出哈希编码值。
可选地,所述验证模块包括:
第一比对单元,用于计算所述输出哈希编码值和所述类别目标哈希编码值之间的计算汉明距离,并将所述计算汉明距离与预设第一汉明距离阀值进行比对;
第一判定单元,用于若所述计算汉明距离大于所述预设第一汉明距离阀值,则所述目标验证结果为加密模型参数可疑;
第二判定单元,用于若所述计算汉明距离小于或者等于所述预设第一汉明距离阀值,则所述目标验证结果为加密模型参数可信。
可选地,所述验证模块还包括:
获取单元,用于获取所述加密模型参数对应的在先加密模型参数;
哈希编码单元,用于将所述在先加密模型参数输入所述预设哈希编码模型,以基于所述在先加密模型参数的在先类别特征信息,对所述在先加密模型参数进行哈希编码,获得所述类别目标哈希编码值。
可选地,所述模型参数验证装置还包括:
计算单元,用于获取所述输出哈希编码值对应的各关联输出哈希编码值,并计算所述输出哈希编码值和各所述关联输出哈希编码值之间的平均输出哈希编码值;
验证单元,用于获取所述平均哈希编码值对应的平均目标哈希编码值,并基于所述平均输出哈希编码值和所述平均目标哈希编码值,对所述加密模型参数进行验证,获得第二目标验证结果;
第一确定单元,用于基于所述第二目标验证结果,确定并剔除所述联邦参与设备中存在的恶意参与设备,以进行联邦学习。
可选地,所述确定模块包括:
第二确定单元,用于基于所述目标验证结果,确定所述联邦参与设备中存在的可疑参与设备;
第三判定单元,用于获取所述可疑参与设备的可疑累计次数,并将所述可疑累计次数大于预设累计次数阀值的可疑参与设备作为所述恶意参与设备,并剔除所述恶意参与设备。
可选地,所述模型参数验证装置还包括:
获取模块,用于获取训练联邦模型参数和待训练哈希编码模型,并基于预设目标哈希编码方式,确定所述训练联邦模型参数对应的预设哈希编码值;
迭代训练模块,用于基于所述预设哈希编码值和所述训练联邦模型参数,对所述待训练哈希编码模型进行迭代训练,以优化所述待训练哈希编码模型对应的极化损失函数,直至所述待训练哈希编码模型达到预设迭代结束条件,获得所述预设哈希编码模型。
可选地,所述迭代训练模块包括:
哈希编码单元,用于将所述训练联邦模型参数输入所述待训练哈希编码模型,以基于所述极化损失函数,对所述训练联邦模型参数进行哈希编码,获得初始哈希编码值;
第二比对单元,用于计算所述初始哈希编码值和所述预设哈希编码值之间的训练汉明距离,并将所述训练汉明距离与预设第二汉明距离阀值进行比对;
优化单元,用于若所述训练汉明距离大于所述预设第二汉明距离阀值,则判定所述待训练哈希编码模型未达到所述预设迭代结束条件,并基于所述初始哈希编码值,优化所述极化损失函数;
重新训练单元,用于基于优化后的所述极化损失函数,重新进行所述待训练哈希编码模型的训练,直至所述训练汉明距离小于或者等于所述预设第二汉明距离阀值;
第四判定单元,用于若所述训练汉明距离小于或者等于所述预设第二汉明距离阀值,则判定所述待训练哈希编码模型达到所述预设迭代结束条件,并将所述待训练哈希编码模型作为所述预设哈希编码模型。
本申请模型参数验证装置的具体实施方式与上述模型参数验证方法各实施例基本相同,在此不再赘述。
本申请实施例提供了一种可读存储介质,且所述可读存储介质存储有一个或者一个以上程序,所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的模型参数验证方法的步骤。
本申请可读存储介质具体实施方式与上述模型参数验证方法各实施例基本相同,在此不再赘述。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利处理范围内。

Claims (10)

1.一种模型参数验证方法,其特征在于,所述模型参数验证方法包括:
接收联邦参与设备发送的加密模型参数;
将所述加密模型参数输入预设哈希编码模型,以基于所述加密模型参数的类别特征信息,对所述加密模型参数进行哈希编码,获得输出哈希编码值;
获取加密模型参数对应的类别目标哈希编码值,并基于所述输出哈希编码值和所述类别目标哈希编码值,对所述加密模型参数进行验证,获得目标验证结果;
基于所述目标验证结果,确定并剔除所述联邦参与设备中存在的恶意参与设备,以进行联邦学习。
2.如权利要求1所述模型参数验证方法,其特征在于,所述哈希编码模型包括隐藏层和哈希层,
所述将所述加密模型参数输入预设哈希编码模型,以基于所述加密模型参数的类别特征信息,对所述加密模型参数进行哈希编码,获得输出哈希编码值的步骤包括:
将所述加密模型参数输入所述隐藏层,对所述加密模型参数进行数据处理,获得所述类别特征信息;
将所述类别特征信息输入所述哈希层,对所述类别特征信息进行极化哈希,获得极化哈希结果;
提取所述极化哈希结果中的各极化标识,并基于各所述极化标识,生成所述输出哈希编码值。
3.如权利要求1所述模型参数验证方法,其特征在于,所述基于所述输出哈希编码值和所述类别目标哈希编码值,对所述加密模型参数进行验证,获得目标验证结果的步骤包括:
计算所述输出哈希编码值和所述类别目标哈希编码值之间的计算汉明距离,并将所述计算汉明距离与预设第一汉明距离阀值进行比对;
若所述计算汉明距离大于所述预设第一汉明距离阀值,则所述目标验证结果为加密模型参数可疑;
若所述计算汉明距离小于或者等于所述预设第一汉明距离阀值,则所述目标验证结果为加密模型参数可信。
4.如权利要求1所述模型参数验证方法,其特征在于,所述获取加密模型参数对应的类别目标哈希编码值的步骤包括:
获取所述加密模型参数对应的在先加密模型参数;
将所述在先加密模型参数输入所述预设哈希编码模型,以基于所述在先加密模型参数的在先类别特征信息,对所述在先加密模型参数进行哈希编码,获得所述类别目标哈希编码值。
5.如权利要求1所述模型参数验证方法,其特征在于,在所述将所述加密模型参数输入预设哈希编码模型,以基于所述加密模型参数的类别特征信息,对所述加密模型参数进行哈希编码,获得输出哈希编码值的步骤之后,所述模型参数验证方法还包括:
获取所述输出哈希编码值对应的各关联输出哈希编码值,并计算所述输出哈希编码值和各所述关联输出哈希编码值之间的平均哈希编码值;
获取所述平均哈希编码值对应的平均目标哈希编码值,并基于所述平均哈希编码值和所述平均目标哈希编码值,对所述加密模型参数进行验证,获得第二目标验证结果;
基于所述第二目标验证结果,确定并剔除所述联邦参与设备中存在的恶意参与设备,以进行联邦学习。
6.如权利要求1所述模型参数验证方法,其特征在于,所述基于所述目标验证结果,确定并剔除所述联邦参与设备中存在的恶意参与设备的步骤包括:
基于所述目标验证结果,确定所述联邦参与设备中存在的可疑参与设备;
获取所述可疑参与设备的可疑累计次数,并将所述可疑累计次数大于预设累计次数阀值的可疑参与设备作为所述恶意参与设备,并剔除所述恶意参与设备。
7.如权利要求1所述模型参数验证方法,其特征在于,在所述将所述加密模型参数输入预设哈希编码模型,以基于所述加密模型参数的类别特征信息,对所述加密模型参数进行哈希编码,获得输出哈希编码值的步骤之前,所述模型参数验证方法还包括:
获取训练联邦模型参数和待训练哈希编码模型,并基于预设目标哈希编码方式,确定所述训练联邦模型参数对应的预设哈希编码值;
基于所述预设哈希编码值和所述训练联邦模型参数,对所述待训练哈希编码模型进行迭代训练,以优化所述待训练哈希编码模型对应的极化损失函数,直至所述待训练哈希编码模型达到预设迭代结束条件,获得所述预设哈希编码模型。
8.如权利要求7所述模型参数验证方法,其特征在于,所述基于所述预设哈希编码值和所述训练联邦模型参数,对所述待训练哈希编码模型进行迭代训练,以优化所述待训练哈希编码模型对应的极化损失函数,直至所述待训练哈希编码模型达到预设迭代结束条件,获得所述预设哈希编码模型的步骤包括:
将所述训练联邦模型参数输入所述待训练哈希编码模型,以基于所述极化损失函数,对所述训练联邦模型参数进行哈希编码,获得初始哈希编码值;
计算所述初始哈希编码值和所述预设哈希编码值之间的训练汉明距离,并将所述训练汉明距离与预设第二汉明距离阀值进行比对;
若所述训练汉明距离大于所述预设第二汉明距离阀值,则判定所述待训练哈希编码模型未达到所述预设迭代结束条件,并基于所述初始哈希编码值,优化所述极化损失函数;
基于优化后的所述极化损失函数,重新进行所述待训练哈希编码模型的训练,直至所述训练汉明距离小于或者等于所述预设第二汉明距离阀值;
若所述训练汉明距离小于或者等于所述预设第二汉明距离阀值,则判定所述待训练哈希编码模型达到所述预设迭代结束条件,并将所述待训练哈希编码模型作为所述预设哈希编码模型。
9.一种模型参数验证设备,其特征在于,所述模型参数验证设备包括:存储器、处理器以及存储在存储器上的用于实现所述模型参数验证方法的程序,
所述存储器用于存储实现模型参数验证方法的程序;
所述处理器用于执行实现所述模型参数验证方法的程序,以实现如权利要求1至8中任一项所述模型参数验证方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储有实现模型参数验证方法的程序,所述实现模型参数验证方法的程序被处理器执行以实现如权利要求1至8中任一项所述模型参数验证方法的步骤。
CN202010830270.0A 2020-08-14 2020-08-14 模型参数验证方法、设备及可读存储介质 Active CN111967609B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010830270.0A CN111967609B (zh) 2020-08-14 2020-08-14 模型参数验证方法、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010830270.0A CN111967609B (zh) 2020-08-14 2020-08-14 模型参数验证方法、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN111967609A CN111967609A (zh) 2020-11-20
CN111967609B true CN111967609B (zh) 2021-08-06

Family

ID=73389617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010830270.0A Active CN111967609B (zh) 2020-08-14 2020-08-14 模型参数验证方法、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN111967609B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598132A (zh) * 2020-12-04 2021-04-02 光大科技有限公司 模型训练方法及装置、存储介质、电子装置
CN112507366B (zh) * 2020-12-18 2024-03-26 北京国电通网络技术有限公司 一种智能电网中多维数据高效数据聚合的方法和系统
CN112990921B (zh) * 2021-01-29 2024-02-09 腾讯科技(深圳)有限公司 基于区块链的数据处理方法、装置、计算机及存储介质
CN113111953B (zh) * 2021-04-20 2022-08-26 深圳吉祥星科技股份有限公司 一种投影画质处理装置
CN113554182B (zh) * 2021-07-27 2023-09-19 西安电子科技大学 一种横向联邦学习系统中拜占庭节点的检测方法及系统
TWI818708B (zh) * 2022-09-02 2023-10-11 英業達股份有限公司 驗證模型更新的方法
CN116070277B (zh) * 2023-03-07 2023-08-29 浙江大学 一种基于深度哈希的纵向联邦学习隐私保护方法和系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819723A (zh) * 2011-12-26 2012-12-12 哈尔滨安天科技股份有限公司 一种恶意二维码检测方法和系统
CN107871160A (zh) * 2016-09-26 2018-04-03 谷歌公司 通信高效联合学习
CN109034851A (zh) * 2018-09-05 2018-12-18 深圳正品创想科技有限公司 基于区块链的商品防伪溯源方法及其装置、区块链节点
CN109413047A (zh) * 2018-09-29 2019-03-01 武汉极意网络科技有限公司 行为模拟的判定方法、系统、服务器及存储介质
CN109710793A (zh) * 2018-12-25 2019-05-03 科大讯飞股份有限公司 一种哈希参数确定方法、装置、设备及存储介质
CN109768853A (zh) * 2018-12-29 2019-05-17 百富计算机技术(深圳)有限公司 一种密钥组分验证方法、装置及终端设备
CN109918532A (zh) * 2019-03-08 2019-06-21 苏州大学 图像检索方法、装置、设备及计算机可读存储介质
CN110163006A (zh) * 2019-04-18 2019-08-23 阿里巴巴集团控股有限公司 一种块链式账本中的签名验证方法、系统、装置及设备
CN110532290A (zh) * 2019-07-25 2019-12-03 深圳壹账通智能科技有限公司 基于区块链的信息验证装置、方法及存储介质
CN111460523A (zh) * 2020-03-27 2020-07-28 鹏城实验室 数据完整性的验证方法、设备及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310932B (zh) * 2020-02-10 2024-09-27 深圳前海微众银行股份有限公司 横向联邦学习系统优化方法、装置、设备及可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819723A (zh) * 2011-12-26 2012-12-12 哈尔滨安天科技股份有限公司 一种恶意二维码检测方法和系统
CN107871160A (zh) * 2016-09-26 2018-04-03 谷歌公司 通信高效联合学习
CN109034851A (zh) * 2018-09-05 2018-12-18 深圳正品创想科技有限公司 基于区块链的商品防伪溯源方法及其装置、区块链节点
CN109413047A (zh) * 2018-09-29 2019-03-01 武汉极意网络科技有限公司 行为模拟的判定方法、系统、服务器及存储介质
CN109710793A (zh) * 2018-12-25 2019-05-03 科大讯飞股份有限公司 一种哈希参数确定方法、装置、设备及存储介质
CN109768853A (zh) * 2018-12-29 2019-05-17 百富计算机技术(深圳)有限公司 一种密钥组分验证方法、装置及终端设备
CN109918532A (zh) * 2019-03-08 2019-06-21 苏州大学 图像检索方法、装置、设备及计算机可读存储介质
CN110163006A (zh) * 2019-04-18 2019-08-23 阿里巴巴集团控股有限公司 一种块链式账本中的签名验证方法、系统、装置及设备
CN110532290A (zh) * 2019-07-25 2019-12-03 深圳壹账通智能科技有限公司 基于区块链的信息验证装置、方法及存储介质
CN111460523A (zh) * 2020-03-27 2020-07-28 鹏城实验室 数据完整性的验证方法、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN111967609A (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
CN111967609B (zh) 模型参数验证方法、设备及可读存储介质
CN109379377B (zh) 加密恶意流量检测方法、装置、电子设备及存储介质
CN111626408B (zh) 哈希编码方法、装置、设备及可读存储介质
CN111612079B (zh) 数据确权方法、设备及可读存储介质
CN111625258B (zh) 默克尔树更新方法、装置、设备及可读存储介质
US20230325497A1 (en) Watermark protection of artificial intelligence model
CN111628866B (zh) 神经网络校验方法、装置、设备及可读存储介质
CN111614679B (zh) 联邦学习资格恢复方法、设备及可读存储介质
CN112966754B (zh) 样本筛选方法、样本筛选装置及终端设备
TWI818496B (zh) 指紋識別方法、指紋模組及電子設備
CN114448601A (zh) 基于端边云架构的分布式联邦学习的安全防御方法及应用
CN112884075A (zh) 一种流量数据增强方法、流量数据分类方法及相关装置
CN112685799A (zh) 设备指纹生成方法、装置、电子设备和计算机可读介质
US12099599B2 (en) Apparatuses and methods for detecting malware
CN113792892A (zh) 联邦学习建模优化方法、设备、可读存储介质及程序产品
Dahanayaka et al. Robust open-set classification for encrypted traffic fingerprinting
CN111786937B (zh) 用于识别恶意请求的方法、装置,电子设备和可读介质
CN114726634B (zh) 一种基于知识图谱的黑客攻击场景构建方法和设备
CN110071845B (zh) 一种对未知应用进行分类的方法及装置
CN111092723A (zh) 一种数据隐私保护量子计算方法
CN109657447B (zh) 一种设备指纹生成方法及装置
CN112329025A (zh) 电力终端旁路安全分析方法及电力终端旁路安全分析系统
CN111639718A (zh) 分类器应用方法及装置
US20230229786A1 (en) Systems and methods for federated model validation and data verification
CN115632875B (zh) 一种多特征融合实时分析的恶意流量检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant