CN116702131A - 一种数据处理方法、装置及设备 - Google Patents

一种数据处理方法、装置及设备 Download PDF

Info

Publication number
CN116702131A
CN116702131A CN202310648022.8A CN202310648022A CN116702131A CN 116702131 A CN116702131 A CN 116702131A CN 202310648022 A CN202310648022 A CN 202310648022A CN 116702131 A CN116702131 A CN 116702131A
Authority
CN
China
Prior art keywords
model
proxy
proxy model
parameterized
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310648022.8A
Other languages
English (en)
Inventor
许卓尔
顾章轩
崔世文
李志峰
孟昌华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202310648022.8A priority Critical patent/CN116702131A/zh
Publication of CN116702131A publication Critical patent/CN116702131A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55Detecting local intrusion or implementing counter-measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例公开了一种数据处理方法、装置及设备,该方法包括:获取能够实现对目标模型进行迁移攻击的代理模型,以及所述代理模型的原始样本;对所述代理模型进行结构重参数化处理,得到重参数化代理模型和所述重参数化代理模型的第一模型权重;基于预设的优化搜索规则、所述重参数化代理模型和所述重参数化代理模型的第一模型权重,确定所述重参数化代理模型对应的对抗迁移性评估结果优于预设评估基准的第二模型权重,基于所述第二模型权重更新所述重参数化代理模型,得到更新后的代理模型;基于所述原始样本,通过所述更新后的代理模型,生成用于攻击所述目标模型的对抗样本。

Description

一种数据处理方法、装置及设备
技术领域
本文件涉及计算机技术领域,尤其涉及一种数据处理方法、装置及设备。
背景技术
近年来,基于深度神经网络的深度学习的发展在自然语言处理领域取得了巨大的成功,然而,深度学习的模型的鲁棒性仍然有很大欠缺,例如,在情感分类任务中,将原始文本中的某些词语替换成近义词,深度学习的模型就会出现非常大的误判,如上述经过微小修改即为对抗扰动,而经过对抗扰动后的样本即为对抗样本,模型在对抗样本和原始样本上的性能差距即体现了模型的鲁棒性。
对抗攻击通过主动构造对抗样本,对模型进行评估,从而对模型的鲁棒性进行预估。在实际应用中,随着人们对自己的隐私数据越来越重视,目标模型往往只能部署在黑盒下,这样就只能获取模型的预测结果,无法获取模型架构、模型参数等信息,更进一步地,对于无法获取目标模型任何信息的情况,迁移攻击依赖于对抗样本的对抗迁移性,通过攻击白盒的代理模型构造对抗样本,迁移到黑盒的目标模型进行攻击,为此,需要提供一种能够更好的提高迁移攻击的成功率的技术方案。
发明内容
本说明书实施例的目的是提供一种能够更好的提高迁移攻击的成功率的技术方案。
为了实现上述技术方案,本说明书实施例是这样实现的:
本说明书实施例提供的一种数据处理方法,所述方法包括:获取能够实现对目标模型进行迁移攻击的代理模型,以及所述代理模型的原始样本。对所述代理模型进行结构重参数化处理,得到重参数化代理模型和所述重参数化代理模型的第一模型权重。基于预设的优化搜索规则、所述重参数化代理模型和所述重参数化代理模型的第一模型权重,确定所述重参数化代理模型对应的对抗迁移性评估结果优于预设评估基准的第二模型权重,基于所述第二模型权重更新所述重参数化代理模型,得到更新后的代理模型。基于所述原始样本,通过所述更新后的代理模型,生成用于攻击所述目标模型的对抗样本。
本说明书实施例提供的一种数据处理装置,所述装置包括:数据获取模块,获取能够实现对目标模型进行迁移攻击的代理模型,以及所述代理模型的原始样本。结构重参数化模块,对所述代理模型进行结构重参数化处理,得到重参数化代理模型和所述重参数化代理模型的第一模型权重。优化评估模块,基于预设的优化搜索规则、所述重参数化代理模型和所述重参数化代理模型的第一模型权重,确定所述重参数化代理模型对应的对抗迁移性评估结果优于预设评估基准的第二模型权重,基于所述第二模型权重更新所述重参数化代理模型,得到更新后的代理模型。对抗样本生成模块,基于所述原始样本,通过所述更新后的代理模型,生成用于攻击所述目标模型的对抗样本。
本说明书实施例提供的一种数据处理设备,所述数据处理设备包括:处理器;以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:获取能够实现对目标模型进行迁移攻击的代理模型,以及所述代理模型的原始样本。对所述代理模型进行结构重参数化处理,得到重参数化代理模型和所述重参数化代理模型的第一模型权重。基于预设的优化搜索规则、所述重参数化代理模型和所述重参数化代理模型的第一模型权重,确定所述重参数化代理模型对应的对抗迁移性评估结果优于预设评估基准的第二模型权重,基于所述第二模型权重更新所述重参数化代理模型,得到更新后的代理模型。基于所述原始样本,通过所述更新后的代理模型,生成用于攻击所述目标模型的对抗样本。
本说明书实施例还提供了一种存储介质,所述存储介质用于存储计算机可执行指令,所述可执行指令在被处理器执行时实现以下流程:获取能够实现对目标模型进行迁移攻击的代理模型,以及所述代理模型的原始样本。对所述代理模型进行结构重参数化处理,得到重参数化代理模型和所述重参数化代理模型的第一模型权重。基于预设的优化搜索规则、所述重参数化代理模型和所述重参数化代理模型的第一模型权重,确定所述重参数化代理模型对应的对抗迁移性评估结果优于预设评估基准的第二模型权重,基于所述第二模型权重更新所述重参数化代理模型,得到更新后的代理模型。基于所述原始样本,通过所述更新后的代理模型,生成用于攻击所述目标模型的对抗样本。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图;
图1为本说明书一种数据处理方法实施例;
图2为本说明书另一种数据处理方法实施例;
图3为本说明书一种结构重参数化处理过程的示意图;
图4为本说明书一种对卷积核进行结构重参数化处理过程的示意图;
图5为本说明书又一种数据处理方法实施例;
图6为本说明书一种数据处理装置实施例;
图7为本说明书一种数据处理设备实施例。
具体实施方式
本说明书实施例提供一种数据处理方法、装置及设备。
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书保护的范围。
本说明书实施例提供一种用于构造对抗样本的技术方案,对抗样本可以使得指定的模型预测出错误的结果,基于此,可以通过对抗样本进行对抗攻击处理,其中的对抗攻击可以包括白盒攻击和黑盒攻击,以指定的模型的可见性划分,在对抗攻击的过程中,攻击者能否获取指定的模型的全部信息来确定是白盒攻击还是黑盒攻击,其中,攻击者可以获取指定的模型的全部信息的对抗攻击为白盒攻击,攻击者可以获取指定的模型的部分信息的对抗攻击为黑盒攻击。在黑盒场景下,极端情况下是无法获取指定的模型的任何信息,然而,对抗样本具有一定的对抗迁移性,即对白盒的代理模型进行对抗攻击处理得到的对抗样本,可以迁移到黑盒的代理模型上,并攻击成功,本方案利用结构重参数化和黑盒优化的方式,对代理模型进行结构重参数化,并通过指定的优化方式,搜索较优的重参数化后的模型架构,在较优模型架构下进行迁移攻击,从而可以极大提升迁移攻击的成功率。具体处理可以参见下述实施例中的具体内容。
实施例一
如图1所示,本说明书实施例提供一种数据处理方法,该方法的执行主体可以为终端设备或服务器等,其中的终端设备可以如手机、平板电脑等移动终端设备,还可以如笔记本电脑或台式电脑等计算机设备,或者,也可以为IoT设备(具体如智能手表、车载设备等)等,其中的服务器可以是独立的一个服务器,还可以是由多个服务器构成的服务器集群等,该服务器可以是如金融业务或网络购物业务等的后台服务器,也可以是某应用程序的后台服务器等。本实施例中以执行主体为服务器为例进行详细说明,对于执行主体为终端设备的情况,可以参见下述服务器的情况处理,在此不再赘述。该方法具体可以包括以下步骤:
在步骤S102中,获取能够实现对目标模型进行迁移攻击的代理模型,以及代理模型的原始样本。
其中,目标模型可以是任意模型,例如,目标模型可以是应用于金融业务或指定交易业务中的风险防控模型,或者,目标模型可以是信息推荐模型,或者,目标模型可以是文本信息处理模型或自然语言处理模型,或者,目标模型可以是用于进行面部识别的模型等,具体可以根据实际情况设定。目标模型可以基于多种不同的算法构建,例如,目标模型可以基于神经网络算法构建,或者,目标模型可以基于分类算法构建,或者,目标模型可以基于BERT或Word2Vec等构建等,具体可以根据实际情况设定。代理模型可以是与目标模型具有相同模型架构的模型,例如,目标模型可以为卷积神经网络模型,代理模型也可以为卷积神经网络模型,两者可以是具有相同的网络层,而仅仅是其中的模型参数不同,或者,也可以是两者具有的网络层不同,其中的模型参数也不相同,具体可以根据实际情况设定,本说明书实施例对此不做限定。迁移攻击可以是基于对抗迁移性攻击代理模型,从而得到相应的对抗样本,以用于攻击目标模型的黑盒攻击方式,其中的迁移攻击性可以是在黑盒场景下,极端情况下是无法获取指定的模型的任何信息,然而,对白盒的代理模型进行对抗攻击处理得到的对抗样本,可以迁移到黑盒的代理模型(即目标模型)上,并攻击成功。代理模型的原始样本可以是用于训练代理模型的样本,也可以是代理模型所应用的业务中的相关数据等,具体如,原始样本可以是交易双方的账户信息、交易金额、交易时间、交易地点、交易双方的账户信息对应的历史交易信息等,或者,也可以是被推荐方的偏好信息等,或者,还可以是对购买的某商品的外观、使用中评价信息或对某商户提供的某项或多项不同的服务的评价信息等,或者,原始样本可以为由面部图像构成的样本,具体可以根据实际情况设定。
在实施中,近年来,基于深度神经网络的深度学习的发展在自然语言处理领域取得了巨大的成功,然而,深度学习的模型的鲁棒性仍然有很大欠缺,例如,在情感分类任务中,将原始文本中的某些词语替换成近义词,深度学习的模型就会出现非常大的误判,如上述经过微小修改即为对抗扰动,而经过对抗扰动后的样本即为对抗样本,模型在对抗样本和原始样本上的性能差距即体现了模型的鲁棒性。
对抗攻击通过主动构造对抗样本,对模型进行评估,从而对模型的鲁棒性进行预估。在实际应用中,目标模型部署在黑盒下,只能获取模型的预测结果,无法获取模型架构、模型参数等信息,更进一步地,对于无法获取目标模型任何信息的情况,迁移攻击依赖于对抗样本的对抗迁移性,通过攻击白盒的代理模型构造对抗样本,迁移到黑盒的目标模型进行攻击,为此,需要提供一种能够更好的提高迁移攻击的成功率的技术方案。本说明书提供一种可实现的技术方案,具体可以参见下述内容。
可以通过多种不同的方式获取能够实现对目标模型进行迁移攻击的代理模型,例如,可以确定能够实现对目标模型进行迁移攻击的代理模型,然后,可以将确定的代理模型的数据提供给服务器,服务器可以获取该代理模型,或者,可以对目标模型进行分析,可以基于分析结果从模型数据库中选取与该分析结果相匹配的模型,可以将选取的模型作为能够实现对目标模型进行迁移攻击的代理模型,或者,可以对目标模型进行分析,可以基于分析结果,通过指定的算法构建与该分析结果相匹配的模型,可以使用指定的样本对该模型进行模型训练,得到训练后的模型,可以将训练后的模型作为能够实现对目标模型进行迁移攻击的代理模型等,具体可以根据实际情况设定,本说明书实施例对此不做限定。
此外,还可以通过多种不同的方式获取代理模型的原始样本,例如,可以记录代理模型训练的过程中使用的样本,可以将记录的样本作为原始样本,或者,可以将预先训练的代理模型投放到该代理模型所应用的业务中,当某用户请求该项业务时,可以获取相关数据,该相关数据为该代理模型的输入数据,可以将该相关数据作为原始样本等,具体可以根据实际情况设定,本说明书实施例对此不做限定。
在步骤S104中,对代理模型进行结构重参数化处理,得到重参数化代理模型和重参数化代理模型的第一模型权重。
其中,结构重参数化处理可以是修改已有的模型的模型结构,但不改变该模型的预测结果的处理方式,结构重参数化处理可以通过对模型中的指定网络层或其中的每个网络层中涉及的模型结构进行调整,从而得到与上述模型类似但模型结构不同的新模型,例如,可以对模型中的卷积层进行结构重参数化处理,和/或,可以对模型中的激活函数进行结构重参数化处理等,具体可以根据实际情况设定,本说明书实施例对此不做限定。
在实施中,可以对代理模型进行分析,得到相应的分析结果,可以基于该分析结果确定需要进行结构重参数化处理的网络层和/或模型参数等。然后,可以基于确定的网络层和/或模型参数等信息,对代理模型进行结构重参数化处理(需要保证可以修改模型结构,但不改变代理模型的预测结果),得到重参数化代理模型和重参数化代理模型的第一模型权重,例如,某网络层的表达式可以表示为x2+2x+5,则可以将上述表达式拆分为x2和2x+5两个部分,然后,在设计上述两部分的结果进行相加计算,从而使得最终得到的结果与原结果(即x2+2x+5对应的结果)相同,即不改变代理模型的预测结果。
在步骤S106中,基于预设的优化搜索规则、重参数化代理模型和重参数化代理模型的第一模型权重,确定重参数化代理模型对应的对抗迁移性评估结果优于预设评估基准的第二模型权重,基于第二模型权重更新重参数化代理模型,得到更新后的代理模型。
其中,优化搜索规则可以包括多种,例如,优化搜索规则可以包括贝叶斯优化搜索规则、基于梯度下降的优化搜索规则等中的一种或多种,具体可以根据实际情况设定,本说明书实施例对此不做限定。预设评估基准可以是预先设定的对模型的对抗迁移性进行评估的标准或阈值等,具体如预设评估基准可以为评估结果的评估阈值为90%或95%等,具体可以根据实际情况设定,本说明书实施例对此不做限定。
在实施中,可以将原始样本输入到重参数化代理模型中,得到相应的输出结果,可以基于该输出结果对重参数化代理模型进行向后传播,得到相应的梯度,可以采用预设的优化搜索规则搜索合适的梯度信息,进而可以基于搜索到的梯度信息确定相应的模型参数,从而得到相应的模型权重,可以使用确定的模型权重替换上述第一模型权重,进一步地,可以得到替换后的代理模型,可以对该替换后的代理模型进行对抗迁移性的评估,如果上述对抗迁移性评估的结果优于预设评估基准,则可以将上述模型权重确定第二模型权重,可以基于第二模型权重更新重参数化代理模型,得到更新后的代理模型
在步骤S108中,基于原始样本,通过更新后的代理模型,生成用于攻击目标模型的对抗样本。
其中,对抗样本是真实样本(即原始样本)经过人力无法感知的扰动后得到的样本。
在实施中,可以将原始样本输入到更新后的代理模型中,得到相应的输出数据,该输出数据可以是与原始样本对应的对抗样本,该对抗样本可以用于攻击目标模型,并且具有一定的攻击成功率(如95%或98%等)。
本说明书实施例提供一种数据处理方法,通过获取能够实现对目标模型进行迁移攻击的代理模型,以及代理模型的原始样本,然后,可以对代理模型进行结构重参数化处理,得到重参数化代理模型和重参数化代理模型的第一模型权重,基于预设的优化搜索规则、重参数化代理模型和重参数化代理模型的第一模型权重,确定重参数化代理模型对应的对抗迁移性评估结果优于预设评估基准的第二模型权重,基于第二模型权重更新重参数化代理模型,得到更新后的代理模型,最终,可以基于原始样本,通过更新后的代理模型,生成用于攻击目标模型的对抗样本,这样,通过对代理模型进行架构重参数化处理,从而不影响代理模型的精度,此外,通过优化搜索规则优化代理模型的模型结构,从而可以大大地提升对抗可迁移性,即对抗样本对于未知的目标模型的攻击成功率。
实施例二
如图2所示,本说明书实施例提供一种数据处理方法,该方法的执行主体可以为终端设备或服务器等,其中的终端设备可以如手机、平板电脑等移动终端设备,还可以如笔记本电脑或台式电脑等计算机设备,或者,也可以为IoT设备(具体如智能手表、车载设备等)等,其中的服务器可以是独立的一个服务器,还可以是由多个服务器构成的服务器集群等,该服务器可以是如金融业务或网络购物业务等的后台服务器,也可以是某应用程序的后台服务器等。本实施例中以执行主体为服务器为例进行详细说明,对于执行主体为终端设备的情况,可以参见下述服务器的情况处理,在此不再赘述。该方法具体可以包括以下步骤:
在步骤S202中,获取能够实现对目标模型进行迁移攻击的代理模型,以及代理模型的原始样本。
上述步骤S104的处理可以多种多样,以下再提供一种可选的处理方式,具体可以包括以下步骤S204和步骤S206的处理。
在步骤S204中,基于代理模型和目标模型,确定代理模型中需要进行结构重参数化处理的目标元素,该目标元素包括卷积层、批归一化BN层和激活函数中的一个或多个。
在实施中,可以分别对代理模型和目标模型进行分析,得到代理模型的分析结果和目标模型的分析结果,并可以对代理模型和目标模型的模型结构进行对比分析,得到对比分析结果,可以基于代理模型的分析结果和目标模型的分析结果,以及对比分析结果,确定代理模型与目标模型之间的相同之处和不同之处,可以基于代理模型与目标模型之间的相同之处和不同之处,确定代理模型中需要进行结构重参数化处理的目标元素。
在步骤S206中,对代理模型中的包含的目标元素进行结构重参数化处理,得到重参数化代理模型和重参数化代理模型的第一模型权重。
在实施中,如图3所示,代理模型中可以包括多个不同的块(即Block),对于每个块,可以进行向前传播(即可以依次经过代理模型中的卷积层(即图3中的Conv)、BN层和激活函数(即图3中的ReLU)等)和向后传播(即可以依次经过代理模型中的激活函数ReLU、BN层和卷积层等),从而实现对代理模型中的包含的目标元素进行结构重参数化处理,得到重参数化代理模型和重参数化代理模型的第一模型权重,处理可以参见前述相关内容,在此不要再赘述。
针对目标元素包括代理模型中的指定的卷积层的情况,上述步骤S206的处理可以多种多样,以下再提供一种可选的处理方式,具体可以包括以下步骤A2~步骤A6的处理。
在步骤A2中,根据卷积分配律,将代理模型中指定的卷积层中K×K的卷积核拆分为两个K×K的子卷积核,两个子卷积核中包括有效值设置于中间位置的第一子卷积核,K为大于或等于1的正整数。
在实施中,如图4所示,根据卷积分配律,可以将代理模型中指定的卷积层中3×3的卷积核拆分为两个3×3的子卷积核的和,其中可以包括一个周边全是0,只有中间是1的特殊的跳跃卷积核(即第一子卷积核)。
在步骤A4中,将K×K的第一子卷积核转换为1×1的第二子卷积核。
在实施中,如图4所示,对于第一子卷积核,由于其只有中间不为0,可以将其简化为1×1的第二子卷积核。
在步骤A6中,将1×1的第二子卷积核转换为求和SUM操作的数据,基于转换后的SUM操作的数据和两个子卷积核中除第一子卷积核外的另一个子卷积核,确定重参数化代理模型和重参数化代理模型的第一模型权重。
在实施中,由于卷积核中值均为1,则可以进一步将1×1的第二子卷积核化简为和SUM操作,从而得到SUM操作的数据。对于SUM操作,其向前传播的过程可以看做一种残差连接skip connection的形式,反向传播的过程中提供常数1的梯度,可以赋予其模型权重,从而控制其梯度的强度。基于上述处理,可以基于转换后的SUM操作的数据和两个子卷积核中除第一子卷积核外的另一个子卷积核,确定重参数化代理模型和重参数化代理模型的第一模型权重。通过上述方式可以实现对卷积层的结构重参数化处理,并且能控制各个算子在反向传播中梯度的强度,达到提升对抗迁移性的目的。
在实际应用中,原始样本可以包括多个,上述步骤S106的处理可以多种多样,以下再提供一种可选的处理方式,具体可以包括以下步骤S208~步骤S212的处理。
在步骤S208中,基于原始样本,通过重参数化代理模型,生成用于攻击目标模型的第一对抗样本,并基于第一对抗样本对目标模型进行攻击测试,以对重参数化代理模型进行对抗迁移性评估,得到第一对抗样本对应的攻击成功率。
在步骤S210中,如果第一对抗样本对应的攻击成功率小于预设评估基准中的攻击成功率阈值,则基于第一对抗样本对应的攻击成功率和第一模型权重,使用预设的优化搜索规则对重参数化代理模型的模型权重进行优化搜索,得到重参数化代理模型的优化权重。
其中,预设的优化搜索规则可以包括基于贝叶斯优化算法构建的优化搜索规则。
在步骤S212中,使用优化权重替换重参数化代理模型中的第一模型权重,得到替换后的代理模型,通过原始样本和替换后的代理模型对替换后的代理模型进行对抗迁移性评估,直到得到对抗迁移性评估结果优于预设评估基准的第二模型权重为止,基于第二模型权重更新重参数化代理模型,得到更新后的代理模型。
上述步骤S108的处理可以多种多样,以下再提供一种可选的处理方式,具体可以包括以下步骤S214和步骤S216的处理。
在步骤S214中,将原始样本输入到更新后的代理模型后,得到原始样本对应的扰动信息。
在步骤S216中,将得到的扰动信息嵌入到原始样本中,生成用于攻击目标模型的对抗样本。
通过上述方式得到对抗样本后,还可以通过对抗样本对目标模型进行二次训练,从而提高目标模型的预测准确度,具体可以参见下述步骤S218和步骤S220的处理。
在步骤S218中,将对抗样本输入到目标模型中,得到相应的预测结果。
在步骤S220中,基于预测结果和对抗样本对应的标签信息,通过预设的损失函数,确定相应的损失信息,基于该损失信息对目标模型的模型参数进行调整,以对目标模型进行模型训练,得到训练后的目标模型。
本说明书实施例提供一种数据处理方法,通过获取能够实现对目标模型进行迁移攻击的代理模型,以及代理模型的原始样本,然后,可以对代理模型进行结构重参数化处理,得到重参数化代理模型和重参数化代理模型的第一模型权重,基于预设的优化搜索规则、重参数化代理模型和重参数化代理模型的第一模型权重,确定重参数化代理模型对应的对抗迁移性评估结果优于预设评估基准的第二模型权重,基于第二模型权重更新重参数化代理模型,得到更新后的代理模型,最终,可以基于原始样本,通过更新后的代理模型,生成用于攻击目标模型的对抗样本,这样,通过对代理模型进行架构重参数化处理,从而不影响代理模型的精度,此外,通过优化搜索规则优化代理模型的模型结构,从而可以大大地提升对抗可迁移性,即对抗样本对于未知的目标模型的攻击成功率。
实施例三
以下结合具体的应用场景对本说明书实施例提供一种数据处理方法进行详细说明,其中的目标模型可以为用于进行面部识别的模型(以面部识别模型表示),原始样本可以为由面部图像构成的样本(以面部图像样本表示)。需要说明的是,本实施例提供的应用场景是能够实现上述实施例提供的数据处理方法的多种不同的应用场景中的一个可选应用场景,在实际应用中,除了本实施例中的面部识别的应用场景外,还可以应用于多种不同的应用场景,具体如图像分类的应用场景、图像识别的应用场景、图像检索的应用场景等,具体可以根据实际情况设定,本说明书实施例对此不做限定。
如图5所示,本说明书实施例提供一种数据处理方法,该方法的执行主体可以为终端设备或服务器等,其中的终端设备可以如手机、平板电脑等移动终端设备,还可以如笔记本电脑或台式电脑等计算机设备,或者,也可以为IoT设备(具体如智能手表、车载设备等)等,其中的服务器可以是独立的一个服务器,还可以是由多个服务器构成的服务器集群等,该服务器可以是如金融业务或网络购物业务等的后台服务器,也可以是某应用程序的后台服务器等。本实施例中以执行主体为服务器为例进行详细说明,对于执行主体为终端设备的情况,可以参见下述服务器的情况处理,在此不再赘述。该方法具体可以包括以下步骤:
在步骤S502中,获取能够实现对面部识别模型进行迁移攻击的代理模型,以及代理模型的面部图像样本。
其中,代理模型也可以是另一个用于进行面部识别的模型,还可以不是用于进行面部识别,具体可以根据实际情况设定。
在步骤S504中,基于代理模型和面部识别模型,确定代理模型中需要进行结构重参数化处理的目标元素,该目标元素包括卷积层、批归一化BN层和激活函数中的一个或多个。
在步骤S506中,对代理模型中的包含的目标元素进行结构重参数化处理,得到重参数化代理模型和重参数化代理模型的第一模型权重。
在步骤S508中,基于面部图像样本,通过重参数化代理模型,生成用于攻击面部识别模型的第一对抗样本,并基于第一对抗样本对面部识别模型进行攻击测试,以对重参数化代理模型进行对抗迁移性评估,得到第一对抗样本对应的攻击成功率。
在步骤S510中,如果第一对抗样本对应的攻击成功率小于预设评估基准中的攻击成功率阈值,则基于第一对抗样本对应的攻击成功率和第一模型权重,使用基于贝叶斯优化算法构建的优化搜索规则对重参数化代理模型的模型权重进行优化搜索,得到重参数化代理模型的优化权重。
在步骤S512中,使用优化权重替换重参数化代理模型中的第一模型权重,得到替换后的代理模型,通过面部图像样本和替换后的代理模型对替换后的代理模型进行对抗迁移性评估,直到得到对抗迁移性评估结果优于预设评估基准的第二模型权重为止。
在步骤S514中,将面部图像样本输入到更新后的代理模型后,得到面部图像样本对应的扰动信息。
在步骤S516中,将得到的扰动信息嵌入到面部图像样本中,生成用于攻击面部识别模型的对抗样本。
其中,对抗样本可以是由面部图像构成的样本。
本说明书实施例提供一种数据处理方法,通过获取能够实现对目标模型进行迁移攻击的代理模型,以及代理模型的原始样本,然后,可以对代理模型进行结构重参数化处理,得到重参数化代理模型和重参数化代理模型的第一模型权重,基于预设的优化搜索规则、重参数化代理模型和重参数化代理模型的第一模型权重,确定重参数化代理模型对应的对抗迁移性评估结果优于预设评估基准的第二模型权重,基于第二模型权重更新重参数化代理模型,得到更新后的代理模型,最终,可以基于原始样本,通过更新后的代理模型,生成用于攻击目标模型的对抗样本,这样,通过对代理模型进行架构重参数化处理,从而不影响代理模型的精度,此外,通过优化搜索规则优化代理模型的模型结构,从而可以大大地提升对抗可迁移性,即对抗样本对于未知的目标模型的攻击成功率。
实施例四
以上为本说明书实施例提供的数据处理方法,基于同样的思路,本说明书实施例还提供一种数据处理装置,如图6所示。
该数据处理装置包括:数据获取模块601、结构重参数化模块602、优化评估模块603和对抗样本生成模块604,其中:
数据获取模块601,获取能够实现对目标模型进行迁移攻击的代理模型,以及所述代理模型的原始样本;
结构重参数化模块602,对所述代理模型进行结构重参数化处理,得到重参数化代理模型和所述重参数化代理模型的第一模型权重;
优化评估模块603,基于预设的优化搜索规则、所述重参数化代理模型和所述重参数化代理模型的第一模型权重,确定所述重参数化代理模型对应的对抗迁移性评估结果优于预设评估基准的第二模型权重,基于所述第二模型权重更新所述重参数化代理模型,得到更新后的代理模型;
对抗样本生成模块604,基于所述原始样本,通过所述更新后的代理模型,生成用于攻击所述目标模型的对抗样本。
本说明书实施例中,所述结构重参数化模块602,包括:
元素确定单元,基于所述代理模型和所述目标模型,确定所述代理模型中需要进行结构重参数化处理的目标元素,所述目标元素包括卷积层、批归一化BN层和激活函数中的一个或多个;
结构重参数化单元,对所述代理模型中的包含的所述目标元素进行结构重参数化处理,得到重参数化代理模型和所述重参数化代理模型的第一模型权重。
本说明书实施例中,所述目标元素包括所述代理模型中的指定的卷积层,所述结构重参数化单元,根据卷积分配律,将所述代理模型中指定的卷积层中K×K的卷积核拆分为两个K×K的子卷积核,两个所述子卷积核中包括有效值设置于中间位置的第一子卷积核,所述K为大于或等于1的正整数;将K×K的第一子卷积核转换为1×1的第二子卷积核;将所述1×1的第二子卷积核转换为求和SUM操作的数据,基于转换后的SUM操作的数据和所述两个所述子卷积核中除所述第一子卷积核外的另一个子卷积核,确定重参数化代理模型和所述重参数化代理模型的第一模型权重。
本说明书实施例中,所述原始样本包括多个,所述优化评估模块603,包括:
第一评估单元,基于所述原始样本,通过所述重参数化代理模型,生成用于攻击所述目标模型的第一对抗样本,并基于所述第一对抗样本对所述目标模型进行攻击测试,以对所述重参数化代理模型进行对抗迁移性评估,得到所述第一对抗样本对应的攻击成功率;
优化搜索单元,如果所述第一对抗样本对应的攻击成功率小于所述预设评估基准中的攻击成功率阈值,则基于所述第一对抗样本对应的攻击成功率和所述第一模型权重,使用预设的优化搜索规则对所述重参数化代理模型的模型权重进行优化搜索,得到所述重参数化代理模型的优化权重;
第二评估单元,使用所述优化权重替换所述重参数化代理模型中的所述第一模型权重,得到替换后的代理模型,通过所述原始样本和所述替换后的代理模型对所述替换后的代理模型进行对抗迁移性评估,直到得到对抗迁移性评估结果优于预设评估基准的第二模型权重为止。
本说明书实施例中,所述预设的优化搜索规则包括基于贝叶斯优化算法构建的优化搜索规则。
本说明书实施例中,所述对抗样本生成模块604,包括:
扰动信息确定单元,将所述原始样本输入到所述更新后的代理模型后,得到所述原始样本对应的扰动信息;
对抗样本生成单元,将得到的扰动信息嵌入到所述原始样本中,生成用于攻击所述目标模型的对抗样本。
本说明书实施例中,所述原始样本为由面部图像构成的样本,所述目标模型为用于进行面部识别的模型。
本说明书实施例中,所述装置还包括:
预测模块,将所述对抗样本输入到所述目标模型中,得到相应的预测结果;
训练模块,基于所述预测结果和所述对抗样本对应的标签信息,通过预设的损失函数,确定相应的损失信息,基于所述损失信息对所述目标模型的模型参数进行调整,以对所述目标模型进行模型训练,得到训练后的目标模型。
本说明书实施例提供一种数据处理装置,通过获取能够实现对目标模型进行迁移攻击的代理模型,以及代理模型的原始样本,然后,可以对代理模型进行结构重参数化处理,得到重参数化代理模型和重参数化代理模型的第一模型权重,基于预设的优化搜索规则、重参数化代理模型和重参数化代理模型的第一模型权重,确定重参数化代理模型对应的对抗迁移性评估结果优于预设评估基准的第二模型权重,基于第二模型权重更新重参数化代理模型,得到更新后的代理模型,最终,可以基于原始样本,通过更新后的代理模型,生成用于攻击目标模型的对抗样本,这样,通过对代理模型进行架构重参数化处理,从而不影响代理模型的精度,此外,通过优化搜索规则优化代理模型的模型结构,从而可以大大地提升对抗可迁移性,即对抗样本对于未知的目标模型的攻击成功率。
实施例五
以上为本说明书实施例提供的数据处理装置,基于同样的思路,本说明书实施例还提供一种数据处理设备,如图7所示。
所述数据处理设备可以为上述实施例提供终端设备或服务器等。
数据处理设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上的处理器701和存储器702,存储器702中可以存储有一个或一个以上存储应用程序或数据。其中,存储器702可以是短暂存储或持久存储。存储在存储器702的应用程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括对数据处理设备中的一系列计算机可执行指令。更进一步地,处理器701可以设置为与存储器702通信,在数据处理设备上执行存储器702中的一系列计算机可执行指令。数据处理设备还可以包括一个或一个以上电源703,一个或一个以上有线或无线网络接口704,一个或一个以上输入输出接口705,一个或一个以上键盘706。
具体在本实施例中,数据处理设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对数据处理设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
获取能够实现对目标模型进行迁移攻击的代理模型,以及所述代理模型的原始样本;
对所述代理模型进行结构重参数化处理,得到重参数化代理模型和所述重参数化代理模型的第一模型权重;
基于预设的优化搜索规则、所述重参数化代理模型和所述重参数化代理模型的第一模型权重,确定所述重参数化代理模型对应的对抗迁移性评估结果优于预设评估基准的第二模型权重,基于所述第二模型权重更新所述重参数化代理模型,得到更新后的代理模型;
基于所述原始样本,通过所述更新后的代理模型,生成用于攻击所述目标模型的对抗样本。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于数据处理设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书实施例提供一种数据处理设备,通过获取能够实现对目标模型进行迁移攻击的代理模型,以及代理模型的原始样本,然后,可以对代理模型进行结构重参数化处理,得到重参数化代理模型和重参数化代理模型的第一模型权重,基于预设的优化搜索规则、重参数化代理模型和重参数化代理模型的第一模型权重,确定重参数化代理模型对应的对抗迁移性评估结果优于预设评估基准的第二模型权重,基于第二模型权重更新重参数化代理模型,得到更新后的代理模型,最终,可以基于原始样本,通过更新后的代理模型,生成用于攻击目标模型的对抗样本,这样,通过对代理模型进行架构重参数化处理,从而不影响代理模型的精度,此外,通过优化搜索规则优化代理模型的模型结构,从而可以大大地提升对抗可迁移性,即对抗样本对于未知的目标模型的攻击成功率。
实施例六
进一步地,基于上述图1到图5所示的方法,本说明书一个或多个实施例还提供了一种存储介质,用于存储计算机可执行指令信息,一种具体的实施例中,该存储介质可以为U盘、光盘、硬盘等,该存储介质存储的计算机可执行指令信息在被处理器执行时,能实现以下流程:
获取能够实现对目标模型进行迁移攻击的代理模型,以及所述代理模型的原始样本;
对所述代理模型进行结构重参数化处理,得到重参数化代理模型和所述重参数化代理模型的第一模型权重;
基于预设的优化搜索规则、所述重参数化代理模型和所述重参数化代理模型的第一模型权重,确定所述重参数化代理模型对应的对抗迁移性评估结果优于预设评估基准的第二模型权重,基于所述第二模型权重更新所述重参数化代理模型,得到更新后的代理模型;
基于所述原始样本,通过所述更新后的代理模型,生成用于攻击所述目标模型的对抗样本。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于上述一种存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书实施例提供一种存储介质,通过获取能够实现对目标模型进行迁移攻击的代理模型,以及代理模型的原始样本,然后,可以对代理模型进行结构重参数化处理,得到重参数化代理模型和重参数化代理模型的第一模型权重,基于预设的优化搜索规则、重参数化代理模型和重参数化代理模型的第一模型权重,确定重参数化代理模型对应的对抗迁移性评估结果优于预设评估基准的第二模型权重,基于第二模型权重更新重参数化代理模型,得到更新后的代理模型,最终,可以基于原始样本,通过更新后的代理模型,生成用于攻击目标模型的对抗样本,这样,通过对代理模型进行架构重参数化处理,从而不影响代理模型的精度,此外,通过优化搜索规则优化代理模型的模型结构,从而可以大大地提升对抗可迁移性,即对抗样本对于未知的目标模型的攻击成功率。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书一个或多个实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本说明书的实施例可提供为方法、系统、或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书的实施例是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程欺诈案例的串并设备的处理器以产生一个机器,使得通过计算机或其他可编程欺诈案例的串并设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程欺诈案例的串并设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程欺诈案例的串并设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。

Claims (10)

1.一种数据处理方法,所述方法包括:
获取能够实现对目标模型进行迁移攻击的代理模型,以及所述代理模型的原始样本;
对所述代理模型进行结构重参数化处理,得到重参数化代理模型和所述重参数化代理模型的第一模型权重;
基于预设的优化搜索规则、所述重参数化代理模型和所述重参数化代理模型的第一模型权重,确定所述重参数化代理模型对应的对抗迁移性评估结果优于预设评估基准的第二模型权重,基于所述第二模型权重更新所述重参数化代理模型,得到更新后的代理模型;
基于所述原始样本,通过所述更新后的代理模型,生成用于攻击所述目标模型的对抗样本。
2.根据权利要求1所述的方法,所述对所述代理模型进行结构重参数化处理,得到重参数化代理模型和所述重参数化代理模型的第一模型权重,包括:
基于所述代理模型和所述目标模型,确定所述代理模型中需要进行结构重参数化处理的目标元素,所述目标元素包括卷积层、批归一化BN层和激活函数中的一个或多个;
对所述代理模型中的包含的所述目标元素进行结构重参数化处理,得到重参数化代理模型和所述重参数化代理模型的第一模型权重。
3.根据权利要求2所述的方法,所述目标元素包括所述代理模型中的指定的卷积层,所述对所述代理模型中的包含的所述目标元素进行结构重参数化处理,得到重参数化代理模型和所述重参数化代理模型的第一模型权重,包括:
根据卷积分配律,将所述代理模型中指定的卷积层中K×K的卷积核拆分为两个K×K的子卷积核,两个所述子卷积核中包括有效值设置于中间位置的第一子卷积核,所述K为大于或等于1的正整数;
将K×K的第一子卷积核转换为1×1的第二子卷积核;
将所述1×1的第二子卷积核转换为求和SUM操作的数据,基于转换后的SUM操作的数据和所述两个所述子卷积核中除所述第一子卷积核外的另一个子卷积核,确定重参数化代理模型和所述重参数化代理模型的第一模型权重。
4.根据权利要求1所述的方法,所述原始样本包括多个,所述基于预设的优化搜索规则、所述重参数化代理模型和所述重参数化代理模型的第一模型权重,确定所述重参数化代理模型对应的对抗迁移性评估结果优于预设评估基准的第二模型权重,包括:
基于所述原始样本,通过所述重参数化代理模型,生成用于攻击所述目标模型的第一对抗样本,并基于所述第一对抗样本对所述目标模型进行攻击测试,以对所述重参数化代理模型进行对抗迁移性评估,得到所述第一对抗样本对应的攻击成功率;
如果所述第一对抗样本对应的攻击成功率小于所述预设评估基准中的攻击成功率阈值,则基于所述第一对抗样本对应的攻击成功率和所述第一模型权重,使用预设的优化搜索规则对所述重参数化代理模型的模型权重进行优化搜索,得到所述重参数化代理模型的优化权重;
使用所述优化权重替换所述重参数化代理模型中的所述第一模型权重,得到替换后的代理模型,通过所述原始样本和所述替换后的代理模型对所述替换后的代理模型进行对抗迁移性评估,直到得到对抗迁移性评估结果优于预设评估基准的第二模型权重为止。
5.根据权利要求4所述的方法,所述预设的优化搜索规则包括基于贝叶斯优化算法构建的优化搜索规则。
6.根据权利要求1所述的方法,所述基于所述原始样本,通过所述更新后的代理模型,生成用于攻击所述目标模型的对抗样本,包括:
将所述原始样本输入到所述更新后的代理模型后,得到所述原始样本对应的扰动信息;
将得到的扰动信息嵌入到所述原始样本中,生成用于攻击所述目标模型的对抗样本。
7.根据权利要求6所述的方法,所述原始样本为由面部图像构成的样本,所述目标模型为用于进行面部识别的模型。
8.根据权利要求7所述的方法,所述方法还包括:
将所述对抗样本输入到所述目标模型中,得到相应的预测结果;
基于所述预测结果和所述对抗样本对应的标签信息,通过预设的损失函数,确定相应的损失信息,基于所述损失信息对所述目标模型的模型参数进行调整,以对所述目标模型进行模型训练,得到训练后的目标模型。
9.一种数据处理装置,所述装置包括:
数据获取模块,获取能够实现对目标模型进行迁移攻击的代理模型,以及所述代理模型的原始样本;
结构重参数化模块,对所述代理模型进行结构重参数化处理,得到重参数化代理模型和所述重参数化代理模型的第一模型权重;
优化评估模块,基于预设的优化搜索规则、所述重参数化代理模型和所述重参数化代理模型的第一模型权重,确定所述重参数化代理模型对应的对抗迁移性评估结果优于预设评估基准的第二模型权重,基于所述第二模型权重更新所述重参数化代理模型,得到更新后的代理模型;
对抗样本生成模块,基于所述原始样本,通过所述更新后的代理模型,生成用于攻击所述目标模型的对抗样本。
10.一种数据处理设备,所述数据处理设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:
获取能够实现对目标模型进行迁移攻击的代理模型,以及所述代理模型的原始样本;
对所述代理模型进行结构重参数化处理,得到重参数化代理模型和所述重参数化代理模型的第一模型权重;
基于预设的优化搜索规则、所述重参数化代理模型和所述重参数化代理模型的第一模型权重,确定所述重参数化代理模型对应的对抗迁移性评估结果优于预设评估基准的第二模型权重,基于所述第二模型权重更新所述重参数化代理模型,得到更新后的代理模型;
基于所述原始样本,通过所述更新后的代理模型,生成用于攻击所述目标模型的对抗样本。
CN202310648022.8A 2023-06-02 2023-06-02 一种数据处理方法、装置及设备 Pending CN116702131A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310648022.8A CN116702131A (zh) 2023-06-02 2023-06-02 一种数据处理方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310648022.8A CN116702131A (zh) 2023-06-02 2023-06-02 一种数据处理方法、装置及设备

Publications (1)

Publication Number Publication Date
CN116702131A true CN116702131A (zh) 2023-09-05

Family

ID=87833346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310648022.8A Pending CN116702131A (zh) 2023-06-02 2023-06-02 一种数据处理方法、装置及设备

Country Status (1)

Country Link
CN (1) CN116702131A (zh)

Similar Documents

Publication Publication Date Title
CN109214193B (zh) 数据加密、机器学习模型训练方法、装置以及电子设备
CN112200132B (zh) 一种基于隐私保护的数据处理方法、装置及设备
CN116049761A (zh) 数据处理方法、装置及设备
CN114819614A (zh) 数据处理方法、装置、系统及设备
CN113792889B (zh) 一种模型的更新方法、装置及设备
CN113221717B (zh) 一种基于隐私保护的模型构建方法、装置及设备
CN112116700B (zh) 基于单目视图的三维重建方法与装置
CN117252250A (zh) 大模型预训练方法及装置
CN116308738B (zh) 一种模型训练的方法、业务风控的方法及装置
CN116702131A (zh) 一种数据处理方法、装置及设备
CN111241395B (zh) 认证服务的推荐方法及装置
CN112967044A (zh) 一种支付业务的处理方法及装置
CN115982757B (zh) 一种模型的隐私保护程度的确定方法、装置及设备
CN116109008B (zh) 一种业务执行的方法、装置、存储介质及电子设备
CN114662706B (zh) 一种模型训练方法、装置及设备
CN111275445B (zh) 一种数据的处理方法、装置及设备
CN117350351B (zh) 用户响应预测系统的训练方法、用户响应预测方法及装置
CN116451802A (zh) 一种模型的处理方法、装置及设备
CN116681834A (zh) 一种对抗点云的构建方法、装置及设备
CN117709481A (zh) 一种强化学习方法、装置及设备
CN117093863A (zh) 一种模型的处理方法、装置及设备
CN116029441A (zh) 一种数据处理方法、装置及设备
CN117910542A (zh) 用户转化预测模型训练方法及装置
CN116186607A (zh) 一种模型的处理方法、装置及设备
CN117494663A (zh) 文本处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination