CN112926678B - 模型相似度确定方法及装置 - Google Patents

模型相似度确定方法及装置 Download PDF

Info

Publication number
CN112926678B
CN112926678B CN202110322494.5A CN202110322494A CN112926678B CN 112926678 B CN112926678 B CN 112926678B CN 202110322494 A CN202110322494 A CN 202110322494A CN 112926678 B CN112926678 B CN 112926678B
Authority
CN
China
Prior art keywords
image
disturbance
image recognition
recognition model
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110322494.5A
Other languages
English (en)
Other versions
CN112926678A (zh
Inventor
邱伟峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202110322494.5A priority Critical patent/CN112926678B/zh
Publication of CN112926678A publication Critical patent/CN112926678A/zh
Application granted granted Critical
Publication of CN112926678B publication Critical patent/CN112926678B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例提供一种模型相似度确定方法及装置,在模型相似度确定方法中,先利用对抗样本生成算法,针对输入图像,生成用于攻击本地图像识别模型的对抗图像,以获取一个扰动方向和扰动量。之后,沿着这个扰动方向寻找一组目标方向,其中,在每个目标方向上,对输入图像施加上述扰动量后可以对本地图像识别模型攻击成功。接着,针对一组目标方向中任意的第一方向,分别确定输入图像在该第一方向上可对第一和第二图像识别模型攻击成功时,针对输入图像所需施加的第一和第二扰动量。最后,根据针对一组目标方向中各方向分别确定的第一和第二扰动量,确定第一和第二图像识别模型的相似度。

Description

模型相似度确定方法及装置
技术领域
本说明书一个或多个实施例涉及计算机技术领域,尤其涉及一种模型相似度确定方法及装置。
背景技术
在多数情况下,服务提供方在对外提供服务之前,会预先训练多个能提供相同或相似功能的模型。之后,从中选取一个性能较好的模型来对外提供服务,其它训练好的模型则可以备份使用或者在服务提供方内部使用。
应理解,对外提供服务的模型(简称对外模型)可能会存在被攻击的可能,比如,攻击者可能会对对外模型进行模型窃取攻击,或者也可能会对对外模型进行对抗攻击等。而在对外模型被攻击成功的情况下,服务提供方往往需要评估其它模型(即备份或内部使用的模型)被攻击成功的可能性,或者说,评估其它模型的鲁棒性。
发明内容
本说明书一个或多个实施例描述了一种模型相似度确定方法及装置,可以准确地确定出模型之间的相似度。
第一方面,提供了一种模型相似度确定方法,包括:
利用对抗样本生成算法,针对输入图像,生成用于攻击本地图像识别模型的对抗图像,所述对抗图像相对于所述输入图像,在特定方向施加有目标扰动量的扰动;
基于所述特定方向,寻找一组目标方向;其中,在所述一组目标方向的每个方向上,对所述输入图像施加所述目标扰动量的扰动后,得到的扰动图像可对所述本地图像识别模型攻击成功;
针对所述一组目标方向中任意的第一方向,分别确定所述输入图像在所述第一方向上可对非本地的第一和第二图像识别模型攻击成功时,针对所述输入图像所需施加的第一和第二扰动量;其中,所述第一和第二图像识别模型与所述本地图像识别模型具有相同或相似功能;
根据针对所述一组目标方向中各方向分别确定的第一扰动量和第二扰动量,确定所述第一和第二图像识别模型的相似度。
第二方面,提供了一种模型相似度确定装置,包括:
生成单元,用于利用对抗样本生成算法,针对输入图像,生成用于攻击本地图像识别模型的对抗图像,所述对抗图像相对于所述输入图像,在特定方向施加有目标扰动量的扰动;
查找单元,用于基于所述特定方向,寻找一组目标方向;其中,在所述一组目标方向的每个方向上,对所述输入图像施加所述目标扰动量的扰动后,得到的扰动图像可对所述本地图像识别模型攻击成功;
确定单元,用于针对所述一组目标方向中任意的第一方向,分别确定所述输入图像在所述第一方向上可对非本地的第一和第二图像识别模型攻击成功时,针对所述输入图像所需施加的第一和第二扰动量;其中,所述第一和第二图像识别模型与所述本地图像识别模型具有相同或相似功能;
所述确定单元,还用于根据针对所述一组目标方向中各方向分别确定的第一扰动量和第二扰动量,确定所述第一和第二图像识别模型的相似度。
第三方面,提供了一种计算机存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行第一方面的方法。
第四方面,提供了一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现第一方面的方法。
本说明书一个或多个实施例提供的模型相似度确定方法及装置,先利用对抗样本生成算法,针对输入图像,生成用于攻击本地图像识别模型的对抗图像,以获取一个扰动方向和扰动量。之后,沿着这个扰动方向寻找一组目标方向,其中,在每个目标方向上,对输入图像施加上述扰动量后可以对本地图像识别模型攻击成功。接着,针对一组目标方向中任意的第一方向,分别确定输入图像在该第一方向上可对第一和第二图像识别模型攻击成功时,针对输入图像所需施加的第一和第二扰动量。最后,根据针对一组目标方向中各方向分别确定的第一和第二扰动量,确定第一和第二图像识别模型的相似度。也就是说,本方案通过在各个可能对非本地的两个模型攻击成功的方向上,确定出针对输入图像所需施加的不同的扰动量,并以此来确定两个模型的相似度。该相似度可以用于在两个模型中的一个模型被攻击成功时,评估另一个模型的鲁棒性。
附图说明
为了更清楚地说明本说明书实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本说明书提供的样本决策边界示意图;
图2为本说明书一个实施例提供的实施场景示意图;
图3为本说明书一个实施例提供的模型相似度确定方法流程图;
图4为本说明书提供的特定方向和候选方向示意图;
图5为本说明书提供的第一和第二扰动量的差值示意图;
图6为本说明书一个实施例提供的模型相似度确定装置示意图。
具体实施方式
下面结合附图,对本说明书提供的方案进行描述。
为解决在具有相同或者相似功能的两个模型中的一个模型被攻击成功时,另一个模型的鲁棒性评估问题。本申请的发明人提出,基于两个模型的样本决策边界的差异性,确定两个模型的相似度,之后基于该相似度评估模型的鲁棒性。
图1为本说明书提供的样本决策边界示意图。图1中,整个二维空间可以看作是样本空间,“×”代表样本空间中一种类别的样本,“○”代表样本空间中另一种类别的样本。从图中可以看出,样本决策边界为样本空间中的曲线,其用于划分样本空间中两种不同类别的样本。即位于样本决策边界一侧的所有样本(如,“×”代表的各样本),模型会将其识别为一个类别,位于另一侧的所有样本(如,“○”代表的各样本),模型会将其识别为另一个类别。
需要说明,对于图1中灰色标出的圆圈,假设针对其在箭头示出的方向上施加一定扰动量之后,可以得到虚线圆圈。由于该虚线圆圈挪到了样本决策边界的另一侧,也即模型将其误识别为另一个类别,从而可以认为该虚线圆圈代表的样本对模型攻击成功。在本说明书中,将虚线圆圈代表的样本称为对抗样本,即其用于攻击模型。应理解,使用对抗样本对模型的攻击可以称为对抗攻击。
还需要说明,本说明书提供的方案,就是通过在各个可能对非本地的两个模型攻击成功的方向上,确定出输入图像能够攻击成功该两个模型时,针对输入图像所需施加的不同的扰动量,并以此来确定两个模型的样本决策边界的差异性,进而确定出两个模型的相似度。
图2为本说明书一个实施例提供的实施场景示意图。图2中,服务提供方的开发团队同时训练得到两个图像识别模型:第一和第二图像识别模型,其中,第一图像识别模型用于通过对应的服务接口对外提供服务,比如,人脸识别服务或图像分类服务。第二图像识别模型用于备份使用或内部使用。
图2中,第一图像识别模型可能会存在被攻击的可能。而在第一图像识别模型被攻击成功的情况下,服务提供方往往需要评估第二图像识别模型被攻击成功的可能性,或者说,评估第二图像识别模型的鲁棒性。
通常情况下,第二图像识别模型的鲁棒性由测试团队来评估。然而考虑到保密性和安全性等方面的要求,开发团队并不会直接将上述两个模型提供给测试团队。为此,测试团队会获取一个开源的图像识别模型作为本地模型,并基于该本地模型先确定上述两个模型的相似度,之后基于该相似度,对第二图像识别模型的鲁棒性进行评估。
以下对上述第一和第二图像识别模型的相似度的确定方法进行说明。
图3为本说明书一个实施例提供的模型相似度确定方法流程图。所述方法的执行主体可以为具有处理能力的设备:服务器或者系统或者装置。如图3所示,该方法可以包括:
步骤302,利用对抗样本生成算法,针对输入图像,生成用于攻击本地图像识别模型的对抗图像。
这里的本地图像识别模型可以为预先训练的图像识别模型。在一个例子中,该本地图像识别模型具体为人脸识别模型,输入图像可以为人脸图像。在另一个例子中,该本地图像识别模型也可以为图像分类模型,输入图像为待分类图像。
这里的对抗样本生成算法可以包括以下之一:快速梯度符号下降法(FastGradient Sign Method,FGSM)、映射式梯度下降法(Project Gradient Descent,PGD)以及动量迭代快速梯度符号下降法MI_FGSM等。
以FGSM为例来说,其生成对抗图像的公式可以表示如下:
Figure BDA0002993342610000051
其中,x’为对抗图像,x为输入图像,y为输入图像的标签。ε为步长(也称扰动量),sign()为符号函数,J(x,y)为损失函数,其基于输入图像、对应标签以及本地图像识别模型的参数计算得到。
Figure BDA0002993342610000052
表示损失函数对输入图像求导。应理解,针对该求导结果,再使用符号函数之后就可以得到具体的梯度方向。这里的梯度方向即为输入图像的扰动方向。
总之,本说明书所述的对抗图像相对于输入图像,在特定方向(即损失函数对输入图像求导之后的梯度方向)施加有目标扰动量(即ε)的扰动。
需要说明,为了提高模型相似度的准确性,可以针对多张输入图像分别生成对应的对抗图像,从而得到多张对抗图像。这里,多张对抗图像相对于各自的输入图像所施加扰动的特定方向和扰动量可不同,但多张输入图像的对抗图像的生成方法相类似,比如,均可以基于公式1来生成,本说明书在此不复赘述。
步骤304,基于上述特定方向,寻找一组目标方向。
这里可以是基于每张输入图像的特定方向,寻找对应的一组目标方向。由于各张输入图像各自的一组目标方向的寻找过程相类似,因此,以下以寻找一张输入图像的目标方向为例进行说明。
具体可以包括:步骤a,可以基于特定方向,构造相互正交的若干候选方向,其中,各候选方向与特定方向的夹角相同。步骤b,对各候选方向中的每个候选方向,判断在该候选方向上,对输入图像施加上述目标扰动量后,对应的扰动图像是否对本地图像识别模型攻击成功,若是,则将该候选方向作为一个目标方向;否则,舍弃该候选方向。
首先,在步骤a,之所以构造相互正交的若干候选方向,是为了尝试各种可能对本地图像识别模型攻击成功的方向。此外,各候选方向与特定方向的夹角相同的约束条件是为了确保各候选方向与特定方向相接近,由此来提升攻击成功的可能性。应理解,在将特定方向和各候选方向分别看作是单位矢量时,对各候选方向进行求平均之后可以得到特定方向。当然,这里只是列出了一种构造候选方向的方法。在实际应用中,也可以通过对特定方向进行旋转来得到各候选方向,本说明书对此不作限定。
在一个例子中,当某输入图像通过三维向量来表示时,对应的特定方向以及确定的一组候选方向可以如图4所示。图4中,实线箭头用于表示特定方向,其可以位于正方体的体对角线上。三个虚线箭头用于表示三个候选方向,分别位于正方体的三条边上。在图4中,各候选方向与特定方向的夹角为60度。
接着,在步骤b,判断对应的扰动图像是否对本地图像识别模型攻击成功,可以是指在将对应的扰动图像输入本地图像识别模型之后,模型输出的识别结果是否与输入图像的标定标签相一致,若是,则表示没有对本地图像识别模型攻击成功,否则表示对本地图像识别模型攻击成功。
总之,上述步骤304就是为了针对多张输入图像中的每张输入图像,寻找对应的一组目标方向。以一张输入图像为例来说,在对应的一组目标方向的每个方向上,对该输入图像施加对应扰动量的扰动后,得到的扰动图像可对本地图像识别模型攻击成功。换句话说,本地图像识别模型针对扰动图像的识别结果错误。
步骤306,针对一组目标方向中任意的第一方向,分别确定输入图像在第一方向上可对非本地的第一和第二图像识别模型攻击成功时,针对输入图像所需施加的第一和第二扰动量。
这里的第一和第二图像识别模型与上述本地图像识别模型具有相同或相似功能。如,均用于进行人脸识别或者均用于进行图像分类。具体地,第一图像识别模型用于通过对应的服务接口对外提供服务,比如,人脸识别服务或图像分类服务。第二图像识别模型用于备份使用或内部使用。
需要说明,由于上述第一扰动量和第二扰动量的确定方法相类似,因此以下以第一扰动量的确定方法为例进行说明。
在一个示例中,可以采用穷举搜索算法,确定输入图像在第一方向上可对第一图像识别模型攻击成功时,针对输入图像所需施加的第一扰动量。
比如,将输入图像作为初始的当前图像,基于当前图像执行多次迭代,其中任意的一次迭代包括:在第一方向上,对当前图像施加预定步长的扰动量。基于扰动后的当前图像访问第一图像识别模型,以获取第一图形识别模型对扰动后的当前图像的识别结果。若识别结果与输入图像的标定标签相一致,则将扰动后的当前图像作为更新的当前图像用于下一次迭代,否则结束。在迭代结束后,将在第一方向上,当前图像相对于输入图像的扰动增加量确定为第一扰动量。
需要说明,上述只是示例性地给出一种确定第一扰动量的方法,在实际应用中,还可以采用其它搜索算法来确定第一扰动量,本说明书对此不作限定。
应理解,通过上述迭代的步骤,可以确定出在对第一图像识别模型攻击成功时,针对一张输入图像在第一方向上施加的第一扰动量,类似地,可以确定出针对该输入图像在其它方向上施加的各第一扰动量。以及可以确定出在对第二图像识别模型攻击成功时,针对一张输入图像在各目标方向上施加的各第二扰动量。还可以确定出在对第一和第二图像识别模型攻击成功时,针对其它输入图像在各目标方向上分别施加的各第一和第二扰动量。
步骤308,根据针对一组目标方向中各方向分别确定的第一扰动量和第二扰动量,确定第一和第二图像识别模型的相似度。
以一张输入图像为例来说,对针对对应的一组目标方向中每个方向分别确定的第一扰动量和第二扰动量进行求差,可以得到对应于各目标方向的多个差值。对该多个差值进行求平均或者求加权平均,所得到对应于该输入图像的平均值可以用于衡量第一和第二图像识别模型的样本决策边界的局部差异性。或者说,可以用于衡量第一和第二图像识别模型的局部相似性。
应理解,在对对应于各输入图像的各平均值再次汇总(比如,求平均或者求加权平均)之后,所得到的汇总结果可以用于衡量第一和第二图像识别模型的整体相似性。
还需要说明,在第一图像识别模型受到攻击时,本说明书所确定的第一和第二图像识别模型的相似度,可以用于评估第二图像识别模型的鲁棒性。比如,相似度越低,则第二图像识别模型的鲁棒性越好;而相似度越高,则第二图像识别模型的鲁棒性越差。
图5为本说明书提供的第一和第二扰动量的差值示意图。图5中,两条曲线分别代表第一和第二图像识别模型各自的样本决策边界,三条虚线分别代表三个目标方向,分别位于三条虚线上的三个双向箭头用于表示三个差值。这里的三个差值是基于在对第一和第二图像识别模型攻击成功时,针对对灰色示出的圆圈代表的输入图像,在三个目标方向上分别施加的各第一扰动量和各第二扰动量计算得到。
从图5可以看出,在水平的目标方向上,攻击成功细曲线代表的模型比攻击成功粗曲线代表的模型需要的扰动量更大,从而可以认为在该方向上,细曲线代表的模型更加鲁棒。因此,如果利用细曲线代表的模型生成的对抗样本沿着水平的目标方向,能够攻击成功粗曲线代表的模型。
综上,本说明书实施例提供的模型相似度确定方法,可以利用一组正交的目标方向来探索模型的对抗样本空间,从而可以比较完整的刻画模型的样本决策边界。此外,本方案可应用于在两个具有相同或相似功能的模型中的一个模型受到攻击时,对另一模型的鲁棒性进行评估。
与上述模型相似度确定方法对应地,本说明书一个实施例还提供的一种模型相似度确定装置,如图6所示,该装置可以包括:
生成单元602,用于利用对抗样本生成算法,针对输入图像,生成用于攻击本地图像识别模型的对抗图像,该对抗图像相对于输入图像,在特定方向施加有目标扰动量的扰动。
其中,对抗样本生成算法包括以下之一:快速梯度符号下降法FGSM、映射式梯度下降法PGD以及动量迭代快速梯度符号下降法MI_FGSM。
查找单元604,用于基于特定方向,寻找一组目标方向。其中,在所一组目标方向的每个方向上,对输入图像施加目标扰动量的扰动后,得到的扰动图像可对本地图像识别模型攻击成功。
查找单元604包括:
构造模块6042,用于基于特定方向,构造相互正交的若干候选方向。其中,各候选方向与特定方向的夹角相同。
判断模块6044,用于对各候选方向中的每个候选方向,判断在该候选方向上,对输入图像施加目标扰动量后,对应的扰动图像是否对本地图像识别模型攻击成功,若是,则将该候选方向作为一个目标方向;否则,舍弃该候选方向。
确定单元606,用于针对一组目标方向中任意的第一方向,分别确定输入图像在第一方向上可对非本地的第一和第二图像识别模型攻击成功时,针对输入图像所需施加的第一和第二扰动量。其中,第一和第二图像识别模型与本地图像识别模型具有相同或相似功能。
其中,第一图像识别模型用于通过对应的服务接口对外提供服务,第二图像识别模型用于备份使用或内部使用,上述相似度用于在第一图像识别模型受到攻击时,评估第二图像识别模型的鲁棒性。
确定单元606具体用于:
采用穷举搜索算法,确定输入图像在第一方向上可对第一图像识别模型攻击成功时,针对输入图像所需施加的第一扰动量。
确定单元606还具体用于:
将输入图像作为初始的当前图像,基于当前图像执行多次迭代,其中任意的一次迭代包括:
在第一方向上,对当前图像施加预定步长的扰动量;
基于扰动后的当前图像访问第一图像识别模型,以获取第一图像识别模型对扰动后的当前图像的识别结果;
若识别结果与输入图像的标定标签相一致,则将扰动后的当前图像作为更新的当前图像用于下一次迭代,否则结束;
在迭代结束后,将在第一方向上,当前图像相对于输入图像的扰动增加量确定为第一扰动量。
确定单元606,还用于根据针对一组目标方向中各方向分别确定的第一扰动量和第二扰动量,确定第一和第二图像识别模型的相似度。
确定单元606还具体用于:
对针对一组目标方向中每个方向分别确定的第一扰动量和第二扰动量进行求差,得到多个差值;
对多个差值进行求平均或者求加权平均,根据得到的平均值,确定第一和第二图像识别模型的相似度。
在一个例子中,上述输入图像为人脸图像,上述本地图像识别模型以及第一和第二图像识别模型用于针对人脸进行识别。
本说明书上述实施例装置的各功能模块的功能,可以通过上述方法实施例的各步骤来实现,因此,本说明书一个实施例提供的装置的具体工作过程,在此不复赘述。
本说明书一个实施例提供的模型相似度确定装置,可以准确地确定出模型之间的相似度。
根据另一方面的实施例,还提供一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行结合图3所描述的方法。
根据再一方面的实施例,还提供一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现结合图3所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
结合本说明书公开内容所描述的方法或者算法的步骤可以硬件的方式来实现,也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成,软件模块可以被存放于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外,该ASIC可以位于服务器中。当然,处理器和存储介质也可以作为分立组件存在于服务器中。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以上所述的具体实施方式,对本说明书的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本说明书的具体实施方式而已,并不用于限定本说明书的保护范围,凡在本说明书的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本说明书的保护范围之内。

Claims (18)

1.一种模型相似度确定方法,包括:
利用对抗样本生成算法,针对输入图像,生成用于攻击本地图像识别模型的对抗图像,所述对抗图像相对于所述输入图像,在特定方向施加有目标扰动量的扰动;
基于所述特定方向,寻找一组目标方向;其中,在所述一组目标方向的每个方向上,对所述输入图像施加所述目标扰动量的扰动后,得到的扰动图像可对所述本地图像识别模型攻击成功;
针对所述一组目标方向中任意的第一方向,分别确定所述输入图像在所述第一方向上可对非本地的第一和第二图像识别模型攻击成功时,针对所述输入图像所需施加的第一和第二扰动量;其中,所述第一和第二图像识别模型与所述本地图像识别模型具有相同或相似功能;
根据针对所述一组目标方向中各方向分别确定的第一扰动量和第二扰动量,确定所述第一和第二图像识别模型的相似度。
2.根据权利要求1所述的方法,所述第一图像识别模型用于通过对应的服务接口对外提供服务,所述第二图像识别模型用于备份使用或内部使用,所述相似度用于在所述第一图像识别模型受到攻击时,评估所述第二图像识别模型的鲁棒性。
3.根据权利要求1所述的方法,所述对抗样本生成算法包括以下之一:快速梯度符号下降法FGSM、映射式梯度下降法PGD以及动量迭代快速梯度符号下降法MI_FGSM。
4.根据权利要求1所述的方法,所述基于所述特定方向,寻找一组目标方向,包括:
基于所述特定方向,构造相互正交的若干候选方向;其中,各候选方向与所述特定方向的夹角相同;
对各候选方向中的每个候选方向,判断在该候选方向上,对所述输入图像施加所述目标扰动量后,对应的扰动图像是否对所述本地图像识别模型攻击成功;若是,则将该候选方向作为一个目标方向;否则,舍弃该候选方向。
5.根据权利要求1所述的方法,其中,确定所述输入图像在所述第一方向上可对第一图像识别模型攻击成功时,针对所述输入图像所需施加的第一扰动量,包括:
采用穷举搜索算法,确定所述输入图像在所述第一方向上可对第一图像识别模型攻击成功时,针对所述输入图像所需施加的第一扰动量。
6.根据权利要求5所述的方法,所述采用穷举搜索算法,确定所述输入图像在所述第一方向上可对第一图像识别模型攻击成功时,针对所述输入图像所需施加的第一扰动量,包括:
将所述输入图像作为初始的当前图像,基于当前图像执行多次迭代,其中任意的一次迭代包括:
在所述第一方向上,对当前图像施加预定步长的扰动量;
基于扰动后的当前图像访问所述第一图像识别模型,以获取所述第一图像识别模型对扰动后的当前图像的识别结果;
若所述识别结果与所述输入图像的标定标签相一致,则将扰动后的当前图像作为更新的当前图像用于下一次迭代,否则结束;
在所述迭代结束后,将在所述第一方向上,当前图像相对于所述输入图像的扰动增加量确定为所述第一扰动量。
7.根据权利要求1所述的方法,所述确定所述第一和第二图像识别模型的相似度,包括:
对针对所述一组目标方向中每个方向分别确定的第一扰动量和第二扰动量进行求差,得到多个差值;
对所述多个差值进行求平均或者求加权平均,根据得到的平均值,确定所述第一和第二图像识别模型的相似度。
8.根据权利要求1所述的方法,所述输入图像为人脸图像,所述本地图像识别模型以及所述第一和第二图像识别模型用于针对人脸进行识别。
9.一种模型相似度确定装置,包括:
生成单元,用于利用对抗样本生成算法,针对输入图像,生成用于攻击本地图像识别模型的对抗图像,所述对抗图像相对于所述输入图像,在特定方向施加有目标扰动量的扰动;
查找单元,用于基于所述特定方向,寻找一组目标方向;其中,在所述一组目标方向的每个方向上,对所述输入图像施加所述目标扰动量的扰动后,得到的扰动图像可对所述本地图像识别模型攻击成功;
确定单元,用于针对所述一组目标方向中任意的第一方向,分别确定所述输入图像在所述第一方向上可对非本地的第一和第二图像识别模型攻击成功时,针对所述输入图像所需施加的第一和第二扰动量;其中,所述第一和第二图像识别模型与所述本地图像识别模型具有相同或相似功能;
所述确定单元,还用于根据针对所述一组目标方向中各方向分别确定的第一扰动量和第二扰动量,确定所述第一和第二图像识别模型的相似度。
10.根据权利要求9所述的装置,所述第一图像识别模型用于通过对应的服务接口对外提供服务,所述第二图像识别模型用于备份使用或内部使用,所述相似度用于在所述第一图像识别模型受到攻击时,评估所述第二图像识别模型的鲁棒性。
11.根据权利要求9所述的装置,所述对抗样本生成算法包括以下之一:快速梯度符号下降法FGSM、映射式梯度下降法PGD以及动量迭代快速梯度符号下降法MI_FGSM。
12.根据权利要求9所述的装置,所述查找单元包括:
构造模块,用于基于所述特定方向,构造相互正交的若干候选方向;其中,各候选方向与所述特定方向的夹角相同;
判断模块,用于对各候选方向中的每个候选方向,判断在该候选方向上,对所述输入图像施加所述目标扰动量后,对应的扰动图像是否对所述本地图像识别模型攻击成功;若是,则将该候选方向作为一个目标方向;否则,舍弃该候选方向。
13.根据权利要求9所述的装置,所述确定单元具体用于:
采用穷举搜索算法,确定所述输入图像在所述第一方向上可对第一图像识别模型攻击成功时,针对所述输入图像所需施加的第一扰动量。
14.根据权利要求13所述的装置,所述确定单元还具体用于:
将所述输入图像作为初始的当前图像,基于当前图像执行多次迭代,其中任意的一次迭代包括:
在所述第一方向上,对当前图像施加预定步长的扰动量;
基于扰动后的当前图像访问所述第一图像识别模型,以获取所述第一图像识别模型对扰动后的当前图像的识别结果;
若所述识别结果与所述输入图像的标定标签相一致,则将扰动后的当前图像作为更新的当前图像用于下一次迭代,否则结束;
在所述迭代结束后,将在所述第一方向上,当前图像相对于所述输入图像的扰动增加量确定为所述第一扰动量。
15.根据权利要求9所述的装置,所述确定单元还具体用于:
对针对所述一组目标方向中每个方向分别确定的第一扰动量和第二扰动量进行求差,得到多个差值;
对所述多个差值进行求平均或者求加权平均,根据得到的平均值,确定所述第一和第二图像识别模型的相似度。
16.根据权利要求9所述的装置,所述输入图像为人脸图像,所述本地图像识别模型以及所述第一和第二图像识别模型用于针对人脸进行识别。
17.一种计算机可读存储介质,其上存储有计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行权利要求1-8中任一项所述的方法。
18.一种计算设备,包括存储器和处理器,其中,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现权利要求1-8中任一项所述的方法。
CN202110322494.5A 2021-03-25 2021-03-25 模型相似度确定方法及装置 Active CN112926678B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110322494.5A CN112926678B (zh) 2021-03-25 2021-03-25 模型相似度确定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110322494.5A CN112926678B (zh) 2021-03-25 2021-03-25 模型相似度确定方法及装置

Publications (2)

Publication Number Publication Date
CN112926678A CN112926678A (zh) 2021-06-08
CN112926678B true CN112926678B (zh) 2022-04-12

Family

ID=76176102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110322494.5A Active CN112926678B (zh) 2021-03-25 2021-03-25 模型相似度确定方法及装置

Country Status (1)

Country Link
CN (1) CN112926678B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313404B (zh) * 2021-06-15 2022-12-06 支付宝(杭州)信息技术有限公司 生成对抗样本的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803094A (zh) * 2016-12-21 2017-06-06 辽宁师范大学 基于多特征融合的三维模型形状相似性分析方法
CN110363243A (zh) * 2019-07-12 2019-10-22 腾讯科技(深圳)有限公司 分类模型的评估方法和装置
CN112287997A (zh) * 2020-10-27 2021-01-29 浙江工业大学 一种基于生成式对抗网络的深度图卷积模型防御方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7596242B2 (en) * 1995-06-07 2009-09-29 Automotive Technologies International, Inc. Image processing for vehicular applications
US8983940B2 (en) * 2011-09-02 2015-03-17 Adobe Systems Incorporated K-nearest neighbor re-ranking

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803094A (zh) * 2016-12-21 2017-06-06 辽宁师范大学 基于多特征融合的三维模型形状相似性分析方法
CN110363243A (zh) * 2019-07-12 2019-10-22 腾讯科技(深圳)有限公司 分类模型的评估方法和装置
CN112287997A (zh) * 2020-10-27 2021-01-29 浙江工业大学 一种基于生成式对抗网络的深度图卷积模型防御方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Cascade Adversarial Machine Learning Regularized with a Unified Embedding》;Taeslk Na等;《arXiv》;20180317;全文 *
《面向语音识别系统的黑盒对抗攻击方法》;陈晋音 等;《小型微型计算机系统》;20200531;第41卷(第5期);全文 *

Also Published As

Publication number Publication date
CN112926678A (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
US11308334B2 (en) Method and apparatus for integration of detected object identifiers and semantic scene graph networks for captured visual scene behavior estimation
US10839265B2 (en) Platform for preventing adversarial attacks on image-based machine learning models
US8521659B2 (en) Systems and methods of discovering mixtures of models within data and probabilistic classification of data according to the model mixture
CN111476264A (zh) 访问受限的系统的对抗鲁棒性的测试
US20180060673A1 (en) Object detection in crowded scenes using context-driven label propagation
WO2012100819A1 (en) Method and system for comparing images
Li et al. Among us: Adversarially robust collaborative perception by consensus
Oussalah et al. Hybrid fuzzy probabilistic data association filter and joint probabilistic data association filter
CN112926678B (zh) 模型相似度确定方法及装置
CN110992404B (zh) 目标跟踪方法、装置和系统及存储介质
CN110020593B (zh) 信息处理方法及装置、介质及计算设备
CN113343247A (zh) 生物特征识别对抗样本攻击安全测评方法、系统、装置、处理器及其计算机可读存储介质
Yu et al. Combination of joint representation and adaptive weighting for multiple features with application to SAR target recognition
US20240135211A1 (en) Methods and apparatuses for performing model ownership verification based on exogenous feature
Mayer Efficient hierarchical triplet merging for camera pose estimation
CN111405563B (zh) 保护用户隐私的风险检测方法和装置
CN113079168B (zh) 一种网络异常检测方法、装置及存储介质
KR102473724B1 (ko) 샴 랜덤 포레스트를 이용한 영상 정합 방법 및 영상 정합 장치
US11599827B2 (en) Method and apparatus for improving the robustness of a machine learning system
Efraim et al. On minimizing the probability of large errors in robust point cloud registration
CN117009970B (zh) 盲特征场景下恶意软件对抗样本生成方法与电子设备
CN110046247B (zh) 样本数据处理方法及装置、模型训练方法及设备
Chen et al. Feature matching of remote‐sensing images based on bilateral local–global structure consistency
CN116128988A (zh) 图像生成方法、图像检测方法及装置
CN115859102A (zh) 一种基于特征失真指数的模型窃取防御方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant