CN115115884A - 对抗样本的检测方法、系统、设备及存储介质 - Google Patents

对抗样本的检测方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN115115884A
CN115115884A CN202210763784.8A CN202210763784A CN115115884A CN 115115884 A CN115115884 A CN 115115884A CN 202210763784 A CN202210763784 A CN 202210763784A CN 115115884 A CN115115884 A CN 115115884A
Authority
CN
China
Prior art keywords
image
similarity
classification
recognition result
classification recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210763784.8A
Other languages
English (en)
Inventor
张英杰
史宏志
温东超
赵健
崔星辰
尹云峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN202210763784.8A priority Critical patent/CN115115884A/zh
Publication of CN115115884A publication Critical patent/CN115115884A/zh
Priority to PCT/CN2022/130983 priority patent/WO2024000989A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种对抗样本的检测方法、系统、设备及存储介质，应用于人工智能技术领域，包括：构建用于进行图像处理的图像超分辨率模型；将待测图像输入至所述图像超分辨率模型，得到所述图像超分辨率模型输出的高分辨率的第一输出图像；分别将所述待测图像和所述第一输出图像输入至分类模型中，得到针对所述待测图像的第一分类识别结果和针对所述第一输出图像的第二分类识别结果；确定出所述第一分类识别结果与所述第二分类识别结果之间的相似度，并判断所述相似度是否高于预设阈值；如果否，则确定所述待测图像为对抗样本。应用本申请的方案，能够方便，准确地检测出对抗样本。

Description

对抗样本的检测方法、系统、设备及存储介质
技术领域
本发明涉及人工智能技术领域，特别是涉及一种对抗样本的检测方法、系统、设备及存储介质。
背景技术
对抗样本是在输入样本中故意添加一些人无法察觉的细微干扰的样本，从而导致模型以高置信度给出一个错误的输出。对抗性攻击主要发生在构造对抗样本的时候，之后对抗样本就如正常数据一样输入至机器学习模型，并得到欺骗性的识别结果。
对抗样本的存在会使得深度学习在安全敏感性领域的应用受到威胁。目前，通常是针对对抗样本进行训练，使得模型能够不受对抗样本的影响，但是这样的方式较为复杂，且对于不同类型的对抗样本，未必都能够取得较好的训练效果。此外，还有部分方案会进行对抗样本的识别，但目前识别的准确度较低。
综上所述，如何有效地应对对抗样本的攻击，是目前本领域技术人员急需解决的技术问题。
发明内容
本发明的目的是提供一种对抗样本的检测方法、系统、设备及存储介质，以有效地应对对抗样本的攻击。
为解决上述技术问题，本发明提供如下技术方案：
一种对抗样本的检测方法，包括：
构建用于提高图像分辨率的图像超分辨率模型；
将待测图像输入至所述图像超分辨率模型，得到所述图像超分辨率模型输出的第一输出图像；
分别将所述待测图像和所述第一输出图像输入至分类模型中，得到针对所述待测图像的第一分类识别结果和针对所述第一输出图像的第二分类识别结果；
确定出所述第一分类识别结果与所述第二分类识别结果之间的相似度，并判断所述相似度是否高于预设阈值；
如果否，则确定所述待测图像为对抗样本。
优选的，得到的针对所述待测图像的第一分类识别结果表示为：P[p1，p2，…pi…，pn]，得到的针对所述第一输出图像的第二分类识别结果表示为：Q[q1，q2，…qi…，qn]；
其中，n表示的是所述分类模型的标签数量，i为正整数且1≤i≤n，pi表示的是所述待测图像属于第i类的概率值，qi表示的是所述第一输出图像属于第i类的概率值。
优选的，所述确定出所述第一分类识别结果与所述第二分类识别结果之间的相似度，包括：
基于第一相似度和/或第二相似度，确定出所述第一分类识别结果与所述第二分类识别结果之间的相似度；
其中，所述第一相似度用于反映所述第一分类识别结果的概率值分布，与所述第二分类识别结果的概率值分布之间的相似程度；
所述第二相似度用于反映所述第一分类识别结果中的不同类的概率值的排名状态，与所述第二分类识别结果中的不同类的概率值的排名状态之间的相似程度。
优选的，所述第一相似度为通过以下操作确定出的第一相似度：
将所述第一分类识别结果与所述第二分类识别结果之间的余弦距离作为确定出的第一相似度。
优选的，所述第一相似度为通过以下操作确定出的第一相似度：
确定出所述第一分类识别结果与所述第二分类识别结果之间的余弦距离；
将所述余弦距离归一化，并将归一化之后的数值作为确定出的第一相似度。
优选的，所述第二相似度为通过以下操作确定出的第二相似度：
将第一分类识别结果转换为第一排序结果SP[p11，p22，…pii…，pnn]；
将第二分类识别结果转换为第二排序结果SQ[q11，q22，…qii…，qnn]；
通过R＝(x+u)/2n，确定出的第二相似度R的数值；
其中，pii表示的是在p1至pn中，pi的数值大小排名，且最大概率值的排名为1，最小概率值的排名为n，qii表示的是在q1至qn中，qi的数值大小排名，且最大概率值的排名为1，最小概率值的排名为n，x表示的是所述第一排序结果与所述第二排序结果的前x位是一致的，u表示的是所述第一排序结果与所述第二排序结果中在相同位置处数值相同的位数。
优选的，基于第一相似度和第二相似度，确定出所述第一分类识别结果与所述第二分类识别结果之间的相似度，包括：
将所述第一相似度与第二相似度求和，并将求和结果作为确定出的所述第一分类识别结果与所述第二分类识别结果之间的相似度；
或者；
将所述第一相似度与第二相似度相乘，并将相乘结果作为确定出的所述第一分类识别结果与所述第二分类识别结果之间的相似度。
优选的，所述分类模型具体为基于softmax的多类别卷积神经网络分类模型。
优选的，在所述确定所述待测图像为对抗样本之后，还包括：
记录所述待测图像的采集信息。
优选的，在所述确定所述待测图像为对抗样本之后，还包括：
对所述待测图像重新进行一次对抗样本的检测，并且当仍然将所述待测图像确定为对抗样本时，输出提示信息。
优选的，预设阈值为通过以下操作确定出的阈值：
预先将正常图像输入至所述图像超分辨率模型，得到所述图像超分辨率模型输出的第二输出图像；
分别将所述正常图像和所述第二输出图像输入至分类模型中，得到针对所述正常图像的第三分类识别结果和针对所述第二输出图像的第四分类识别结果；
确定出所述第三分类识别结果与所述第四分类识别结果之间的相似度，并作为预设阈值。
优选的，还包括：
选取K张不同的正常图像作为输入，以重复确定出预设阈值的过程；
将各次确定出的预设阈值中的最小值作为最终确定的预设阈值。
一种对抗样本的检测系统，包括：
图像超分辨率模型构建模块，用于构建用于提高图像分辨率的图像超分辨率模型；
第一执行模块，用于将待测图像输入至所述图像超分辨率模型，得到所述图像超分辨率模型输出的第一输出图像；
分类识别模块，用于分别将所述待测图像和所述第一输出图像输入至分类模型中，得到针对所述待测图像的第一分类识别结果和针对所述第一输出图像的第二分类识别结果；
相似度判断模块，用于确定出所述第一分类识别结果与所述第二分类识别结果之间的相似度，并判断所述相似度是否高于预设阈值，如果否，则触发第二执行模块；
所述第二执行模块，用于确定所述待测图像为对抗样本。
一种对抗样本的检测设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如上述所述的对抗样本的检测方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的对抗样本的检测方法的步骤。
应用本发明实施例所提供的技术方案，考虑到利用图像超分辨率模型的模型映射能力，可以将非流形对抗样本映射到自然图像流形上，这样会极大影响对抗样本图像的分类概率，而对于正常图像的分类概率影响很小。因此，本申请的方案基于对抗样本的该种特性进行对抗样本的检测，可以方便，快速地检测出对抗样本，而不需要如传统方案中进行对抗样本的训练。
具体的，可以构建图像超分辨率模型，图像超分辨率模型可以提高图像分辨率，之后将待测图像输入至图像超分辨率模型，得到图像超分辨率模型输出的第一输出图像，第一输出图像的分辨率高于待测图像。分别将待测图像和第一输出图像输入至分类模型中，可以得到针对待测图像的第一分类识别结果和针对第一输出图像的第二分类识别结果。如果待测图像是对抗样本，则第一分类识别结果与第二分类识别结果之间的相似度会较低，即二者的相似度不高于预设阈值，便可以确定待测图像为对抗样本。而如果待测图像是对抗样本，则第一分类识别结果与第二分类识别结果之间的相似度会高于预设阈值。可以看出，本申请的方案能够方便，准确地检测出对抗样本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明中一种对抗样本的检测方法的实施流程图；
图2为本发明中一种对抗样本的检测系统的结构示意图；
图3为本发明中一种对抗样本的检测设备的结构示意图。
具体实施方式
本发明的核心是提供一种对抗样本的检测方法，能够方便，准确地检测出对抗样本。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明中一种对抗样本的检测方法的实施流程图，该对抗样本的检测方法可以包括以下步骤：
步骤S101：构建用于进行图像处理的图像超分辨率模型。
图像超分辨率模型可以对LR(low-resolution，低分辨率)图像进行超分辨率，从而获得SR(super-resolution，超分辨率)图像，即图像超分辨率模型可以提高图像分辨率。
在实际应用中，为了增强方案实施的便捷性，超分辨率模型可以直接采用训练好的深度学习模型，例如可以选用EDSR(Enhanced Deep Super-Resolution Network，增强的深度超分辨网络)，RDN(Residual Dense Network，残差密集网络)等通用的超分辨率模型，便不需要重新训练。也就是说，在执行步骤S101的构建图像超分辨率模型的操作时，通过下载训练好的深度学习模型，便完成了对于图像超分辨率模型的构建。当然，部分场合中，也可以自主构建所需要的图像超分辨率模型并训练，并不影响本发明的实施。
步骤S102：将待测图像输入至图像超分辨率模型，得到图像超分辨率模型输出的第一输出图像。其中，第一输出图像的分辨率高于待测图像。
本申请的方案中，是考虑到可以利用图像超分辨率模型的模型映射能力，将非流形对抗样本映射到自然图像流形上，这样会极大影响对抗样本图像的分类概率，而对于正常图像的分类概率影响很小。
将待测图像输入至图像超分辨率模型之后，图像超分辨率模型可以输出对应于待测图像的第一输出图像。可以理解的是，由于图像超分辨率模型可以提高图像分辨率，因此第一输出图像的分辨率高于待测图像。
步骤S103：分别将待测图像和第一输出图像输入至分类模型中，得到针对待测图像的第一分类识别结果和针对第一输出图像的第二分类识别结果。
分类模型的具体类型可以根据需要进行设定和调整，只要能够实现图像分类即可。
例如在本发明的一种具体实施方式中，考虑到后续需要比较第一分类识别结果与第二分类识别结果之间的相似度，因此，第一分类识别结果和第二分类识别结果均可以采用由一组表示不同类的概率值构成的形式，这样可以较为方便、准确地反映出第一分类识别结果与第二分类识别结果之间的相似度。
即，在本发明的一种具体实施方式中，得到的针对待测图像的第一分类识别结果表示为：P[p1，p2，…pi…，pn]，得到的针对第一输出图像的第二分类识别结果表示为：Q[q1，q2，…qi…，qn]；
其中，n表示的是分类模型的标签数量，i为正整数且1≤i≤n，pi表示的是待测图像属于第i类的概率值，qi表示的是第一输出图像属于第i类的概率值。
n也可以称为类标签数量，通常可以取两个以上的值。pi表示的是待测图像属于第i类的概率值，例如一种具体场合中n＝3，p1＝30％，p2＝60％，p3＝10％，且例如第1类标签的具体含义为橘子，第2类标签的具体含义为油桃，第3类标签的具体含义为橙子，则p1＝30％，p2＝60％，p3＝10％，表示的是对于该待测图像，分类模型认为该待测图像有30％的概率为橘子，有60％的概率为油桃，有10％的概率为橙子。
在一种具体场合中，分类模型具体为基于softmax的多类别卷积神经网络分类模型，采用该分类模型时，第一分类识别结果便可以表示为：P[p1，p2，…pi…，pn]，第二分类识别结果便可以表示为：Q[q1，q2，…qi…，qn]。并且，该分类模型可以将多分类的输出结果转换成范围在[0，1]并且和为1的概率分布，有利于保障后续进行相似度比较的准确性。
步骤S104：确定出第一分类识别结果与第二分类识别结果之间的相似度，并判断相似度是否高于预设阈值。如果否，则执行步骤S105。
步骤S105：确定待测图像为对抗样本。
通过分类模型，分别得到第一分类识别结果与第二分类识别结果，便可以确定出第一分类识别结果与第二分类识别结果之间的相似度。如上文的描述，由于对抗样本的特征，会使得当待测图像为对抗样本时，第一分类识别结果与第二分类识别结果差异较大，即第一分类识别结果与第二分类识别结果之间的相似度不会高于预设阈值，相应的，如果待测图像是正常的样本时，第一分类识别结果与第二分类识别结果之间的相似度便会高于预设阈值，便可以确定待测图像不是对抗样本。
确定出第一分类识别结果与第二分类识别结果之间的相似度的具体方式有多种，根据需要进行设定即可。
在本发明的一种具体实施方式中，步骤S104描述的确定出第一分类识别结果与第二分类识别结果之间的相似度，可以具体包括：
基于第一相似度和/或第二相似度，确定出第一分类识别结果与第二分类识别结果之间的相似度；
其中，第一相似度用于反映第一分类识别结果的概率值分布，与第二分类识别结果的概率值分布之间的相似程度；
第二相似度用于反映第一分类识别结果中的不同类的概率值的排名状态，与第二分类识别结果中的不同类的概率值的排名状态之间的相似程度。
该种实施方式考虑到，在上述实施方式中，第一分类识别结果可以表示为：P[p1，p2，…pi…，pn]，第二分类识别结果可以表示为：Q[q1，q2，…qi…，qn]。而第一分类识别结果的概率值分布，与第二分类识别结果的概率值分布之间的相似程度，可以在一定程度上反映出第一分类识别结果与第二分类识别结果之间的相似度，因此可以基于第一相似度确定出第一分类识别结果与第二分类识别结果之间的相似度。
并且，除了概率值分布情况，在第一分类识别结果中不同类的概率值的排名状态，与第二分类识别结果中不同类的概率值的排名状态之间的相似程度，也可以在一定程度上反映出第一分类识别结果与第二分类识别结果之间的相似度，因此，也可以基于第二相似度确定出第一分类识别结果与第二分类识别结果之间的相似度。
此外，还可以同时基于第一相似度和第二相似度，确定出第一分类识别结果与第二分类识别结果之间的相似度，均不影响本发明的实施。
如上文的描述，第一相似度反映的是第一分类识别结果的概率值分布，与第二分类识别结果的概率值分布之间的相似程度，因此第一相似度的具体计算方式也可以有多种，能够实现第一相似度的功能即可。
而在本发明的一种具体实施方式中，考虑到余弦距离可以较为准确地反映出第一分类识别结果与第二分类识别结果之间的概率值分布的差异，因此，第一相似度可以为通过以下操作确定出的第一相似度：
将第一分类识别结果与第二分类识别结果之间的余弦距离作为确定出的第一相似度。
第一分类识别结果与第二分类识别结果之间的余弦距离cosθ用公式可以表示为：
Figure BDA0003724834680000081
i便表示第i个分类，余弦距离cosθ的取值范围为[-1，1]，余弦距离可以反映出表示两个图像的的概率分布情况，当余弦距离为1时，说明两个图像的概率值分布是一致的，余弦距离越小，说明概率值分布的差异越大。
进一步的，在本发明的一种具体实施方式中，第一相似度为通过以下操作确定出的第一相似度：
确定出第一分类识别结果与第二分类识别结果之间的余弦距离；
将余弦距离归一化，并将归一化之后的数值作为确定出的第一相似度。
该种实施方式中，考虑到余弦距离cosθ的取值范围为[-1，1]，部分场合中，需要联合第一相似度和第二相似度来确定出第一分类识别结果与第二分类识别结果之间的相似度，因此为了便于计算，该种实施方式中还会对余弦距离归一化，即，将归一化之后的数值作为确定出的第一相似度。
由于余弦距离cosθ的取值范围为[-1，1]，因此，归一化的公式可以表示为：
cosθ′＝(1+cosθ)/2。此处的cosθ′即为余弦距离cosθ归一化之后的数值，也即该种实施方式中确定出的第一相似度。
如上文的描述，本申请考虑到，第一分类识别结果的概率值分布，与第二分类识别结果的概率值分布之间的相似程度，可以在一定程度上反映出第一分类识别结果与第二分类识别结果之间的相似度，但是，概率值分布之间的相似程度不能完全代表两张图像的分类结果，因为第一分类识别结果与第二分类识别结果中的排名也是很重要的。因此，实际应用中，通常是基于第一相似度和第二相似度，来确定出第一分类识别结果与第二分类识别结果之间的相似度。
第二相似度用于反映第一分类识别结果中的不同类的概率值的排名状态，与第二分类识别结果中的不同类的概率值的排名状态之间的相似程度，具体的计算方式有多种。
在本发明的一种具体实施方式中，第二相似度为通过以下操作确定出的第二相似度：
将第一分类识别结果转换为第一排序结果SP[p11，p22，…pii…，pnn]；
将第二分类识别结果转换为第二排序结果SQ[q11，q22，…qii…，qnn]；
通过R＝(x+u)/2n，确定出的第二相似度R的数值；
其中，pii表示的是在p1至pn中，pi的数值大小排名，且最大概率值的排名为1，最小概率值的排名为n，qii表示的是在q1至qn中，qi的数值大小排名，且最大概率值的排名为1，最小概率值的排名为n，x表示的是第一排序结果与第二排序结果的前x位是一致的，u表示的是第一排序结果与第二排序结果中在相同位置处数值相同的位数。
例如一种具体场合中，可以采用排序算法argsort，即，SP＝argsort(P)，SQ＝argsort(Q)，通过排序算法，可以将数组中的元素从大到小排序并返回数组的索引序号。
例如一种具体场合中，第一分类识别结果为P[0.2，0.3，0.25，0.2，0.05]，则进行排序之后，返回的索引序号为SP[3，1，2，4，5]。也就是说，在第一分类识别结果P中，各个概率值按照数值大小排名，最大的排名为1，最小概率值的排名为n。此外需要说明的是，当概率值相同时，可以设定按照顺序进行前后排名，例如设定先出现的排名在前，即概率值相同时，类标签的编号越低，排名越靠前。
将第一分类识别结果转换为第一排序结果SP，将第二分类识别结果转换为第二排序结果SQ之后，便可以通过R＝(x+u)/2n，确定出的第二相似度R的数值。例如上述例子中，得到的第一排序结果为SP[3，1，2，4，5]，例如得到的第二排序结果为SQ[3，1，5，4，2]，可以看出，SP和SQ的前2位是一致的，从第3位开始不一致，因此该例子中x＝2。而5个数值中，有4个位置处的数值是一致的，即第1位置，第2位置以及第4位置是一致的，因此该例子中u＝3。
在基于第一相似度和第二相似度确定出第一分类识别结果与第二分类识别结果之间的相似度时，具体方式也可以有多种，例如一种具体场合中，考虑到相加和相乘是较为方便的方式，因此，基于第一相似度和第二相似度，确定出第一分类识别结果与第二分类识别结果之间的相似度，可以具体包括：
将第一相似度与第二相似度求和，并将求和结果作为确定出的第一分类识别结果与第二分类识别结果之间的相似度；
或者；
将第一相似度与第二相似度相乘，并将相乘结果作为确定出的第一分类识别结果与第二分类识别结果之间的相似度。
实际应用中，通常可以将第一相似度与第二相似度相乘，确定出第一分类识别结果与第二分类识别结果之间的相似度，这样的方式准确度非常高，即可以非常准确地检测出对抗样本。
例如一种具体场合中，其中一个待测样本的第一相似度为0.8563，第二相似度为1，而另一个待测样本的第一相似度为0.9927，第二相似度为0.1666，则对于其中一个待测样本，最终确定出的相似度为1*0.8563＝0.8563，对于另一个待测样本，最终确定出的相似度为0.1666*0.9927＝0.16545。可以看出，将第一相似度与第二相似度相乘，使得当第一相似度或者第二相似度较小时，最终的相似度会降低很多，这才是符合逻辑的设计，可以准确地检测出对抗样本。
本申请需要将确定出的第一分类识别结果与第二分类识别结果之间的相似度，与预设阈值比较，该阈值可以由工作人员预先设定，例如根据经验设定，并可以根据实际情况进行调整。
在本发明的一种具体实施方式中，预设阈值为通过以下操作确定出的阈值：
预先将正常图像输入至图像超分辨率模型，得到图像超分辨率模型输出的第二输出图像；
分别将正常图像和第二输出图像输入至分类模型中，得到针对正常图像的第三分类识别结果和针对第二输出图像的第四分类识别结果；
确定出第三分类识别结果与第四分类识别结果之间的相似度，并作为预设阈值。
该种实施方式中，与待测图像所执行的流程相似。将正常图像作为输入，输入至图像超分辨率模型，从而得到图像超分辨率模型输出的第二输出图像。第二输出图像的分辨率会高于输入至图像超分辨率模型的正常图像。进而通过分类模型，得到针对正常图像的第三分类识别结果和针对第二输出图像的第四分类识别结果。最后，可以将确定出的第三分类识别结果与第四分类识别结果之间的相似度，作为预设阈值。
进一步的，在实际应用中，考虑到通过上述方式确定出的预设阈值存在一定的偶然性，因此可以再进行K次测试，K为正整数。即在本发明的一种具体实施方式中，还可以包括：
选取K张不同的正常图像作为输入，以重复确定出预设阈值的过程；
将各次确定出的预设阈值中的最小值作为最终确定的预设阈值。
需要说明的是，对于不同的正常图像而言，按照上述流程计算出的预设阈值可能是不同的，因此为了避免误判，该种实施方式中，是将各次确定出的预设阈值中的最小值作为最终确定的预设阈值。此外，部分场合中，还可以在此基础上，略微降低预设阈值的取值，以使得各种正常图像都能够通过本申请针对对抗样本的检测，不会出现误判的情况。
进一步的，在本发明的一种具体实施方式中，在确定待测图像为对抗样本之后，还包括：
对待测图像重新进行一次对抗样本的检测，并且当仍然将待测图像确定为对抗样本时，输出提示信息。
该种实施方式考虑到，部分场合中由于程序出错等原因可能导致计算过程出错，进而得到错误的检测结果，因此，在确定待测图像为对抗样本之后，会对待测图像重新进行一次对抗样本的检测，如果仍然将待测图像确定为对抗样本时，则可以输出提示信息以提醒工作人员进行后续处理。
在本发明的一种具体实施方式中，在确定待测图像为对抗样本之后，还可以包括：
记录待测图像的采集信息。
如上文的描述，对抗样本是在输入样本中故意添加一些人无法察觉的细微干扰的样本，从而导致模型以高置信度给出一个错误的输出。对抗样本的存在会使得深度学习在安全敏感性领域的应用受到威胁。因此，该种实施方式中，在确定待测图像为对抗样本之后，会记录待测图像的采集信息，即记录下该对抗样本的来源，以便后续工作人员进行相应处理。
采集信息的具体项目可以有多种，例如可以包括待测图像的检测端的信息，传输路径信息，存储信息等等，以便工作人员可以按照采集信息进行排查，以避免或者预防对抗样本的产生。
应用本发明实施例所提供的技术方案，考虑到利用图像超分辨率模型的模型映射能力，可以将非流形对抗样本映射到自然图像流形上，这样会极大影响对抗样本图像的分类概率，而对于正常图像的分类概率影响很小。因此，本申请的方案基于对抗样本的该种特性进行对抗样本的检测，可以方便，快速地检测出对抗样本，而不需要如传统方案中进行对抗样本的训练。
具体的，可以构建用于提高图像分辨率的图像超分辨率模型，之后将待测图像输入至图像超分辨率模型，得到图像超分辨率模型输出的第一输出图像，分别将待测图像和第一输出图像输入至分类模型中，可以得到针对待测图像的第一分类识别结果和针对第一输出图像的第二分类识别结果。如果待测图像是对抗样本，则第一分类识别结果与第二分类识别结果之间的相似度会较低，即二者的相似度不高于预设阈值，便可以确定待测图像为对抗样本。而如果待测图像是对抗样本，则第一分类识别结果与第二分类识别结果之间的相似度会高于预设阈值。可以看出，本申请的方案能够方便，准确地检测出对抗样本。
相应于上面的方法实施例，本发明实施例还提供了一种对抗样本的检测系统，可与上文相互对应参照。
参见图2所示，为本发明中一种对抗样本的检测系统的结构示意图，包括：
图像超分辨率模型构建模块201，用于构建用于进行图像处理的图像超分辨率模型；
第一执行模块202，用于将待测图像输入至图像超分辨率模型，得到图像超分辨率模型输出的第一输出图像，其中，第一输出图像的分辨率高于待测图像；
分类识别模块203，用于分别将待测图像和第一输出图像输入至分类模型中，得到针对待测图像的第一分类识别结果和针对第一输出图像的第二分类识别结果；
相似度判断模块204，用于确定出第一分类识别结果与第二分类识别结果之间的相似度，并判断相似度是否高于预设阈值，如果否，则触发第二执行模块205；
第二执行模块205，用于确定待测图像为对抗样本。
在本发明的一种具体实施方式中，得到的针对待测图像的第一分类识别结果表示为：P[p1，p2，…pi…，pn]，得到的针对第一输出图像的第二分类识别结果表示为：Q[q1，q2，…qi…，qn]；
其中，n表示的是分类模型的标签数量，i为正整数且1≤i≤n，pi表示的是待测图像属于第i类的概率值，qi表示的是第一输出图像属于第i类的概率值。
在本发明的一种具体实施方式中，相似度判断模块204确定出第一分类识别结果与第二分类识别结果之间的相似度，具体用于：
基于第一相似度和/或第二相似度，确定出第一分类识别结果与第二分类识别结果之间的相似度；
其中，第一相似度用于反映第一分类识别结果的概率值分布，与第二分类识别结果的概率值分布之间的相似程度；
第二相似度用于反映第一分类识别结果中的不同类的概率值的排名状态，与第二分类识别结果中的不同类的概率值的排名状态之间的相似程度。
在本发明的一种具体实施方式中，第一相似度为相似度判断模块204通过以下操作确定出的第一相似度：
将第一分类识别结果与第二分类识别结果之间的余弦距离作为确定出的第一相似度。
在本发明的一种具体实施方式中，第一相似度为相似度判断模块204通过以下操作确定出的第一相似度：
确定出第一分类识别结果与第二分类识别结果之间的余弦距离；
将余弦距离归一化，并将归一化之后的数值作为确定出的第一相似度。
在本发明的一种具体实施方式中，第二相似度为相似度判断模块204通过以下操作确定出的第二相似度：
将第一分类识别结果转换为第一排序结果SP[p11，p22，…pii…，pnn]；
将第二分类识别结果转换为第二排序结果SQ[q11，q22，…qii…，qnn]；
通过R＝(x+u)/2n，确定出的第二相似度R的数值；
其中，pii表示的是在p1至pn中，pi的数值大小排名，且最大概率值的排名为1，最小概率值的排名为n，qii表示的是在q1至qn中，qi的数值大小排名，且最大概率值的排名为1，最小概率值的排名为n，x表示的是第一排序结果与第二排序结果的前x位是一致的，u表示的是第一排序结果与第二排序结果中在相同位置处数值相同的位数。
在本发明的一种具体实施方式中，相似度判断模块204基于第一相似度和第二相似度，确定出第一分类识别结果与第二分类识别结果之间的相似度，具体用于：
将第一相似度与第二相似度求和，并将求和结果作为确定出的第一分类识别结果与第二分类识别结果之间的相似度；
或者；
将第一相似度与第二相似度相乘，并将相乘结果作为确定出的第一分类识别结果与第二分类识别结果之间的相似度。
在本发明的一种具体实施方式中，分类模型具体为基于softmax的多类别卷积神经网络分类模型。
在本发明的一种具体实施方式中，还包括：
记录模块，用于在第二执行模块205确定待测图像为对抗样本之后，记录待测图像的采集信息。
在本发明的一种具体实施方式中，还包括循环执行模块，用于在第二执行模块205确定待测图像为对抗样本之后，对待测图像重新进行一次对抗样本的检测，并且当仍然将待测图像确定为对抗样本时，输出提示信息。
在本发明的一种具体实施方式中，预设阈值为通过以下操作确定出的阈值：
预先将正常图像输入至图像超分辨率模型，得到图像超分辨率模型输出的第二输出图像；
分别将正常图像和第二输出图像输入至分类模型中，得到针对正常图像的第三分类识别结果和针对第二输出图像的第四分类识别结果；
确定出第三分类识别结果与第四分类识别结果之间的相似度，并作为预设阈值。
在本发明的一种具体实施方式中，还包括：
选取K张不同的正常图像作为输入，以重复确定出预设阈值的过程；
将各次确定出的预设阈值中的最小值作为最终确定的预设阈值。
相应于上面的方法和系统实施例，本发明实施例还提供了一种对抗样本的检测设备以及一种计算机可读存储介质，可与上文相互对应参照。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述任一实施例中的对抗样本的检测方法的步骤。这里所说的计算机可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
可参阅图3，该对抗样本的检测设备可以包括：
存储器301，用于存储计算机程序；
处理器302，用于执行计算机程序以实现如上述任一实施例中的对抗样本的检测方法的步骤。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明的保护范围内。

Claims (15)

1.一种对抗样本的检测方法，其特征在于，包括：
构建用于进行图像处理的图像超分辨率模型；
将待测图像输入至所述图像超分辨率模型，得到所述图像超分辨率模型输出的第一输出图像，其中，所述第一输出图像的分辨率高于所述待测图像；
分别将所述待测图像和所述第一输出图像输入至分类模型中，得到针对所述待测图像的第一分类识别结果和针对所述第一输出图像的第二分类识别结果；
确定出所述第一分类识别结果与所述第二分类识别结果之间的相似度，并判断所述相似度是否高于预设阈值；
如果否，则确定所述待测图像为对抗样本。
2.根据权利要求1所述的对抗样本的检测方法，其特征在于，得到的针对所述待测图像的第一分类识别结果表示为：P[p1，p2，…pi…，pn]，得到的针对所述第一输出图像的第二分类识别结果表示为：Q[q1，q2，…qi…，qn]；
其中，n表示的是所述分类模型的标签数量，i为正整数且1≤i≤n，pi表示的是所述待测图像属于第i类的概率值，qi表示的是所述第一输出图像属于第i类的概率值。
3.根据权利要求2所述的对抗样本的检测方法，其特征在于，所述确定出所述第一分类识别结果与所述第二分类识别结果之间的相似度，包括：
基于第一相似度和/或第二相似度，确定出所述第一分类识别结果与所述第二分类识别结果之间的相似度；
其中，所述第一相似度用于反映所述第一分类识别结果的概率值分布，与所述第二分类识别结果的概率值分布之间的相似程度；
所述第二相似度用于反映所述第一分类识别结果中的不同类的概率值的排名状态，与所述第二分类识别结果中的不同类的概率值的排名状态之间的相似程度。
4.根据权利要求3所述的对抗样本的检测方法，其特征在于，所述第一相似度为通过以下操作确定出的第一相似度：
将所述第一分类识别结果与所述第二分类识别结果之间的余弦距离作为确定出的第一相似度。
5.根据权利要求3所述的对抗样本的检测方法，其特征在于，所述第一相似度为通过以下操作确定出的第一相似度：
确定出所述第一分类识别结果与所述第二分类识别结果之间的余弦距离；
将所述余弦距离归一化，并将归一化之后的数值作为确定出的第一相似度。
6.根据权利要求3所述的对抗样本的检测方法，其特征在于，所述第二相似度为通过以下操作确定出的第二相似度：
将第一分类识别结果转换为第一排序结果SP[p11，p22，…pii…，pnn]；
将第二分类识别结果转换为第二排序结果SQ[q11，q22，…qii…，qnn]；
通过R＝(x+u)/2n，确定出的第二相似度R的数值；
其中，pii表示的是在p1至pn中，pi的数值大小排名，且最大概率值的排名为1，最小概率值的排名为n，qii表示的是在q1至qn中，qi的数值大小排名，且最大概率值的排名为1，最小概率值的排名为n，x表示的是所述第一排序结果与所述第二排序结果的前x位是一致的，u表示的是所述第一排序结果与所述第二排序结果中在相同位置处数值相同的位数。
7.根据权利要求3所述的对抗样本的检测方法，其特征在于，基于第一相似度和第二相似度，确定出所述第一分类识别结果与所述第二分类识别结果之间的相似度，包括：
将所述第一相似度与第二相似度求和，并将求和结果作为确定出的所述第一分类识别结果与所述第二分类识别结果之间的相似度；
或者；
将所述第一相似度与第二相似度相乘，并将相乘结果作为确定出的所述第一分类识别结果与所述第二分类识别结果之间的相似度。
8.根据权利要求1所述的对抗样本的检测方法，其特征在于，所述分类模型具体为基于softmax的多类别卷积神经网络分类模型。
9.根据权利要求1所述的对抗样本的检测方法，其特征在于，在所述确定所述待测图像为对抗样本之后，还包括：
记录所述待测图像的采集信息。
10.根据权利要求1所述的对抗样本的检测方法，其特征在于，在所述确定所述待测图像为对抗样本之后，还包括：
对所述待测图像重新进行一次对抗样本的检测，并且当仍然将所述待测图像确定为对抗样本时，输出提示信息。
11.根据权利要求1至10任一项所述的对抗样本的检测方法，其特征在于，预设阈值为通过以下操作确定出的阈值：
预先将正常图像输入至所述图像超分辨率模型，得到所述图像超分辨率模型输出的第二输出图像；
分别将所述正常图像和所述第二输出图像输入至分类模型中，得到针对所述正常图像的第三分类识别结果和针对所述第二输出图像的第四分类识别结果；
确定出所述第三分类识别结果与所述第四分类识别结果之间的相似度，并作为预设阈值。
12.根据权利要求11所述的对抗样本的检测方法，其特征在于，还包括：
选取K张不同的正常图像作为输入，以重复确定出预设阈值的过程；
将各次确定出的预设阈值中的最小值作为最终确定的预设阈值。
13.一种对抗样本的检测系统，其特征在于，包括：
图像超分辨率模型构建模块，用于构建用于进行图像处理的图像超分辨率模型；
第一执行模块，用于将待测图像输入至所述图像超分辨率模型，得到所述图像超分辨率模型输出的第一输出图像，其中，所述第一输出图像的分辨率高于所述待测图像；
分类识别模块，用于分别将所述待测图像和所述第一输出图像输入至分类模型中，得到针对所述待测图像的第一分类识别结果和针对所述第一输出图像的第二分类识别结果；
相似度判断模块，用于确定出所述第一分类识别结果与所述第二分类识别结果之间的相似度，并判断所述相似度是否高于预设阈值，如果否，则触发第二执行模块；
所述第二执行模块，用于确定所述待测图像为对抗样本。
14.一种对抗样本的检测设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至12任一项所述的对抗样本的检测方法的步骤。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至12任一项所述的对抗样本的检测方法的步骤。
CN202210763784.8A 2022-06-30 2022-06-30 对抗样本的检测方法、系统、设备及存储介质 Pending CN115115884A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210763784.8A CN115115884A (zh) 2022-06-30 2022-06-30 对抗样本的检测方法、系统、设备及存储介质
PCT/CN2022/130983 WO2024000989A1 (zh) 2022-06-30 2022-11-09 对抗样本的检测方法、系统、设备及非易失性可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210763784.8A CN115115884A (zh) 2022-06-30 2022-06-30 对抗样本的检测方法、系统、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115115884A true CN115115884A (zh) 2022-09-27

Family

ID=83330940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210763784.8A Pending CN115115884A (zh) 2022-06-30 2022-06-30 对抗样本的检测方法、系统、设备及存储介质

Country Status (2)

Country Link
CN (1) CN115115884A (zh)
WO (1) WO2024000989A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024000989A1 (zh) * 2022-06-30 2024-01-04 浪潮(北京)电子信息产业有限公司 对抗样本的检测方法、系统、设备及非易失性可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210192357A1 (en) * 2018-05-17 2021-06-24 Magic Leap, Inc. Gradient adversarial training of neural networks
CN112329837B (zh) * 2020-11-02 2023-01-17 北京邮电大学 一种对抗样本检测方法、装置、电子设备及介质
CN113128505A (zh) * 2021-04-29 2021-07-16 河北工程大学 局部可视对抗样本的检测方法、装置、设备和存储介质
CN113780363B (zh) * 2021-08-17 2023-08-08 广州大学 一种对抗样本防御方法、系统、计算机及介质
CN115115884A (zh) * 2022-06-30 2022-09-27 浪潮(北京)电子信息产业有限公司 对抗样本的检测方法、系统、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024000989A1 (zh) * 2022-06-30 2024-01-04 浪潮(北京)电子信息产业有限公司 对抗样本的检测方法、系统、设备及非易失性可读存储介质

Also Published As

Publication number Publication date
WO2024000989A1 (zh) 2024-01-04

Similar Documents

Publication Publication Date Title
CN109302410B (zh) 一种内部用户异常行为检测方法、系统及计算机存储介质
CN110147732A (zh) 指静脉识别方法、装置、计算机设备及存储介质
CN114509266B (zh) 一种基于故障特征融合的轴承健康监测方法
CN111626177B (zh) 一种pcb元件识别方法及装置
US11721229B2 (en) Question correction method, device, electronic equipment and storage medium for oral calculation questions
CN115115884A (zh) 对抗样本的检测方法、系统、设备及存储介质
CN117034143B (zh) 一种基于机器学习的分布式系统故障诊断方法及装置
CN115757103A (zh) 基于树结构的神经网络测试用例生成方法
CN112131354B (zh) 答案筛选方法、装置、终端设备和计算机可读存储介质
JP5164802B2 (ja) 認識システム、認識方法、および認識プログラム
Ni et al. Multi-meter intelligent detection and recognition method under complex background
CN111209567B (zh) 提高检测模型鲁棒性的可知性判断方法及装置
CN114743048A (zh) 检测异常秸秆图片的方法和检测装置
CN107704072A (zh) 一种手势交互过程中用户手势的自动纠错方法
CN111597934A (zh) 用于为统计应用处理训练数据的系统和方法
CN115829005B (zh) 面向卷积神经分类网络的缺陷自动诊断与修复方法及装置
CN110738191A (zh) 一种基于声呐信号的物体分类方法、装置、设备及介质
CN117336195B (zh) 一种基于雷达图法的入侵检测模型综合性能评估方法
CN112784632B (zh) 一种输电线路安全隐患检测方法及装置
Bu et al. Measuring robustness of deep neural networks from the lens of statistical model checking
CN113033518B (zh) 图像检测方法、装置、电子设备及存储介质
CN117807481B (zh) 故障识别方法、模型的训练方法、装置、设备以及介质
CN114444569B (zh) 一种电源控制系统健康状态评估算法
CN110728615B (zh) 基于序贯假设检验的隐写分析方法、终端设备及存储介质
CN117235270B (zh) 基于信度混淆矩阵的文本分类方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination