CN111783742A - 一种防御对抗攻击的图像分类方法、业务决策方法及装置 - Google Patents

一种防御对抗攻击的图像分类方法、业务决策方法及装置 Download PDF

Info

Publication number
CN111783742A
CN111783742A CN202010749052.4A CN202010749052A CN111783742A CN 111783742 A CN111783742 A CN 111783742A CN 202010749052 A CN202010749052 A CN 202010749052A CN 111783742 A CN111783742 A CN 111783742A
Authority
CN
China
Prior art keywords
image information
target image
target
classification
information corresponding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010749052.4A
Other languages
English (en)
Inventor
曹佳炯
李亮
丁菁汀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010749052.4A priority Critical patent/CN111783742A/zh
Publication of CN111783742A publication Critical patent/CN111783742A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/36—User authentication by graphic or iconic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例提供一种防御对抗攻击的图像分类方法、业务决策方法及装置。图像分类方法包括：获取待分类的目标图像信息。将所述目标图像信息输入至图像复原模型，得到所述目标图像信息对应的原始图像信息，其中，所述图像复原模型的训练数据集包括以对抗攻击样本图像信息为输入、所述抗攻击样本图像信息对应的原始图像信息为输出的训练数据。基于所述目标图像信息对应的原始图像信息进行分类运算，得到所述目标图像信息的分类结果。所述目标图像信息的分类结果可以执行业务决策的决策变量。

Description

一种防御对抗攻击的图像分类方法、业务决策方法及装置
技术领域
本文件涉及人工智能技术领域，尤其涉及一种防御对抗攻击的图像分类方法、业务决策方法及装置。
背景技术
对抗攻击在近年来是威胁机械图像分类安全稳定的主要因素之一。由于机器学习算法的输入形式是一种数值型向量(numeric vectors)，所以攻击者就会通过设计一种有针对性的数值型向量从而让图像分类模型做出误判，这便被称为对抗攻击。比如，对于人脸识别模型来讲，攻击者可以在用户A的人脸图像中植入无法肉眼识别的用户B的数值型向量，以冒充用户B来完成身份验证，从而造成用户B的损失。
为此，当前有必要提出一种能够防御对抗攻击的技术方案。
发明内容
本说明书实施例目的是提供一种报案处理方法、客户端、平台及电子设备，能够简化用户报案操作，提高用户体验。
为了实现上述目的，本说明书实施例是这样实现的：
第一方面，提供一种防御对抗攻击的图像分类方法，包括：
获取待分类的目标图像信息；
将所述目标图像信息输入至图像复原模型，得到所述目标图像信息对应的原始图像信息，其中，所述图像复原模型的训练数据集包括以对抗攻击样本图像信息为输入、所述抗攻击样本图像信息对应的原始图像信息为输出的训练数据；
基于所述目标图像信息对应的原始图像信息进行分类运算，得到所述目标图像信息的分类结果。
第二方面，提供一种基于图像分类的业务决策方法，包括：
获取请求业务决策所输入的目标图像信息；
将所述目标图像信息输入至图像复原模型，得到所述目标图像信息对应的原始图像信息，其中，所述图像复原模型的训练数据集包括以对抗攻击样本图像信息为输入、所述抗攻击样本图像信息对应的原始图像信息为输出的训练数据；
基于所述目标图像信息对应的原始图像信息进行分类运算，得到所述目标图像信息的分类结果；
基于目标图像信息的分类结果，执行所述业务决策，得到对应的业务决策结果，其中，所述目标图像信息的分类结果作为所述业务决策的决策变量。
第三方面，提供一种防御对抗攻击的图像分类装置，包括：
获取模块，获取待分类的目标图像信息；
复原模块，将所述目标图像信息输入至图像复原模型，得到所述目标图像信息对应的原始图像信息，其中，所述图像复原模型的训练数据集包括以对抗攻击样本图像信息为输入、所述抗攻击样本图像信息对应的原始图像信息为输出的训练数据；
分类模块，基于所述目标图像信息对应的原始图像信息进行分类运算，得到所述目标图像信息的分类结果。
第四方面，提供一种电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行：
获取待分类的目标图像信息；
将所述目标图像信息输入至图像复原模型，得到所述目标图像信息对应的原始图像信息，其中，所述图像复原模型的训练数据集包括以对抗攻击样本图像信息为输入、所述抗攻击样本图像信息对应的原始图像信息为输出的训练数据；
基于所述目标图像信息对应的原始图像信息进行分类运算，得到所述目标图像信息的分类结果。
第五方面，提供一种算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
获取待分类的目标图像信息；
将所述目标图像信息输入至图像复原模型，得到所述目标图像信息对应的原始图像信息，其中，所述图像复原模型的训练数据集包括以对抗攻击样本图像信息为输入、所述抗攻击样本图像信息对应的原始图像信息为输出的训练数据；
基于所述目标图像信息对应的原始图像信息进行分类运算，得到所述目标图像信息的分类结果。
第六方面，提供基于图像分类的业务决策装置，包括：
获取模块，获取请求业务决策所输入的目标图像信息；
复原模块，将所述目标图像信息输入至图像复原模型，得到所述目标图像信息对应的原始图像信息，其中，所述图像复原模型的训练数据集包括以对抗攻击样本图像信息为输入、所述抗攻击样本图像信息对应的原始图像信息为输出的训练数据；
分类模块，基于所述目标图像信息对应的原始图像信息进行分类运算，得到所述目标图像信息的分类结果；
决策模块，基于目标图像信息的分类结果，执行所述业务决策，得到对应的业务决策结果，其中，所述目标图像信息的分类结果作为所述业务决策的决策变量。
第七方面，提供一种电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行：
获取请求业务决策所输入的目标图像信息；
将所述目标图像信息输入至图像复原模型，得到所述目标图像信息对应的原始图像信息，其中，所述图像复原模型的训练数据集包括以对抗攻击样本图像信息为输入、所述抗攻击样本图像信息对应的原始图像信息为输出的训练数据；
基于所述目标图像信息对应的原始图像信息进行分类运算，得到所述目标图像信息的分类结果；
基于目标图像信息的分类结果，执行所述业务决策，得到对应的业务决策结果，其中，所述目标图像信息的分类结果作为所述业务决策的决策变量。
第八方面，提供一种算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
获取请求业务决策所输入的目标图像信息；
将所述目标图像信息输入至图像复原模型，得到所述目标图像信息对应的原始图像信息，其中，所述图像复原模型的训练数据集包括以对抗攻击样本图像信息为输入、所述抗攻击样本图像信息对应的原始图像信息为输出的训练数据；
基于所述目标图像信息对应的原始图像信息进行分类运算，得到所述目标图像信息的分类结果；
基于目标图像信息的分类结果，执行所述业务决策，得到对应的业务决策结果，其中，所述目标图像信息的分类结果作为所述业务决策的决策变量。
本说明书实施例的方案预先以对抗攻击样本图像信息作为输入数据、对抗攻击样本图像信息对应的原始图像信息作为输出数据来训练图像复原模型，使得图像复原模型具备将抗攻击图像复原回原始图像信息的能力，从而在对目标图像信息进行分类运算前，先通过训练完成的图像复原模型重建目标图像信息的原始图像信息，以消除目标图像信息中可能恶意植入数值型向量，从而实现针对对抗攻击的防御。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书实施例提供的防御对抗攻击的图像分类方法的第一种流程示意图。
图2为本说明书实施例提供的训练图像复原模型的流程示意图。
图3为本说明书实施例提供的防御对抗攻击的图像分类方法的第二种流程示意图。
图4为本说明书实施例提供的基于图像分类的业务决策方法的流程示意图。
图5为本说明书实施例提供的防御对抗攻击的图像分类装置的结构示意图。
图6为本说明书实施例提供的基于图像分类的业务决策装置的结构示意图。
图7为本说明书实施例提供的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
如前所述，对抗攻击在近年来是威胁机械图像分类安全稳定的主要因素之一。以人脸识别的场景为例，攻击者可以在用户A的人脸图像中植入用户B的数值型向量，以冒充用户B来完成身份验证。而对于植入用户B数值型向量的对抗攻击图像在肉眼来看，还是用户A的人脸图像，这给图像分类的应用(比如人脸支付、人脸账户验证)带来极大的安全性挑战。为此，本文件旨在提供一种可以防御对抗攻击的图像分类方案以及后续基于图像分类结果的决策方案。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1是本说明书实施例防御对抗攻击的图像分类方法的流程图。图1所示的方法可以由下文相对应的装置执行，包括如下步骤：
S102，获取待分类的目标图像信息。
其中，目标图像信息的类型可以就是指目标图像，也可以指目标图像中的特征信值，这里本文不作具体限定。
S104，将目标图像信息输入至图像复原模型，得到目标图像信息对应的原始图像信息，其中，图像复原模型的训练数据集包括以对抗攻击样本图像信息为输入、抗攻击样本图像信息对应的原始图像信息为输出的训练数据。
应理解，图像复原模型的具体实现方式并不唯一，因此本文不作具体限定。作为示例性介绍，假设输入的目标图像信息就是目标图像本身，则图像复原模型采用适用于以图像作为输入数据的分类模型，比如说：分割网络模型Unet、大生成式对抗网络模型BigGAN、变分自编码器-生成对抗网络模型VAE-GAN等等。
在图像复原模型的具体训练过程中，可以预先确定抗攻击样本图像信息对应的原始图像信息，以作为抗攻击样本图像信息的标签。在将对抗攻击样本图像信息输入至图像复原模型后，即可得到图像复原模型给出的训练结果。这个训练结果是图像复原模型以机械方式尝试将对抗攻击样本图像信息复原回对应的原始图像信息，可能与标签指示的原始图像信息存在差异。本说明书实施例可以基于计算出机械复原的原始图像信息与标签所示的真值原始图像信息之间的误差，并以降低误差目的，对图像复原模型中的参数进行调整(例如底层向量的权重值)，从而达到训练效果。
应理解，训练完成后的图像复原模型具有将抗攻击样本图像信息复原回对应的原始图像信息能力。
也就是说，假设目标图像是基于用户A的人脸图像植入用户B的数值型向量所生成的针对用户B的对抗攻击人脸图像，则在将目标图像经图像复原模型重建后，可以消除掉目标图像中的用户B的数值型向量，在机械识别的角度可以理解为将针对用户B的对抗攻击人脸图像还原回用户A的人脸图像。当然，如果目标图像是就是用户B的人脸图像，则经图像复原模型重建后，目标图像还是用户B的人脸图像，并不会影响机械识别。
S106，基于目标图像信息对应的原始图像信息进行分类运算，得到目标图像信息的分类结果。
其中，目标图像信息的分类结果可以作为业务决策的决策变量，也就是说可以基于目标图像信息的分类结果，执行相匹配的业务决策。比如，人脸支付的业务场景中，可以根据基于图像复原模型对待识别的人脸图像还原的原始人脸图像来进行身份验证，从而确定是否执行人脸支付流程。
这里需要说明的是，分类运算属于现有比较成熟的技术，由于本文涉及分类运算的改进，因此不再举例赘述。
本说明书实施例的图像分类方法预先以对抗攻击样本图像信息作为输入数据、对抗攻击样本图像信息对应的原始图像信息作为输出数据来训练图像复原模型，使得图像复原模型具备将抗攻击图像复原回原始图像信息的能力，从而在对目标图像信息进行分类运算前，先通过训练完成的图像复原模型重建目标图像信息的原始图像信息，以消除目标图像信息中可能恶意植入数值型向量，从而实现针对对抗攻击的防御。
此外，为了进一步提高对抗攻击防御的准确性，本说明书实施例可以通过至少两种预处理方式对目标图像信息进行不同表征后，再分别输入至图像复原模型，得到所述至少两种预处理方式各自对应所述目标图像信息的原始图像信息。之后，基于所述至少两种预处理方式各自对应所述目标图像信息的原始图像信息进行分类运算，得到所述至少两种预处理方式各自对应所述目标图像信息的初始分类结果；并基于所述至少两种预处理方式各自对应所述目标图像信息的初始分类结果，综合确定出目标图像信息最终的分类结果。
作为示例性介绍：
如果目标图像信息为所述目标图像自身，则预处理方式可以包括：图像压缩、图像均值滤波、图像中值滤波以及图像高斯滤波中的至少一者。也就是通过图像压缩、图像均值滤波、图像中值滤波以及图像高斯滤波等方式生成多种目标图像并分别输入至图像复原模型，得到由图像复原模型还原的目标图像对应的多种原始图像，并对该多种原始图像分别进行分类运算，以综合确定出目标图像最终的分类结果。
如果目标图像信息为所述目标图像中的特征值，则预处理方式可以包括：卷积、池化、全连接等升阶计算。也就是通过卷积、池化、全连接处理，将目标图像中的特征值转换为多阶层的特征值，并将多阶层的特征值分别输入至图像复原模型，得到由图像复原模型还原的多阶层的原始特征值，并对多阶层的原始特征值分别进行分类运算，以综合确定出目标图像信息最终的分类结果。
下面以人脸识别的应用场景对本说明书实施例的图像分类方法进行详细介绍。
本应用场景中的图像分类方法主要包括：针对人脸图像的图像复原模型训练和人脸识别系统基于训练完成的图像复原模型执行身份验证两个流程。
参考图2，其中，图像复原模型的训练流程如要包括以下步骤：
S201，收集样本人脸图像。
具体地，本步骤可以基于人脸识别系统的历史数据，获取抗攻击人脸图像和非抗攻击人脸图像。其中，抗攻击人脸图像作为黑样本，非抗攻击人脸图像作为白样本，
S202，对收集样到的样本人脸图像进行非需求数据清洗。
清洗方式可以包括：
(1)去掉人脸清晰度、人脸完整度不符合训练要求的样本人脸图像。
(2)对样本人脸图像中非人脸区域裁剪。
(3)样本人脸图像去重。
S203，对样本人脸图像中属于黑样本的对攻击人脸图像标注为其对应的原始人脸图像，对属于白样本的非对抗攻击样本人脸图像标注为非对抗攻击样本人脸图像自身；
S204，将标注后的样本人脸图像划分为训练样本集和测试样本集。
这里，训练样本集和测试样本集均应包含有抗攻击人脸图像和非攻击人脸图像。
S205，使用训练样本集中的样本人脸图像(黑样本和白样本)，对图像复原模型进行训练。
具体地，针对对抗攻击人脸图像，本步骤以对抗攻击样本人脸图像为输入、对抗攻击样本人脸图像对应的原始人脸图像(标签)为输出，对图像复原模型进行训练；针对非抗攻击人脸图像，则本步骤以非对抗攻击样本人脸图像同时作为输入和输出，对图像复原模型进行训练。
S206，使用测试样本集中的样本人脸图像(黑样本和白样本)，对图像复原模型进行优化。
具体地，本步骤可以根据测试结果与标注结果进行比对，确定测试结果的准确率。如果测试结果的准确率未达到要求，则对图像复原模型进行调整或者再次训练，直至图像复原模型的测试准确率达到满要求。
或者，本步骤具体基于损失函数(比如均方误差函数)来计算测试结果的误差值，并以降低误差值为目的，对图像复原模型进行调整或者再次训练，直至图像复原模型的测试误差值达到要求。
S207，在人脸识别系统中上线通过测试的图像复原模型。
图3是人脸识别系统基于训练完成的图像复原模型执行身份验证的流程，主要包括如下步骤：
S301，获取请求对用户B进行身份验证所输入的目标人脸图像X。
S302，对目标人脸图像X分别进行图像压缩和图像滤波，得到经图像压缩后的目标人脸图像X1和经图像滤波后的目标人脸图像X2。
S303，将目标人脸图像X1和X2分别输入至训练完成的图像复原模型，得到目标人脸图像对应图像压缩后的原始人脸图像X1*和对应图像滤波后的原始人脸图像X2*。
S304，对原始人脸图像X1*和X2*分别进行身份分类的分类运算，确定原始人脸图像X1*的初始身份分类结果Y1和原始人脸图像X1的初始身份分类结果Y2。
其中，初始身份分类结果Y1和Y2分别为表征是否为用户B的置信值，置信值越大，则目标人脸图像为用户B身份的可能性越大；反之，置信值越小，则目标人脸图像为用户B身份的可能性越小。
S305，根据初始分类结果Y1和Y2进行加权量化，得到目标人脸图像最终的身份分类结果。
比如，本步骤可以基于初始分类结果Y1和Y2的平均值，来确定目标人脸图像最终的身份分类结果。也就是说，如果Y1和Y2的平均值未达到预设阈值，则确定目标人脸图像的身份不是用户B，用户B身份认证请求失败；如果Y1和Y2的平均值达到预设阈值，则确定目标人脸图像的身份是用户B，用户B身份认证请求成功。
以上应用场景是对本说明书实施例的方法的介绍。应理解，在不脱离本文上述原理基础之上，还可以进行适当的变化，这些变化也应视为本说明书实施例的保护范围。
此外，本说明书实施例还提供一种业务决策方法，能够基于上述图1所示的图像分类方法得到的图像分类结果来执行业务决策。图3是本说明书实施例业务决策方法的流程图。图3所示的方法可以由下文相对应的装置执行，包括如下步骤：
S302，获取请求业务决策所输入的目标图像信息；
S303，将所述目标图像信息输入至图像复原模型，得到所述目标图像信息对应的原始图像信息，其中，所述图像复原模型至少以对抗攻击样本图像信息为输入、所述对抗攻击样本图像信息对应的原始图像信息为输出进行训练后得到的，所述对抗攻击样本图像信息是基于对应的原始图像信息生成的；
S304，基于所述目标图像信息对应的原始图像信息进行分类运算，得到所述目标图像信息的分类结果；
S305，基于目标图像信息的分类结果，执行所述业务决策，得到对应的业务决策结果，其中，所述目标图像信息的分类结果作为所述业务决策的决策变量。
本说明书实施例的业务决策方法预先以对抗攻击样本图像信息作为输入数据、对抗攻击样本图像信息对应的原始图像信息作为输出数据来训练图像复原模型，使得图像复原模型具备将抗攻击图像复原回原始图像信息的能力，从而在对目标图像信息进行分类运算前，先通过训练完成的图像复原模型重建目标图像信息的原始图像信息，以消除目标图像信息中可能恶意植入数值型向量。之后，在进一步根据基于目标图像信息的原始图像信息的进行分类运算，以根据图像分类结果来执行业务决策，从而实现针对对抗攻击的防御。
此外，上述图1所示的图像分类相对应地，本说明书实施例还提供一种基于图像分类的业务决策方法。图4是本说明书实施例业务决策方法的流程图。图4所示的方法可以由下文相对应的装置执行，包括如下步骤：
S402，获取请求业务决策所输入的目标图像信息。
S404，将目标图像信息输入至图像复原模型，得到目标图像信息对应的原始图像信息，其中，图像复原模型的训练数据集包括以对抗攻击样本图像信息为输入、抗攻击样本图像信息对应的原始图像信息为输出的训练数据。
S406，基于目标图像信息对应的原始图像信息进行分类运算，得到目标图像信息的分类结果。
S408，基于目标图像信息的分类结果，执行业务决策，得到对应的业务决策结果，其中，目标图像信息的分类结果作为所述业务决策的决策变量。
比如，若本说明书实施例的业务决策为人脸支付决策，则可以根据目标图像信息的分类结果来对定是否执行人脸支付流程。
本说明书实施例的业务决策预先以对抗攻击样本图像信息作为输入数据、对抗攻击样本图像信息对应的原始图像信息作为输出数据来训练图像复原模型，使得图像复原模型具备将抗攻击图像复原回原始图像信息的能力，从而在对目标图像信息进行分类运算前，先通过训练完成的图像复原模型重建目标图像信息的原始图像信息，以消除目标图像信息中可能恶意植入数值型向量，之后在对目标图像信息的原始图像信息进行分类运算，进而根图像分类结果执行相匹配的业务策略，以实现针对对抗攻击的防御。
与上述图1所示的图像分类方法相对应地，本说明书实施例还提供一种防御对抗攻击的图像分类装置。图5是本说明书实施例图像分类装置500的结构图，包括：
获取模块510，获取待分类的目标图像信息。
复原模块520，将所述目标图像信息输入至图像复原模型，得到所述目标图像信息对应的原始图像信息，其中，所述图像复原模型的训练数据集包括以对抗攻击样本图像信息为输入、所述抗攻击样本图像信息对应的原始图像信息为输出的训练数据。
分类模块530，基于所述目标图像信息对应的原始图像信息进行分类运算，得到所述目标图像信息的分类结果。
本说明书实施例的图像分类装置预先以对抗攻击样本图像信息作为输入数据、对抗攻击样本图像信息对应的原始图像信息作为输出数据来训练图像复原模型，使得图像复原模型具备将抗攻击图像复原回原始图像信息的能力，从而在对目标图像信息进行分类运算前，先通过训练完成的图像复原模型重建目标图像信息的原始图像信息，以消除目标图像信息中可能恶意植入数值型向量，从而实现针对对抗攻击的防御。
可选地，所述图像复原模型的训练数据集还包括以非对抗攻击样本图像信息为输入、所述非对抗攻击样本图像信息为输出的训练数据。
可选地，复原模块520具体对所述目标图像信息按照至少两种预处理方式进行预处理，得到所述至少两种预处理方式各自对应的目标图像信息；之后，将所述至少两种预处理方式各自对应的目标图像信息输入至所述图像复原模型，得到所述至少两种预处理方式各自对应所述目标图像信息的原始图像信息。
对应地，分类模块530基于所述至少两种预处理方式各自对应所述目标图像信息的原始图像信息进行分类运算，得到所述至少两种预处理方式各自对应所述目标图像信息的初始分类结果；之后，分类模块530基于所述至少两种预处理方式各自对应所述目标图像信息的初始分类结果，确定所述目标图像信息最终的分类结果。
其中，上述至少两种预处理方式包括：图像压缩、图像均值滤波、图像中值滤波以及图像高斯滤波中的至少一者。
可选地，所述分类运算用于人脸识别，所述目标图像信息和所述对抗攻击样本图像信息均为人脸图像。
可选地，所述图像复原模型包括：分割网络模型、大生成式对抗网络模型、变分自编码器-生成对抗网络模型中的至少一者。
显然，本说明书实施例图5所示的图像分类装置可以实现上述图1至图3所示的处理方法中的步骤和功能。由于原理相同，本文不再赘述。
与上述图4所示的业务决策方法相对应地，本说明书实施例还提供一种基于图像分类的业务决策装置。图6是本说明书实施业务决策装置600的结构图，包括：
获取模块610，获取请求业务决策所输入的目标图像信息。
复原模块620，将所述目标图像信息输入至图像复原模型，得到所述目标图像信息对应的原始图像信息，其中，所述图像复原模型的训练数据集包括以对抗攻击样本图像信息为输入、所述抗攻击样本图像信息对应的原始图像信息为输出的训练数据。
分类模块630，基于所述目标图像信息对应的原始图像信息进行分类运算，得到所述目标图像信息的分类结果。
决策模块640，基于目标图像信息的分类结果，执行所述业务决策，得到对应的业务决策结果，其中，所述目标图像信息的分类结果作为所述业务决策的决策变量。
本说明书实施例的评估装置可以识别代码文件中的敏感信息内容，并关联出敏感信息内容所涉及的业务层信息，从而基于敏感信息内容和业务层信息，以业务角度评估目标代码文件的敏感信息泄密的影响因子，为后续采取泄密处理策略提供数据支持。
显然，本说明书实施例图6所示的业务决策装置可以实现上述图4所示的业务决策方法中的步骤和功能。由于原理相同，本文不再赘述。
图7是本说明书的一个实施例电子设备的结构示意图。请参考图7，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
可选地，处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成图4所示的图像分类装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
获取待分类的目标图像信息。
将所述目标图像信息输入至图像复原模型，得到所述目标图像信息对应的原始图像信息，其中，所述图像复原模型的训练数据集包括以对抗攻击样本图像信息为输入、所述抗攻击样本图像信息对应的原始图像信息为输出的训练数据。
基于所述目标图像信息对应的原始图像信息进行分类运算，得到所述目标图像信息的分类结果。
可选地，处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成图5所示的业务决策装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
获取请求业务决策所输入的目标图像信息。
将所述目标图像信息输入至图像复原模型，得到所述目标图像信息对应的原始图像信息，其中，所述图像复原模型的训练数据集包括以对抗攻击样本图像信息为输入、所述抗攻击样本图像信息对应的原始图像信息为输出的训练数据。
基于所述目标图像信息对应的原始图像信息进行分类运算，得到所述目标图像信息的分类结果。
基于目标图像信息的分类结果，执行所述业务决策，得到对应的业务决策结果，其中，所述目标图像信息的分类结果作为所述业务决策的决策变量。
上述如本说明书图1所示实施例揭示的图像分类方法或者图3所示实施例揭示的业务决策方法可以应用于处理器中，由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
应理解，本说明书实施例的电子设备可以实现上述图4的图像分类装置在图1至图3所示的实施例的功能，或者可以实现上述图5的业务决策装置在图3所示的实施例的功能。
当然，除了软件实现方式之外，本说明书的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
此外，本说明书实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，
可选地，上述指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图1所示的图像分类方法，并具体用于执行以下步骤：
获取待分类的目标图像信息。
将所述目标图像信息输入至图像复原模型，得到所述目标图像信息对应的原始图像信息，其中，所述图像复原模型的训练数据集包括以对抗攻击样本图像信息为输入、所述抗攻击样本图像信息对应的原始图像信息为输出的训练数据。
基于所述目标图像信息对应的原始图像信息进行分类运算，得到所述目标图像信息的分类结果。
可选地，上述指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图3所示的业务决策方法，并具体用于执行以下步骤：
将所述目标图像信息输入至图像复原模型，得到所述目标图像信息对应的原始图像信息，其中，所述图像复原模型的训练数据集包括以对抗攻击样本图像信息为输入、所述抗攻击样本图像信息对应的原始图像信息为输出的训练数据。
基于所述目标图像信息对应的原始图像信息进行分类运算，得到所述目标图像信息的分类结果。
基于目标图像信息的分类结果，执行所述业务决策，得到对应的业务决策结果，其中，所述目标图像信息的分类结果作为所述业务决策的决策变量。
应理解，上述指令当被包括多个应用程序的便携式电子设备执行时，能够使图4所示的图像分类装置实现图1至图3所示实施例中对应的功能，或者使图5所示的业务决策装置实现图3所示实施例中对应的功能。由于原理相同，本文不再赘述。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。此外，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。

Claims (13)

1.一种防御对抗攻击的图像分类方法，包括：
获取待分类的目标图像信息；
将所述目标图像信息输入至图像复原模型，得到所述目标图像信息对应的原始图像信息，其中，所述图像复原模型的训练数据集包括以对抗攻击样本图像信息为输入、所述抗攻击样本图像信息对应的原始图像信息为输出的训练数据；
基于所述目标图像信息对应的原始图像信息进行分类运算，得到所述目标图像信息的分类结果。
2.根据权利要求1所述的方法，
所述图像复原模型的训练数据集还包括以非对抗攻击样本图像信息为输入、所述非对抗攻击样本图像信息为输出的训练数据。
3.根据权利要求1所述的方法，
将所述目标图像信息输入至图像复原模型，得到所述目标图像信息对应的原始图像信息，包括：
对所述目标图像信息按照至少两种预处理方式进行预处理，得到所述至少两种预处理方式各自对应的目标图像信息；
将所述至少两种预处理方式各自对应的目标图像信息输入至所述图像复原模型，得到所述至少两种预处理方式各自对应所述目标图像信息的原始图像信息；
基于所述目标图像信息对应的原始图像信息进行分类运算，得到所述目标图像信息的分类结果，包括：
基于所述至少两种预处理方式各自对应所述目标图像信息的原始图像信息进行分类运算，得到所述至少两种预处理方式各自对应所述目标图像信息的初始分类结果；
基于所述至少两种预处理方式各自对应所述目标图像信息的初始分类结果，确定所述目标图像信息最终的分类结果。
4.根据权利要求3所述的方法，
所述目标图像信息为所述目标图像自身，所述至少两种预处理方式包括：图像压缩、图像均值滤波、图像中值滤波以及图像高斯滤波中的至少一者。
5.根据权利要求1-4中任一项所述的方法，
所述分类运算用于人脸识别，所述目标图像信息和所述对抗攻击样本图像信息均为人脸图像。
6.根据权利要求1-5中任一项所述的方法，
所述图像复原模型包括：分割网络模型、大生成式对抗网络模型、变分自编码器-生成对抗网络模型中的至少一者。
7.一种基于图像分类的业务决策方法，包括：
获取请求业务决策所输入的目标图像信息；
将所述目标图像信息输入至图像复原模型，得到所述目标图像信息对应的原始图像信息，其中，所述图像复原模型的训练数据集包括以对抗攻击样本图像信息为输入、所述抗攻击样本图像信息对应的原始图像信息为输出的训练数据；
基于所述目标图像信息对应的原始图像信息进行分类运算，得到所述目标图像信息的分类结果；
基于目标图像信息的分类结果，执行所述业务决策，得到对应的业务决策结果，其中，所述目标图像信息的分类结果作为所述业务决策的决策变量。
8.一种防御对抗攻击的图像分类装置，包括：
获取模块，获取待分类的目标图像信息；
复原模块，将所述目标图像信息输入至图像复原模型，得到所述目标图像信息对应的原始图像信息，其中，所述图像复原模型的训练数据集包括以对抗攻击样本图像信息为输入、所述抗攻击样本图像信息对应的原始图像信息为输出的训练数据；
分类模块，基于所述目标图像信息对应的原始图像信息进行分类运算，得到所述目标图像信息的分类结果。
9.一种电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行：
获取待分类的目标图像信息；
将所述目标图像信息输入至图像复原模型，得到所述目标图像信息对应的原始图像信息，其中，所述图像复原模型的训练数据集包括以对抗攻击样本图像信息为输入、所述抗攻击样本图像信息对应的原始图像信息为输出的训练数据；
基于所述目标图像信息对应的原始图像信息进行分类运算，得到所述目标图像信息的分类结果。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
获取待分类的目标图像信息；
将所述目标图像信息输入至图像复原模型，得到所述目标图像信息对应的原始图像信息，其中，所述图像复原模型的训练数据集包括以对抗攻击样本图像信息为输入、所述抗攻击样本图像信息对应的原始图像信息为输出的训练数据；
基于所述目标图像信息对应的原始图像信息进行分类运算，得到所述目标图像信息的分类结果。
11.一种基于图像分类的业务决策装置，包括：
获取模块，获取请求业务决策所输入的目标图像信息；
复原模块，将所述目标图像信息输入至图像复原模型，得到所述目标图像信息对应的原始图像信息，其中，所述图像复原模型的训练数据集包括以对抗攻击样本图像信息为输入、所述抗攻击样本图像信息对应的原始图像信息为输出的训练数据；
分类模块，基于所述目标图像信息对应的原始图像信息进行分类运算，得到所述目标图像信息的分类结果；
决策模块，基于目标图像信息的分类结果，执行所述业务决策，得到对应的业务决策结果，其中，所述目标图像信息的分类结果作为所述业务决策的决策变量。
12.一种电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行：
获取请求业务决策所输入的目标图像信息；
将所述目标图像信息输入至图像复原模型，得到所述目标图像信息对应的原始图像信息，其中，所述图像复原模型的训练数据集包括以对抗攻击样本图像信息为输入、所述抗攻击样本图像信息对应的原始图像信息为输出的训练数据；
基于所述目标图像信息对应的原始图像信息进行分类运算，得到所述目标图像信息的分类结果；
基于目标图像信息的分类结果，执行所述业务决策，得到对应的业务决策结果，其中，所述目标图像信息的分类结果作为所述业务决策的决策变量。
13.一种电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行：
获取请求业务决策所输入的目标图像信息；
将所述目标图像信息输入至图像复原模型，得到所述目标图像信息对应的原始图像信息，其中，所述图像复原模型的训练数据集包括以对抗攻击样本图像信息为输入、所述抗攻击样本图像信息对应的原始图像信息为输出的训练数据；
基于所述目标图像信息对应的原始图像信息进行分类运算，得到所述目标图像信息的分类结果；
基于目标图像信息的分类结果，执行所述业务决策，得到对应的业务决策结果，其中，所述目标图像信息的分类结果作为所述业务决策的决策变量。
CN202010749052.4A 2020-07-30 2020-07-30 一种防御对抗攻击的图像分类方法、业务决策方法及装置 Pending CN111783742A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010749052.4A CN111783742A (zh) 2020-07-30 2020-07-30 一种防御对抗攻击的图像分类方法、业务决策方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010749052.4A CN111783742A (zh) 2020-07-30 2020-07-30 一种防御对抗攻击的图像分类方法、业务决策方法及装置

Publications (1)

Publication Number Publication Date
CN111783742A true CN111783742A (zh) 2020-10-16

Family

ID=72765359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010749052.4A Pending CN111783742A (zh) 2020-07-30 2020-07-30 一种防御对抗攻击的图像分类方法、业务决策方法及装置

Country Status (1)

Country Link
CN (1) CN111783742A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743254A (zh) * 2021-08-18 2021-12-03 北京格灵深瞳信息技术股份有限公司 视线估计方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107993210A (zh) * 2017-11-30 2018-05-04 北京小米移动软件有限公司 图像修复方法、装置及计算机可读存储介质
CN108446700A (zh) * 2018-03-07 2018-08-24 浙江工业大学 一种基于对抗攻击的车牌攻击生成方法
CN108537271A (zh) * 2018-04-04 2018-09-14 重庆大学 一种基于卷积去噪自编码机防御对抗样本攻击的方法
CN110717522A (zh) * 2019-09-18 2020-01-21 平安科技（深圳）有限公司 图像分类网络的对抗防御方法及相关装置
CN110993063A (zh) * 2018-10-02 2020-04-10 西门子医疗有限公司 用于便于由放射科医师和人工智能算法进行联合解释的扫描仪处的医学图像预处理

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107993210A (zh) * 2017-11-30 2018-05-04 北京小米移动软件有限公司 图像修复方法、装置及计算机可读存储介质
CN108446700A (zh) * 2018-03-07 2018-08-24 浙江工业大学 一种基于对抗攻击的车牌攻击生成方法
CN108537271A (zh) * 2018-04-04 2018-09-14 重庆大学 一种基于卷积去噪自编码机防御对抗样本攻击的方法
CN110993063A (zh) * 2018-10-02 2020-04-10 西门子医疗有限公司 用于便于由放射科医师和人工智能算法进行联合解释的扫描仪处的医学图像预处理
CN110717522A (zh) * 2019-09-18 2020-01-21 平安科技（深圳）有限公司 图像分类网络的对抗防御方法及相关装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743254A (zh) * 2021-08-18 2021-12-03 北京格灵深瞳信息技术股份有限公司 视线估计方法、装置、电子设备及存储介质
CN113743254B (zh) * 2021-08-18 2024-04-09 北京格灵深瞳信息技术股份有限公司 视线估计方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US11403876B2 (en) Image processing method and apparatus, facial recognition method and apparatus, and computer device
CN111340008A (zh) 对抗补丁生成、检测模型训练、对抗补丁防御方法及系统
CN111368758B (zh) 一种人脸模糊度检测方法、装置、计算机设备及存储介质
CN108416343B (zh) 一种人脸图像识别方法及装置
CN106203387A (zh) 人脸验证方法及系统
CN111079816A (zh) 图像的审核方法、装置和服务器
US11605210B2 (en) Method for optical character recognition in document subject to shadows, and device employing method
CN111553320B (zh) 保护个人数据隐私的特征提取方法、模型训练方法及硬件
CN112836756A (zh) 图像识别模型训练方法、系统和计算机设备
CN111291668A (zh) 活体检测方法、装置、电子设备及可读存储介质
CN111680181A (zh) 一种异常对象的识别方法及终端设备
CN111340025A (zh) 字符识别方法、装置、计算机设备和计算机可读存储介质
CN111783742A (zh) 一种防御对抗攻击的图像分类方法、业务决策方法及装置
CN111783812A (zh) 违禁图像识别方法、装置和计算机可读存储介质
CN111476668B (zh) 可信关系的识别方法、装置、存储介质和计算机设备
CN111539382A (zh) 一种图像识别模型隐私风险的评估方法、装置及电子设备
CN117014507A (zh) 任务卸载模型的训练方法、任务的卸载方法及装置
CN116188439A (zh) 一种基于身份识别概率分布的伪造换脸图像检测方法和装置
CN112199976A (zh) 证件图片生成方法及装置
CN116151965A (zh) 一种风险特征提取方法、装置、电子设备及存储介质
CN110795993A (zh) 一种构建模型的方法、装置、终端设备及介质
CN110969640A (zh) 视频图像的分割方法、终端设备以及计算机可读存储介质
CN116563898A (zh) 基于GhostNet网络的掌静脉图像识别方法、装置、设备及介质
CN111931148A (zh) 图像处理方法、装置和电子设备
CN111539022B (zh) 一种特征匹配方法、目标对象的识别方法及相关硬件

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201016

RJ01 Rejection of invention patent application after publication