CN115935378A - 一种基于条件生成式网络的图像融合模型安全性检测方法 - Google Patents

Abstract

本发明提出一种基于条件生成式网络的图像融合模型安全性检测方法，涉及数据安全技术领域。所述方法包括：获取待进行安全性检测的原模型，所述原模型至少包括图像融合模型，基于条件生成式网络构建所述图像融合模型的替换模型，并利用所述替换模型得到所述原模型的等价模型；通过搜索触发器来确定所述等价模型的可疑后门，并基于所述可疑后门的聚散度函数确定所述等价模型的恶意后门，作为对所述原模型的安全性检测结果。本发明解决了基于传统图像融合方法的图像融合智能识别模型由于图像融合部分与识别模型分离无法使用已有的模型安全性测试方法对图像融合智能识别模型进行测试的问题。

Description

一种基于条件生成式网络的图像融合模型安全性检测方法

技术领域

本发明属于数据安全技术领域，尤其涉及一种基于条件生成式网络的图像融合模型安全性检测方法。

背景技术

深度学习技术已经被广泛应用在图像识别、语音识别和自然语言处理等诸多领域，其中以图像识别领域应用最早、最为成熟。图像融合是理解图像和计算机视觉领域重要的技术，进行多种尺度下数据智能融合，可以实现比单一传感器数据决策更精确，融合得到的图像将会更符合人和机器的视觉特性，同时也有利于对图像进行目标识别和检测。目前已经有非常多的将图像融合与深度学习图像识别相结合的技术提出。

对软件行业来说，有个共同的挑战: 软件实现的复杂性通常会导致漏洞。深度学习框架面临同样的挑战。深度学习框架可能由于错误的输入数据、错误的训练数据和模型，对系统产生安全威胁。其中针对深度学习的后门检测防御就是学术界目前仍在探究的难题，现有的很多技术已经可以在一定程度上检测并缓解深度学习模型的后门威胁，例如Gao等人设计的STRIP方法，可以通过对样本输入进行扰动的方式检测数据集中所存在的后门，Neural Cleanse论文中提到了一种识别后门并且重建可能的触发点。通过输入过滤器、神经元剪枝和忘却学习来识别多种缓解技术。

但是由于以上提到的方法某些是需要直接在深度学习网络模型输入尺度上进行操作或是利用深度学习模型本身特性展开的，而传统图像融合的过程导致了后门触发器在经过图像融合后变得不明显，检测难度明显增加。因此已有的深度学习模型安全性检测的方法并不能够很好的移植到图像融合智能识别模型中。因此，提出一种能够对图像融合智能识别模型的安全性测试技术非常必要。

发明内容

为了解决基于传统图像融合方法的图像融合智能识别模型由于图像融合部分与识别模型分离无法使用已有的模型安全性测试方法对图像融合智能识别模型进行测试的技术问题，本发明提出一种基于条件生成式网络的图像融合模型安全性检测方案。

本发明第一方面公开了一种基于条件生成式网络的图像融合模型安全性检测方法。所述方法包括：步骤S1、获取待进行安全性检测的原模型，所述原模型至少包括图像融合模型，基于条件生成式网络构建所述图像融合模型的替换模型，并利用所述替换模型得到所述原模型的等价模型；步骤S2、通过搜索触发器来确定所述等价模型的可疑后门，并基于所述可疑后门的聚散度函数确定所述等价模型的恶意后门，作为对所述原模型的安全性检测结果。

根据第一方面的方法，所述原模型为M，所述图像融合模型为M1，所述原模型中除所述图像融合模型之外的其他模型为M2；在所述步骤S1中：取原始数据集记为D₀，其中原始数据集为所述原模型M在训练过程中所使用的干净的数据集，所述原始数据集D₀内的样本的形式和大小和所述原模型M训练过程中的数据集完全相同；所述原始数据集D₀内的内容为融合前的图像，其包括多种尺度，每种尺度的图像为对于同一目标使用不同种类传感器采集后的数据，将描述同一目标的不同形式的图像组进行绑定，记为一个元素，其中，S为元素总数量；将所述原始数据集D₀中的每个元素下的多尺度图像作为所述图像融合模型M1的输入，将每张融合后的图像记为，所有的输出图像共同构成标签数据集Y，，且和一一对应。

根据第一方面的方法，在所述步骤S1中：所述条件生成式网络为深度神经网络，将所述原始数据集D₀中的多尺度图像经大小归一化后在通道维度上进行组合，用于生成所述条件生成式网络的输入；所述条件生成式网络包括特征提取器和生成器，所述特征提取器包括5个卷积层，所述生成器包括由5个反卷积层构成的网络，激活函数为Relu函数。

根据第一方面的方法，在所述步骤S1中，对所述替换模型进行训练，以损失函数PSNR约束生成图像与目标图像的相似程度，以图像生成评价指标Inception Score约束所述生成图像的质量，采用优化器Adam来执行优化训练，幸而得到所述替换模型M_ad，所述替换模型M_ad用于替换所述图像融合模型为M1，从而得到所述等价模型M_eq。

根据第一方面的方法，在所述步骤S2中，所述触发器被描述为：

其中，T(·)表示将所述触发器应用于所述原始数据集D₀中的图像的函数，c表示不同尺度的图像的下标，Δ表示所述触发器的图案，m表示掩码的3D矩阵，像素的所有颜色通道上均施加相同的掩码值，所述掩码值从0到1不等；当用于特定像素(i,j)的=1时，所述触发器完全重写原始颜色；当=0时，所述图像的颜色不变。

根据第一方面的方法，在所述步骤S2中，搜索所述触发器时，对于待分析的所述标签数据集Y中的目标标签yt，搜索到触发器(m,Δ)，其将干净的图像错误地分类为yt，以及搜索到简洁触发器，所述简洁触发器为只修改图像的有限部分的触发器；并且，以掩码m的L1范数来测量所述触发器的大小；同时，通过对所述触发器(m,Δ)和所述简洁触发器进行加权求和，表述为多目标优化任务：

其中，f(·)表示DNN的预测函数；l(·)表示测量分类误差的损失函数，即实验中的交叉熵；表示所述简洁触发器的权重，X表示用于优化任务的干净样本。

根据第一方面的方法，在所述步骤S2中，基于所述可疑后门的聚散度函数确定所述等价模型的恶意后门，具体包括：计算当前类别下可疑后门的聚散度函数，所述聚散度函数的值越小，表征所述当前类别下的触发器覆盖面积越小，所述当前类别下的可疑后门的样式越可能表征所述当前类别下的恶意后门，所述聚散度函数为：

其中，y表示当前类别，k表示总的尺度数量，s1、s2分别表示为输入图像的长和宽，函数D表示(i,j)距的二维空间距离，分别表示当前尺度下重心的位置；测量每一个类别的聚散度函数，将各类别中聚散度函数最大值f1和聚散度函数最小值f2的比值与判定阈值f_t进行比较，若，则说明所述等价模型存在安全性问题。

本发明第二方面提出了一种基于条件生成式网络的图像融合模型安全性检测系统。所述系统包括：第一处理单元，被配置为：获取待进行安全性检测的原模型，所述原模型至少包括图像融合模型，基于条件生成式网络构建所述图像融合模型的替换模型，并利用所述替换模型得到所述原模型的等价模型；第二处理单元，被配置为：通过搜索触发器来确定所述等价模型的可疑后门，并基于所述可疑后门的聚散度函数确定所述等价模型的恶意后门，作为对所述原模型的安全性检测结果。

本发明第三方面公开了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现本公开第一方面中的一种基于条件生成式网络的图像融合模型安全性检测方法中的步骤。

本发明第四方面公开了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本公开第一方面中的一种基于条件生成式网络的图像融合模型安全性检测方法中的步骤。

综上，本发明提供的技术方案以条件生成式网络代替传统的图像融合过程，将产生的条件生成式网络纳入整体模型中，得到图像融合模型的替换模型，并通过测试原模型的等价模型达到对于原模型安全性测试的目的。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例的基于条件生成式网络的图像融合模型安全性检测流程的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明第一方面公开了一种基于条件生成式网络的图像融合模型安全性检测方法。所述方法包括：步骤S1、获取待进行安全性检测的原模型，所述原模型至少包括图像融合模型，基于条件生成式网络构建所述图像融合模型的替换模型，并利用所述替换模型得到所述原模型的等价模型；步骤S2、通过搜索触发器来确定所述等价模型的可疑后门，并基于所述可疑后门的聚散度函数确定所述等价模型的恶意后门，作为对所述原模型的安全性检测结果。

在一些实施例中，所述原模型为M，所述图像融合模型为M1，所述原模型中除所述图像融合模型之外的其他模型为M2；在所述步骤S1中：取原始数据集记为D₀，其中原始数据集为所述原模型M在训练过程中所使用的干净的数据集，所述原始数据集D₀内的样本的形式和大小和所述原模型M训练过程中的数据集完全相同；所述原始数据集D₀内的内容为融合前的图像，其包括多种尺度，每种尺度的图像为对于同一目标使用不同种类传感器采集后的数据，将描述同一目标的不同形式的图像组进行绑定，记为一个元素，其中，S为元素总数量；将所述原始数据集D₀中的每个元素下的多尺度图像作为所述图像融合模型M1的输入，将每张融合后的图像记为，所有的输出图像共同构成标签数据集Y，，且和一一对应。

在一些实施例中，在所述步骤S1中：所述条件生成式网络为深度神经网络，将所述原始数据集D₀中的多尺度图像经大小归一化后在通道维度上进行组合，用于生成所述条件生成式网络的输入；所述条件生成式网络包括特征提取器和生成器，所述特征提取器包括5个卷积层，所述生成器包括由5个反卷积层构成的网络，激活函数为Relu函数。

在一些实施例中，在所述步骤S1中，对所述替换模型进行训练，以损失函数PSNR约束生成图像与目标图像的相似程度，以图像生成评价指标Inception Score约束所述生成图像的质量，采用优化器Adam来执行优化训练，幸而得到所述替换模型M_ad，所述替换模型M_ad用于替换所述图像融合模型为M1，从而得到所述等价模型M_eq。

在一些实施例中，在所述步骤S2中，所述触发器被描述为：

其中，T(·)表示将所述触发器应用于所述原始数据集D₀中的图像的函数，c表示不同尺度的图像的下标，Δ表示所述触发器的图案，m表示掩码的3D矩阵，像素的所有颜色通道上均施加相同的掩码值，所述掩码值从0到1不等；当用于特定像素(i,j)的=1时，所述触发器完全重写原始颜色；当=0时，所述图像的颜色不变。

在一些实施例中，在所述步骤S2中，搜索所述触发器时，对于待分析的所述标签数据集Y中的目标标签yt，搜索到触发器(m,Δ)，其将干净的图像错误地分类为yt，以及搜索到简洁触发器，所述简洁触发器为只修改图像的有限部分的触发器；并且，以掩码m的L1范数来测量所述触发器的大小；同时，通过对所述触发器(m,Δ)和所述简洁触发器进行加权求和，表述为多目标优化任务：

其中，f(·)表示DNN的预测函数；l(·)表示测量分类误差的损失函数，即实验中的交叉熵；表示所述简洁触发器的权重，X表示用于优化任务的干净样本。

在一些实施例中，在所述步骤S2中，基于所述可疑后门的聚散度函数确定所述等价模型的恶意后门，具体包括：计算当前类别下可疑后门的聚散度函数，所述聚散度函数的值越小，表征所述当前类别下的触发器覆盖面积越小，所述当前类别下的可疑后门的样式越可能表征所述当前类别下的恶意后门，所述聚散度函数为：

其中，y表示当前类别，k表示总的尺度数量，s1、s2分别表示为输入图像的长和宽，函数D表示(i,j)距的二维空间距离，分别表示当前尺度下重心的位置；测量每一个类别的聚散度函数，将各类别中聚散度函数最大值f1和聚散度函数最小值f2的比值与判定阈值f_t进行比较，若，则说明所述等价模型存在安全性问题。

具体实施例

（1）原模型获取及分解：

图像融合智能识别模型主要分为两个部分，分别为图像融合模型以及图像识别模型，记原模型为M，记原模型图像融合部分为M1，图像识别模型为M2。记录M1的输入和输出维度以便于后续步骤中构建等价模型。

（2）数据集准备及预处理。

（2.1）数据集获取

取原始数据集记为D₀，其中原始数据集指的是原模型M在训练过程中所使用的干净的数据集，数据集内样本的形式和大小要和原模型M训练过程中的数据集完全相同，数据集内容为融合前的图像，其中包括多种尺度的图像，每种尺度的图像是对于同一目标使用不同种类传感器采集后的数据（如分别使用视觉相机和深度相机采集同一个对象），本实例中下述过程将以2种尺度的图像为例，其中将描述同一对象的不同形式的图像组绑定，记为一个元素，其中，S为元素总数量。

（2.2）标签数据产生

将数据集D₀中的每个元素下的多种尺度图像作为模型M1的输入，将每张融合后的图像记为，所有的输出图像共同构成标签数据集Y，并在过程中将和一一对应。

（2.3）新数据集生成

由于本发明中需要构造一个条件生成式模型来替代原模型中图像融合过程，因此需要在这一步准备条件生成式模型的输入，条件生成式模型是一个深度神经网络模型，本发明中将原数据集中多尺度的图像在大小归一化之后在通道维度上进行组合，以方便后续条件生成式深度神经网络的输入。

将D₀中的多种尺度的图像在通道维度上进行组合。例如，视觉相机采集到的图像为大小为[256,256,3]的图像，深度相机采集到的图像大小为[128,128,1]，利用最近邻算法、Bilinear算法、Lanczos算法等常用的图像大小放缩方法，使得不同尺度的大小不同的图像放缩为大小为的图像，并最后在通道维度上合并为大小为[256,256,4]的图像，其中最终的图像的前3个通道分别为视觉相机采集到的图像数据，后1个通道为深度相机采集的图像经过放缩之后的数据，记为X。并将合并后的结果和步骤（2.2）中得到的Y中的融合结果一一对应，记新产生的数据集为D。若原模型中存在多种融合方式，则针对每种融合方式都要进行此步骤，并对不同融合方式的结果进行区分。

（3）构造条件生成式网络

本发明中利用条件生成式网络来等价原模型中的图像融合模型M1，并利用训练好的条件生成式网络替代原本的图像融合模型。需要条件生成式网络的输出和M1的输出尽量的相似。

针对原模型中可能共同存在多种图像融合的方式，本发明采用条件生成式网络来增加方法的泛化性能，针对不同图像融合方式得到的结果，本发明采用不同的条件输入来控制，以增加网络的泛化性能。

并且考虑到模型的泛化性能，本发明采用的条件生成式网络。和生成式网络不同的地方在于，条件生成式网络可以增加额外信息I作为条件，I可以是任何信息，在本发明中利用I来指代图像融合的方式。本发明在输入端就将I输入模型，使得模型可以对于不同融合方式产生的模型做到区分。

（3.1）条件生成式网络结构设计：

条件生成式网络为监督模型，模型的输入是大小为[s1,s2,h]的特征图，其中s1、s2为步骤（2.3）中产生的新数据集X的长和宽，h为X的通道数+1，例如的数据X大小为[256,256,4]，的模型的输入大小为[256,256,5]，其中输入的前4层为X的数据，最后一层为条件表示层，其数值取决于得到数据X的图像融合的方式。例如针对同一组原图，利用小波变换和特征金字塔方式分别融合得到X1和X2，则针对X1，此处的条件表示层数值为全0，针对X2，此处的条件表示层数值为全1，同一融合方式产生的所有样本的条件输入层数值相同，不同融合方式产生的所有样本的条件输入层的数值不同。例如用0、1、2、3分别表示小波变换的图像融合方法、特征金字塔的图像融合方法、像素加权平均的图像融合方法、拉普拉斯金字塔的图像融合方法。

条件生成式网络的输出为大小和M1模型输出大小一样的特征图。本实施例中，构建的条件生成式网络包括特征提取器和生成器两部分，其中特征提取器采用5个卷积层。生成器采用5个反卷积层构成的网络，激活函数采用Relu函数。

（3.2）模型训练：

模型训练过程中损失函数采用PSNR与Inception Score相结合的形式，利用PSNR约束生成图像与目标图像的相似程度，Inception Score评价指标约束生成图像的质量。

PSNR即为峰值信噪比，它是一种评价图像的客观标准，它通常用于衡量经过图像压缩之后，所输出的图像和原始图像的差异性，用于衡量图像处理程序的质量，PSNR值越大，就代表失真越少，即两张图片直接越接近。

Inception Score即用于衡量一张图片的质量，如果一个随机变量是高度可预测的，那么它就有较低的熵；相反，如果它是乱序随机的，那么它就是有较高的熵。如果定义p为生成的图像，l为生成图像输入到M2模型的识别结果（如果以10分类问题为例，l就是10个具体的类别），对于图像质量越高的图片，分类器的判定结果也就会越确定，即P（l|p）越确定，熵越小。

（3.2.1）PSNR指标构造

在本发明中使用PSNR指标衡量条件生成式网络输出值和原图像融合算法的相似程度，如果PSNR值小于人为设定的阈值，说明条件生成式网络输出值和原图像融合算法输出的图像的相似性达标，即条件生成式网络和原图像融合算法可以相互替代，公式如下所示：

其中为模型输出结果对应位置像素值，为标签对应位置像素值，MAX_I是表示图像点颜色的最大数值，m、n分别为图像的宽和高，本实例中都是256。针对训练过程中每个训练轮次下一个batch可能存在多张图像的情况。

（3.2.2）Inception Score指标构造

利用熵来衡量的确定性情况，熵越小，说明当前生成的图像的质量越高，记熵为E，衡量单张图片的公式如下：

其中fi代表每张输入的图片，la代表该图片输入M2模型后的分类矩阵。

(3.2.3)模型训练：

以D中的每个X作为输入，将X所对应的Y作为标签，训练批次的大小定为64，在训练阶段采用预热学习率策略，优化器采用Adam进行优化。

其中m为每个batch中图片的数量，和分别表示当前图像的PSNR值和E的值。

利用验证集进行验证，等模型输出图像和标签图像的平均loss值达到预设的标准后停止，记训练完毕的条件生成式网络为M_ad。

（4）生成等价网络M_eq

利用M_ad替代M1，使得M_ad和M2共同组成原模型的等价模型，模型的输入输出都和原模型M相同，也分为两部分，分别为条件生成式网络模型和图像识别模型，其中图像识别模型直接使用原模型的图像识别模型，模型参数不需要进行重新训练，模型中第一部分的输出就是后一部分的输入，两个部分相互连接成一个新的网络模型，记为M_eq。

（5）等价模型安全性测试

后门攻击是针对深度学习模型攻击的一种常用形式，和对抗性攻击不同的是，后者以危害模型的准确率为目的，而后门攻击的目的是在模型的训练过程中通过某种方式对模型植入后门，所谓后门，那就是一个隐藏着、不易被发现的一个通道。在模型的输入样本是带有后门触发器的样本的情况下，通道的特性就会显露出来，使模型表现出和正常情况完全不同的输出。

现有的触发器设计基本都以尽可能缩小触发器覆盖原图面积，以达到隐蔽性的目的，因此攻击者在植入触发器的过程中，因此我们可以通过“小”为关键因素去寻找当前类别是否具有被种下触发器的可能。

（5.1）触发器一般形式的表示：

触发器一般形式的表示如下公示：

T(·)表示将触发器应用于原始数据的函数，即为原始数据集D₀中的图像，c指代不同尺度的图像的下标。在安全性测试过程中仅需要从每个类别中抽取少量图像即可。Δ表示触发器的图案，它是一个像素颜色灰度与输入图像维数相同的三维矩阵（包括高度、宽度和原图种类）。m表示一个掩码的3D矩阵，它决定触发器能覆盖多少原始图像。考虑到二维掩码（高度、宽度），这里在像素的所有颜色通道上施加相同的掩码值。掩码中的值从0到1不等。当用于特定像素(i, j)的=1时，触发器完全重写原始颜色，当=0时，原始图像的颜色不修改。以前的攻击只使用二进制掩码值（0或1），因此也适合该公式的一般形式。这种连续的掩码形式使得掩码具有差异性，并有助于将其集成到优化目标中。

（5.2）触发器寻找：

对于以上提出的公式中，优化有两个目标。对于要分析的目标标签yt，第一个目标是找到一个触发器(m, Δ)，它会将干净的图像错误地分类为yt。第二个目标是找到一个“简洁”触发器，即只修改图像的有限部分的触发器。本文用掩码m的L1范数来测量触发器的大小。同时，通过对两个目标加权求和进行优化，将其表述为一个多目标优化任务。最后形成如下公式。

其中，f(·)是DNN的预测函数；l(·)是测量分类误差的损失函数，也表示实验中的交叉熵；是第二个目标的权重。较小的对触发器大小的控制具有较低的权重，但会有较高的成功率产生错误分类。在本文的实验中，优化过程会动态地调整，以确保大于99%的干净图像能够成功地被错误分类。我们使用ADAM优化器来解决上述优化问题。X指代用来解决此优化任务的一组干净样本。它来自我们可以访问的干净数据集在本实例中，可以直接使用D₀中的数据集，在实验中，使用训练集并将其输入到优化过程中，直到收敛为止。

（5.3）恶意后门划分：

经过步骤（5.1）以及步骤（5.2），我们已经得到了各个类别下的可疑的触发器样式，我们还需要判断这些可以的触发器样式是否符合真正的触发器的特点，以此来判定当前类别是否真正存在后门。

现有的触发器设计基本都以尽可能缩小触发器覆盖原图面积，以达到隐蔽性的目的，因此仅需要在（5.1）和（5.2）的基础上找到尽量“小”的触发器即可，本发明中使用聚散度函数来判断当前类别的可疑的触发器样式是否足够的“小”，符合现有的后门攻击技术中触发器的“简洁”的要求。

计算对每一类每种尺度（步骤（2.3）中提到模型的输入是各种尺度数据在通道维度上拼接之后的结果）数据对应通道下m矩阵的二维重心位置，并计算当前类别下可疑后门的聚散度函数，其中聚散度函数的值越小，说明当前触发器覆盖原图的面积越小，当前可疑的触发器样式越可能是真正的触发器，其具体公式如下：

其中y表示当前的类别，k为总的尺度数量，s1、s2分别表示为原输入图像的长和宽，k表示的尺度的总数量，函数D表示(i,j)距离的二维空间下距离。分别表示该尺度下重心的位置。

测量每一个类别的聚散度函数，将各类别中聚散度函数值f1最大的类别和聚散度函数值f2最小的类别作比较，若则说明当前模型存在安全性问题，即原模型不安全。其中f_t可以根据具体的安全性要求进行调整，正常情况下取1.5即可。

本发明基于条件生成式网络的图像融合智能识别模型安全性测试技术，即针对图像融合智能识别模型，发明了一种能够对其进行安全性检测的技术。首先分解原模型为图像融合模型和图像识别模型，针对图像融合模型，采用条件生成式模型替代其功能，并使用原图像融合模型针对每组输入进行融合并保存，将每组原图作为输入，将融合后的结果作为输出，利用PSNR和IR指标分别衡量生成图像和目标图像的相似性、生成图像的图像治疗，并将以上两个指标作为优化目标，对条件生成式网络进行训练。将训练完毕的条件生成式网络替代图像融合模型的功能放入原模型中产生原模型的等价模型。最后以简洁性作为后门触发器的原则对各类别是否具有后门触发器进行检测，并根据等价模型的安全性反应原模型的安全性。

本发明第二方面提出了一种基于条件生成式网络的图像融合模型安全性检测系统。所述系统包括：第一处理单元，被配置为：获取待进行安全性检测的原模型，所述原模型至少包括图像融合模型，基于条件生成式网络构建所述图像融合模型的替换模型，并利用所述替换模型得到所述原模型的等价模型；第二处理单元，被配置为：通过搜索触发器来确定所述等价模型的可疑后门，并基于所述可疑后门的聚散度函数确定所述等价模型的恶意后门，作为对所述原模型的安全性检测结果。

本发明第三方面公开了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现本公开第一方面中的一种基于条件生成式网络的图像融合模型安全性检测方法中的步骤。

本发明第四方面公开了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本公开第一方面中的一种基于条件生成式网络的图像融合模型安全性检测方法中的步骤。

本发明的有益效果主要表现在：通过将图像融合方式建模为生成模型，实现了融合前针对图像融合识别模型的安全性测试；利用条件生成式网络替代图像融合模型，泛化能力强；提出一种检测深度学习后门模型是否带有后门的安全性测试方法，该方法具有较好检测效果且泛化能力强。

请注意，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种基于条件生成式网络的图像融合模型安全性检测方法，其特征在于，所述方法包括：

步骤S1、获取待进行安全性检测的原模型，所述原模型至少包括图像融合模型，基于条件生成式网络构建所述图像融合模型的替换模型，并利用所述替换模型得到所述原模型的等价模型；

步骤S2、通过搜索触发器来确定所述等价模型的可疑后门，并基于所述可疑后门的聚散度函数确定所述等价模型的恶意后门，作为对所述原模型的安全性检测结果。

2.根据权利要求1所述的一种基于条件生成式网络的图像融合模型安全性检测方法，其特征在于，所述原模型为M，所述图像融合模型为M1，所述原模型中除所述图像融合模型之外的其他模型为M2；在所述步骤S1中：

取原始数据集记为D₀，其中原始数据集为所述原模型M在训练过程中所使用的干净的数据集，所述原始数据集D₀内的样本的形式和大小和所述原模型M训练过程中的数据集完全相同；

所述原始数据集D₀内的内容为融合前的图像，其包括多种尺度，每种尺度的图像为对于同一目标使用不同种类传感器采集后的数据，将描述同一目标的不同形式的图像组进行绑定，记为一个元素，其中，S为元素总数量；

将所述原始数据集D₀中的每个元素下的多尺度图像作为所述图像融合模型M1的输入，将每张融合后的图像记为，所有的输出图像共同构成标签数据集Y，，且和一一对应。

3.根据权利要求2所述的一种基于条件生成式网络的图像融合模型安全性检测方法，其特征在于，在所述步骤S1中：

所述条件生成式网络为深度神经网络，将所述原始数据集D₀中的多尺度图像经大小归一化后在通道维度上进行组合，用于生成所述条件生成式网络的输入；

所述条件生成式网络包括特征提取器和生成器，所述特征提取器包括5个卷积层，所述生成器包括由5个反卷积层构成的网络，激活函数为Relu函数。

4.根据权利要求3所述的一种基于条件生成式网络的图像融合模型安全性检测方法，其特征在于，在所述步骤S1中，对所述替换模型进行训练，以损失函数PSNR约束生成图像与目标图像的相似程度，以图像生成评价指标约束所述生成图像的质量，采用优化器Adam来执行优化训练，幸而得到所述替换模型M_ad，所述替换模型M_ad用于替换所述图像融合模型为M1，从而得到所述等价模型M_eq。

5.根据权利要求4所述的一种基于条件生成式网络的图像融合模型安全性检测方法，其特征在于，在所述步骤S2中，所述触发器被描述为：

，

其中，T(·)表示将所述触发器应用于所述原始数据集D₀中的图像的函数，c表示不同尺度的图像的下标，Δ表示所述触发器的图案，m表示掩码的3D矩阵，像素的所有颜色通道上均施加相同的掩码值，所述掩码值从0到1不等；当用于特定像素(i,j)的=1时，所述触发器完全重写原始颜色；当=0时，所述图像的颜色不变。

6.根据权利要求5所述的一种基于条件生成式网络的图像融合模型安全性检测方法，其特征在于，在所述步骤S2中，搜索所述触发器时，对于待分析的所述标签数据集Y中的目标标签yt，搜索到触发器(m,Δ)，其将干净的图像错误地分类为yt，以及搜索到简洁触发器，所述简洁触发器为只修改图像的有限部分的触发器；并且，以掩码m的L1范数来测量所述触发器的大小；同时，通过对所述触发器(m,Δ)和所述简洁触发器进行加权求和，表述为多目标优化任务：

，

其中，f(·)表示DNN的预测函数；l(·)表示测量分类误差的损失函数，即实验中的交叉熵；表示所述简洁触发器的权重，X表示用于优化任务的干净样本。

7.根据权利要求6所述的一种基于条件生成式网络的图像融合模型安全性检测方法，其特征在于，在所述步骤S2中，基于所述可疑后门的聚散度函数确定所述等价模型的恶意后门，具体包括：计算当前类别下可疑后门的聚散度函数，所述聚散度函数的值越小，表征所述当前类别下的触发器覆盖面积越小，所述当前类别下的可疑后门的样式越可能表征所述当前类别下的恶意后门，所述聚散度函数为：

，

其中，y表示当前类别，k表示总的尺度数量，s1、s2分别表示为输入图像的长和宽，函数D表示(i,j)距的二维空间距离，分别表示当前尺度下重心的位置；

测量每一个类别的聚散度函数，将各类别中聚散度函数最大值f1和聚散度函数最小值f2的比值与判定阈值f_t进行比较，若，则说明所述等价模型存在安全性问题。

Images