CN115861804A - 基于最优特征归因选择的sar图像对抗样本检测系统与方法 - Google Patents
基于最优特征归因选择的sar图像对抗样本检测系统与方法 Download PDFInfo
- Publication number
- CN115861804A CN115861804A CN202211504977.8A CN202211504977A CN115861804A CN 115861804 A CN115861804 A CN 115861804A CN 202211504977 A CN202211504977 A CN 202211504977A CN 115861804 A CN115861804 A CN 115861804A
- Authority
- CN
- China
- Prior art keywords
- individual
- sample
- image
- individuals
- population
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 137
- 238000000034 method Methods 0.000 title claims abstract description 92
- 230000008569 process Effects 0.000 claims abstract description 68
- 238000004458 analytical method Methods 0.000 claims abstract description 31
- 238000010606 normalization Methods 0.000 claims abstract description 29
- 238000004364 calculation method Methods 0.000 claims abstract description 28
- 238000005516 engineering process Methods 0.000 claims abstract description 28
- 238000012544 monitoring process Methods 0.000 claims abstract description 18
- 238000005457 optimization Methods 0.000 claims abstract description 18
- 238000007477 logistic regression Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 57
- 238000011156 evaluation Methods 0.000 claims description 51
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 18
- 230000035772 mutation Effects 0.000 claims description 18
- 238000012795 verification Methods 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 9
- 230000002860 competitive effect Effects 0.000 claims description 6
- 239000013604 expression vector Substances 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 3
- 238000010187 selection method Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 3
- 238000004091 panning Methods 0.000 claims 3
- 230000003042 antagnostic effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007123 defense Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多目标最优特征归因选择的合成孔径雷达图像对抗样本检测系统与方法。从SAR系统监控数据库中采集历史SAR图像,经过数据规范化与归一化后作为输入数据集,将基于滑动扫描的特征分析过程产生的子样本数量和逻辑回归模型的受试者工作特征曲线下面积作为优化目标,设计基于多目标优化方法的特征扫描块参数优化平台,获得最优的特征归因扫描块和最优回归模型。使用该最优回归模型对SAR系统实时数据库中的实时SAR图像数据进行对抗样本在线检测。本发明技术能根据不同的场景自动获得最佳的特征分析粒度,高效实现了SAR图像识别领域中的多种对抗样本检测,并提升了SAR图像对抗检测的计算效率和AUC性能指标。
Description
技术领域
本发明涉及合成孔径雷达图像识别安全领域的对抗样本检测技术,特别涉及一种基于多目标最优特征归因选择的对抗样本检测系统与方法。
背景技术
合成孔径雷达(Synthetic Aperture Radar,SAR)作为一种主动式遥感系统,能够不受云雾、光照等天气因素的影响,在任何时间下获取目标区域的高分辨率图像。相比传统的光学、红外等易受天候影响的被动式传感器,SAR为目标检测任务提供了有效的解决方案,从而被广泛应用于山川监控,海事管理等领域中。近年来深度学习技术的发展进一步提高了SAR识别系统的精度,促进了SAR系统的部署推广,但同时也让SAR系统面临了深度学习安全性问题的威胁。在许多安全性问题中,引发模型错误分类的对抗样本攻击严重影响了SAR识别模型的鲁棒性,降低了SAR识别模型的识别效果。在一些重要的任务场景如军事监控中,一次错误的识别就足以造成难以接受的后果。这使得现代SAR系统需要针对潜在的对抗样本攻击进行相应防御设计。
对抗样本检测技术是一种不影响识别模型结构和模型参数的对抗样本防御方法。面对与正常图像在视觉上没有差异的对抗样本图像,对抗样本检测技术能够发现正常样本和对抗样本的差异,并提前发出预警。因为其不会影响模型精度的特点,对抗样本检测技术很适合应用在要求模型效果稳定的SAR识别体系中。但是,SAR图像的特性导致了SAR对抗样本检测任务实现变得异常困难,比如SAR图像中遍布了难以剔除的散斑噪声,这些噪声和对抗样本的噪声在图像中相互混合,误导模型做出错误的分类结果。现有的基于核密度估计、贝叶斯估计以及内在维度的传统对抗样本检测方法难以获得在模型内部中有效区分对抗样本的特征。另外,SAR图像比传统图像具有更高的分辨率,这使得模型内部的中间特征变得极为庞大,现有应用于传统图像领域的基于模型中间特征的分析方法难以处理这些数量庞大的特征。此外,不同应用场景中的目标具有不同的潜在特征,已有的分析方法难以根据任务目标进行自动化调整。因此,一种能够根据场景进行自动调节、能够处理高分辨率SAR图像并且能够有效区分对抗样本特征的检测技术亟需研发。
发明内容
本发明的目的在于针对现有技术的不足,提供一种基于多目标最优特征归因选择的SAR图像对抗样本检测系统与方法。
本发明的目的是通过以下技术方案来实现的:一种基于多目标最优特征归因选择的SAR图像对抗样本检测系统包括SAR图像对抗样本检测数据预处理模块、SAR图像对抗样本检测离线最优特征归因选择训练模块和SAR图像对抗样本检测在线检测模块;
所述SAR图像对抗样本检测数据预处理模块从目标SAR系统实时数据库中采集监控过程中的实时图像数据,经图像数据规范化与图像数据归一化处理后获得在线检测数据集,将该在线检测数据集传输到SAR图像对抗样本检测在线检测模块;所述SAR图像对抗样本检测数据预处理模块从目标SAR系统历史数据库中采集历史图像数据,经图像数据规范化与图像数据归一化处理后获得标准历史图像数据,生成标准历史图像数据对应的对抗样本图像数据,将标准历史图像数据与对抗样本图像数据合并后获得离线训练数据集,将该离线训练数据集传输到SAR图像对抗样本检测离线最优特征归因选择训练模块;
所述SAR图像对抗样本检测离线最优特征归因选择训练模块,首先将特征归因扫描块中的尺寸(Size)、扫描间隔(Stride)、在扫描图像边缘时是否进行扩充操作的标记(Padding)、用于特征分析的模型隐含层数量(Layers)进行整数编码,随机产生一个初始化种群,再通过滑动扫描子模块将基于不同个体编码对应的特征归因扫描块对离线训练数据集中的SAR图像数据进行滑动扫描,通过隐含特征提取子模块进行特征提取,通过特征表达计算子模块计算离线训练数据集对应的特征表达集合,通过回归模型训练子模块将获得的离线训练数据集的特征表达集合作为训练数据进行逻辑回归训练,从而获得用以鉴别对抗样本的逻辑回归模型;统计出特征分析过程产生的子样本数量与回归模型的受试者工作特征曲线下面积(Area Under Curve,AUC)作为个体适应度函数评估子模块的适应度指标,采用快速非支配排序和适应度综合评估子模块对初始种群中的个体进行排序,获得帕累托前沿个体,从帕累托前沿个体中选出最优个体。通过选择,交叉,变异生成子代种群,将父代子代进行种群合并产生新种群,对新种群进行快速非支配排序和拥挤度距离计算,根据种群规模生成下一代种群;重复上述进化过程直到达到最大进化轮次,从而获得具有帕累托最优的个体;将该最优个体对应的最优特征归因扫描块及最优回归模型传输至SAR图像对抗样本检测在线检测模块;
所述SAR图像对抗样本检测在线检测模块,通过滑动扫描子模块使用最优特征归因扫描块对在线检测数据集中的SAR图像数据进行滑动扫描,通过隐含特征提取子模块进行特征提取,通过特征表达计算子模块计算在线检测数据集的特征表达集合;然后使用获得的最优回归模型作为对抗样本检测模型,判断在线检测数据集的特征表达是否属于对抗样本的特征表达。如果检测到某特征表达属于对抗样本的特征表达,则发出预警信息;否则,则该样本为正常样本;
所述基于多目标最优特征归因选择的SAR图像对抗样本检测方法,包括以下步骤:
(1)SAR图像对抗样本检测数据预处理模块从SAR系统中获取监控过程中存储的历史SAR图像数据作为原始数据集,将其标记为O;对O进行图像数据规范化操作得到规范化数据集X,再经公式(1)进行图像数据归一化操作,得到离线标准数据集Xo;
所述SAR图像数据规范化模块由分割操作、放缩操作和降维操作组成。其中分割操作表示对原图像进行区域切分,当输入的SAR历史监控图像为一张包含了多个识别目标的监控区域整体图像时,需要根据其中的识别目标对图像进行分割,使分割后的SAR图像仅包含单个识别目标;当输入的SAR历史图像数据已被切分处理过,每张SAR历史图像均仅包含单个识别目标时,则无需再进行分割操作;放缩操作表示对数据集中的每一张SAR图像进行尺寸调整,保证其尺寸参数与目标模型的参数保持一致;降维操作表示对数据集中的SAR图像进行单通道处理;如果当输入的SAR历史图像数据已是单通道图像时,则无需再进行降维操作;
将离线标准数据集Xo传输到对抗样本生成平台进行对抗样本生成,即使用5种对抗样本生成方法用以生成Xo在目标模型下的对抗样本数据集Xadv;这5种对抗样本生成方法包括:基于快速梯度符号的FGSM(Fast Gradient Sign Method)攻击、基于梯度迭代的PGD(Project Gradient Descent)攻击、基于优化的CW(Carlini&Wagner)攻击、基于边界决策的Deepfool攻击和基于随机噪声的Noise攻击;将Xo与Xadv按照4:1的比例进行切分,得到干净数据的训练集Xo_train,包含对抗样本的训练集Xadv_train,干净数据的验证集Xo_val,包含对抗样本的验证集Xadv_val;
(2)设置离线最优特征归因选择训练模块中的相关参数值,所述参数值包括种群大小N,特征归因扫描块的最大尺寸Sizemax,最小尺寸Sizemin,最大步长Stridemax,最小步长Stridemin,特征层选择的最大层数L,训练轮次EPtrain,交叉率β,变异率σ,最大进化轮次Emax;
(3)将一个特征归因扫描块中的Size、Stride、Padding、Layers这一组参数进行整数编码,作为多目标进化策略中的一个个体,初始化N个个体作为初始种群Q,其中每个个体的编码形式为Indi=[Size,Stride,Padding,Layers],Indi表示种群中的任意一个个体,其中Size表示特征归因扫描块的尺寸,Stride表示特征归因扫描块的扫描间隔,Padding表示特征归因扫描块在扫描图像边缘时是否进行扩充操作的标记,Layers表示用于特征分析的模型隐含层数量,Size,Stride,Padding,Layers初始化具体实现过程分别如公式(2)~(5)所示:
Size=Randint(Sizemin,Sizemax)
(18)
Stride=Randint(Stridemin,Stridemax) (19)
Padding=Randint(0,1) (20)
Layers=Randint(1,L) (21)
其中,Randint(a,b)表示随机生成一个大小介于a和b的整数,取值范围包括两端数值a和b本身;当Padding=0时,特征扫描过程不进行边缘扩充操作,当Padding=1时,特征扫描过程进行边缘扩充操作;将Xo中SAR图像的长度和宽度分别标记为h与w,通常情况下h=w,将特征归因扫描块的行扫描次数标记为m,m的计算过程如公式(6)所示;将行扫描过程未覆盖的边缘像素宽度标记为k,k的计算过程如公式(7)所示:
k=(h-Size)-m×Stride (23)
其中表示向下取整操作;当Padding=0,k≠0时,代表当前的Size和Stride参数取值无法对函数边缘进行扫描,SAR图像的部分边缘像素不会参与后续的特征提取过程;当Padding=1,k≠0时,在特征归因分析前会对SAR图像进行边缘扩充,填充的像素值取值固定为0,从而让SAR图像中的所有像素都参与后续的特征归因分析过程;
隐含特征提取操作会根据Layers的数值,从目标模型最后一层隐含层开始,依次提取隐含层的输出特征,直到提取的隐含层层数与Layers的值相等;
(4)将多目标优化技术的当前进化轮次标记为E,令E=0;
(5)对初始种群Q的适应度函数进行评估,即SAR图像对抗样本检测离线最优特征归因选择训练模块首先根据Q中个体对应的特征归因扫描块分别计算数据集Xo_train,Xadv_train,Xo_val,Xadv_val的特征表达;然后,使用训练集Xo_train,Xadv_train的特征表达集合进行逻辑回归训练,训练轮次为EPtrain,训练过程中使用验证集Xo_val,Xadv_val的特征表达集合对得到的回归模型进行验证,计算出该回归模型的AUC值,并对特征分析过程产生的子样本数量进行评估;
所述单个数据集特征归因表达的具体计算过程如下:
(5.1)令i=0,将该数据集的图像最大数量标记为imax;
(5.2)设置子样本图像集合Fsub为空集,选择该数据集的第i张图像x作为本次特征分析图像,使用特征归因扫描块对该图像进行滑动扫描;扫描操作从x的图像像素矩阵中的(0,0)位置开始,按照Size参数选中x图像像素矩阵中尺寸为Size的正方形区域进行子样本生成操作;子样本生成操作会克隆一张与x原始像素值相同的新图像,然后将新图像的本次扫描区域的像素值置0,随后将该图像加入子样本图像集合Fsub中;完成一次子样本生成操作后,特征归因扫描块按照Stride参数进行按行滑动,每次滑动扫描均进行一次子样本生成操作;重复该过程直到扫描块的下一次扫描超过像素矩阵的宽度,按照Stride参数将扫描块移动至x图像像素矩阵中的下一行扫描位置,再次开始按行滑动扫描。重复上述过程直到特征归因扫描块完成了x矩阵像素中的所有按行扫描操作;最后将原始图像x也加入子样本图像集合Fsub中;滑动扫描操作中第l行第p次扫描的起点位置可记为(l×Stride,p×Stride),其对应的正方形扫描区域的四个点坐标分别为:(l×Stride,p×Stride),(l×Stride,p×Stride+Size),(l×Stride+Size,p×Stride),(l×Stride+Size,p×Stride+Size);
(5.3)将该图像的子样本集合Fsub输入目标模型,根据给定的Layers参数选择对应的模型隐含层,获取子样本集合中每一张图像在模型内对应隐含层的输出;将隐含层的输出进行平均池化操作后获得子样本集合Fsub对应的隐含特征集合;
(5.4)将隐含特征集合中除原始图像x外的子样本图像所对应的隐含特征减去原始图像x对应的隐含特征,得到能够表征图像像素变化影响的图像特征变化矩阵;
(5.5)对图像特征变化矩阵进行四分位距离(Interquartile Range,IQR)统计,得到能表征该图像的特征表达向量;
(5.6)令i=i+1;
(5.7)重复(5.2)步骤~(5.6)步骤,直到i=imax;
(5.8)合并步骤(5.7)中获得的所有特征表达向量,得到该数据集对应的特征表达集合。
所述AUC值评估的具体实现过程如下:
记验证集Xo_val中的样本数量为R,标记为正样本;验证集Xadv_val中的样本数量为T,标记为负样本。将回归模型中验证集样本的预测得分记为P,P正样本代表回归模型对单个正样本的预测得分,P负样本代表回归模型对单个负样本的预测得分;记I(P正样本,P负样本)为一个正负样本对的样本预测评估值;当P正样本>P负样本时,I(P正样本,P负样本)=1;当P正样本=P负样本时,I(P正样本,P负样本)=0.5;当P正样本<P负样本时,I(P正样本,P负样本)=0;计算所有的正负样本对的样本预测评估值,按照公式(8)计算该回归模型对验证集样本的AUC值:
所述特征分析过程产生的子样本数量计算的具体实现过程如下:使用个体对应的特征归因扫描块参数Size,Stride,Padding,通过公式(6)与公式(7)计算当前个体对应的k和m;当Padding=0时,个体对应的子样本数量为m×m+1;当Padding=1时,如果k=0,则个体对应的子样本数量为m×m+1;当Padding=1时,如果k≠0,则个体对应的子样本数量为(m+1)×(m+1)+1;
(6)对种群Q中的个体进行快速非支配排序和适应度综合评估。快速非支配排序通过衡量个体在AUC值和子样本数量两个评估指标的优劣来寻找种群Q的帕累托前沿,适应度综合评估在该帕累托前沿个体集合中综合两个评估指标来选择种群Q的最优个体。具体操作中将个体AUC值的负数与子样本数量作为优化目标函数,分别标记为f1和f2;记ni为种群中支配第i个个体的个体数量,Si为被第i个个体支配的个体集合;一个个体支配另一个个体的含义是:对于个体对应的AUC值以及子样本数量,处于支配地位的个体表现均优于被支配的个体,即模型AUC值高于被支配个体,子样本数量小于被支配个体。采用快速非支配排序来获得处于支配地位的个体集合,并结合适应度综合评估选择最优个体,具体实现过程为:
(6.1)遍历当前种群Q的所有个体,计算每个个体对应的ni值以及被该个体支配的个
体集合Si;
(6.2)将所有ni=0的个体保存于集合F1中;
(6.3)令j=1;
(6.4)令H为空集;
(6.5)遍历Fj中的所有个体,记Su为被Fj中第u个个体所支配的个体集合,nq为支配Su中第q个个体的个体数量;得到Fj中每个个体对应的Su;
(6.6)对所有的Su,遍历每个Su中的所有个体,计算每个个体对应的nq值,并令nq=nq-1;
(6.7)如果nq=0,则将Su中第q个个体放入集合H中;
(6.8)令j=j+1;
(6.9)令Fj=H;
(6.10)重复(6.4)步骤~(6.9)步骤,直到获得的Fj为空集;
(6.11)F1中的个体均为处于支配地位的个体,将F1中的个体作为种群Q的帕累托前沿个体,综合两个评估指标选择最优个体,其具体选择过程为:当F1中仅包含1个个体,则选择该个体作为本次评估中的最优个体Indibest;当F1中包含2个个体,则选择具有更高AUC值的个体作为本次评估中的最优个体Indibest;当F1中包含3个或3个以上个体时,按照公式(9)计算第i个体的适应度综合评估值fi all,其中f1 i代表第i个个体的f1优化目标值,f2 i代表第i个个体的f2优化目标值。选择fi all最小的个体作为最优个体Indibest,当存在多个个体同时具有最小的fi all时,选择AUC值更高的个体作为模型的最优个体Indibest;
(7)对于种群Q中的每个个体,采用二元竞标赛选择方法,即两两对比,每次对比按步骤(6)的最优个体评估方法选择具有更小fi all值的个体进入父代种群Qp;
(8)对于种群Qp中的每个个体,采用模拟二进制交叉方法进行交叉操作。将交叉后的种群标记为Qx,具体实现过程为:
(8.1)对于当前个体,生成一个0到1范围内的均匀分布随机数β1,当β1≤β时,则将当前个体与另一随机个体作为父代进行后续操作,当β1>β时,不进行任何操作;
(8.2)生成一个0到1范围内的均匀分布随机数g1,记k1为交叉操作中两个个体的同一编码位置;
(8.3)根据公式(10)计算交叉中间变量βg1;
(8.4)根据公式(11)计算父代影响因子βk1;
(8.5)对于两个个体Indi1和Indi2,记交叉操作产生的两个子代个体为Indic1和Indic2。Indic1上的第k1个位置的值由公式(12)计算得出,Indic2上的第k1个位置的值按公式(13)计算得出。其中Indic1(k1)为Indic1上的第k1个位置的值,Indi1(k1)为Indi1上的第k1个位置的值,其余同理;
(8.6)将Indic1和Indic2中非整数的值四舍五入为整数;
(8.7)重复(8.1)步骤~(8.6)步骤,直到Qp中的每个个体都进行了交叉操作。将所有获得的交叉子代个体放入种群Qx中;
(9)对于种群Qx中的每个个体,采用多项式变异方法进行变异操作,将变异后的种群标记为Qm。具体实现过程如下:
(9.1)对于当前个体,生成一个0到1范围内的均匀分布随机数σ1,当σ1≤σ时,对该个体进行后续操作,当σ1>σ时,不进行任何操作;
(9.2)生成一个0到1范围内的均匀分布随机数g2,记k2为变异操作中个体的编码位置;
(9.3)根据公式(14)计算变异中间变量βg2;
(9.4)记个体Indi的k2位置的值的上界为Indi(k2)up,个体Indi的k2位置的值的下界为Indi(k2)low。记变异操作产生的子代个体为Indimut,Indimut上的第k2个位置的值由公式(15)计算得出;
Indimut(k2)=Indi(k2)+(Indi(k2)up-Indi(k2)low)×βg2 (31)
(9.5)将Indimut中非整数的值四舍五入为整数;
(9.6)重复(9.1)步骤~(9.5)步骤,直到Qx中的每个个体都进行了变异操作。将所有获得的变异子代个体放入种群Qm中;
(10)将种群Qp与子种群Qx,子种群Qm合并为一个新种群Qn;
(11)对新种群Qn实行精英策略选择生成下一代种群。Qn包括了上一代种群经过二元竞标赛选择后的个体集合Qp,即包括了上一代种群中的最优个体Indibest。精英策略将上一代的最优个体Indibest和新子代个体一同进行适应度评估等操作,用以生成下一代种群。记下一代种群为Qp+1,其精英选择策略的具体过程如下:
(11.1)按照步骤(5)和(6)的评估方式对新种群Qn中的所有个体进行快速非支配排序操作,获得Qn的所有非支配集合Fj。
(11.2)令Qp+1为空集,j=1;
(11.3)计算Fj中所有个体的拥挤度距离。记di为Fj中第i个个体的拥挤度距离,分别使用f1与f2对Fj中的个体进行排序,将具有最大f1值与最大f2值的两个个体作为边界个体,边界个体对应的拥挤度di视为无穷大。除边界个体外,其余个体的拥挤度距离按照公式(16)进行计算。其中fz i+1表示Fj中第i+1个个体的fz目标适应度值,fz i-1表示Fj中第i-1个个体的fz目标适应度值;
(11.4)记|Qp+1|为Qp+1中个体的数量,|Fj|为Fj中个体的数量。当|Qp+1|+|Fj|≤N时,将Fj中的所有个体放入Qp+1中。当|Qp+1|+|Fj|>N时,将Fj中个体按照拥挤度距离从大到小排序,在排序后的Fj中依次选择N-|Qp+1|个个体放入Qp+1中;
(11.5)令j=j+1;
(11.6)重复(11.1)步骤~(11.5)步骤,直到|Qp+1|=N;
(12)令Q=Qp+1,E=E+1;
(13)重复步骤(5)~步骤(12),直到E=Emax;
(14)对经过Emax轮进化的种群Q按步骤(5)和步骤(6)的方式,进行快速非支配排序和适应度综合评估,获得最优个体Indibest。将最优个体Indibest对应的特征归因扫描块及逻辑回归模型传递至SAR图像对抗样本检测在线检测模块;
(15)SAR图像对抗样本检测数据预处理模块从目标SAR系统中采集监控过程中的实时图像数据,经数据规范化与数据归一化处理后获得在线检测数据集Xt,将该在线检测数据集Xt传输到在线检测模块;
(16)SAR图像对抗样本检测在线检测模块使用获得的最优特征归因扫描块,按照步骤(5)中的特征归因表达计算方式计算在线检测数据集Xt的特征表达;然后使用获得的最优回归模型判断Xt的特征表达是否属于对抗样本的特征表达,对发现的对抗样本特征表达发出预警;否则,该样本为正常样本。
本发明的有益效果是:本发明技术能根据不同的场景自动获得最佳的特征分析粒度,高效实现了SAR图像识别领域中的多种对抗样本检测;相比现有技术,本发明技术还提升了SAR图像对抗检测的计算效率和AUC性能指标。
附图说明
图1是基于多目标最优特征归因选择的SAR图像对抗样本检测系统及方法的原理示意图;
图2是随机生成的单个个体的编码的示例图。该个体的编码信息为[34,15,1,2],即该个体对应的特征归因扫描块的尺寸为34个像素(Size=34),扫描间隔为15个像素(Stride=15),扫描图像边缘时进行填充操作(Padding=1)以及使用该特征归因扫描块进行特征分析时采用的模型隐含层数量为2(Layers=2);
图3是特征扫描块参数优化过程中交叉操作的示例图;
图4是特征扫描块参数优化过程中变异操作的示例图;
图5是经过多目标优化技术的获得的最终帕累托前沿;
图6是本发明和已有对抗样本检测技术针对FUSAR-Ship数据集在5种对抗攻击样本类型上的AUC性能对比。KDBU表示基于核密度与贝叶斯估计的对抗样本检测技术,LID表示基于内在维度的对抗样本检测技术,MAHA表示基于马氏距离分数的对抗样本检测技术;
图7是本发明和基于像素留一改动(Leave One Out,LOO)的对抗样本检测技术在子样本数量上的对比。相比现有的三种对抗样本检测技术,基于LOO的对抗样本检测技术牺牲了运行效率来获得更好的检测效果。在具体实施过程中,该技术逐次修改输入样本中的单个像素来生成子样本,对获得的子样本集合进行分析并计算出该样本对应的特征表达。当输入样本的尺寸较大时,该技术的实施时间会明显增长;
具体实施方式
下面结合附图对本发明进一步说明,本发明的目的和效果将更加明显。
以FUSAR-Ship图像数据集作为合成孔径雷达图像对抗样本检测的实例,图1给出了基于多目标最优特征归因选择的SAR图像对抗样本检测系统与方法的原理示意图。基于多目标最优特征归因选择的SAR图像对抗样本检测系统包括SAR图像对抗样本检测数据预处理模块、SAR图像对抗样本检测离线最优特征归因选择训练模块和SAR图像对抗样本检测在线检测模块;
所述SAR图像对抗样本检测数据预处理模块从目标SAR系统实时数据库中采集监控过程中的实时图像数据,经图像数据规范化与图像数据归一化处理后获得在线检测数据集,将该在线检测数据集传输到SAR图像对抗样本检测在线检测模块;所述SAR图像对抗样本检测数据预处理模块从目标SAR系统历史数据库中采集历史图像数据,经图像数据规范化与图像数据归一化处理后获得标准历史图像数据,生成标准历史图像数据对应的对抗样本图像数据,将标准历史图像数据与对抗样本图像数据合并后获得离线训练数据集,将该离线训练数据集传输到SAR图像对抗样本检测离线最优特征归因选择训练模块;
所述SAR图像对抗样本检测离线最优特征归因选择训练模块,首先将特征归因扫描块中的尺寸(Size)、扫描间隔(Stride)、在扫描图像边缘时是否进行扩充操作的标记(Padding)、用于特征分析的模型隐含层数量(Layers)进行整数编码,随机产生一个初始化种群,再通过滑动扫描子模块将基于不同个体编码对应的特征归因扫描块对离线训练数据集中的SAR图像数据进行滑动扫描,通过隐含特征提取子模块进行特征提取,通过特征表达计算子模块计算离线训练数据集对应的特征表达集合,通过回归模型训练子模块将获得的离线训练数据集的特征表达集合作为训练数据进行逻辑回归训练,从而获得用以鉴别对抗样本的逻辑回归模型;统计出特征分析过程产生的子样本数量与回归模型的受试者工作特征曲线下面积(Area Under Curve,AUC)作为个体适应度函数评估子模块的适应度指标,采用快速非支配排序和适应度综合评估子模块对初始种群中的个体进行排序,获得帕累托前沿个体,从帕累托前沿个体中选出最优个体。通过选择,交叉,变异生成子代种群,将父代子代进行种群合并产生新种群,对新种群进行快速非支配排序和拥挤度距离计算,根据种群规模生成下一代种群;重复上述进化过程直到达到最大进化轮次,从而获得具有帕累托最优的个体;将该最优个体对应的最优特征归因扫描块及最优回归模型传输至SAR图像对抗样本检测在线检测模块;
所述SAR图像对抗样本检测在线检测模块,通过滑动扫描子模块使用最优特征归因扫描块对在线检测数据集中的SAR图像数据进行滑动扫描,通过隐含特征提取子模块进行特征提取,通过特征表达计算子模块计算在线检测数据集的特征表达集合;然后使用获得的最优回归模型作为对抗样本检测模型,判断在线检测数据集的特征表达是否属于对抗样本的特征表达。如果检测到某特征表达属于对抗样本的特征表达,则发出预警信息;否则,则该样本为正常样本;
所述基于多目标最优特征归因选择的SAR图像对抗样本检测方法,包括以下步骤:
(1)SAR图像对抗样本检测数据预处理模块从SAR系统中获取监控过程中存储的历史SAR图像数据作为原始数据集,将其标记为O;对O进行图像数据规范化操作得到规范化数据集X,再经公式(1)进行图像数据归一化操作,得到离线标准数据集Xo;
所述SAR图像数据规范化模块由分割操作、放缩操作和降维操作组成。其中分割操作表示对原图像进行区域切分,当输入的SAR历史监控图像为一张包含了多个识别目标的监控区域整体图像时,需要根据其中的识别目标对图像进行分割,使分割后的SAR图像仅包含单个识别目标;当输入的SAR历史图像数据已被切分处理过,每张SAR历史图像均仅包含单个识别目标时,则无需再进行分割操作;放缩操作表示对数据集中的每一张SAR图像进行尺寸调整,保证其尺寸参数与目标模型的参数保持一致;降维操作表示对数据集中的SAR图像进行单通道处理;如果当输入的SAR历史图像数据已是单通道图像时,则无需再进行降维操作;
将离线标准数据集Xo传输到对抗样本生成平台进行对抗样本生成,即使用5种对抗样本生成方法用以生成Xo在目标模型下的对抗样本数据集Xadv;这5种对抗样本生成方法包括:基于快速梯度符号的FGSM(Fast Gradient Sign Method)攻击、基于梯度迭代的PGD(Project Gradient Descent)攻击、基于优化的CW(Carlini&Wagner)攻击、基于边界决策的Deepfool攻击和基于随机噪声的Noise攻击;将Xo与Xadv按照4:1的比例进行切分,得到干净数据的训练集Xo_train,包含对抗样本的训练集Xadv_train,干净数据的验证集Xo_val,包含对抗样本的验证集Xadv_val;
(2)设置离线最优特征归因选择训练模块中的相关参数值,所述参数值包括种群大小N=20,特征归因扫描块的最大尺寸Sizemax=64,最小尺寸Sizemin=8,最大步长Stridemax=64,最小步长Stridemin=8,特征层选择的最大层数L=3,训练轮次EPtrain=100,交叉率β=1.0,变异率σ=0.5,最大进化轮次Emax=20;
(3)将一个特征归因扫描块中的Size、Stride、Padding、Layers这一组参数进行整数编码,作为多目标进化策略中的一个个体,初始化N个个体作为初始种群Q,其中每个个体的编码形式为Indi=[Size,Stride,Padding,Layers],Indi表示种群中的任意一个个体,其中Size表示特征归因扫描块的尺寸,Stride表示特征归因扫描块的扫描间隔,Padding表示特征归因扫描块在扫描图像边缘时是否进行扩充操作的标记,Layers表示用于特征分析的模型隐含层数量,Size,Stride,Padding,Layers初始化具体实现过程分别如公式(2)~(5)所示:
Size=Randint(Sizemin,Sizemax)
(34)
Stride=Randint(Stridemin,Stridemax) (35)
Padding=Randint(0,1) (36)
Layers=Randint(1,L) (37)
其中,Randint(a,b)表示随机生成一个大小介于a和b的整数,取值范围包括两端数值a和b本身;当Padding=0时,特征扫描过程不进行边缘扩充操作,当Padding=1时,特征扫描过程进行边缘扩充操作;将Xo中SAR图像的长度和宽度分别标记为h与w,通常情况下h=w,将特征归因扫描块的行扫描次数标记为m,m的计算过程如公式(6)所示;将行扫描过程未覆盖的边缘像素宽度标记为k,k的计算过程如公式(7)所示:
k=(h-Size)-m×Stride (39)
其中表示向下取整操作;当Padding=0,k≠0时,代表当前的Size和Stride参数取值无法对函数边缘进行扫描,SAR图像的部分边缘像素不会参与后续的特征提取过程;当Padding=1,k≠0时,在特征归因分析前会对SAR图像进行边缘扩充,填充的像素值取值固定为0,从而让SAR图像中的所有像素都参与后续的特征归因分析过程;
隐含特征提取操作会根据Layers的数值,从目标模型最后一层隐含层开始,依次提取隐含层的输出特征,直到提取的隐含层层数与Layers的值相等。图2给出了其中一个初始个体的编码实例,该个体的编码信息为[34,15,1,2];
(4)将多目标优化技术的当前进化轮次标记为E,令E=0;
(5)对初始种群Q的适应度函数进行评估,即SAR图像对抗样本检测离线最优特征归因选择训练模块首先根据Q中个体对应的特征归因扫描块分别计算数据集Xo_train,Xadv_train,Xo_val,Xadv_val的特征表达;然后,使用训练集Xo_train,Xadv_train的特征表达集合进行逻辑回归训练,训练轮次为EPtrain,训练过程中使用验证集Xo_val,Xadv_val的特征表达集合对得到的回归模型进行验证,计算出该回归模型的AUC值,并对特征分析过程产生的子样本数量进行评估;
所述单个数据集特征归因表达的具体计算过程如下:
(5.1)令i=0,将该数据集的图像最大数量标记为imax;
(5.2)设置子样本图像集合Fsub为空集,选择该数据集的第i张图像x作为本次特征分析图像,使用特征归因扫描块对该图像进行滑动扫描;扫描操作从x的图像像素矩阵中的(0,0)位置开始,按照Size参数选中x图像像素矩阵中尺寸为Size的正方形区域进行子样本生成操作;子样本生成操作会克隆一张与x原始像素值相同的新图像,然后将新图像的本次扫描区域的像素值置0,随后将该图像加入子样本图像集合Fsub中;完成一次子样本生成操作后,特征归因扫描块按照Stride参数进行按行滑动,每次滑动扫描均进行一次子样本生成操作;重复该过程直到扫描块的下一次扫描超过像素矩阵的宽度,按照Stride参数将扫描块移动至x图像像素矩阵中的下一行扫描位置,再次开始按行滑动扫描。重复上述过程直到特征归因扫描块完成了x矩阵像素中的所有按行扫描操作;最后将原始图像x也加入子样本图像集合Fsub中;滑动扫描操作中第l行第p次扫描的起点位置可记为(l×Stride,p×Stride),其对应的正方形扫描区域的四个点坐标分别为:(l×Stride,p×Stride),(l×Stride,p×Stride+Size),(l×Stride+Size,p×Stride),(l×Stride+Size,p×Stride+Size)。以个体[34,15,1,2]为例,使用该个体对应的特征归因扫描块对图像进行滑动扫描,则第l行第p次扫描的起点位置可记为(15×l,15×p),其对应的正方形扫描区域的四个点坐标分别为:(15×l,15×p),(15×l,15×p+34),(15×l+34,15×p),(15×l+34,15×p+34);
(5.3)将该图像的子样本集合Fsub输入目标模型,根据给定的Layers参数选择对应的模型隐含层,获取子样本集合中每一张图像在模型内对应隐含层的输出;将隐含层的输出进行平均池化操作后获得子样本集合Fsub对应的隐含特征集合;
(5.4)将隐含特征集合中除原始图像x外的子样本图像所对应的隐含特征减去原始图像x对应的隐含特征,得到能够表征图像像素变化影响的图像特征变化矩阵;
(5.5)对图像特征变化矩阵进行四分位距离(Interquartile Range,IQR)统计,得到能表征该图像的特征表达向量;
(5.6)令i=i+1;
(5.7)重复(5.2)步骤~(5.6)步骤,直到i=imax;
(5.8)合并步骤(5.7)中获得的所有特征表达向量,得到该数据集对应的特征表达集合。
所述AUC值评估的具体实现过程如下:
记验证集Xo_val中的样本数量为R,标记为正样本;验证集Xadv_val中的样本数量为T,标记为负样本。将回归模型中验证集样本的预测得分记为P,P正样本代表回归模型对单个正样本的预测得分,P负样本代表回归模型对单个负样本的预测得分;记I(P正样本,P负样本)为一个正负样本对的样本预测评估值;当P正样本>P负样本时,I(P正样本,P负样本)=1;当P正样本=P负样本时,I(P正样本,P负样本)=0.5;当P正样本<P负样本时,I(P正样本,P负样本)=0;计算所有的正负样本对的样本预测评估值,按照公式(8)计算该回归模型对验证集样本的AUC值:
所述特征分析过程产生的子样本数量计算的具体实现过程如下:使用个体对应的特征归因扫描块参数Size,Stride,Padding,通过公式(6)与公式(7)计算当前个体对应的k和m;当Padding=0时,个体对应的子样本数量为m×m+1;当Padding=1时,如果k=0,则个体对应的子样本数量为m×m+1;当Padding=1时,如果k≠0,则个体对应的子样本数量为(m+1)×(m+1)+1。以个体[34,15,1,2]为例,其Padding=1,计算得m=31,k=13,则该个体对应的子样本数量为(31+1)×(31+1)+1=1025;
(6)对种群Q中的个体进行快速非支配排序和适应度综合评估。快速非支配排序通过衡量个体在AUC值和子样本数量两个评估指标的优劣来寻找种群Q的帕累托前沿,适应度综合评估在该帕累托前沿个体集合中综合两个评估指标来选择种群Q的最优个体。具体操作中将个体AUC值的负数与子样本数量作为优化目标函数,分别标记为f1和f2;记ni为种群中支配第i个个体的个体数量,Si为被第i个个体支配的个体集合;一个个体支配另一个个体的含义是:对于个体对应的AUC值以及子样本数量,处于支配地位的个体表现均优于被支配的个体,即模型AUC值高于被支配个体,子样本数量小于被支配个体。采用快速非支配排序来获得处于支配地位的个体集合,并结合适应度综合评估选择最优个体,具体实现过程为:
(6.1)遍历当前种群Q的所有个体,计算每个个体对应的ni值以及被该个体支配的个
体集合Si;
(6.2)将所有ni=0的个体保存于集合F1中;
(6.3)令j=1;
(6.4)令H为空集;
(6.5)遍历Fj中的所有个体,记Su为被Fj中第u个个体所支配的个体集合,nq为支配Su中第q个个体的个体数量;得到Fj中每个个体对应的Su;
(6.6)对所有的Su,遍历每个Su中的所有个体,计算每个个体对应的nq值,并令nq=nq-1;
(6.7)如果nq=0,则将Su中第q个个体放入集合H中;
(6.8)令j=j+1;
(6.9)令Fj=H;
(6.10)重复(6.4)步骤~(6.9)步骤,直到获得的Fj为空集;
(6.11)F1中的个体均为处于支配地位的个体,将F1中的个体作为种群Q的帕累托前沿个体,综合两个评估指标选择最优个体,其具体选择过程为:当F1中仅包含1个个体,则选择该个体作为本次评估中的最优个体Indibest;当F1中包含2个个体,则选择具有更高AUC值的个体作为本次评估中的最优个体Indibest;当F1中包含3个或3个以上个体时,按照公式(9)计算第i个体的适应度综合评估值fi all,其中f1 i代表第i个个体的f1优化目标值,f2 i代表第i个个体的f2优化目标值。选择fi all最小的个体作为最优个体Indibest,当存在多个个体同时具有最小的fi all时,选择AUC值更高的个体作为模型的最优个体Indibest;
(7)对于种群Q中的每个个体,采用二元竞标赛选择方法,即两两对比,每次对比按步骤(6)的最优个体评估方法选择具有更小fi all值的个体进入父代种群Qp;
(8)对于种群Qp中的每个个体,采用模拟二进制交叉方法进行交叉操作。将交叉后的种群标记为Qx,具体实现过程为:
(8.1)对于当前个体,生成一个0到1范围内的均匀分布随机数β1,当β1≤β时,则将当前个体与另一随机个体作为父代进行后续操作,当β1>β时,不进行任何操作;
(8.2)生成一个0到1范围内的均匀分布随机数g1,记k1为交叉操作中两个个体的同一编码位置;
(8.3)根据公式(10)计算交叉中间变量βg1;
(8.4)根据公式(11)计算父代影响因子βk1;
(8.5)对于两个个体Indi1和Indi2,记交叉操作产生的两个子代个体为Indic1和Indic2。Indic1上的第k1个位置的值由公式(12)计算得出,Indic2上的第k1个位置的值按公式(13)计算得出。其中Indic1(k1)为Indic1上的第k1个位置的值,Indi1(k1)为Indi1上的第k1个位置的值,其余同理;
(8.6)将Indic1和Indic2中非整数的值四舍五入为整数;
(8.7)重复(8.1)步骤~(8.6)步骤,直到Qp中的每个个体都进行了交叉操作。将所有获得的交叉子代个体放入种群Qx中。图3给出了交叉操作的一个实例,其中k1=2;
(9)对于种群Qx中的每个个体,采用多项式变异方法进行变异操作,将变异后的种群标记为Qm。具体实现过程如下:
(9.1)对于当前个体,生成一个0到1范围内的均匀分布随机数σ1,当σ1≤σ时,对该个体进行后续操作,当σ1>σ时,不进行任何操作;
(9.2)生成一个0到1范围内的均匀分布随机数g2,记k2为变异操作中个体的编码位置;
(9.3)根据公式(14)计算变异中间变量βg2;
(9.4)记个体Indi的k2位置的值的上界为Indi(k2)up,个体Indi的k2位置的值的下界为Indi(k2)low。记变异操作产生的子代个体为Indimut,Indimut上的第k2个位置的值由公式(15)计算得出;
Indimut(k2)=Indi(k2)+(Indi(k2)up-Indi(k2)low)×βg2 (47)
(9.5)将Indimut中非整数的值四舍五入为整数;
(9.6)重复(9.1)步骤~(9.5)步骤,直到Qx中的每个个体都进行了变异操作。将所有获得的变异子代个体放入种群Qm中。图4给出了变异操作的一个实例,其中k2=1;
(10)将种群Qp与子种群Qx,子种群Qm合并为一个新种群Qn;
(11)对新种群Qn实行精英策略选择生成下一代种群。Qn包括了上一代种群经过二元竞标赛选择后的个体集合Qp,即包括了上一代种群中的最优个体Indibest。精英策略将上一代的最优个体Indibest和新子代个体一同进行适应度评估等操作,用以生成下一代种群。记下一代种群为Qp+1,其精英选择策略的具体过程如下:
(11.1)按照步骤(5)和(6)的评估方式对新种群Qn中的所有个体进行快速非支配排序操作,获得Qn的所有非支配集合Fj。
(11.2)令Qp+1为空集,j=1;
(11.3)计算Fj中所有个体的拥挤度距离。记di为Fj中第i个个体的拥挤度距离,分别使用f1与f2对Fj中的个体进行排序,将具有最大f1值与最大f2值的两个个体作为边界个体,边界个体对应的拥挤度di视为无穷大。除边界个体外,其余个体的拥挤度距离按照公式(16)进行计算。其中fz i+1表示Fj中第i+1个个体的fz目标适应度值,fz i-1表示Fj中第i-1个个体的fz目标适应度值;
(11.4)记|Qp+1|为Qp+1中个体的数量,|Fj|为Fj中个体的数量。当|Qp+1|+|Fj|≤N时,将Fj中的所有个体放入Qp+1中。当|Qp+1|+|Fj|>N时,将Fj中个体按照拥挤度距离从大到小排序,在排序后的Fj中依次选择N-|Qp+1|个个体放入Qp+1中;
(11.5)令j=j+1;
(11.6)重复(11.1)步骤~(11.5)步骤,直到|Qp+1|=N;
(12)令Q=Qp+1,E=E+1;
(13)重复步骤(5)~步骤(12),直到E=Emax;
(14)对经过Emax轮进化的种群Q按步骤(5)和步骤(6)的方式,进行快速非支配排序和适应度综合评估,获得最优个体Indibest。将最优个体Indibest对应的特征归因扫描块及逻辑回归模型传递至SAR图像对抗样本检测在线检测模块。图5给出了最大进化轮次后得到的F1中个体的帕累托前沿图。在本实例中,选择的最优个体编码为[24,117,1,3];
(15)SAR图像对抗样本检测数据预处理模块从目标SAR系统中采集监控过程中的实时图像数据,经数据规范化与数据归一化处理后获得在线检测数据集Xt,将该在线检测数据集Xt传输到在线检测模块;
(16)SAR图像对抗样本检测在线检测模块使用获得的最优特征归因扫描块,按照步骤(5)中的特征归因表达计算方式计算在线检测数据集Xt的特征表达;然后使用获得的最优回归模型判断Xt的特征表达是否属于对抗样本的特征表达,对发现的对抗样本特征表达发出预警;否则,该样本为正常样本。
在FUSAR-Ship数据集上对本发明技术与三类现有对抗样本检测技术进行对抗样本检测实验测试。实验测试选择了本发明技术中涉及的5类对抗样本,包括FGSM、PGD、CW、Deepfool、Noise;本发明技术获得的最优个体Indibest=[24,117,1,3];基于核密度与贝叶斯估计(KDBU)、内在维度(LID)以及马氏距离分数(MAHA)这三类现有对抗样本检测技术建立回归模型,计算得到的回归模型对每类对抗样本数据与正常FUSAR-Ship数据的AUC值;同时使用本实施例中获得的最优特征归因扫描块处理参与实验的对抗样本数据与正常FUSAR-Ship数据,计算出本实施例中获得的回归模型对每类对抗样本数据与正常FUSAR-Ship数据的AUC值,其结果对比如图6所示,我们可以发现:相比已有三类传统对抗样本检测方法,通过本发明技术得到的回归模型AUC值在大部分对抗攻击样本中处于领先地位。此外,本发明技术相比基于像素留一改动(Leave One Out,LOO)的对抗样本检测技术,不同尺寸样本所需的子样本数量变化如图7所示,不难发现:本发明技术相比LOO技术大幅度提高了计算效率。
综述所述,本发明的有益效果是:本发明技术能根据不同的场景自动获得最佳的特征分析粒度,高效实现了SAR图像识别领域中的多种对抗样本检测;相比现有技术,本发明技术还提升了SAR图像对抗检测的计算效率和AUC性能指标。
Claims (7)
1.一种基于多目标最优特征归因选择的合成孔径雷达图像对抗样本检测系统,其特征在于,该系统包括SAR图像对抗样本检测数据预处理模块、SAR图像对抗样本检测离线最优特征归因选择训练模块和SAR图像对抗样本检测在线检测模块;
所述SAR图像对抗样本检测数据预处理模块从目标SAR系统实时数据库中采集监控过程中的实时图像数据,经图像数据规范化与图像数据归一化处理后获得在线检测数据集,将该在线检测数据集传输到SAR图像对抗样本检测在线检测模块;所述SAR图像对抗样本检测数据预处理模块从目标SAR系统历史数据库中采集历史图像数据,经图像数据规范化与图像数据归一化处理后获得标准历史图像数据,生成标准历史图像数据对应的对抗样本图像数据,将标准历史图像数据与对抗样本图像数据合并后获得离线训练数据集,将该离线训练数据集传输到SAR图像对抗样本检测离线最优特征归因选择训练模块;
所述SAR图像对抗样本检测离线最优特征归因选择训练模块,首先将特征归因扫描块中的尺寸Size、扫描间隔Stride、在扫描图像边缘时是否进行扩充操作的标记Padding、用于特征分析的模型隐含层数量Layers进行整数编码,随机产生一个初始化种群,再通过滑动扫描子模块将基于不同个体编码对应的特征归因扫描块对离线训练数据集中的SAR图像数据进行滑动扫描,通过隐含特征提取子模块进行特征提取,通过特征表达计算子模块计算离线训练数据集对应的特征表达集合,通过回归模型训练子模块将获得的离线训练数据集的特征表达集合作为训练数据进行逻辑回归训练,从而获得用以鉴别对抗样本的逻辑回归模型;统计出特征分析过程产生的子样本数量与回归模型的受试者工作特征曲线下面积作为个体适应度函数评估子模块的适应度指标,采用快速非支配排序和适应度综合评估子模块对初始种群中的个体进行排序,获得帕累托前沿个体,从帕累托前沿个体中选出最优个体;通过选择,交叉,变异生成子代种群,将父代子代进行种群合并产生新种群,对新种群进行快速非支配排序和拥挤度距离计算,根据种群规模生成下一代种群;重复上述进化过程直到达到最大进化轮次,从而获得具有帕累托最优的个体;将该最优个体对应的最优特征归因扫描块及最优回归模型传输至SAR图像对抗样本检测在线检测模块;
所述SAR图像对抗样本检测在线检测模块,通过滑动扫描子模块使用最优特征归因扫描块对在线检测数据集中的SAR图像数据进行滑动扫描,通过隐含特征提取子模块进行特征提取,通过特征表达计算子模块计算在线检测数据集的特征表达集合;然后使用获得的最优回归模型作为对抗样本检测模型,判断在线检测数据集的特征表达是否属于对抗样本的特征表达;如果检测到某特征表达属于对抗样本的特征表达,则发出预警信息;否则,则该样本为正常样本。
2.一种应用权利要求1所述系统的基于多目标最优特征归因选择的SAR图像对抗样本检测方法,其特征在于,包括以下步骤:
(1)SAR图像对抗样本检测数据预处理模块从SAR系统中获取监控过程中存储的历史SAR图像数据作为原始数据集,将其标记为O;对O进行图像数据规范化操作得到规范化数据集X,再经公式(1)进行图像数据归一化操作,得到离线标准数据集Xo;
所述SAR图像数据规范化模块由分割操作、放缩操作和降维操作组成;其中分割操作表示对原图像进行区域切分,当输入的SAR历史监控图像为一张包含了多个识别目标的监控区域整体图像时,需要根据其中的识别目标对图像进行分割,使分割后的SAR图像仅包含单个识别目标;当输入的SAR历史图像数据已被切分处理过,每张SAR历史图像均仅包含单个识别目标时,则无需再进行分割操作;放缩操作表示对数据集中的每一张SAR图像进行尺寸调整,保证其尺寸参数与目标模型的参数保持一致;降维操作表示对数据集中的SAR图像进行单通道处理;如果当输入的SAR历史图像数据已是单通道图像时,则无需再进行降维操作;
将离线标准数据集Xo传输到对抗样本生成平台进行对抗样本生成,即使用5种对抗样本生成方法用以生成Xo在目标模型下的对抗样本数据集Xadv;这5种对抗样本生成方法包括:基于快速梯度符号的FGSM攻击、基于梯度迭代的PGD攻击、基于优化的CW攻击、基于边界决策的Deepfool攻击和基于随机噪声的Noise攻击;将Xo与Xadv按照4:1的比例进行切分,得到干净数据的训练集Xo_train,包含对抗样本的训练集Xadv_train,干净数据的验证集Xo_val,包含对抗样本的验证集Xadv_val;
(2)设置离线最优特征归因选择训练模块中的相关参数值,所述参数值包括种群大小N,特征归因扫描块的最大尺寸Sizemax,最小尺寸Sizemin,最大步长Stridemax,最小步长Stridemin,特征层选择的最大层数L,训练轮次EPtrain,交叉率β,变异率σ,最大进化轮次Emax;
(3)将一个特征归因扫描块中的Size、Stride、Padding、Layers这一组参数进行整数编码,作为多目标进化策略中的一个个体,初始化N个个体作为初始种群Q,其中每个个体的编码形式为Indi=[Size,Stride,Padding,Layers],Indi表示种群中的任意一个个体,其中Size表示特征归因扫描块的尺寸,Stride表示特征归因扫描块的扫描间隔,Padding表示特征归因扫描块在扫描图像边缘时是否进行扩充操作的标记,Layers表示用于特征分析的模型隐含层数量,Size,Stride,Padding,Layers初始化具体实现过程分别如公式(2)~(5)所示:
Size=Randint(Sizemin,Sizemax) (2)
Stride=Randint(Stridemin,Stridemax) (3)
Padding=Randint(0,1) (4)
Layers=Randint(1,L) (5)
其中,Randint(a,b)表示随机生成一个大小介于a和b的整数,取值范围包括两端数值a和b本身;当Padding=0时,特征扫描过程不进行边缘扩充操作,当Padding=1时,特征扫描过程进行边缘扩充操作;将Xo中SAR图像的长度和宽度分别标记为h与w,通常情况下h=w,将特征归因扫描块的行扫描次数标记为m,m的计算过程如公式(6)所示;将行扫描过程未覆盖的边缘像素宽度标记为k,k的计算过程如公式(7)所示:
k=(h-Size)-m×Stride (7)
其中表示向下取整操作;当Padding=0,k≠0时,代表当前的Size和Stride参数取值无法对函数边缘进行扫描,SAR图像的部分边缘像素不会参与后续的特征提取过程;当Padding=1,k≠0时,在特征归因分析前会对SAR图像进行边缘扩充,填充的像素值取值固定为0,从而让SAR图像中的所有像素都参与后续的特征归因分析过程;
隐含特征提取操作会根据Layers的数值,从目标模型最后一层隐含层开始,依次提取隐含层的输出特征,直到提取的隐含层层数与Layers的值相等;
(4)将多目标优化技术的当前进化轮次标记为E,令E=0;
(5)对初始种群Q的适应度函数进行评估,即SAR图像对抗样本检测离线最优特征归因选择训练模块首先根据Q中个体对应的特征归因扫描块分别计算数据集Xo_train,Xadv_train,Xo_val,Xadv_val的特征表达;然后,使用训练集Xo_train,Xadv_train的特征表达集合进行逻辑回归训练,训练轮次为EPtrain,训练过程中使用验证集Xo_val,Xadv_val的特征表达集合对得到的回归模型进行验证,计算出该回归模型的AUC值,并对特征分析过程产生的子样本数量进行评估;
(6)对种群Q中的个体进行快速非支配排序和适应度综合评估;快速非支配排序通过衡量个体在AUC值和子样本数量两个评估指标的优劣来寻找种群Q的帕累托前沿,适应度综合评估在该帕累托前沿个体集合中综合两个评估指标来选择种群Q的最优个体;具体操作中将个体AUC值的负数与子样本数量作为优化目标函数,分别标记为f1和f2;记ni为种群中支配第i个个体的个体数量,Si为被第i个个体支配的个体集合;一个个体支配另一个个体的含义是:对于个体对应的AUC值以及子样本数量,处于支配地位的个体表现均优于被支配的个体,即模型AUC值高于被支配个体,子样本数量小于被支配个体;
(7)对于种群Q中的每个个体,采用二元竞标赛选择方法,即两两对比,每次对比按步骤(6)的最优个体评估方法选择具有更小fi all值的个体进入父代种群Qp;
(8)对于种群Qp中的每个个体,采用模拟二进制交叉方法进行交叉操作;将交叉后的种群标记为Qx;
(9)对于种群Qx中的每个个体,采用多项式变异方法进行变异操作,将变异后的种群标记为Qm;
(10)将种群Qp与子种群Qx,子种群Qm合并为一个新种群Qn;
(11)对新种群Qn实行精英策略选择生成下一代种群;Qn包括了上一代种群经过二元竞标赛选择后的个体集合Qp,即包括了上一代种群中的最优个体Indibest;精英策略将上一代的最优个体Indibest和新子代个体一同进行适应度评估等操作,用以生成下一代种群;记下一代种群为Qp+1;
(12)令Q=Qp+1,E=E+1;
(13)重复步骤(5)~步骤(12),直到E=Emax;
(14)对经过Emax轮进化的种群Q按步骤(5)和步骤(6)的方式,进行快速非支配排序和适应度综合评估,获得最优个体Indibest;将最优个体Indibest对应的特征归因扫描块及逻辑回归模型传递至SAR图像对抗样本检测在线检测模块;
(15)SAR图像对抗样本检测数据预处理模块从目标SAR系统中采集监控过程中的实时图像数据,经数据规范化与数据归一化处理后获得在线检测数据集Xt,将该在线检测数据集Xt传输到在线检测模块;
(16)SAR图像对抗样本检测在线检测模块使用获得的最优特征归因扫描块,按照步骤(5)中的特征归因表达计算方式计算在线检测数据集Xt的特征表达;然后使用获得的最优回归模型判断Xt的特征表达是否属于对抗样本的特征表达,对发现的对抗样本特征表达发出预警;否则,该样本为正常样本。
3.根据权利要求2所述的SAR图像对抗样本检测方法,其特征在于,所述步骤(5)的具体计算过程如下:
(5.1)令i=0,将该数据集的图像最大数量标记为imax;
(5.2)设置子样本图像集合Fsub为空集,选择该数据集的第i张图像x作为本次特征分析图像,使用特征归因扫描块对该图像进行滑动扫描;扫描操作从x的图像像素矩阵中的(0,0)位置开始,按照Size参数选中x图像像素矩阵中尺寸为Size的正方形区域进行子样本生成操作;子样本生成操作会克隆一张与x原始像素值相同的新图像,然后将新图像的本次扫描区域的像素值置0,随后将该图像加入子样本图像集合Fsub中;完成一次子样本生成操作后,特征归因扫描块按照Stride参数进行按行滑动,每次滑动扫描均进行一次子样本生成操作;重复该过程直到扫描块的下一次扫描超过像素矩阵的宽度,按照Stride参数将扫描块移动至x图像像素矩阵中的下一行扫描位置,再次开始按行滑动扫描;重复上述过程直到特征归因扫描块完成了x矩阵像素中的所有按行扫描操作;最后将原始图像x也加入子样本图像集合Fsub中;滑动扫描操作中第l行第p次扫描的起点位置可记为(l×Stride,p×Stride),其对应的正方形扫描区域的四个点坐标分别为:(l×Stride,p×Stride),(l×Stride,p×Stride+Size),(l×Stride+Size,p×Stride),(l×Stride+Size,p×Stride+Size);
(5.3)将该图像的子样本集合Fsub输入目标模型,根据给定的Layers参数选择对应的模型隐含层,获取子样本集合中每一张图像在模型内对应隐含层的输出;将隐含层的输出进行平均池化操作后获得子样本集合Fsub对应的隐含特征集合;
(5.4)将隐含特征集合中除原始图像x外的子样本图像所对应的隐含特征减去原始图像x对应的隐含特征,得到能够表征图像像素变化影响的图像特征变化矩阵;
(5.5)对图像特征变化矩阵进行四分位距离(Interquartile Range,IQR)统计,得到能表征该图像的特征表达向量;
(5.6)令i=i+1;
(5.7)重复(5.2)步骤~(5.6)步骤,直到i=imax;
(5.8)合并步骤(5.7)中获得的所有特征表达向量,得到该数据集对应的特征表达集合;
所述AUC值评估的具体实现过程如下:
记验证集Xo_val中的样本数量为R,标记为正样本;验证集Xadv_val中的样本数量为T,标记为负样本;将回归模型中验证集样本的预测得分记为P,P正样本代表回归模型对单个正样本的预测得分,P负样本代表回归模型对单个负样本的预测得分;记I(P正样本,P负样本)为一个正负样本对的样本预测评估值;当P正样本>P负样本时,I(P正样本,P负样本)=1;当P正样本=P负样本时,I(P正样本,P负样本)=0.5;当P正样本<P负样本时,I(P正样本,P负样本)=0;计算所有的正负样本对的样本预测评估值,按照公式(8)计算该回归模型对验证集样本的AUC值:
所述特征分析过程产生的子样本数量计算的具体实现过程如下:使用个体对应的特征归因扫描块参数Size,Stride,Padding,通过公式(6)与公式(7)计算当前个体对应的k和m;当Padding=0时,个体对应的子样本数量为m×m+1;当Padding=1时,如果k=0,则个体对应的子样本数量为m×m+1;当Padding=1时,如果k≠0,则个体对应的子样本数量为(m+1)×(m+1)+1。
4.根据权利要求2所述的SAR图像对抗样本检测方法,其特征在于,所述步骤(6)具体实现过程为:
(6.1)遍历当前种群Q的所有个体,计算每个个体对应的ni值以及被该个体支配的个体集合Si;
(6.2)将所有ni=0的个体保存于集合F1中;
(6.3)令j=1;
(6.4)令H为空集;
(6.5)遍历Fj中的所有个体,记Su为被Fj中第u个个体所支配的个体集合,nq为支配Su中第q个个体的个体数量;得到Fj中每个个体对应的Su;
(6.6)对所有的Su,遍历每个Su中的所有个体,计算每个个体对应的nq值,并令nq=nq-1;
(6.7)如果nq=0,则将Su中第q个个体放入集合H中;
(6.8)令j=j+1;
(6.9)令Fj=H;
(6.10)重复(6.4)步骤~(6.9)步骤,直到获得的Fj为空集;
(6.11)F1中的个体均为处于支配地位的个体,将F1中的个体作为种群Q的帕累托前沿个体,综合两个评估指标选择最优个体,其具体选择过程为:当F1中仅包含1个个体,则选择该个体作为本次评估中的最优个体Indibest;当F1中包含2个个体,则选择具有更高AUC值的个体作为本次评估中的最优个体Indibest;当F1中包含3个或3个以上个体时,按照公式(9)计算第i个体的适应度综合评估值fi all,其中f1 i代表第i个个体的f1优化目标值,f2 i代表第i个个体的f2优化目标值;选择fi all最小的个体作为最优个体Indibest,当存在多个个体同时具有最小的fi all时,选择AUC值更高的个体作为模型的最优个体Indibest;
5.根据权利要求2所述的SAR图像对抗样本检测方法,其特征在于,所述步骤(8)具体实现过程为:
(8.1)对于当前个体,生成一个0到1范围内的均匀分布随机数β1,当β1≤β时,则将当前个体与另一随机个体作为父代进行后续操作,当β1>β时,不进行任何操作;
(8.2)生成一个0到1范围内的均匀分布随机数g1,记k1为交叉操作中两个个体的同一编码位置;
(8.3)根据公式(10)计算交叉中间变量βg1;
(8.4)根据公式(11)计算父代影响因子βk1;
(8.5)对于两个个体Indi1和Indi2,记交叉操作产生的两个子代个体为Indic1和Indic2;Indic1上的第k1个位置的值由公式(12)计算得出,Indic2上的第k1个位置的值按公式(13)计算得出;其中Indic1(k1)为Indic1上的第k1个位置的值,Indi1(k1)为Indi1上的第k1个位置的值,其余同理;
(8.6)将Indic1和Indic2中非整数的值四舍五入为整数;
(8.7)重复(8.1)步骤~(8.6)步骤,直到Qp中的每个个体都进行了交叉操作;将所有获得的交叉子代个体放入种群Qx中。
6.根据权利要求2所述的SAR图像对抗样本检测方法,其特征在于,所述步骤(9)具体实现过程如下:
(9.1)对于当前个体,生成一个0到1范围内的均匀分布随机数σ1,当σ1≤σ时,对该个体进行后续操作,当σ1>σ时,不进行任何操作;
(9.2)生成一个0到1范围内的均匀分布随机数g2,记k2为变异操作中个体的编码位置;
(9.3)根据公式(14)计算变异中间变量βg2;
(9.4)记个体Indi的k2位置的值的上界为Indi(k2)up,个体Indi的k2位置的值的下界为Indi(k2)low;记变异操作产生的子代个体为Indimut,Indimut上的第k2个位置的值由公式(15)计算得出;
Indimut(k2)=Indi(k2)+(Indi(k2)up-Indi(k2)low)×βg2 (15)
(9.5)将Indimut中非整数的值四舍五入为整数;
(9.6)重复(9.1)步骤~(9.5)步骤,直到Qx中的每个个体都进行了变异操作;将所有获得的变异子代个体放入种群Qm中。
7.根据权利要求2所述的SAR图像对抗样本检测方法,其特征在于,其精英选择策略的具体过程如下:
(11.1)按照步骤(5)和(6)的评估方式对新种群Qn中的所有个体进行快速非支配排序操作,获得Qn的所有非支配集合Fj;
(11.2)令Qp+1为空集,j=1;
(11.3)计算Fj中所有个体的拥挤度距离;记di为Fj中第i个个体的拥挤度距离,分别使用f1与f2对Fj中的个体进行排序,将具有最大f1值与最大f2值的两个个体作为边界个体,边界个体对应的拥挤度di视为无穷大;除边界个体外,其余个体的拥挤度距离按照公式(16)进行计算;其中fz i+1表示Fj中第i+1个个体的fz目标适应度值,fz i-1表示Fj中第i-1个个体的fz目标适应度值;
(11.4)记|Qp+1|为Qp+1中个体的数量,|Fj|为Fj中个体的数量;当|Qp+1|+|Fj|≤N时,将Fj中的所有个体放入Qp+1中;当|Qp+1|+|Fj|>N时,将Fj中个体按照拥挤度距离从大到小排序,在排序后的Fj中依次选择N-|Qp+1|个个体放入Qp+1中;
(11.5)令j=j+1;
(11.6)重复(11.1)步骤~(11.5)步骤,直到|Qp+1|=N。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211504977.8A CN115861804A (zh) | 2022-11-28 | 2022-11-28 | 基于最优特征归因选择的sar图像对抗样本检测系统与方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211504977.8A CN115861804A (zh) | 2022-11-28 | 2022-11-28 | 基于最优特征归因选择的sar图像对抗样本检测系统与方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115861804A true CN115861804A (zh) | 2023-03-28 |
Family
ID=85667378
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211504977.8A Pending CN115861804A (zh) | 2022-11-28 | 2022-11-28 | 基于最优特征归因选择的sar图像对抗样本检测系统与方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115861804A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116882293A (zh) * | 2023-07-18 | 2023-10-13 | 广东明阳电气股份有限公司 | 变压器多目标优化方法、装置及存储介质 |
-
2022
- 2022-11-28 CN CN202211504977.8A patent/CN115861804A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116882293A (zh) * | 2023-07-18 | 2023-10-13 | 广东明阳电气股份有限公司 | 变压器多目标优化方法、装置及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bendale et al. | Towards open set deep networks | |
CN111753881B (zh) | 一种基于概念敏感性量化识别对抗攻击的防御方法 | |
CN111814902A (zh) | 目标检测模型训练方法、目标识别方法、装置和介质 | |
CN108399420B (zh) | 一种基于深度卷积网络的可见光舰船虚警剔除方法 | |
CN103714148B (zh) | 基于稀疏编码分类的sar图像检索方法 | |
Li et al. | Seenn: Towards temporal spiking early exit neural networks | |
CN111126134A (zh) | 基于非指纹信号消除器的雷达辐射源深度学习识别方法 | |
CN114694178A (zh) | 基于Faster-RCNN算法的电力作业中安全帽监测方法及系统 | |
CN115861804A (zh) | 基于最优特征归因选择的sar图像对抗样本检测系统与方法 | |
CN107766792B (zh) | 一种遥感图像舰船目标识别方法 | |
CN116580322A (zh) | 一种地面背景下无人机红外小目标检测方法 | |
CN115359248A (zh) | 基于元学习的机器人导航避障方法与系统 | |
CN115761888A (zh) | 基于nl-c3d模型的塔吊操作人员异常行为检测方法 | |
CN115079116A (zh) | 基于Transformer和时间卷积网络的雷达目标识别方法 | |
CN111144462A (zh) | 一种雷达信号的未知个体识别方法及装置 | |
CN118279320A (zh) | 基于自动提示学习的目标实例分割模型建立方法及其应用 | |
CN118014801A (zh) | 一种生态海堤牡蛎礁的营造效果评估方法及系统 | |
CN116524291A (zh) | Sar图像dnn分类器的后门攻击设计及评估系统与方法 | |
CN113537240B (zh) | 一种基于雷达序列图像的形变区智能提取方法及系统 | |
CN114882289A (zh) | 基于自适应确定拒判准则的sar目标开集识别方法 | |
CN115310559A (zh) | 一种基于贝叶斯-Transformer神经网络模型的目标识别方法 | |
Patsei et al. | Multi-class object classification model based on error-correcting output codes | |
Alshrief et al. | Ensemble machine learning model for classification of handwritten digit recognition | |
CN117390688B (zh) | 一种基于监督训练的模型反演方法 | |
EP4357977A1 (en) | Device and method for determining an encoder configured image analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |