CN117495703A - 防御去噪网络的训练方法、防御去噪方法及系统 - Google Patents

防御去噪网络的训练方法、防御去噪方法及系统 Download PDF

Info

Publication number
CN117495703A
CN117495703A CN202311459818.5A CN202311459818A CN117495703A CN 117495703 A CN117495703 A CN 117495703A CN 202311459818 A CN202311459818 A CN 202311459818A CN 117495703 A CN117495703 A CN 117495703A
Authority
CN
China
Prior art keywords
loss
denoising
sample
defensive
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311459818.5A
Other languages
English (en)
Inventor
丁文博
钟佳琛
赵九花
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secco Intelligent Technology Shanghai Co ltd
Original Assignee
Secco Intelligent Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secco Intelligent Technology Shanghai Co ltd filed Critical Secco Intelligent Technology Shanghai Co ltd
Priority to CN202311459818.5A priority Critical patent/CN117495703A/zh
Publication of CN117495703A publication Critical patent/CN117495703A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开一种防御去噪网络的训练方法、防御去噪方法及系统,所述防御去噪网络的训练方法包括:获取原始图像、所述原始图像的原始标签、对抗样本经去噪还原后的还原样本以及所述还原样本的预测标签;以最小化所述原始标签与所述预测标签间的第一距离以及所述原始图像和所述还原样本在特征空间中的第二距离为优化目标,迭代训练所述防御去噪网络直至达到预设条件。本申请所述的防御去噪网络的训练方法、防御去噪方法及系统,不仅可以有效提升防御的成功率,还能够极大的保证图像去噪之后的质量。

Description

防御去噪网络的训练方法、防御去噪方法及系统
技术领域
本申请涉及图像处理技术领域,具体涉及一种防御去噪网络的训练方法、防御去噪方法及系统。
背景技术
人工智能技术已经广泛应用于计算机视觉、自然语言处理和自动驾驶等领域,但是人工智能算法很容易受到攻击,这限制了人工智能技术在关键安全领域的应用,这也是防御算法受到较多关注的原因,提高人工智能系统对抗攻击的鲁棒性在人工智能的发展中发挥着重要作用。目前主流的提高算法鲁棒性的防御方法可以分为修改训练过程和数据、修改算法模型、使用辅助附加网络等,其中修改训练过程和数据包括蛮力对抗训练、数据压缩、基于中央凹机制的防御以及数据随机化方法,修改算法模型包括深度压缩网络、梯度正则化、Defensive distillation、生物启发的防御方法、Parseval网络和DeepCloak。使用辅助附加网络包括防御通用扰动、基于GAN的防御、Feature Squeezing、MagNet和混杂方法。由于对抗样本在原始图像添加特定的扰动,因此去噪的直接思路就是对图像进行去噪。降噪模型确实可以在一定程度上减少噪声,但是都不能去除所有的对抗扰动,又由于误差放大效应的存在,使得目标模型仍然会识别出错。
目前也存在较多去噪方法,其中一种方法将处理过程分为两个阶段:离线阶段和在线防御阶段。在离线阶段,首先使用无扰动的自然图像来训练一个超完备字典,这个字典充当了一种图像特征的学习工具,可以捕捉图像的多种变化和模式。在在线防御阶段,对输入的图像进行预处理,这个预处理步骤利用了非负矩阵分解方法,将扰动图像分解成低秩表示,这种方法有助于提取扰动图像中的基本成分。另一种方法利用生成式对抗网络和深度图卷积模型进行图像防御,该方法构建了一个基于GAN的深度模型。这个模型包含多个策略生成器和一个相似判别器,多策略生成器由两个主要组件构成:一个用于提取原始图像的低维嵌入特征的图特征提取器,以及一个图重构器。之后对多策略生成器和相似判别器进行对抗性迭代训练。通过多次迭代训练来调整生成器和判别器,使生成的对抗图像样本与原始图像样本具有高度相似性,同时具备攻击性扰动。使用原始图像样本和生成的对抗图像样本,进行预训练和防御性训练,从而得到一个防御分类模型。将图像样本输入到最终的防御模型中,实现对抗攻击的识别和分类任务,确保模型能够准确地区分正常图像和攻击性扰动图像。
上述方法在需要去噪的图片与干净的原始图片之间进行像素级别的约束,希望去噪图片的每个像素都趋近原始图片。这样的方法有一定的效果,但由于对抗噪声在神经网络上有放大效应,较小的噪声随着网络层数的加深也会对结果产生较大的影响,因此像素级别的去噪方法并不能有效抵抗对抗样本。并且目前的去噪方法会影响对于未受到攻击的样本,降低样本的质量,导致目标模型识别精度下降。
发明内容
本申请提供的防御去噪网络的训练方法、防御去噪方法及系统,不仅可以有效提升防御的成功率,还能够极大的保证图像去噪之后的质量。
第一方面,本申请提供一种防御去噪网络的训练方法,包括:获取原始图像、所述原始图像的原始标签、对抗样本经去噪还原后的还原样本以及所述还原样本的预测标签;以最小化所述原始标签与所述预测标签间的第一距离以及所述原始图像和所述还原样本在特征空间中的第二距离为优化目标,迭代训练所述防御去噪网络直至达到预设条件,其中,所述训练所述防御去噪网络包括:分别基于所述原始标签和所述预测标签获得分类损失,基于所述原始图像和所述还原样本获得还原损失,其中所述分类损失用于衡量所述第一距离,所述还原损失用于衡量所述第二距离;基于所述分类损失和所述还原损失获得综合损失;以及采用所述综合损失训练所述防御去噪网络。
在本申请的一些实施例中,获取所述对抗样本的方法包括:构建和被攻击数据集分布接近的训练数据集;对所述训练数据集中的类别进行统计得到概率分布结果;基于所述概率分布结果,得到与预设类别在较小概率下共同出现的目标类别,且所述目标类别所在的图像即为所述对抗样本。
在本申请的一些实施例中,所述防御去噪网络包括生成模型和替代模型;所述训练所述防御去噪网络的方法还包括:将所述对抗样本输入所述生成模型,通过所述生成模型对所述对抗样本进行去噪还原处理,生成所述还原样本;将所述还原样本输入所述替代模型,通过所述替代模型输出所述还原样本的预测标签。
在本申请的一些实施例中,所述生成模型对所述对抗样本进行去噪还原处理的方法包括:处理所述对抗样本得到噪声;对所述噪声进行高斯平滑处理,得到噪声扰动;在所述对抗样本的基础上减去所述噪声扰动,得到所述还原样本。
在本申请的一些实施例中,所述分类损失为类别损失和位置损失之和;所述还原损失为所述原始图像和所述还原样本的L2损失;所述类别损失、所述位置损失、所述还原损失及所述综合损失通过所述替代模型计算得到,所述综合损失为所述类别损失、所述位置损失和所述还原损失之和。
在本申请的一些实施例中,所述分类损失为类别损失和位置损失之和;所述还原损失为所述原始图像和所述还原样本的L2损失;所述类别损失、所述位置损失、所述还原损失及所述综合损失均通过所述替代模型计算得到,且所述替代模型包括第一替代模型第二替代模型/>和第三替代模型/>其中所述综合损失的计算方法包括:
分别通过及/>对应计算所述类别损失、所述位置损失和所述还原损失之和,并对应得到第一综合损失/>第二综合损失/>和第三综合损失/>
对所述第一综合损失所述第二综合损失/>所述第三综合损失/>进行加权融合,得到所述综合损失:
其中,为所述综合损失;α1为第一分配系数且大于0;α2为第二分配系数且大于0;α3为第三分配系数且大于0;α123=1。
在本申请的一些实施例中,所述训练所述防御去噪网络的方法还包括:将所述综合损失通过反向传播的方式优化所述生成模型的参数。
在本申请的一些实施例中,通过如下训练条件得到所述生成模型的参数:
其中,为分类损失的计算期望值;/>为类别损失;/>为所述还原样本的预测标签;/>为对抗样本;/>为通过所述生成模型处理得到的噪声;/>为所述原始图像的原始标签;
为位置损失;/>为所述还原样本的预测位置;/>为所述原始图像的原始位置;/>为所述还原损失;/>为所述原始图像;ε为扰动系数的边界值。
在本申请的一些实施例中,还将所述原始图像输入所述生成模型进行去噪还原处理,以使所述防御去噪网络能够识别非对抗样本。
第二方面,本申请还提供一种防御去噪方法,包括:获取待测试图像并预测所述待测试图像的类别;通过所述类别之间的共现概率统计,判断所述待测试图像是否为对抗样本;将所述对抗样本输入防御去噪网络进行去噪还原处理,并输出还原样本,其中所述防御去噪网络采用上述任一项所述的训练方法训练得到。
第三方面,本申请还提供一种防御去噪系统,包括:至少一个存储介质,存储有至少一组指令集用于防御去噪;至少一个处理器,与所述至少一个存储介质通讯连接;其中当所述防御去噪系统运行时,所述至少一个处理器读取防御去噪网络并实施上述的防御去噪方法,所述防御去噪网络采用上述任一项所述的训练方法训练得到。
与现有技术相比,本申请技术方案的防御去噪网络的训练方法、防御去噪方法及系统具有如下有益效果:
本申请技术方案的防御去噪网络的训练方法,每次训练防御去噪网络时,分别基于所述原始标签和所述预测标签获得分类损失,基于所述原始图像和所述还原样本获得还原损失,基于分类损失和还原损失获得综合损失,并采用综合损失训练防御去噪网络。由于分类损失可以衡量原始标签与预测标签间的第一距离,还原损失可以衡量原始图像和还原样本在特征空间中的第二距离,因此,可以采用分类损失和还原损失以最小化第一距离和第二距离为优化目标训练防御去噪网络,使防御去噪网络能够更好的对对抗样本进行去噪还原处理,且去噪还原处理得到的还原样本能够较好的还原真实图像的信息。此外,还将非对抗样本输入防御去噪网络进行训练,以使该防御去噪网络能够识别非对抗样本,避免防御去噪对非对抗样本的影响。
本申请技术方案的防御去噪方法先通过上下文一致性检测,获得对抗样本,然后对对抗样本进行针对性的去噪还原处理,而不是针对全部的待测试图像,因此不会对正常图像造成损伤,极大地保证了图像去噪后的质量,同时能够降低防御的时间,还可以将对抗样本进行还原,使原本具有攻击属性的对抗样本不再具有攻击扰动,使模型正确推理去噪后的图像,降低对抗样本的威胁,提升防御的成功率。
附图说明
以下附图详细描述了本申请中披露的示例性实施例。其中相同的附图标记在附图的若干视图中表示类似的结构。本领域的一般技术人员将理解这些实施例是非限制性的、示例性的实施例,附图仅用于说明和描述的目的,并不旨在限制本申请的范围,其他方式的实施例也可能同样的完成本申请中的发明意图。应当理解,附图未按比例绘制。其中:
图1为本申请实施例的防御去噪系统的应用场景示意图;
图2为本申请实施例的防御去噪网络的训练方法的流程图;
图3为本申请实施例的对抗样本的获取方法的流程图;
图4为本申请实施例的去噪还原处理的流程图;
图5为本申请实施例的训练防御去噪网络的流程图;
图6为本申请实施例的防御去噪方法的流程图;
图7为本申请实施例的防御去噪方法在实际应用场景下的流程图。
具体实施方式
以下描述提供了本申请的特定应用场景和要求,目的是使本领域技术人员能够制造和使用本申请中的内容。对于本领域技术人员来说,对所公开的实施例的各种局部修改是显而易见的,并且在不脱离本申请的精神和范围的情况下,可以将这里定义的一般原理应用于其他实施例和应用。因此,本申请不限于所示的实施例,而是与权利要求一致的最宽范围。
这里使用的术语仅用于描述特定示例实施例的目的,而不是限制性的。比如,除非上下文另有明确说明,这里所使用的,单数形式“一”,“一个”和“该”也可以包括复数形式。当在本说明书中使用时,术语“包括”、“包含”和/或“含有”意思是指所关联的整数,步骤、操作、元素和/或组件存在,但不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或组的存在或在该系统/方法中可以添加其他特征、整数、步骤、操作、元素、组件和/或组。
考虑到以下描述,本申请的这些特征和其他特征、以及结构的相关元件的操作和功能、以及部件的组合和制造的经济性可以得到明显提高。参考附图,所有这些形成本申请的一部分。然而,应该清楚地理解,附图仅用于说明和描述的目的,并不旨在限制本申请的范围。还应理解,附图未按比例绘制。
本申请中使用的流程图示出了根据本申请中的一些实施例的系统实现的操作。应该清楚地理解,流程图的操作可以不按顺序实现。相反,操作可以以反转顺序或同时实现。此外,可以向流程图添加一个或多个其他操作。可以从流程图中移除一个或多个操作。
本申请提供的防御去噪网络可以应用于对任意的图像进行防御去噪的场景中,例如在无人驾驶领域,可以通过本申请的防御去噪网络对获取的路况图像进行去噪处理,以提高车辆的驾驶安全性。在医学影像领域,可以通过本申请的防御去噪网络对获取的医学影像进行去噪处理,以提高诊断结果的准确性。以下将以防御去噪系统应用于无人驾驶领域为例进行说明。
本申请实施例提供的一种防御去噪系统100,可以包括图像采集设备110、服务器120和网络130,所述图像采集设备110用于采集真实的路况图像。在一些实施例中,所述图像采集设备110可以是二维图像采集设备(比如RGB摄像头),也可以是深度图像采集设备(比如3D结构光摄像头、激光探测器,等等)。
在一些实施例中,所述服务器120存储有执行本申请实施例的防御去噪网络的训练方法和/或防御去噪方法的数据或指令,并可以执行或用于执行所述数据或指令,因此所述防御去噪网络的训练方法和/或防御去噪方法可以在所述服务器120上执行。在一些实施例中,所述服务器120可以包括具有数据信息处理功能的硬件设备和驱动该硬件设备工作所需必要的程序。所述服务器120可以与多个所述图像采集设备110通信连接,并接收所述图像采集设备110发送的数据。
所述网络130是用于在所述图像采集设备110和所述服务器120之间提供通信连接的介质。所述网络130可以促进信息或数据的交换。如图1所示,所述图像采集设备110和所述服务器120可以与所述网络130连接,并且通过所述网络130互相传输信息或数据。在一些实施例中,所述网络130可以是任何类型的有线或无线网络,也可以是其组合。例如,所述网络130可以包括电缆网络,有线网络、光纤网络、电信通信网络、内联网、互联网、局域网(LAN)、广域网(WAN)、无线局域网(WLAN)、大都市市区网(MAN)、广域网(WAN)、公用电话交换网(PSTN)、蓝牙网络、ZigBee网络、近场通信(NFC)网络或类似网络。在一些实施例中,所述网络130可以包括一个或多个网络接入点。例如,所述网络130可以包括有线或无线网络接入点,如基站或互联网交换点,通过该接入点,所述图像采集设备110和所述服务器120的一个或多个组件可以连接到所述网络130以交换数据或信息。
需要说明的是,图1中的所述图像采集设备110、服务器120和网络130的数目仅仅是示意性的。根据实际的需求,可以具有任意数量的所述图像采集设备110、服务器120和网络130。
本申请实施例还提供一种计算设备,所述计算设备可以执行本申请实施例的防御去噪网络的训练方法和防御去噪方法。执行所述防御去噪网络的训练方法的计算设备与执行所述防御去噪方法的计算设备可以是同一个计算设备,也可以是两个独立的计算设备。当所述防御去噪网络的训练方法和防御去噪方法在所述服务器120上执行时,所述计算设备可以是所述服务器120。所述计算设备可以包括至少一个存储介质和至少一个处理器。在一些实施例中,所述计算设备还可以包括通信端口和内部通信总线。在一些实施例中,所述计算设备还可以包括I/O组件。
所述内部通信总线可以连接不同的系统组件,包括存储介质、处理器和通信端口。I/O组件支持所述计算设备和其他组件之间的输入/输出。所述通信端口用于所述计算设备和外界的数据通信。例如,所述通信端口可以用于所述计算设备与所述网络130之间的数据通信。所述通信端口可以是有线通信端口,也可以是无线通信端口。
所述存储介质可以包括数据存储装置。所述数据存储装置可以是非暂时性存储介质,也可以是暂时性存储介质。比如,所述数据存储装置可以包括磁盘、只读存储介质(ROM)或随机存取存储介质(RAM)中的一种或多种。所述存储介质可以存储有用于训练防御去噪网络的至少一个指令集,还可以存储完成训练的防御去噪网络对应的至少一个指令集。所述指令是计算机程序代码,所述计算机程序代码可以包括执行本申请实施例提供的防御去噪方法的程序、例程、对象、组件、数据结构、过程、模块等等。
至少一个处理器可以和至少一个存储介质以及所述通信端口通过所述内部通信总线通信连接。至少一个处理器用以执行上述至少一个指令集。当所述计算设备运行时,至少一个处理器可以读取用于训练防御去噪网络的至少一个指令集,并且根据所述至少一个指令集的指示,执行本申请实施例提供的防御去噪网络的训练方法。当所述计算设备运行时,至少一个处理器还可以读取所述防御去噪网络对应的至少一个指令集,并且根据所述至少一个指令集的指示,执行本申请实施例提供的防御去噪方法。所述处理器可以执行所述防御去噪网络的训练方法、防御去噪方法包含的所有步骤。所述处理器可以是一个或多个处理器的形式,在一些实施例中,所述处理器可以包括一个或多个硬件处理器,例如微控制器,微处理器,精简指令集计算机(RISC),专用集成电路(ASIC),特定于应用的指令集处理器(ASIP),中心处理单元(CPU),图形处理单元(GPU),物理处理单元(PPU),微控制器单元,数字信号处理器(DSP),现场可编程门阵列(FPGA),高级RISC机器(ARM),可编程逻辑器件(PLD),能够执行一个或多个功能的任何电路或处理器等,或其任何组合。
作为示例,所述计算设备中仅包括一个处理器。应当理解,所述计算设备还可以包括多个处理器,因此,本申请实施例中披露的操作和/或方法步骤可以如本申请实施例所述的由一个处理器执行,也可以由多个处理器联合执行。例如,如果在本申请实施例中计算设备的处理器执行步骤A和步骤B,则应该理解,步骤A和步骤B也可以由两个不同处理器联合或分开执行(例如,第一处理器执行步骤A,第二处理器执行步骤B,或者第一和第二处理器共同执行步骤A和B)。
图2示出了本申请实施例提供的一种防御去噪网络的训练方法的流程图。如前所述,所述计算设备可以执行本申请实施例所述的防御去噪网络的训练方法。具体地,所述处理器可以读取存储在其本地存储介质中的指令集,然后根据所述指令集的规定,执行本申请实施例所述的防御去噪网络的训练方法。如图2所示,所述训练方法可以包括:
S100:获取原始图像、所述原始图像的原始标签、对抗样本经去噪还原后的还原样本以及所述还原样本的预测标签。
所述原始图像和所述原始图像的原始标签可以来源于训练数据集。所述处理器可以获取训练数据集,从所述训练数据集中获取所述原始图像和所述原始图像的原始标签。对于所述还原样本和所述预测标签,则需要所述处理器先获取对抗样本,然后对所述对抗样本进行去噪还原处理,得到还原样本,再对所述还原样本进行预测,得到所述还原样本的预测标签。
参考图3,所述对抗样本的获取方法可以包括:
S101:构建和被攻击数据集分布接近的训练数据集(D);
S102:对所述训练数据集中的类别进行统计得到概率分布结果;
S103:基于所述概率分布结果,得到与预设类别在较小概率下共同出现的目标类别,且所述目标类别所在的图像即为所述对抗样本。
在S101中,所述训练数据集可以包括未被攻击的原始图像和被攻击的图像,所述未被攻击的原始图像也可以称为正常图像、真实图像、真实样本或非对抗样本,所述被攻击的图像在后续步骤中会被识别为对抗样本。
在S103中,利用了上下文一致性检测的方法,通过图像中类别间的共现概率统计,可以比较准确的判断出攻击的目标。
参考图4,对所述对抗样本进行去噪还原处理,得到还原样本的方法包括:
S111:处理所述对抗样本得到噪声;
S112:对所述噪声进行高斯平滑处理,得到噪声扰动;
S113:在所述对抗样本上去除所述噪声扰动,得到所述还原样本。
在一些实施例中,所述防御去噪网络包括生成模型,所述生成模块可以包括编码器和解码器。在S111中,将所述对抗样本输入所述生成模型,经过所述编码器和所述解码器对所述对抗样本进行处理,得到所述噪声。
在一些实施例中,在S112中,所述生成模型对所述噪声进行高斯平滑处理,以使处理得到的噪声扰动不会过度依赖替代模型。所述高斯平滑处理的方法如下:
其中,δ为噪声扰动,λ为扰动系数,λ的取值可以为8/255,W为高斯卷积操作,卷积核符合高斯分布,为对抗样本,/>为通过所述生成模型处理得到的噪声。
在S113中,使所述对抗样本减去所述噪声扰动δ,得到还原样本/>表示如下:
在一些实施例中,所述防御去噪网络还包括替代模型。对所述还原样本进行预测,得到所述还原样本的预测标签的方法包括:将所述还原样本输入所述替代模型,通过所述替代模型输出所述还原样本的预测标签。
所述替代模型可以采用YOLOv5模型、Faster RCNN模型和SSD模型,可以采用其中一种模型,也可以采用多种模型。
其中YOLOv5(You Only Look Once version 5)模型用于在视频或图像中识别和定位物体,是YOLO(You Only Look Once)算法的一种版本,在YOLOv4的基础上进行了改进,其是一种端到端的深度学习模型,可以直接从原始图像中检测和定位,使用卷积神经网络(CNN)来学习图像中物体的特征,并使用多尺度预测和网格分割来检测和定位目标,其优势在于可以高速运行,并且可以在不同图像分辨率上很好的工作,可以应用于许多不同的场景,包括自动驾驶、机器人感知和图像分析等。
Faster RCNN模型将特征抽取(feature extraction)、proposal提取、boundingbox regression(rect refine)及classification都整合在了一个网络中,使得综合性能有较大提高,在检测速度方面尤为明显。
SSD模型利用不同尺度的特征图进行目标的检测。SSD模型的特征提取网络是改进VGG16网络而来的,通过在VGG16网络后面增加几组卷积层增大小特征的特征图。SSD采用多个尺度检测方法,是将VGG16网络输出的大特征图逐步采用步长为2的卷积操作,生成不同大小的特征图,经过SSD模型的特征提取后,会得到两个尺度的特征图,用两个尺度中较大的识别小目标,而较小的识别大目标,提高小目标的识别准确率。
如图2所示,所述训练方法还可以包括:
S200:以最小化所述原始标签与所述预测标签间的第一距离以及所述原始图像和所述还原样本在特征空间中的第二距离为优化目标,迭代训练所述防御去噪网络直至达到预设条件。
所述处理器可以不断迭代训练所述防御去噪网络直至达到预设条件,比如达到预设的迭代次数为止。所述预设条件还可以为所述防御去噪网络的损失值不下降,所述损失值不下降代表所述防御去噪网络已处于收敛状态。所述防御去噪网络的优化目标是最小化所述原始标签与所述预测标签间的第一距离以及所述原始图像和所述还原样本在特征空间中的第二距离,以此优化目标训练的防御去噪网络能够在对抗样本上进行重点区域去噪,并且能够使去噪后得到的还原图像可以近似于原始图像。
所述处理器在首次迭代所述防御去噪网络之前,可以对所述防御去噪网络进行预训练,将其训练成在所述训练数据集上可用的状态。
图5示出了本申请实施例的训练防御去噪网络的流程图。如图5所示,处理器每次训练所述防御去噪网络时,可以执行步骤S210、S220和S230。
S210:分别基于所述原始标签和所述预测标签获得分类损失,基于所述原始图像和所述还原样本获得还原损失,其中所述分类损失用于衡量所述第一距离,所述还原损失用于衡量所述第二距离。
在本申请的一些实施例中,所述分类损失为类别损失和位置损失之和。所述还原损失为所述原始图像和所述还原样本的L2损失。所述处理器可以通过替代模型计算所述类别损失、所述位置损失和所述还原损失,且所述替代模型仅包括一种模型,例如所述替代模型可以是YOLOv5模型、Faster RCNN模型或SSD模型中的一种。而在另一些实施例中,所述替代模型同时包括多种模型,例如同时包括YOLOv5模型FasterRCNN模型/>和SSD模型/>当采用多种替代模型进行计算时,可以提升模型对于多种模型的攻击时的鲁棒性,提升去噪效果在多个模型上的泛化能力。
S220:基于所述分类损失和所述还原损失获得综合损失。
所述处理器可以通过所述替代模型计算得到所述综合损失。
在一些实施例中,所述处理器仅采用一种替代模型进行计算,通过该替代模型分别计算得到类别损失位置损失/>分类损失/>和还原损失/>其中:此时,通过该替代模型计算得到的综合损失/>如下:
在另一些实施例中,所述处理器采用多种替代模型进行计算,例如通过第一替代模型(例如为YOLOv5)、第二替代模型/>(例如为FasterRCNN)和第三替代模型/>(例如为SSD)进行计算。所述综合损失的计算方法包括步骤S221和步骤S222。
步骤S221:分别通过及/>对应计算所述类别损失、所述位置损失和所述还原损失之和,并对应得到第一综合损失/>第二综合损失/>和第三综合损失/>
具体地,通过分别计算得到第一类别损失、第一位置损失和第一还原损失,并将所述第一类别损失、第一位置损失和第一还原损失相加得到第一综合损失/>通过/>分别计算得到第二类别损失、第二位置损失和第二还原损失,并将所述第二类别损失、第二位置损失和第二还原损失相加得到第二综合损失/>通过/>分别计算得到第三类别损失、第三位置损失和第三还原损失,并将所述第三类别损失、第三位置损失和第三还原损失相加得到第三综合损失/>
步骤S222:对所述第一综合损失所述第二综合损失/>所述第三综合损失/>进行加权融合,得到所述综合损失:
其中,为所述综合损失;α1为第一分配系数且大于0;α2为第二分配系数且大于0;α3为第三分配系数且大于0;α123=1。
S230:采用所述综合损失训练所述防御去噪网络。
如前所述,所述防御去噪网络包括生成模型和替代模型,所述处理器可以将所述对抗样本输入所述生成模型,所述生成模型对所述对抗样本进行去噪还原处理,并生成所述还原样本,所述生成模型将所述还原样本输入所述替代模型,所述替代模型输出所述还原样本的预测标签。进而,所述处理器可以基于所述预测标签和所述原始图像的原始标签计算分类损失,并基于所述原始图像和所述还原样本计算还原损失,再基于所述分类损失和所述还原损失计算综合损失。
在一些实施例中,所述处理器可以将所述综合损失通过反向传播的方式优化所述生成模型的参数。
在一些实施例中,所述处理器可以通过如下训练条件得到所述生成模型的参数:
其中,为分类损失的计算期望值;/>为类别损失;/>为所述还原样本的预测标签;/>为对抗样本;/>为通过所述生成模型处理得到的噪声;/>为所述原始图像的原始标签;
为位置损失;/>为所述还原样本的预测位置;/>为所述原始图像的原始位置;/>为所述还原损失;/>为所述原始图像;ε为扰动系数的边界值。
在一些实施例中,不仅对所述对抗样本进行去噪还原处理,还对所述原始图像进行去噪还原处理,以使所述防御去噪网络能够识别非对抗样本,可以有效避免去噪过程对非对抗样本的影响。
综上所述,本申请实施例的防御去噪网络的训练方法和防御去噪系统,可以采用分类损失和还原损失以最小化原始标签与预测标签间的第一距离以及原始图像和还原样本在特征空间中的第二距离为优化目标训练防御去噪网络,以此来还原真实样本的信息,降低对抗样本的威胁。当将防御去噪网络用于无人驾驶领域时,能够对获取的路况图像进行去噪还原处理,以获得较为真实的路况信息,从而提高车辆的驾驶安全性。
图6示出了本申请实施例的一种防御去噪方法的流程图。如前所述,所述计算设备可以执行本申请实施例所述的防御去噪方法。具体地,所述处理器可以读取存储在其本地存储介质中的指令集,然后根据所述指令集的规定,执行本申请实施例的防御去噪方法。如图6所示,所述防御去噪方法可以包括:
S310:获取待测试图像并预测所述待测试图像的类别。
所述待测试图像可以通过所述图像采集设备110拍摄获得。所述待测试图像可以是原始图像或是被攻击的图像。所述处理器可以通过集成检测模型对所述待测试图像的类别进行预测。
S320:通过所述类别之间的共现概率统计,判断所述待测试图像是否为对抗样本。
所述处理器可以通过共现概率统计模型,统计所述类别之间的共现概率结果,所述处理器基于所述共现概率结果判断所述待测试图像是否为对抗样本,即图3所示的结果。
S330:将所述对抗样本输入所述防御去噪网络进行去噪还原处理,并输出还原样本。
所述处理器可以通过生成模型对所述对抗样本进行去噪还原处理,从而输出所述还原样本,即图4所示的结果。
本申请实施例的防御去噪方法通过对待测试图像进行上下文一致性检测,先筛选出对抗样本,然后针对所述对抗样本进行的防御去噪,而并非针对全部的待测试图像进行防御去噪,不会对正常图像造成损伤,极大地保证了图像去噪后的质量,同时能够降低防御的时间,提升防御的成功率,还可以将对抗样本进行还原,降低对抗样本的威胁。
图7示出了在实际应用场景下防御去噪方法的流程图。如图7所示,获取待测试图像通过上下文一致性检测判断出该待测试图像/>为对抗样本/>将所述对抗样本/>输入所述防御去噪网络进行去噪还原处理,其中所述防御去噪网络的生成模型/>处理所述对抗样本/>得到噪声/>再对所述噪声/>进行高斯平滑处理w,得到噪声扰动δ,在所述对抗样本/>的基础上减去所述噪声扰动δ,得到所述还原样本/>
本申请实施例还提供一种非暂时性存储介质,存储有至少一组用来进行数据处理的可执行指令。当所述可执行指令被处理器执行时,所述可执行指令指导所述处理器实施本申请实施例的防御去噪方法的步骤。在一些可能的实施方式中,本申请实施例的各个方面还可以实现为一种程序产品的形式,其包括程序代码。当所述程序产品在所述防御去噪系统上运行时,所述程序代码用于使所述防御去噪系统执行本申请实施例的防御去噪方法的步骤。用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)包括程序代码,并可以在所述防御去噪系统上运行。然而,本申请实施例的程序产品不限于此,在本申请实施例中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统使用或者与其结合使用。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在所述防御去噪系统上执行、部分地在所述防御去噪系统上执行、作为一个独立的软件包执行、部分在所述防御去噪系统上部分在远程计算设备上执行、或者完全在远程计算设备上执行。
上述对本申请特定实施例进行了描述。其他实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者是可能有利的。
综上所述,在阅读本详细公开内容之后,本领域技术人员可以明白,前述详细公开内容可以仅以示例的方式呈现,并且可以不是限制性的。尽管这里没有明确说明,本领域技术人员可以理解本说明书需求囊括对实施例的各种合理改变,改进和修改。这些改变,改进和修改旨在由本申请提出,并且在本申请的示例性实施例的精神和范围内。
此外,本申请中的某些术语已被用于描述本申请的实施例。例如,“一个实施例”,“实施例”和/或“一些实施例”意味着结合该实施例描述的特定特征,结构或特性可以包括在本申请的至少一个实施例中。因此,可以强调并且应当理解,在本申请的各个部分中对“实施例”或“一个实施例”或“替代实施例”的两个或更多个引用不一定都指代相同的实施例。此外,特定特征,结构或特性可以在本申请的一个或多个实施例中适当地组合。
应当理解,在本申请的实施例的前述描述中,为了帮助理解一个特征,出于简化本申请的目的,本申请将各种特征组合在单个实施例、附图或其描述中。然而,这并不是说这些特征的组合是必须的,本领域技术人员在阅读本申请的时候完全有可能将其中一部分设备标注出来作为单独的实施例来理解。也就是说,本申请中的实施例也可以理解为多个次级实施例的整合。而每个次级实施例的内容在于少于单个前述公开实施例的所有特征的时候也是成立的。
本文引用的每个专利,专利申请,专利申请的出版物和其他材料,例如文章,书籍,说明书,出版物,文件,物品等,可以通过引用结合于此。用于所有目的全部内容,除了与其相关的任何起诉文件历史,可能与本文件不一致或相冲突的任何相同的,或者任何可能对权利要求的最宽范围具有限制性影响的任何相同的起诉文件历史。现在或以后与本文件相关联。举例来说,如果在与任何所包含的材料相关联的术语的描述、定义和/或使用与本申请相关的术语、描述、定义和/或之间存在任何不一致或冲突时,使用本申请中的术语为准。
最后,应理解,本申请公开的实施方案是对本申请的实施方案的原理的说明。其他修改后的实施例也在本申请的范围内。因此,本申请披露的实施例仅仅作为示例而非限制。本领域技术人员可以根据本申请中的实施例采取替代配置来实现。因此,本申请的实施例不限于申请中被精确地描述过的实施例。

Claims (11)

1.一种防御去噪网络的训练方法,其特征在于,包括:
获取原始图像、所述原始图像的原始标签、对抗样本经去噪还原后的还原样本以及所述还原样本的预测标签;
以最小化所述原始标签与所述预测标签间的第一距离以及所述原始图像和所述还原样本在特征空间中的第二距离为优化目标,迭代训练所述防御去噪网络直至达到预设条件,其中,所述训练所述防御去噪网络包括:
分别基于所述原始标签和所述预测标签获得分类损失,基于所述原始图像和所述还原样本获得还原损失,其中所述分类损失用于衡量所述第一距离,所述还原损失用于衡量所述第二距离;
基于所述分类损失和所述还原损失获得综合损失;以及
采用所述综合损失训练所述防御去噪网络。
2.根据权利要求1所述的防御去噪网络的训练方法,其特征在于,获取所述对抗样本的方法包括:
构建和被攻击数据集分布接近的训练数据集;
对所述训练数据集中的类别进行统计得到概率分布结果;
基于所述概率分布结果,得到与预设类别在较小概率下共同出现的目标类别,且所述目标类别所在的图像即为所述对抗样本。
3.根据权利要求1所述的防御去噪网络的训练方法,其特征在于,所述防御去噪网络包括生成模型和替代模型;所述训练所述防御去噪网络的方法还包括:
将所述对抗样本输入所述生成模型,通过所述生成模型对所述对抗样本进行去噪还原处理,生成所述还原样本;
将所述还原样本输入所述替代模型,通过所述替代模型输出所述还原样本的预测标签。
4.根据权利要求3所述的防御去噪网络的训练方法,其特征在于,所述生成模型对所述对抗样本进行去噪还原处理的方法包括:
处理所述对抗样本得到噪声;
对所述噪声进行高斯平滑处理,得到噪声扰动;
在所述对抗样本的基础上减去所述噪声扰动,得到所述还原样本。
5.根据权利要求4所述的防御去噪网络的训练方法,其特征在于,所述分类损失为类别损失和位置损失之和;所述还原损失为所述原始图像和所述还原样本的L2损失;所述类别损失、所述位置损失、所述还原损失及所述综合损失通过所述替代模型计算得到,所述综合损失为所述类别损失、所述位置损失和所述还原损失之和。
6.根据权利要求4所述的防御去噪网络的训练方法,其特征在于,所述分类损失为类别损失和位置损失之和;所述还原损失为所述原始图像和所述还原样本的L2损失;所述类别损失、所述位置损失、所述还原损失及所述综合损失均通过所述替代模型计算得到,且所述替代模型包括第一替代模型第二替代模型/>和第三替代模型/>其中所述综合损失的计算方法包括:
分别通过及/>对应计算所述类别损失、所述位置损失和所述还原损失之和,并对应得到第一综合损失/>第二综合损失/>和第三综合损失/>对所述第一综合损失/>所述第二综合损失/>所述第三综合损失/>进行加权融合,得到所述综合损失:
其中,为所述综合损失;α1为第一分配系数且大于0;α2为第二分配系数且大于0;α3为第三分配系数且大于0;α123=1。
7.根据权利要求5或6所述的防御去噪网络的训练方法,其特征在于,所述训练所述防御去噪网络的方法还包括:将所述综合损失通过反向传播的方式优化所述生成模型的参数。
8.根据权利要求7所述的防御去噪网络的训练方法,其特征在于,通过如下训练条件得到所述生成模型的参数:
其中,为分类损失的计算期望值;/>为类别损失;/>为所述还原样本的预测标签;/>为对抗样本;/>为通过所述生成模型处理得到的噪声;/>为所述原始图像的原始标签;
为位置损失;/>为所述还原样本的预测位置;/>为所述原始图像的原始位置;为所述还原损失;/>为所述原始图像;ε为扰动系数的边界值。
9.根据权利要求3所述的防御去噪网络的训练方法,其特征在于,还将所述原始图像输入所述生成模型进行去噪还原处理,以使所述防御去噪网络能够识别非对抗样本。
10.一种防御去噪方法,其特征在于,包括:
获取待测试图像并预测所述待测试图像的类别;
通过所述类别之间的共现概率统计,判断所述待测试图像是否为对抗样本;
将所述对抗样本输入防御去噪网络进行去噪还原处理,并输出还原样本,其中所述防御去噪网络采用权利要求1至9任一项所述的训练方法训练得到。
11.一种防御去噪系统,其特征在于,包括:
至少一个存储介质,存储有至少一组指令集用于防御去噪;
至少一个处理器,与所述至少一个存储介质通讯连接;
其中当所述防御去噪系统运行时,所述至少一个处理器读取防御去噪网络并实施权利要求10所述的防御去噪方法,所述防御去噪网络采用权利要求1至9任一项所述的训练方法训练得到。
CN202311459818.5A 2023-11-03 2023-11-03 防御去噪网络的训练方法、防御去噪方法及系统 Pending CN117495703A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311459818.5A CN117495703A (zh) 2023-11-03 2023-11-03 防御去噪网络的训练方法、防御去噪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311459818.5A CN117495703A (zh) 2023-11-03 2023-11-03 防御去噪网络的训练方法、防御去噪方法及系统

Publications (1)

Publication Number Publication Date
CN117495703A true CN117495703A (zh) 2024-02-02

Family

ID=89684312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311459818.5A Pending CN117495703A (zh) 2023-11-03 2023-11-03 防御去噪网络的训练方法、防御去噪方法及系统

Country Status (1)

Country Link
CN (1) CN117495703A (zh)

Similar Documents

Publication Publication Date Title
US10943145B2 (en) Image processing methods and apparatus, and electronic devices
Xie et al. Multilevel cloud detection in remote sensing images based on deep learning
WO2016054779A1 (en) Spatial pyramid pooling networks for image processing
US20170124433A1 (en) Unsupervised matching in fine-grained datasets for single-view object reconstruction
CN106447592B (zh) 每个特征描述符的在线个性化服务
CN111241989A (zh) 图像识别方法及装置、电子设备
US20080007747A1 (en) Method and apparatus for model based anisotropic diffusion
Ma et al. Automatic defogging, deblurring, and real-time segmentation system for sewer pipeline defects
CN109508636A (zh) 车辆属性识别方法、装置、存储介质及电子设备
CN115861462B (zh) 图像生成模型的训练方法、装置、电子设备及存储介质
CN111368634A (zh) 基于神经网络的人头检测方法、系统及存储介质
CN114266894A (zh) 一种图像分割方法、装置、电子设备及存储介质
CN113919497A (zh) 针对连续学习能力系统的基于特征操纵的攻击和防御方法
Xu et al. Concrete crack segmentation based on convolution–deconvolution feature fusion with holistically nested networks
Yildirim et al. Ship detection in optical remote sensing images using YOLOv4 and Tiny YOLOv4
CN114120454A (zh) 活体检测模型的训练方法、装置、电子设备及存储介质
CN111814653B (zh) 一种视频中异常行为的检测方法、装置、设备及存储介质
CN114170642A (zh) 图像检测的处理方法、装置、设备及存储介质
Ali et al. Active contour image segmentation model with de‐hazing constraints
CN113869163B (zh) 目标跟踪方法、装置、电子设备及存储介质
Midwinter et al. Unsupervised defect segmentation with pose priors
CN117495703A (zh) 防御去噪网络的训练方法、防御去噪方法及系统
Kee et al. Cracks identification using mask region-based denoised deformable convolutional network
Hu et al. Detection of material on a tray in automatic assembly line based on convolutional neural network
Darwish et al. Internal covariate shift reduction in encoder-decoder convolutional neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination