CN115311174A - 图像恢复网络的训练方法、设备及计算机可读存储介质 - Google Patents
图像恢复网络的训练方法、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN115311174A CN115311174A CN202211231610.3A CN202211231610A CN115311174A CN 115311174 A CN115311174 A CN 115311174A CN 202211231610 A CN202211231610 A CN 202211231610A CN 115311174 A CN115311174 A CN 115311174A
- Authority
- CN
- China
- Prior art keywords
- image
- training
- recovery network
- network
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011084 recovery Methods 0.000 title claims abstract description 212
- 238000012549 training Methods 0.000 title claims abstract description 161
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000013145 classification model Methods 0.000 claims abstract description 52
- 238000005516 engineering process Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000003042 antagnostic effect Effects 0.000 abstract description 13
- 230000007123 defense Effects 0.000 description 18
- 238000005259 measurement Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 101100272279 Beauveria bassiana Beas gene Proteins 0.000 description 1
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像恢复网络的训练方法、设备及计算机可读存储介质，其中，方法包括：将各个训练图像对应的线性观测值输入至预设的图像恢复网络进行训练，以获得训练图像对应的恢复图像；根据恢复图像以及预设受保护的分类模型，确定训练损失参数，并根据训练损失参数，对图像恢复网络中的参数进行更新，得到训练后的图像恢复网络；若训练后的图像恢复网络收敛，则将训练后的图像恢复网络作为目标图像恢复网络，而后可实时将待分类的图像输入至训练好的目标图像恢复网络中，可得到避免对抗性干扰的目标恢复图像，从而使得分类模型对目标恢复图像能进行正确分类，以实现对分类模型的保护。
Description
技术领域
本发明涉及训练深度图像恢复网络技术领域，尤其涉及一种图像恢复网络的训练方法、设备及计算机可读存储介质。
背景技术
近年来，基于深度网络的视觉识别模型因其在精度、成本及效率等方面的优势而被广泛应用于无人驾驶、工业检测及无人机导航等领域。然而，深度图像分类网络模型自身易被恶意制作的对抗样本误导而输出错误结果，导致深度图像分类网络模型在无人驾驶此类具有强鲁棒性和高实时性要求的场景中的部署引起了人们的深切担忧。现有的攻击策略根据攻击形式基本上可以分成两类：像素类攻击和补丁类攻击。其中，像素类攻击可以修改良性图像上任意位置的像素，但生成的对抗性干扰通常被要求对于人眼不可见；相对地，补丁类攻击虽然只能修改良性图像局部位置上的像素，但是生成的对抗性干扰被允许可见。
然而，虽然近年来一些有效的基于预处理及去噪的防御策略被提出用于增强深度图像分类网络模型对于对抗样本的鲁棒性，但是这些防御策略通常被专门设计为防御像素类攻击或补丁类攻击。因此，这些防御策略只能对上述一类攻击提供令人满意的防御性能。即使一些防御策略对像素类攻击和补丁类攻击均具有一定的防御性能，但是这些防御策略通常运行时间久，难以应用于无人驾驶等高实时性要求的场景，如基于压缩感知的防御策略，其通过采用进行密集计算和耗时的传统压缩感知恢复算法对输入图像进行先压缩再还原的预处理及去噪以实现对深度图像分类网络模型的保护。
现在迫切需要一个针对像素类攻击和补丁类攻击均具有强大防御能力的实时防御策略以安全地将深度图像分类网络模型应用于类似无人驾驶这一类具有高安全性和强实时性要求的场景，而且该防御策略的应用基本上不影响深度图像分类网络模型对不含对抗性干扰的良性样本的识别性能。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种图像恢复网络的训练方法、设备及计算机可读存储介质，旨在解决分类模型容易被恶意制作的对抗样本误导而输出错误结果的技术问题。
为实现上述目的，本发明提供一种图像恢复网络的训练方法，所述图像恢复网络的训练方法包括以下步骤：
将各个训练图像对应的线性观测值输入至预设的图像恢复网络进行训练，以获得训练图像对应的恢复图像；
根据所述恢复图像以及预设受保护的分类模型，确定训练损失参数，并根据所述训练损失参数，对所述图像恢复网络中的参数进行更新，得到训练后的图像恢复网络；
若训练后的图像恢复网络未收敛，则将训练后的图像恢复网络作为预设的图像恢复网络，并返回执行将训练图像对应的线性观测值输入至预设的图像恢复网络进行训练的步骤；
若训练后的图像恢复网络收敛，则将训练后的图像恢复网络作为目标图像恢复网络。
进一步地，所述根据所述恢复图像以及所述分类模型，确定训练损失参数的步骤包括：
根据所述恢复图像以及所述训练图像，确定恢复损失参数；
根据所述恢复图像以及预设的稀疏变换基，确定正则项损失参数；
根据所述恢复图像以及所述分类模型，确定分类损失参数；
根据所述恢复损失参数、所述正则项损失参数、所述分类损失参数以及预设的相对重要性参数，确定训练损失参数。
进一步地，所述根据所述恢复图像以及所述训练图像，确定恢复损失参数的步骤包括：
在各个训练图像中确定所述恢复图像对应的目标训练图像；
计算所述恢复图像与所述目标训练图像的均方误差，以获得计算结果，并将所述计算结果作为训练损失中的恢复损失参数。
进一步地，所述根据所述恢复图像以及预设的稀疏变换基，确定正则项损失参数的步骤包括：
使用所述稀疏变换基对恢复图像进行稀疏变换，以获得稀疏系数向量的
范
数；
将所述
范数作为正则项损失参数。
进一步地，所述根据所述恢复图像以及预设的分类模型，确定分类损失参数的步骤包括：
将所述恢复图像输入到所述分类模型中，以获得到所述分类模型对所述恢复图像分类正确的概率；
将所述概率作为分类损失参数。
进一步地，所述根据所述恢复损失参数、所述正则项损失参数、所述分类损失参数以及预设的相对重要性参数，确定训练损失参数的步骤包括：
将所述正则项损失参数与所述相对重要性参数进行乘法运算，以获得第一参数；
将所述分类损失参数与所述相对重要性参数进行乘法运算，以获得第二参数；
将所述恢复损失参数、第一参数、第二参数进行加法运算，以获得训练损失参数。
进一步地，所述将各个训练图像对应的线性观测值输入至预设的图像恢复网络进行训练，以获得训练图像对应的恢复图像的步骤之前包括：
获取待恢复图像集，其中，所述待恢复图像集包括各个训练图像；
使用压缩感知技术对所述训练图像进行压缩，以获得各个所述训练图像对应的线性观测值。
进一步地，所述若训练后的图像恢复网络收敛，将训练后的图像恢复网络作为目标图像恢复网络步骤之后包括：
实时获取待分类图像，并使用压缩感知技术对所述待分类图像进行压缩，以获得各个所述待分类图像对应的第二观测值；
将所述第二观测值输入至所述目标图像恢复网络，以获得目标恢复图像；
将所述目标恢复图像输入至预设受保护的分类模型中，以获得分类结果。
此外，为实现上述目的，本发明还提供一种图像恢复网络的训练设备，所述图像恢复网络的训练设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像恢复网络的训练程序，所述图像恢复网络的训练程序被所述处理器执行时实现前述的图像恢复网络的训练方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有图像恢复网络的训练程序，所述图像恢复网络的训练程序被处理器执行时实现前述的图像恢复网络的训练方法的步骤。
本发明通过将各个训练图像对应的线性观测值输入至预设的图像恢复网络进行训练，以获得训练图像对应的恢复图像，接着根据所述恢复图像以及预设受保护的分类模型，确定训练损失参数，并根据所述训练损失参数，对所述图像恢复网络中的参数进行更新，得到训练后的图像恢复网络，而后若训练后的图像恢复网络未收敛，则将训练后的图像恢复网络作为预设的图像恢复网络，并返回执行将训练图像对应的线性观测值输入至预设的图像恢复网络进行训练的步骤，最后若训练后的图像恢复网络收敛，则将训练后的图像恢复网络作为目标图像恢复网络，能够根据待恢复图像及分类模型，得到训练损失参数并根据训练损失参数对图像恢复网络的参数进行迭代，得到训练好的图像恢复网络，而后可实时将待分类的图像输入至训练好的图像恢复网络，可得到避免对抗性干扰的恢复图像，从而使得分类模型对恢复图像能进行正确分类，以实现对分类模型的保护。
附图说明
图1是本发明实施例方案涉及的硬件运行环境中图像恢复网络的训练设备的结构示意图；
图2为本发明图像恢复网络的训练方法第一实施例的流程示意图；
图3为本发明使用训练好的图像恢复网络的示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境中图像恢复网络的训练设备的结构示意图。
本发明实施例图像恢复网络的训练设备可以是PC，也可以是智能手机、平板电脑、便携计算机等具有显示功能的可移动式终端设备。
如图1所示，该图像恢复网络的训练设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，图像恢复网络的训练设备还可以包括摄像头、RF（Radio Frequency，射频）电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在图像恢复网络的训练设备移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上（一般为三轴）加速度的大小，静止时可检测出重力的大小及方向，可用于识别图像恢复网络的训练设备姿态的应用（比如横竖屏切换、相关游戏、磁力计姿态校准）、振动识别相关功能（比如计步器、敲击）等；当然，图像恢复网络的训练设备还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及图像恢复网络的训练程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端（用户端），与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的图像恢复网络的训练程序。
在本实施例中，图像恢复网络的训练设备包括：存储器1005、处理器1001及存储在所述存储器1005上并可在所述处理器1001上运行的图像恢复网络的训练程序，其中，处理器1001调用存储器1005中存储的图像恢复网络的训练程序时，并执行以下各个实施例中图像恢复网络的训练方法的步骤。
本发明还提供一种图像恢复网络的训练方法，参照图2，图2为本发明方法第一实施例的流程示意图。
在本实施例中，该图像恢复网络的训练方法包括以下步骤：
步骤S101，将各个训练图像对应的线性观测值输入至预设的图像恢复网络进行训练，以获得训练图像对应的恢复图像；
在本实施例中，首先将各个训练图像对应的线性观测值输入至预设的图像恢复网络中进行模型训练，其中，线性观测值是通过压缩感知技术对一维图像进行压缩，进而得到线性观测值。接着，将输入线性观测值后的图像恢复网络的输出图像作为训练图像对应的恢复图像，其中，所述恢复图像是指避免了对抗性干扰，能被分类模型正确分类的图像，图像恢复网络是指深度图像恢复网络的一种。
具体地，将各个训练图像
对应的线性观测值
输入到当前的图像恢复网络
，
并从图像恢复网络
的输出得到恢复图像
，数学上的表达式为：
进一步地，一实施例中，步骤S101之前包括：
步骤a，获取待恢复图像集，其中，所述待恢复图像集包括各个训练图像；
步骤b，使用压缩感知技术对所述训练图像进行压缩，以获得各个所述训练图像对应的线性观测值。
在本实施例中，人为预设待恢复图像集，其中，该待恢复图像集包括各个训练图像，训练图像即用来图像恢复网络学习的图像，接着，使用压缩感知技术对训练图像进行压缩，即可得到各个训练图像对应的线性观测值。
具体地，使用压缩感知技术对一维图像
进行压缩，以获得到观测值
，
在数学上的表达式为：
其中，
是测量矩阵，也被称为压缩矩阵，测量矩阵被取值为每一项
都独立同分布于标准正态分布的随机高斯矩阵，在整个训练过程中测量矩阵
的取值需保
持一致。
被称为测量率，测量率过大会导致防御策略去除对抗性干扰的能力偏低，而
测量率过小会导致丢失过多的图像信息，从而导致即使是在对抗性干扰被全部去除的情况
下，受保护的分类模型也没法正确分类恢复质量过差的还原图像，最终导致防御策略的防
御能力偏低。因此，测量率的取值需适中，测量率的取值为0.05~0.1。
步骤S102，根据所述恢复图像以及预设受保护的分类模型，确定训练损失参数，并根据所述训练损失参数，对所述图像恢复网络中的参数进行更新，得到训练后的图像恢复网络；
在本实施例中，根据恢复图像以及预设受保护的分类模型，可以确定训练损失参数中的各个参数，并根据各个参数可以得到训练损失参数，从而根据训练损失参数，对图像恢复网络中的参数进行更新，其中，预设受保护的分类模型就是需要提供保护的分类模型，例如，交通标志识别模型，具体地，受保护的分类模型可用于分类32×32大小的RGB图像。
进一步地，一实施例中，步骤S102包括：
步骤c，根据所述恢复图像以及所述训练图像，确定恢复损失参数；
步骤d，根据所述恢复图像以及预设的稀疏变换基，确定正则项损失参数；
步骤e，根据所述恢复图像以及所述分类模型，确定分类损失参数；
步骤f，根据所述恢复损失参数、所述正则项损失参数、所述分类损失参数以及预设的相对重要性参数，确定训练损失参数。
在本实施例中，计算恢复图像与对应原始图像之间的均方误差，可将均方误差作
为恢复损失参数；引入自然图像经过离散余弦变换、离散小波变换等稀疏变换基变换后得
到的系数的先验知识，将恢复图像进行稀疏变换，以获得稀疏系数向量的
范数，并将
范数作为正则项损失参数；将恢复图像输入至分类模型，根据分类正确的概率，从而确
定分类损失参数；最后，根据得到的恢复损失参数、正则项损失参数、分类损失参数，确定训
练损失参数。
进一步地，一实施例中，步骤c包括：
步骤c1，在各个训练图像中确定所述恢复图像对应的目标训练图像；
步骤c2，计算所述恢复图像与所述目标训练图像的均方误差，以获得计算结果，并将所述计算结果作为训练损失中的恢复损失参数。
在本实施例中，首先在各个训练图像中确定恢复图像对应的目标训练图像，其中，目标训练图像是指恢复图像在完成深度学习网络训练前的图像，具体地，可以通过预设字段的比对来确定恢复图像对应的目标训练图像，均方误差是反映估计量与被估计量之间差异程度的一种度量。
具体地，计算恢复图像
与对应训练图像
之间的均方误差作为恢复损失
，在数学上的表达式为：
进一步地，一实施例中，步骤d包括：
步骤d1，使用所述稀疏变换基对恢复图像进行稀疏变换，以获得稀疏系数向量的
范数；
步骤d2，将所述
范数作为正则项损失参数。
在本实施例中，根据先验知识，使用预设好的稀疏变换基，对恢复图像进行稀疏变
换，从而获得稀疏系数向量的
范数，并将
范数作为正则项损失参数，
范数可以
使权值稀疏，便于去除可能存在的对抗性干扰。
具体地，对恢复图像
进行稀疏变换，将得到的稀疏系数向量的
范数作为正
则项损失参数
，在数学上的表达式为：
，其中，
是稀疏
变换基，稀疏变换基可取值为离散余弦变换矩阵。
在本实施例中，使用所述稀疏变换基对恢复图像进行稀疏变换，以获得稀疏系数
向量的
范数，而后将所述
范数作为正则项损失参数，能够增强图像恢复网络去除
对抗性干扰的能力，从而避免分类模型被对抗样本误导。
进一步地，一实施例中，步骤e包括：
步骤e1，将所述恢复图像输入到所述分类模型中，以获得到所述分类模型对所述恢复图像分类正确的概率；
步骤e2，将所述概率作为分类损失参数。
在本实施例中，将恢复图像输入到分类模型中，以使图像恢复网络能够针对受保护的分类模型进行专门的优化，将分类模型的对恢复图像分类正确的概率结果作为分类损失参数。
具体地，将恢复图像
输入到受保护的分类模型进行分类，得到受保护分类模型
对恢复图像
分类正确的概率
，并将
作为分类损失参数
，在数学上的
表达式为：
在本实施例中，将所述恢复图像输入到所述分类模型中，以获得到所述分类模型对所述恢复图像分类正确的概率，而后将所述概率作为分类损失参数，能够使图像恢复网络针对受保护的分类模型进行专门的优化，从而避免不包含对抗性干扰的训练图像，在使用压缩感知技术对上述训练图像进行压缩导致破坏分类特征而无法被受保护的分类模型正确分类的问题，并且能够强化恢复图像上的分类特征以进一步去除对抗性干扰的影响，大幅度提高图像恢复网络的防御性能。
步骤S103，若训练后的图像恢复网络未收敛，则将训练后的图像恢复网络作为预设的图像恢复网络，并返回执行将训练图像对应的线性观测值输入至预设的图像恢复网络进行训练的步骤；
在本实施例中，若训练后的图像恢复网络未收敛，则再次返回执行步骤：将训练图像对应的线性观测值输入至预设的图像恢复网络进行训练，以获得恢复图像；以此循环，即可进行参数迭代，即每次得到新的训练损失参数都对图像恢复网络进行更新，直到训练损失参数收敛，即图像恢复网络收敛，停止训练，即可得到训练后的图像恢复网络。
步骤104，若训练后的图像恢复网络收敛，则将训练后的图像恢复网络作为目标图像恢复网络；
在本实施例中，判断训练后的图像恢复网络是否收敛，若训练后的图像恢复网络收敛，则将训练后的图像恢复网络作为目标图像恢复网络，即完成了对预设受保护模型进行保护的图像恢复网络，图像恢复网络以供后续对待受保护的预设模型进行保护，排除具有对抗性干扰的图像。
本实施例提出的图像恢复网络的训练方法，通过将各个训练图像对应的线性观测值输入至预设的图像恢复网络进行训练，以获得训练图像对应的恢复图像，接着根据所述恢复图像以及预设受保护的分类模型，确定训练损失参数，并根据所述训练损失参数，对图像恢复网络中的参数进行更新，得到训练后的图像恢复网络，而后若训练后的图像恢复网络未收敛，则将训练后的图像恢复网络作为预设的图像恢复网络，并返回执行将训练图像对应的线性观测值输入至预设的图像恢复网络进行训练的步骤，最后若训练后的图像恢复网络收敛，则将训练后的图像恢复网络作为目标图像恢复网络，能够根据待恢复图像及分类模型，得到训练损失参数并根据训练损失参数对图像恢复网络的参数进行迭代，得到训练好的图像恢复网络，而后可实时将待分类的图像输入至训练好的图像恢复网络，可得到避免对抗性干扰的恢复图像，从而使得分类模型对恢复图像能进行正确分类，以实现对分类模型的保护。
基于第一实施例，提出本发明图像恢复网络的训练方法的第二实施例，在本实施例中，步骤f包括：
步骤f1，将所述正则项损失参数与所述相对重要性参数进行乘法运算，以获得第一参数；
步骤f2，将所述分类损失参数与所述相对重要性参数进行乘法运算，以获得第二参数；
步骤f3，将所述恢复损失参数、第一参数、第二参数进行加法运算，以获得训练损失参数。
在本实施例中，将正则项损失参数与相对重要性参数相乘，以获得第一相乘结果，将上述第一相乘结果作为第一参数，而后将分类损失参数与相对重要性参数相乘，以获得第二相乘结果，将上述第二相乘结果作为第二参数，最后将恢复损失参数、第一参数、第二参数相加，以获得相加结果，将上述相加结果作为训练损失参数。
具体地，根据正则项损失参数
、分类损失参数
、相对重要性参数
、恢复损失参数
，计算出训练损失
，在数学上的表达式为：
需要说明的是，正则项损失
对于恢复损失
的相对重要性
的取
值不能过大，否则会导致恢复图像
与原始图像
之间的差异过大，恢复图像
无法被受
保护的分类模型正确分类，最终降低训练好的图像恢复网络的防御能力。具体地，
的取
值为0.01~0.6。而分类损失
对于恢复损失
的相对重要性
的取值也不能过大，
否则分类损失
约等于训练损失
，正则项损失
无法发挥作用，具体地，
的取值为0.4~0.6。
本实施例提出的图像恢复网络的训练方法，通过将所述正则项损失参数与所述相对重要性参数进行乘法运算，以获得第一参数，接着将所述分类损失参数与所述相对重要性参数进行乘法运算，以获得第二参数，接着将所述恢复损失参数、第一参数、第二参数进行加法运算，以获得训练损失参数，能够根据正则项损失参数、分类损失参数，确定第一参数和第二参数，并根据恢复损失参数、第一参数、第二参数，得到训练损失参数，而后使用训练损失参数更新图像恢复网络中的参数，使得图像恢复网络收敛。
基于第一实施例，提出本发明图像恢复网络的训练方法的第三实施例，在本实施例中，步骤104之后包括：
步骤201，实时获取待分类图像，并使用压缩感知技术对所述待分类图像进行压缩，以获得各个所述待分类图像对应的第二观测值；
步骤202，将所述第二观测值输入至所述目标图像恢复网络，以获得目标恢复图像；
步骤203，将所述目标恢复图像输入至预设受保护的分类模型中，以获得分类结果。
具体地，使用训练好的图像恢复网络的方法，如图3所示，例如，首先使用压缩感知
技术对待分类图像
进行压缩得到其第二观测值
，接着将图像的第二观测值
输入到
训练完成的目标图像恢复网络
，并从图像恢复网络
的输出得到恢复的目标恢复图像
，在数学上的表达式为
，接着，将目标恢复图像输入至预设受保护的分类模型
中，将上述分类模型的输出结果，作为分类结果。特别地，用压缩感知技术对待分类图像
进行压缩得到其第二观测值
的过程中，使用到的测量矩阵
需跟图像恢复网络
的训
练过程中使用的测量矩阵
相同，否则无法从图像恢复网络
的输出得到恢复质量高的
还原图像，从而导致受保护的分类模型无法正确分类恢复图像，最终导致防御策略的防御
能力偏低。
还需要说明的是，经过实验测试，原先成功误导分类模型的对抗样本，不管是像素类攻击制作的还是补丁类攻击制作的，使用训练好的图像恢复网络可以使得受保护的分类模型正确分类图像。当待分类的图像是不含对抗性干扰的良性样本时，在使用训练好的图像恢复网络后，仍然可以被受保护的分类模型正确分类。具体地，对一张32×32大小的RGB图像使用训练好的图像恢复网络，运行时间仅约为3.8 ms。
本实施例提出的图像恢复网络的训练方法，通过实时获取待分类图像，并使用压缩感知技术对所述待分类图像进行压缩，以获得各个所述待分类图像对应的第二观测值，接着将所述第二观测值输入至所述目标图像恢复网络，以获得目标恢复图像，而后将所述目标恢复图像输入至预设受保护的分类模型中，以获得分类结果，能够实时将待分类的图像输入至训练好的图像恢复网络，得到避免对抗性干扰的恢复图像，从而使得分类模型对恢复图像能进行正确分类，以实现对分类模型的保护。
此外，本发明实施例还提出一种图像恢复网络的训练设备，该图像恢复网络的训练设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像恢复网络的训练程序，所述图像恢复网络的训练程序被所述处理器执行时实现如上所述的图像恢复网络的训练方法的步骤。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有图像恢复网络的训练程序，所述图像恢复网络的训练程序被处理器执行时实现如上所述的图像恢复网络的训练方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种图像恢复网络的训练方法，其特征在于，所述图像恢复网络的训练方法包括以下步骤：
将各个训练图像对应的线性观测值输入至预设的图像恢复网络进行训练，以获得训练图像对应的恢复图像；
根据所述恢复图像以及预设受保护的分类模型，确定训练损失参数，并根据所述训练损失参数，对所述图像恢复网络中的参数进行更新，得到训练后的图像恢复网络；
若训练后的图像恢复网络未收敛，则将训练后的图像恢复网络作为预设的图像恢复网络，并返回执行将训练图像对应的线性观测值输入至预设的图像恢复网络进行训练的步骤；
若训练后的图像恢复网络收敛，则将训练后的图像恢复网络作为目标图像恢复网络。
2.如权利要求1所述的图像恢复网络的训练方法，其特征在于，所述根据所述恢复图像以及所述分类模型，确定训练损失参数的步骤包括：
根据所述恢复图像以及所述训练图像，确定恢复损失参数；
根据所述恢复图像以及预设的稀疏变换基，确定正则项损失参数；
根据所述恢复图像以及所述分类模型，确定分类损失参数；
根据所述恢复损失参数、所述正则项损失参数、所述分类损失参数以及预设的相对重要性参数，确定训练损失参数。
3.如权利要求2所述的图像恢复网络的训练方法，其特征在于，所述根据所述恢复图像以及所述训练图像，确定恢复损失参数的步骤包括：
在各个训练图像中确定所述恢复图像对应的目标训练图像；
计算所述恢复图像与所述目标训练图像的均方误差，以获得计算结果，并将所述计算结果作为训练损失中的恢复损失参数。
4.如权利要求2所述的图像恢复网络的训练方法，其特征在于，所述根据所述恢复图像以及预设的稀疏变换基，确定正则项损失参数的步骤包括：
使用所述稀疏变换基对恢复图像进行稀疏变换，以获得稀疏系数向量的
范数；
将所述
范数作为正则项损失参数。
5.如权利要求2所述的图像恢复网络的训练方法，其特征在于，所述根据所述恢复图像以及预设的分类模型，确定分类损失参数的步骤包括：
将所述恢复图像输入到所述分类模型中，以获得到所述分类模型对所述恢复图像分类正确的概率；
将所述概率作为分类损失参数。
6.如权利要求2所述的图像恢复网络的训练方法，其特征在于，所述根据所述恢复损失参数、所述正则项损失参数、所述分类损失参数以及预设的相对重要性参数，确定训练损失参数的步骤包括：
将所述正则项损失参数与所述相对重要性参数进行乘法运算，以获得第一参数；
将所述分类损失参数与所述相对重要性参数进行乘法运算，以获得第二参数；
将所述恢复损失参数、第一参数、第二参数进行加法运算，以获得训练损失参数。
7.如权利要求1所述的图像恢复网络的训练方法，其特征在于，所述将各个训练图像对应的线性观测值输入至预设的图像恢复网络进行训练，以获得训练图像对应的恢复图像的步骤之前包括：
获取待恢复图像集，其中，所述待恢复图像集包括各个训练图像；
使用压缩感知技术对所述训练图像进行压缩，以获得各个所述训练图像对应的线性观测值。
8.如权利要求1所述的图像恢复网络的训练方法，其特征在于，所述若训练后的图像恢复网络收敛，将训练后的图像恢复网络作为目标图像恢复网络步骤之后包括：
实时获取待分类图像，并使用压缩感知技术对所述待分类图像进行压缩，以获得各个所述待分类图像对应的第二观测值；
将所述第二观测值输入至所述目标图像恢复网络，以获得目标恢复图像；
将所述目标恢复图像输入至预设受保护的分类模型中，以获得分类结果。
9.一种图像恢复网络的训练设备，其特征在于，所述图像恢复网络的训练设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像恢复网络的训练程序，所述图像恢复网络的训练程序被所述处理器执行时实现如权利要求1至8中任一项所述的图像恢复网络的训练方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像恢复网络的训练程序，所述图像恢复网络的训练程序被处理器执行时实现如权利要求1至8中任一项所述的图像恢复网络的训练方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211231610.3A CN115311174B (zh) | 2022-10-10 | 2022-10-10 | 图像恢复网络的训练方法、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211231610.3A CN115311174B (zh) | 2022-10-10 | 2022-10-10 | 图像恢复网络的训练方法、设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115311174A true CN115311174A (zh) | 2022-11-08 |
| CN115311174B CN115311174B (zh) | 2023-03-24 |
Family
ID=83867644
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211231610.3A Active CN115311174B (zh) | 2022-10-10 | 2022-10-10 | 图像恢复网络的训练方法、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115311174B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109949257A (zh) * | 2019-03-06 | 2019-06-28 | 西安电子科技大学 | 基于深度学习的感兴趣区域压缩感知图像重构方法 |
| CN110717958A (zh) * | 2019-10-12 | 2020-01-21 | 深圳先进技术研究院 | 一种图像重建方法、装置、设备及介质 |
| WO2021227915A1 (zh) * | 2020-05-09 | 2021-11-18 | 深圳市中兴微电子技术有限公司 | 图像恢复模型的训练方法及装置、电子设备，及计算机可读存储介质 |
| CN114245117A (zh) * | 2021-12-16 | 2022-03-25 | 武汉大学 | 多采样率复用重建网络方法、装置、设备及存储介质 |
| CN114926368A (zh) * | 2022-06-15 | 2022-08-19 | 北京地平线信息技术有限公司 | 图像恢复模型的生成方法及装置、图像恢复方法及装置 |
-
2022
- 2022-10-10 CN CN202211231610.3A patent/CN115311174B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109949257A (zh) * | 2019-03-06 | 2019-06-28 | 西安电子科技大学 | 基于深度学习的感兴趣区域压缩感知图像重构方法 |
| CN110717958A (zh) * | 2019-10-12 | 2020-01-21 | 深圳先进技术研究院 | 一种图像重建方法、装置、设备及介质 |
| WO2021227915A1 (zh) * | 2020-05-09 | 2021-11-18 | 深圳市中兴微电子技术有限公司 | 图像恢复模型的训练方法及装置、电子设备，及计算机可读存储介质 |
| CN114245117A (zh) * | 2021-12-16 | 2022-03-25 | 武汉大学 | 多采样率复用重建网络方法、装置、设备及存储介质 |
| CN114926368A (zh) * | 2022-06-15 | 2022-08-19 | 北京地平线信息技术有限公司 | 图像恢复模型的生成方法及装置、图像恢复方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115311174B (zh) | 2023-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108376235A (zh) | 图像检测方法、装置及计算机可读存储介质 | |
| CN108427927A (zh) | 目标再识别方法和装置、电子设备、程序和存储介质 | |
| CN107786780B (zh) | 视频图像降噪方法、装置及计算机可读存储介质 | |
| CN112101360B (zh) | 一种目标检测方法、装置以及计算机可读存储介质 | |
| CN113066002A (zh) | 对抗样本的生成方法、神经网络的训练方法、装置及设备 | |
| CN109102475B (zh) | 一种图像去雨方法及装置 | |
| CN112528974B (zh) | 测距方法、装置、电子设备及可读存储介质 | |
| CN113838070B (zh) | 数据脱敏方法和装置 | |
| US20210004947A1 (en) | Evaluation system, evaluation device, evaluation method, evaluation program, and recording medium | |
| CN111310770A (zh) | 目标检测方法和装置 | |
| CN113222921A (zh) | 一种图像处理方法及系统 | |
| CN118097157A (zh) | 基于模糊聚类算法的图像分割方法及系统 | |
| CN114120454A (zh) | 活体检测模型的训练方法、装置、电子设备及存储介质 | |
| CN115311174B (zh) | 图像恢复网络的训练方法、设备及计算机可读存储介质 | |
| CN110210279A (zh) | 目标检测方法、装置及计算机可读存储介质 | |
| WO2019005255A2 (en) | SYSTEM FOR DETECTING HIGHLIGHTS IN IMAGES | |
| Thomas et al. | Color balancing for change detection in multitemporal images | |
| CN111062272A (zh) | 基于色彩恢复的图像处理、行人识别方法、装置与可读存储介质 | |
| CN112487943B (zh) | 关键帧去重的方法、装置和电子设备 | |
| CN115063826A (zh) | 一种基于深度学习的移动端驾驶证识别方法和系统 | |
| CN115019057A (zh) | 图像特征提取模型确定方法及装置、图像识别方法及装置 | |
| CN114186039A (zh) | 一种视觉问答方法、装置及电子设备 | |
| CN113591567A (zh) | 目标检测方法、目标检测模型的训练方法及其装置 | |
| CN110929686A (zh) | 本征图像分解方法、装置、设备及可读存储介质 | |
| CN110942179A (zh) | 一种自动驾驶路线规划方法、装置及车辆 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |