CN112991239B - 一种基于深度学习的图像反向恢复方法 - Google Patents
一种基于深度学习的图像反向恢复方法 Download PDFInfo
- Publication number
- CN112991239B CN112991239B CN202110287819.0A CN202110287819A CN112991239B CN 112991239 B CN112991239 B CN 112991239B CN 202110287819 A CN202110287819 A CN 202110287819A CN 112991239 B CN112991239 B CN 112991239B
- Authority
- CN
- China
- Prior art keywords
- rgb
- image
- network
- noise
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000013135 deep learning Methods 0.000 title claims abstract description 35
- 238000011084 recovery Methods 0.000 title claims abstract description 15
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 19
- 230000000694 effects Effects 0.000 claims abstract description 7
- 238000010586 diagram Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 26
- 238000012360 testing method Methods 0.000 claims description 20
- 238000011176 pooling Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 239000002131 composite material Substances 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 11
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000013459 approach Methods 0.000 description 13
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 101100136092 Drosophila melanogaster peng gene Proteins 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 235000011449 Rosa Nutrition 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于深度学习的图像反向恢复方法，包括以下步骤：S1：输入RGB图像；S2：根据所述RGB图像获取噪声特征图；S3：利用所述RGB图像和噪声特征图，采用多任务框架的深度学习网络同时对所述RGB图像执行操作分类和边界框回归，得到RGB图像中被篡改的图像和区域；S4：输出被篡改的图像和区域；S5：采用U型深度卷积神经网络对被篡改的图像进行复原。本发明采用的多任务框架的深度学习网络丰富的特征表示使得能够区分不同的操作技术，提高了性能，不仅能检测篡改伪迹，还能区分各种篡改技术，采用U‑net网络能够成功复原合成孔径系统所成图像，并在复原效果上与盲解卷积算法接近。
Description
技术领域
本发明涉及图像恢复领域，更具体地，涉及一种基于深度学习的图像反向恢复方法。
背景技术
图像篡改的识别在过去的十年中已经成为一个活跃的研究课题，最近蓬勃发展的深度学习在图像分类任务中表现出优异的性能，包括机器操作的面部图像检测。深度学习的核心概念是在一个模型内执行特征提取和分类；它自动扩展抽象特征，而不需要手工制作特征。
解决一个类别的样本数量明显低于属于其他类别的样本数量这个问题通常有两种主要方法:第一种方法使用数据级方法或重采样技术，包括欠采样和过采样(由Yu、Zhou、Tang和Chen在2018年提出)，主要目标是增加少数类的频率或减少多数类的频率，因此两类的实例数量大致相等。另一种为Wu、Jing、Shan、Zuo和Yang等人在2017年提出的算法集成方法，它的主要目标是通过从原始数据构建几个两阶段分类器，然后将它们的预测相加来提高分类器的性能。
最近对Barni等人在2017年提出的CNNs和周等人在2017年提出的CNNs的研究，揭示了分析多个篡改证据的可能性。
图像处理检测和定位的研究活动正在兴起。已有研究基于图像特征进行分类，如Barni等人在2017年提出的双JPEG定位，Zeng、Zhan、Kang和Lin在2017年提出的局部噪声估计，Peng、Wang、Dong和Tan在2017年提出的模式分析，Cristin等人在2018年提出的光照模型，彩色滤波阵列(CFA)与Holub和Fridrich在2015年提出的隐写分析特征分类。除此之外，还有很多基于CNN的框架，例如Chen、Ou、Chi和Fu等人在2017年提出的，还有Zhou等人在2017年提出的基于CNN的框架最近取得了最先进的成果。
Yao等人在2017年使用彩色图像作为输入，然后计算噪声水平函数(NLF)，以揭示操纵图像的不同区域中的噪声水平不一致。该方法具有较高的数据拟合精度。
Zeng等人在2017年估计了分块局部噪声的水平，因为他们假设改变图像中的操纵区域和非操纵区域具有不同的噪声水平。所提出的模型产生了良好的结果，即使当操纵区域和原始区域之间的噪声水平不明显时。
双JPEG定位技术可分为非对齐双JPEG压缩和对齐双JPEG压缩(Guo、Liu和Wu在2013年提出)，分类决策是通过检查量化因子在对图像应用双JPEG压缩后是否对齐来确定的。这种方法依赖于背景区域经过两次JPEG压缩而被操纵区域不经过的概念。这方面的一个例子是Amerini等人在2017年提出的应用多域协同进化神经网络来检测双重JPEG压缩。
Ferrara等人在2012年提出了一个框架，该框架基于CFA缺失区域(操纵区域)和CFA存在区域(真实区域)之间的预测误差差异的假设来计算cam时代的过滤模式。在训练高斯-辛混合模型(GMM)分类器后，可以检测到操作区域。
Peng等人在2017年提出了一种融合人脸纹理信息和非凸几何的反射模型，该模型更适合真实人脸。实验结果表明，该技术对图像伪造检测更有效、更鲁棒。Cristin等人在2018年通过应用光照纹理描述符揭露了伪造，并训练了一个支持向量神经网络分类器。实验在两个数据集上进行，并使用训练百分比和k倍交叉验证进行评估。该模型达到了大约95％的精度。
隐写分析方法提取各种低层特征，这些特征可以成为图像的局部描述符。通过分析从许多线性和非线性滤波器获得的附近噪声残留像素的同现统计。Farooq、Yousaf和Hussain在2017年提出了一个空间丰富模型(SRM)，并将其与纹理特征如局部二值模式(LBP)相结合。实验结果证明，使用最佳q-CLASE特征选择过程和LBP的共现矩阵获得了98.4％的最高精度。Holub和Fridrich等人在2015年提出了一种新的用于JPEG图像隐写分析的特征集。这些特征是从使用64个双离合器变速箱底座获得的噪声残差中提取的。该特征具有非常低的维数(8000)，这导致非常低的计算复杂度，同时在其他JPEG算法中实现了合理的检测率。
对于不平衡数据集问题，主要有两种方法:数据级技术和算法集成技术。数据级方法试图在将样本输入分类器之前平衡类之间的样本；它包括过采样和欠采样。它不受正在使用的学习算法的影响，因此大多数研究都遵循这种方法。He和Gar-cia在2008年提出了一个度量和算法级方法的结构化评论，他们还通过改变采样频率在无偏分类器上做了一些实验。
在图像复原方面，盲解卷积算法能够在图像先验信息未知情况下提供复原图像的可能性。
当前的方法中仍然存在许多限制，例如Amerini、Uricchio、Ballan和Caldelli在2017年提出的方法，Barni等人在2017年提出的方法，Ferrara、Bianchi、De Rosa和Piva在2012年提出的方法，Yao、Wang、Zhang、Qin和Wang在2017年提出的方法，Zeng、Zhan、Kang、Lin在2017年提出的方法都存在只关注特定的存在于数据集中而忽略了其他证据的证据的问题。例如，错误等级分析(ELA)无法检测出经过精心编辑或生成的未经有损压缩的操作图像。彩色滤光片阵列仅适用于原始尺寸的图像，而双JPEG定位技术容易受到图像编辑的影响，如果执行许多图像后处理步骤，该方法会失败。
传统方法，例如Bappy、Roy-Chowdhury、Bunk、Nataraj和Manjunath在2017年提出的方法，还有Cristin、Ananth和Raj在2018年提出的方法都严重依赖手工特征，这是低效和耗时的，因为通常合适的特征和分类算法是基于广泛的实验手动确定的。
深度学习的核心概念是在一个模型内执行特征提取和分类；它自动扩展抽象特征，而不需要手工制作特征。然而，与传统的机器学习方法相比，它需要大量的数据和计算能力才能运行良好。
Zeng等人在2017年估计了分块局部噪声的水平，因为他们假设改变图像中的操纵区域和非操纵区域具有不同的噪声水平，当应用后处理技术(如图像混合和滤波)来降低全局噪声和局部噪声之间的不一致性时，这种方法表现不佳。
Barni等人在2017年研究了美国有线电视新闻网对对齐和非对齐双JPEG压缩检测的性能。在所有进行的测试场景中，具有自学功能的CNN都优于最先进的方法。这种方法的缺点是它主要依赖于双JPEG假设，并且它也容易受到后处理技术的影响。
Ferrara等人在2012年提出了一个框架，该框架基于CFA缺失区域(操纵区域)和CFA存在区域(真实区域)之间的预测误差差异的假设来计算cam时代的过滤模式。在训练GMM分类器后，可以检测到操作区域。尽管提出的方法包括了CFA感知的统计分析特征，但他们还增加了第二个流来搜索额外的证据。然而，假设可能是错误的，如果一个篡改的区域有一个相同的恒虚警模式或图像被重新缩放，这消除了原始恒虚警信息，并增加了新的噪声。
基于隐写分析的方法在篡改区域检测上表现出色，因为这些方法使用了一组低级特征。然而，分析和选择合适的特征集要花费很多时间。
数据级技术存在一些缺点；欠采样技术可能会丢弃对构建分类器规则至关重要的潜在有用信息，而过采样技术会产生过拟合的可能性，因为它会复制少数类事件。
在图像复原方面，常用的盲解卷积算法盲复原能力有待提升，同时在大批量图像复原工作任务下计算资源需求和时间成本较高，难以实际应用于需实时反馈的场景。
发明内容
本发明提供一种基于深度学习的图像反向恢复方法，识别出篡改图像并进行尽可能复原。
为解决上述技术问题，本发明的技术方案如下：
一种基于深度学习的图像反向恢复方法，包括以下步骤：
S1：输入RGB图像；
S2：根据所述RGB图像获取噪声特征图；
S3：利用所述RGB图像和噪声特征图，采用多任务框架的深度学习网络同时对所述RGB图像执行操作分类和边界框回归，得到RGB图像中被篡改的图像和区域；
S4：输出被篡改的图像和区域；
S5：采用U型深度卷积神经网络对被篡改的图像进行复原。
优选地，步骤S2中，所述RGB图像通过SRM滤波器层获得噪声特征图。
优选地，所述RGB图像通过SRM滤波器层获得噪声特征图，具体为：
噪声是由像素值和该像素值的估计值之间的残差建模的，该估计值是通过仅插值相邻像素的值而产生的；
从30个基本滤波器开始，随着非线性操作，滤波后附近输出的最大值和最小值，SRM滤波器收集基本噪声特征，SRM滤波器对基本滤波器的输出进行量化和截断，并提取附近的同现信息作为最终特征。
优选地，步骤S3中利用所述RGB图像和噪声特征图时，先调整RGB图像和噪声特征图的大小，使得较短的长度等于600像素，使用四个锚秤大小从82、162、322到642，长宽比为1:2、1:1和2:1。
优选地，步骤S3中，先在合成数据集上预先训练所述多任务框架的深度学习网络，使用COCO的图像和注释自动创建一个合成数据集，使用分割注释从COCO中随机选择对象，然后复制并粘贴到其他图像中，分割90％为训练集，10％为测试集。
优选地，步骤S3中所述多任务框架的深度学习网络分为RGB流和噪声流，其中所述RGB流的输入为所述RGB图像，所述噪声流的输入为所述噪声特征图，所述RGB流和噪声流输出的特征应用于双线性池，双线性池输出是
其中，fRGB是RGB流的RoI特征，fN是噪声流的RoI特征，再利用求和池化在分类之前挤压空间特征，在转发到完全连接的层之前，应用规范化的带符号的平方根/>
和L2得到RGB流的RoI特征和噪声流的RoI特征，用XG-Boost层替代双线性池中的softmax层，在XG-Boost层之后获得RoI区域的预测类别，最后使用交叉熵损失进行操作分类和使用平滑L1损失进行包围盒回归。
优选地，所述RGB流是一个单一的Faster R-CNN网络，用于边界框回归和操作分类，使用ResNet101网络从输入的RGB图像中学习特征，最后一个卷积层的输出特征用于操纵分类，RGB流中的RPN网络利用这些特征为包围盒回归提出RoI，RPN网络的损失定义为：
其中gi表示锚i是小批量潜在操纵区域的概率，
认为锚i的基本事实标签为正，术语fi、/>
分别是锚i和地面真实4维包围盒坐标，loss表示RPN网络和Lreg表示平滑L1的交叉熵损失提案边界框的回归损失，Ncls表示RPN网络中一个小批量的大小，Nreg是锚点位置的数量，术语λ是平衡两个损耗的超参数，设置为10。
优选地，所述噪声流的主干卷积网络架构与RGB流相同，并且共享一个RoI汇集层，只使用RGB通道用于边界框回归。
优选地，所述多任务框架的深度学习网络的总损失函数为：
Ltotal＝LRPN+Ltamper(fRGB，fN)+Lbbox(fRGB)
其中Ltotal记录总损失，LRPN代表区域分组网络中的区域分组网络损失，Ltamper表示最终的交叉熵分类损失，基于来自RGB流和噪声流的双线性汇集特征，表示最终边界框回归损失；fRGB和fN是来自RGB和噪声流的RoI特征。
优选地，步骤S5中所述U型深度卷积神经网络为编码-解码器结构，分为下采样、跳跃连接和上采样三部分，在原始U-net中添加了批量归一化操作和值为0.2的神经节点丢失率，以达到增加训练速度和网络泛化能力，避免梯度消失和过拟合的目的[2,3]。将激活函数设为Leaky Relu以避免反向传播过程中梯度为零时导致的神经元停止学习现象，同时选取Adam优化器优化输出与标签之间的均方误差值，不断反馈调节网络参数，使得网络的输出与标签的相似度越来越高；
利用数值仿真获得的系统所成像和对应的原始图像构建数据集，将系统所成像作为网络输入，对应的原始图像作为网络标签，数据集分为训练集和测试集两部分，训练U型深度卷积神经网络过程中，网络只会学习训练集的内容，测试集不参与训练，训练完成后，使用测试集测试网络效果，输入测试集内的网络输入，U-net网络会迅速输出对应的复原图像。
与现有技术相比，本发明技术方案的有益效果是：
本发明采用的多任务框架的深度学习网络丰富的特征表示使得能够区分不同的操作技术，提高了性能，不仅能检测篡改伪迹，还能区分各种篡改技术；采用U-net网络能够成功复原合成孔径系统所成图像，并在复原效果上与盲解卷积算法接近。在训练过程中，仅需少量含有丰富信息的图像构成训练集，而对图像种类没有严格要求，即可训练出具有良好复原能力和泛化能力的U-net网络。面对完全陌生且没有任何先验信息的合成孔径系统所成图像，U-net网络能够更加快速便捷地开展复原工作。与盲解卷积算法进行对比，U-net网络能够有效避免振铃现象，且盲复原能力更强，在使用时无需任何先验信息和参数调节过程就能获得清晰的复原图像，而耗时仅为盲解卷积算法的百分之一。
附图说明
图1为本发明的方法流程示意图。
图2为实施例中的多任务框架的深度学习网络结构示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本实施例提供一种基于深度学习的图像反向恢复方法，如图1，包括以下步骤：
S1：输入RGB图像；
S2：根据所述RGB图像获取噪声特征图；
S3：利用所述RGB图像和噪声特征图，采用多任务框架的深度学习网络同时对所述RGB图像执行操作分类和边界框回归，得到RGB图像中被篡改的图像和区域；
S4：输出被篡改的图像和区域；
S5：采用U型深度卷积神经网络对被篡改的图像进行复原。
步骤S2中，所述RGB图像通过SRM滤波器层获得噪声特征图。
所述RGB图像通过SRM滤波器层获得噪声特征图，具体为：
噪声是由像素值和该像素值的估计值之间的残差建模的，该估计值是通过仅插值相邻像素的值而产生的；
从30个基本滤波器开始，随着非线性操作，滤波后附近输出的最大值和最小值，SRM滤波器收集基本噪声特征，SRM滤波器对基本滤波器的输出进行量化和截断，并提取附近的同现信息作为最终特征。
步骤S3中利用所述RGB图像和噪声特征图时，先调整RGB图像和噪声特征图的大小，使得较短的长度等于600像素，使用四个锚秤大小从82、162、322到642，长宽比为1:2、1:1和2:1。
步骤S3中，先在合成数据集上预先训练所述多任务框架的深度学习网络，使用COCO的图像和注释自动创建一个合成数据集，使用分割注释从COCO中随机选择对象，然后复制并粘贴到其他图像中，分割90％为训练集，10％为测试集，以确保相同的背景和篡改对象不会出现在训练集和测试集中。所述COCO的图像出自T.-Y.Lin,M.Maire,S.Belongie,J.Hays,P.Perona,D.Ramanan,P.Dollár,and C.L.Zitnick.Microsoft coco:Commonobjects in context.In ECCV,2014。
步骤S3中所述多任务框架的深度学习网络如图2所示，分为RGB流和噪声流，其中所述RGB流的输入为所述RGB图像，所述噪声流的输入为所述噪声特征图，所述RGB流和噪声流输出的特征应用于双线性池，双线性池输出是
其中，fRGB是RGB流的RoI特征，fN是噪声流的RoI特征，再利用求和池化在分类之前挤压空间特征，在转发到完全连接的层之前，应用规范化的带符号的平方根/>
和L2得到RGB流的RoI特征和噪声流的RoI特征，使用Y.Gao,O.Beijbom,N.Zhang,and T.Darrell.Compactbilinearpooling.In CVPR,2016中提出的紧凑双线性池用XG-Boost层替代双线性池中的softmax层，在XG-Boost层之后获得RoI区域的预测类别，最后使用交叉熵损失进行操作分类和使用平滑L1损失进行包围盒回归。
所述RGB流是一个单一的Faster R-CNN网络，用于边界框回归和操作分类，使用ResNet101网络从输入的RGB图像中学习特征，最后一个卷积层的输出特征用于操纵分类，RGB流中的RPN网络利用这些特征为包围盒回归提出RoI，RPN网络的损失定义为：
其中gi表示锚i是小批量潜在操纵区域的概率，
认为锚i的基本事实标签为正，术语fi、/>
分别是锚i和地面真实4维包围盒坐标，loss表示RPN网络和Lreg表示平滑L1的交叉熵损失提案边界框的回归损失，Ncls表示RPN网络中一个小批量的大小，Nreg是锚点位置的数量，术语λ是平衡两个损耗的超参数，设置为10，与传统的对象检测(RPN网络搜索可能是对象的区域)相比，本实施例的RPN网络搜索可能被操纵的区域，所提议的区域可能不一定是对象，例如在移除篡改过程中的情况。
利用图像的局部噪声分布来提供其他证据。与RGB流相反，噪声流旨在更加关注噪声，而不是语义图像使用SRM滤波器从RGB图像中提取局部噪声特征作为噪声流的输入。噪声是由像素值和该像素值的估计值之间的残差建模的，该估计值是通过仅插值相邻像素的值而产生的。从30个基本滤波器开始，随着非线性操作，如滤波后附近输出的最大值和最小值，SRM特征收集基本噪声特征。SRM对这些过滤器的输出进行量化和截断，并提取附近的同现信息作为最终特征。从这个过程中获得的特征可以被视为局部噪声描述符。选择3个内核，其权重分别如下：
并直接将它们输入到一个在3通道输入上训练的预训练网络中。将噪声流中的开关磁阻电机滤波器层的内核大小定义为5×5×3。SRM层的输出通道大小是3。SRM层后产生的噪声特征强调的是局部噪声，而不是图像内容，并明确显示了在RGB通道中可能不可见的篡改伪影。我们直接使用噪声特征作为噪声流网络的输入。所述噪声流的主干卷积网络架构与RGB流相同，并且共享一个RoI汇集层，只使用RGB通道用于边界框回归。
所述多任务框架的深度学习网络的总损失函数为：
Ltotal＝LRPN+Ltamper(fRGB，fN)+Lbbox(fRGB)
其中Ltotal记录总损失，LRPN代表区域分组网络中的区域分组网络损失，Ltamper表示最终的交叉熵分类损失，基于来自RGB流和噪声流的双线性汇集特征，表示最终边界框回归损失；fRGB和fN是来自RGB和噪声流的RoI特征。
在RGB流(图2的顶部流)中提供RGB图像，在噪声流(图2的底部流)中提供SRM图像。在完全连接的层之前通过双线性池融合两个流，以进行操作分类。RPN使用RGB流来定位篡改区域。
步骤S5中所述U型深度卷积神经网络为编码-解码器结构，分为下采样、跳跃连接和上采样三部分，在原始U-net中添加了批量归一化操作和值为0.2的神经节点丢失率，将激活函数设为Leaky Relu，同时选取Adam优化器优化输出与标签之间的均方误差值，不断反馈调节网络参数，使得网络的输出与标签的相似度越来越高；
利用数值仿真获得的系统所成像和对应的原始图像构建数据集，将系统所成像作为网络输入，对应的原始图像作为网络标签，数据集分为训练集和测试集两部分，训练U型深度卷积神经网络过程中，网络只会学习训练集的内容，测试集不参与训练，训练完成后，使用测试集测试网络效果，输入测试集内的网络输入，U-net网络会迅速输出对应的复原图像。
本实施例采用双流模型，通过XGBoost层来处理不平衡的数据集；
RGB流对视觉篡改伪影进行建模，例如沿对象边缘异常高的对比度，并将边界框回归到基本事实。利用来自RGB通道的特征来捕捉诸如篡改边界处的视觉不一致性以及篡改区域和真实区域之间的对比度效应等线索。
噪声流首先通过将输入的RGB图像通过SRM滤波器层来获得噪声特征图，并利用噪声特征来为操纵分类提供额外的证据。当一个对象从一个图像(源)中移除并粘贴到另一个图像(目标)中时，源图像和目标图像之间的噪声特征不太可能匹配。为了利用这些特征，我们将RGB图像转换到噪声域，并使用局部噪声特征作为第二流的输入。有许多方法可以从图像中产生噪声特征。我们选择SRM滤波器核来产生噪声特征，并将其用作第二个Faster R-CNN网络的输入信道。
RGB和噪声流共享来自仅使用RGB特征作为输入的RPN网络的相同区域提议。RoI汇集层从RGB和噪声流中选择空间特征。预测的边界框(表示为“bbx pred”)由RGB RoI特征生成。RoI池化后的双线性池化[6，7]层使网络能够结合两个流的空间同现特征。
然后，在预测标签输出方面，现有大多数深度网络模型采用的是适合多分类任务的softmax层，但在不平衡数据集上性能表现下降，因此我们决定采用完全连接层和XG-Boost来传递结果，用XG-Boost层替代softmax层，网络产生预测标签(表示为“cls pred”)，并确定预测区域是否被操纵。
最后，采用U型深度卷积神经网络(U-net)复原图像。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (9)
1.一种基于深度学习的图像反向恢复方法，其特征在于，包括以下步骤：
S1：输入RGB图像；
S2：根据所述RGB图像获取噪声特征图；
S3：利用所述RGB图像和噪声特征图，采用多任务框架的深度学习网络同时对所述RGB图像执行操作分类和边界框回归，得到RGB图像中被篡改的图像和区域；
S4：输出被篡改的图像和区域；
S5：采用U型深度卷积神经网络对被篡改的图像进行复原；
步骤S3中所述多任务框架的深度学习网络分为RGB流和噪声流，其中所述RGB流的输入为所述RGB图像，所述噪声流的输入为所述噪声特征图，所述RGB流和噪声流输出的特征应用于双线性池，双线性池输出是
其中，fRGB是RGB流的RoI特征，fN是噪声流的RoI特征，再利用求和池化在分类之前挤压空间特征，在转发到完全连接的层之前，应用规范化的带符号的平方根/>
和L2得到RGB流的RoI特征和噪声流的RoI特征，用XG-Boost层替代双线性池中的softmax层，再XG-Boost层之后获得RoI区域的预测类别，最后使用交叉熵损失进行操作分类和使用平滑L1损失进行包围盒回归。
2.根据权利要求1所述的基于深度学习的图像反向恢复方法，其特征在于，步骤S2中，所述RGB图像通过SRM滤波器层获得噪声特征图。
3.根据权利要求2所述的基于深度学习的图像反向恢复方法，其特征在于，所述RGB图像通过SRM滤波器层获得噪声特征图，具体为：
噪声是由像素值和该像素值的估计值之间的残差建模的，该估计值是通过仅插值相邻像素的值而产生的；
从30个基本滤波器开始，随着非线性操作，滤波后附近输出的最大值和最小值，SRM滤波器收集基本噪声特征，SRM滤波器对基本滤波器的输出进行量化和截断，并提取附近的同现信息作为最终特征。
4.根据权利要求1所述的基于深度学习的图像反向恢复方法，其特征在于，步骤S3中利用所述RGB图像和噪声特征图时，先调整RGB图像和噪声特征图的大小，使得较短的长度等于600像素，使用四个锚秤大小从82、162、322到642，长宽比为1:2、1:1和2:1。
5.根据权利要求1所述的基于深度学习的图像反向恢复方法，其特征在于，步骤S3中，先在合成数据集上预先训练所述多任务框架的深度学习网络，使用COCO的图像和注释自动创建一个合成数据集，使用分割注释从COCO中随机选择对象，然后复制并粘贴到其他图像中，分割90％为训练集，10％为测试集。
6.根据权利要求5所述的基于深度学习的图像反向恢复方法，其特征在于，所述RGB流是一个单一的Faster R-CNN网络，用于边界框回归和操作分类，使用ResNet101网络从输入的RGB图像中学习特征，最后一个卷积层的输出特征用于操纵分类，RGB流中的RPN网络利用这些特征为包围盒回归提出RoI，RPN网络的损失定义为：
其中gi表示锚i是小批量潜在操纵区域的概率，
认为锚i的基本事实标签为正，术语fi、/>
分别是锚i和地面真实4维包围盒坐标，loss表示RPN网络和Lreg表示平滑L1的交叉熵损失提案边界框的回归损失，Ncls表示RPN网络中一个小批量的大小，Nreg是锚点位置的数量，术语λ是平衡两个损耗的超参数，设置为10。
7.根据权利要求6所述的基于深度学习的图像反向恢复方法，其特征在于，所述噪声流的主干卷积网络架构与RGB流相同，并且共享一个RoI汇集层，只使用RGB通道用于边界框回归。
8.根据权利要求7所述的基于深度学习的图像反向恢复方法，其特征在于，所述多任务框架的深度学习网络的总损失函数为：
Ltotal＝LRPN+Ltamper(fRGB，fN)+Lbbox(fRGB)
其中Ltotal记录总损失，LRPN代表区域分组网络中的区域分组网络损失，Ltamper表示最终的交叉熵分类损失，基于来自RGB流和噪声流的双线性汇集特征，表示最终边界框回归损失；fRGB和fN是来自RGB和噪声流的RoI特征。
9.根据权利要求5至8任一项所述的基于深度学习的图像反向恢复方法，其特征在于，步骤S5中所述U型深度卷积神经网络为编码-解码器结构，分为下采样、跳跃连接和上采样三部分，在原始U-net中添加了批量归一化操作和值为0.2的神经节点丢失率，将激活函数设为Leaky Relu，同时选取Adam优化器优化输出与标签之间的均方误差值，不断反馈调节网络参数，使得网络的输出与标签的相似度越来越高；
利用数值仿真获得的系统所成像和对应的原始图像构建数据集，将系统所成像作为网络输入，对应的原始图像作为网络标签，数据集分为训练集和测试集两部分，训练U型深度卷积神经网络(U-net)过程中，网络只会学习训练集的内容，测试集不参与训练，训练完成后，使用测试集测试网络效果，输入测试集内的网络输入，U-net网络会迅速输出对应的复原图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110287819.0A CN112991239B (zh) | 2021-03-17 | 2021-03-17 | 一种基于深度学习的图像反向恢复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110287819.0A CN112991239B (zh) | 2021-03-17 | 2021-03-17 | 一种基于深度学习的图像反向恢复方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112991239A CN112991239A (zh) | 2021-06-18 |
| CN112991239B true CN112991239B (zh) | 2023-06-30 |
Family
ID=76333750
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110287819.0A Active CN112991239B (zh) | 2021-03-17 | 2021-03-17 | 一种基于深度学习的图像反向恢复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112991239B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114155158A (zh) * | 2021-10-25 | 2022-03-08 | 清华大学 | 一种基于深度学习无监督共聚焦显微去噪方法及装置 |
| CN116797490B (zh) * | 2023-07-12 | 2024-02-09 | 青岛理工大学 | 一种轻量级浑浊水体图像增强方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110349136A (zh) * | 2019-06-28 | 2019-10-18 | 厦门大学 | 一种基于深度学习的篡改图像检测方法 |
| CN110827415A (zh) * | 2019-11-11 | 2020-02-21 | 吉林大学 | 一种全天候未知环境无人自主工作平台 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104361548B (zh) * | 2014-10-28 | 2017-10-20 | 河南师范大学 | 基于bp神经网络数字图像压缩的图像水印嵌入与提取方法 |
| CN105205778B (zh) * | 2015-11-09 | 2018-10-09 | 河南师范大学 | 基于rbf神经网络的图像水印嵌入、提取方法与装置 |
| CN110852316B (zh) * | 2019-11-07 | 2023-04-18 | 中山大学 | 一种采用密集结构卷积网络的图像篡改检测和定位方法 |
| CN112395943A (zh) * | 2020-10-19 | 2021-02-23 | 天翼电子商务有限公司 | 一种基于深度学习伪造人脸视频的检测方法 |
-
2021
- 2021-03-17 CN CN202110287819.0A patent/CN112991239B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110349136A (zh) * | 2019-06-28 | 2019-10-18 | 厦门大学 | 一种基于深度学习的篡改图像检测方法 |
| CN110827415A (zh) * | 2019-11-11 | 2020-02-21 | 吉林大学 | 一种全天候未知环境无人自主工作平台 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112991239A (zh) | 2021-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kim et al. | Deep convolutional neural models for picture-quality prediction: Challenges and solutions to data-driven image quality assessment | |
| CN111311563B (zh) | 一种基于多域特征融合的图像篡改检测方法 | |
| CN111768432B (zh) | 基于孪生深度神经网络的动目标分割方法及系统 | |
| Kim et al. | Fully deep blind image quality predictor | |
| CN109151501B (zh) | 一种视频关键帧提取方法、装置、终端设备及存储介质 | |
| Isola et al. | Crisp boundary detection using pointwise mutual information | |
| CN101971190B (zh) | 实时身体分割系统 | |
| Bianco et al. | Predicting image aesthetics with deep learning | |
| Cho et al. | Deep convolutional neural network for natural image matting using initial alpha mattes | |
| CN112991239B (zh) | 一种基于深度学习的图像反向恢复方法 | |
| CN112150450B (zh) | 一种基于双通道U-Net模型的图像篡改检测方法及装置 | |
| Lin et al. | Image manipulation detection by multiple tampering traces and edge artifact enhancement | |
| Johnson et al. | Sparse codes as alpha matte | |
| Lu et al. | Blind image quality assessment based on the multiscale and dual‐domains features fusion | |
| Yang et al. | Deep feature importance awareness based no-reference image quality prediction | |
| CN110852199A (zh) | 一种基于双帧编码解码模型的前景提取方法 | |
| CN111696136A (zh) | 一种基于编解码结构的目标跟踪方法 | |
| Zhou et al. | A discriminative multi-channel noise feature representation model for image manipulation localization | |
| Rai et al. | Low-light robust face image super-resolution via neuro-fuzzy inferencing-based locality constrained representation | |
| Singh et al. | Performance analysis of ELA-CNN model for image forgery detection | |
| Muthusamy et al. | Deep belief network for solving the image quality assessment in full reference and no reference model | |
| CN115457385A (zh) | 一种基于轻量级网络的建筑物变化检测方法 | |
| CN115546885A (zh) | 一种基于增强时空特征的动作识别方法及系统 | |
| CN118014892B (zh) | 一种基于频率域对比正则的单图像去雨模型构建方法及去雨方法 | |
| Zhang et al. | Completely blind image quality assessment using latent quality factor from image local structure representation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |