CN111553916B - 基于多种特征和卷积神经网络的图像篡改区域检测方法 - Google Patents
基于多种特征和卷积神经网络的图像篡改区域检测方法 Download PDFInfo
- Publication number
- CN111553916B CN111553916B CN202010388676.8A CN202010388676A CN111553916B CN 111553916 B CN111553916 B CN 111553916B CN 202010388676 A CN202010388676 A CN 202010388676A CN 111553916 B CN111553916 B CN 111553916B
- Authority
- CN
- China
- Prior art keywords
- image
- tampered
- detected
- rgb
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 80
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 24
- 230000006835 compression Effects 0.000 claims abstract description 14
- 238000007906 compression Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000000737 periodic effect Effects 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 230000015654 memory Effects 0.000 claims description 4
- 230000009977 dual effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 101100136092 Drosophila melanogaster peng gene Proteins 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- IKGXIBQEEMLURG-NVPNHPEKSA-N rutin Chemical compound O[C@@H]1[C@H](O)[C@@H](O)[C@H](C)O[C@H]1OC[C@@H]1[C@@H](O)[C@H](O)[C@@H](O)[C@H](OC=2C(C3=C(O)C=C(O)C=C3OC=2C=2C=C(O)C(O)=CC=2)=O)O1 IKGXIBQEEMLURG-NVPNHPEKSA-N 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/0042—Fragile watermarking, e.g. so as to detect tampering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本发明涉及一种基于多种特征和卷积神经网络的图像篡改区域检测方法。本发明的目的是提供一种基于多种特征和卷积神经网络的图像篡改区域检测方法。本发明的技术方案是：一种基于多种特征和卷积神经网络的图像篡改区域检测方法，其特征在于：获取待检测图像：对待检测图像进行基于双重压缩痕迹特征的篡改检测；将待检测图像输入具有RGB流和噪声流双流输入的双流卷积篡改检测网络模型进行检测；对待检测图像进行基于图像匹配的复制‑粘帖检测；输出检测结果。本发明适用于数字图像取证领域。
Description
技术领域
本发明涉及一种基于多种特征和卷积神经网络的图像篡改区域检测方法，适用于数字图像取证领域。
背景技术
图像是信息传输的重要媒介，以前，人们相信“眼见为实”，对自己亲眼看见的东西深信不疑。然而，随着Photoshop、GIMG等图像编辑软件技术的进步，图像编辑变得越来越容易，区分正常图像和修改过的图像不再简单，“眼见为实”不再适用于当今社会。大部分篡改的图像给社会带来的还只是良性的影响，但一些图像如果被恶意使用，会给社会稳定和国家安全带来严重的不良影响。如何检测图像是否经历过篡改成为当今社会亟待解决的问题。
一般来说，现有的图像篡改检测的方式主要包括基于手工特征和基于深度学习的篡改检测两种。基于手工特征的篡改检测方法大多基于篡改图像底层特征的分析，包括双重JPEG压缩痕迹、CFA色彩矩阵特征和局部噪声特征等，其中：基于双重JPEG压缩痕迹的方法通过预测DCT系数和量化因子的概率模型，可以发现不同区域的压缩程度的差异来检测局部的篡改区域；基于CFA的方法则基于篡改区域与未篡改区域来自不同的相机的假设，通过分析不同区域存在的不同相机的滤波阵列的统计特性来定位篡改区域；近年来，基于局部噪声特征的方法，如隐写丰富模型(Spatial Rich Model，SRM)在图像取证任务上展现了良好的性能。这些方法通过捕捉篡改区域和非篡改区域之间邻接像素的噪声特征的不连续性定位篡改区域。
基于手工特征的检测方法大多只能检测特定类型的篡改，随着深度学习在计算机视觉和图像处理任务中成功运用，人们也开始尝试用深度学习的方法来解决图像篡改检测的问题。应用于篡改检测的深度学习技术主要包括卷积神经网络、自编码器和长短期记忆网络(Long Short Term Memory，LSTM)等。Cozzolino等人在《Anewblind image splicingdetector》中将SRM特征与卷积神经网络融合，进一步发掘了SRM特征在篡改检测上的优良性能，他们也尝试将图像篡改任务作看异常检测任务，用基于自编码器的方法将编码器难以重建的部分定位为篡改区域，在文献《Single-image splicing localization throughautoencoder-based anomaly detection》提出了无监督的篡改检测。Salloum等人使用全卷积网络(Fully ConvolutionalNetworks，FCN)的框架来自动预测图像中的篡改区域，在文献《Image splicing localization using amulti-task fully convolutionalnetwork》中提出了用边界块引导FCN去关注篡改的边缘。Bappy等人在文献《Exploitingspatial structure for localizing manipulated image regions》中第一次将LSTM运用于篡改检测网络，将图像块划分成图像块输入网络，检测篡改图像块和非篡改图像块之间的篡改痕迹。除此之外，Peng等人在文献《Learning Rich Features forImageManipulation Detection》中提出了一个双流篡改检测模型，该模型从RGB流和噪声流提取到了丰富的篡改特征的表达，实现了拼接、复制-粘贴和局部去除多种图像篡改类型的检测。
在现有技术中，基于手工特征的方法大多只能检测特定类型的篡改，因此无法适用于实际检测的需求，基于深度学习的方法可以直接从像素层提取通用的特征，可以检测多种类型的图像篡改，但由于其依赖于训练数据，在检测的精确率上低于一些鲁棒的手工特征。
发明内容
本发明要解决的技术问题是：针对上述存在的问题，提供一种基于多种特征和卷积神经网络的图像篡改区域检测方法。
本发明所采用的技术方案是：一种基于多种特征和卷积神经网络的图像篡改区域检测方法，其特征在于：
获取待检测图像：
对待检测图像进行基于双重压缩痕迹特征的篡改检测；
将待检测图像输入具有RGB流和噪声流双流输入的双流卷积篡改检测网络模型进行检测；
对待检测图像进行基于图像匹配的复制-粘帖检测；
输出检测结果。
所述对待检测图像进行基于双重压缩痕迹特征的篡改检测，包括：
生成待检测图像的DCT系数直方图；
估计直方图周期性变换的周期；
采用贝叶斯公式估计直方图每个值来自篡改区域和未篡改区域的概率；根据直方图索引到待检测图像中每个图像块，估计每个图像块属于篡改区域的概率，将待检测图像中所有图像块篡改概率组成篡改后验概率图；
将篡改后验概率图中高于设定阈值的部分划分为篡改区域，低于设定阈值的部分划分为未篡改区域；
基于篡改区域和未篡改区域的概率值的方差之和判断是否有显著的连通区域，若有，则根据连通区域与篡改后验概率图的面积比值筛选确定篡改区域；若没有，判断待检测图像未经篡改。
所述估计直方图周期性变换的周期，包括：
设周期为p，Smin和Smax为直方图左右边界的索引值，S0为直方图最大值对应的索引值，对p取1到Smax/20之间的值，计算下式：
式中，imax＝[(Smax-S0)/p]，imin＝[(Smin-S0)/p]，h为直方图；
周期的最佳估计为：
p＝argmaxpH(p)。
采用贝叶斯公式估计直方图每个值来自篡改区域和未篡改区域的概率，包括：
计算先验概率，未篡改图像块DCT变换后对应的直方图索引值为S0+i的概率为经过篡改的图像块DCT变换后对应的直方图索引值为S0+i的概率为Pt(S0+i)＝1/p；
根据贝叶斯公式，如果一个图像块对应到直方图的索引值S0+i，则该图像块来自篡改区域和未篡改区域的概率分别为：
P(tampered|s0+i)＝Pt/(Pt+Pu)
P(unchanged|s0+i)＝Pu/(Pt+Pu)
所述对待检测图像进行基于图像匹配的复制-粘帖检测，包括：
采用基于球谐波变换的特征作为图像匹配的特征；
采用Patch Match进行特征匹配；
对检测结果图进行中值滤波，根据匹配区域与结果图面积的比值及匹配对中匹配区域之间的距离筛选确定篡改区域。
所述获取待检测图像，包括：
采用最高的质量因子将取待检测图像的格式转换为JPEG。
所述双流卷积篡改检测网络模型，包括：
获取待检测图像的RGB流和噪声流；
采用卷积网络提取RGB流特征和噪声流特征，并用噪声流特征对RGB流特征进行加注意力加权，在RGB流特征图中对在同样深度的噪声流特征图上表现显著的特征维度赋予更多的注意力，引导RGB流在不同层次的特征图中更全面地关注篡改区域；
RGB流特征提取到的特征图输入RPN网络，RPN网络在特征图上提取建议框，传输给ROI Pooling层；
ROI Pooling层接收RGB流和噪声流提取得到的两个特征图和RPN网络输出的建议框，ROI Pooling层用建议框在两个特征图上裁剪池化，分别得到RGB流和噪声流的建议框特征；
对RGB流建议框特征回归得到预测框位置，采用双线性汇合对RGB流和噪声流的建议框特征进行融合得到融合特征，然后对融合特征分类得到预测框类别。
一种计算机设备，包括存储器和处理器，存储器上存储有计算机程序，其特征在于：所述计算机程序被所述处理器执行时实现所述基于多种特征和卷积神经网络的图像篡改区域检测方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现所述基于多种特征和卷积神经网络的图像篡改区域检测方法的步骤。
一种双流卷积篡改检测网络模型，其特征在于：
获取待检测图像的RGB流和噪声流；
采用卷积网络提取RGB流特征和噪声流特征，并用噪声流特征对RGB流特征进行加注意力加权，在RGB流特征图中对在同样深度的噪声流特征图上表现显著的特征维度赋予更多的注意力，引导RGB流在不同层次的特征图中更全面地关注篡改区域；
RGB流特征提取到的特征图输入RPN网络，RPN网络在特征图上提取建议框，传输给ROI Pooling层；
ROI Pooling层接收RGB流和噪声流提取得到的两个特征图和RPN网络输出的建议框，ROI Pooling层用建议框在两个特征图上裁剪池化，分别得到RGB流和噪声流的建议框特征；
对RGB流建议框特征回归得到预测框位置，采用双线性汇合对RGB流和噪声流的建议框特征进行融合得到融合特征，然后对融合特征分类得到预测框类别。
本发明的有益效果是：本发明首先采用基于双重压缩痕迹的手工特征进行篡改区域的初步检测，由于双重压缩痕迹特征能够保证较高的精确度，因此若双重压缩痕迹特征检测出篡改区域，则输出检测结果；若没有检测出篡改区域，将图像继续输入双流卷积篡改检测网络模型进一步检测，完成上述检测后，继续采用图像匹配的方法对图像中可能存在的复制-粘贴区域进行检测，若检测到图像经历过复制-粘贴，输出复制-粘贴区域的检测结果。
本发明中检测策略之间互补，可以从不同方面检测图像中可能存在复制-粘贴、拼接、去除等多种篡改痕迹，可对图像篡改区域的全面检测，具有通用性；图像在经过多次压缩、重采样等后处理操作后，一些篡改痕迹往往会消失，本发明采用的多种手工特征和卷积神经网络提取的高层特征，能够给篡改区域的检测提供足够的线索，保证了检测的鲁棒性。
本发明中基于注意力机制的双流卷积篡改检测网络模型，模型有RGB流和噪声流双流输入，RGB流主要捕捉篡改区域颜色和对比度的异常变化，噪声流提取的特征主要关注于篡改边界的噪声模式的差异，本发明在不同深度的特征图上用噪声流特征对RGB流特征进行加注意力加权，使双流特征在不同特征维度充分融合，实现卷积神经网络对图像篡改区域色彩和噪声不连续特征的有效提取。
附图说明
图1为本发明实施例流程图。
图2为本发明实施例中双流卷积神经网络的结构框架。
具体实施方式
本实施例为一种基于多种特征和卷积神经网络的图像篡改区域检测方法，具体步骤如下：
1、获取待检测图像，采用最高的质量因子将其格式转换为JPEG。
2、采用双重压缩痕迹进行篡改区域初步检测
1)生成DCT系数直方图
对待检测图像进行图像块划分，每个图像块的大小为8×8，然后对每个8×8的图像块进行离散余弦变换，得到每个图像块64个频率的表达，这64个频率从(0,0)到(7,7)，最后将所有图像块64个频率中相同频率的系数组合成直方图，64个频率共得到64个直方图。
2)估计直方图周期性变换的周期
设周期为p，Smin和Smax为直方图左右边界的索引值，S0为直方图最大值对应的索引值，对p取1到Smax/20之间的值，计算下式：
式中，imax＝[(Smax-S0)/p]，imin＝[(Smin-S0)/p]，h为直方图，则周期的最佳估计为
p＝argmaxpH(p)。
3)估计篡改后验概率图
采用贝叶斯公式估计直方图每个值来自篡改区域和未篡改区域的概率，首先计算先验概率，未篡改图像块DCT变换后对应的直方图索引值为S0+i的概率为经过篡改的图像块DCT变换后对应的直方图索引值为S0+i的概率为Pt(S0+i)＝1/p。根据贝叶斯公式，如果一个图像块对应到直方图的索引值S0+i，那么这个图像块来自篡改区域和未篡改区域的概率为：
P(tampered|s0+i)＝Pt/(Pt+Pu)
P(unchanged|s0+i)＝Pu/(Pt+Pu)
根据直方图的索引到待检测图像中的每个8×8的图像块，估计每个8×8图像块属于篡改区域的概率，将所有图像块篡改概率组成篡改后验概率图；
4)篡改概率图后处理操作
选取一个阈值Tp，将篡改后验概率图中高于阈值的部分划分为篡改区域，低于阈值的部分划分为未篡改区域；
计算篡改区域和未篡改区域的概率值的方差之和δp，方差的大小反映了篡改区域检测的显著程度，根据方差的大小判断是否检测到了显著的连通区域，设置一个阈值Td，若δp小于Td，则说明检测到了显著的连通区域，对二值化的篡改后验概率图进一步处理，设置阈值Ts，计算所有连通区域与篡改概率图面积的比值，找出面积比大于Ts的连通区域的最小外接矩形，然后采用非极大值抑制的方法对这些矩形框进行筛选和合并，最终得到篡改区域的检测结果；若若δp大于Td，则说明没有检测到显著的连通区域，判断没有经历过篡改，则采用双流卷积篡改检测网络模型继续检测篡改区域。
3、采用双流卷积神经网络检测篡改区域
本实施例中双流卷积篡改检测网络模型采用了目标检测网络Faster RCNN的基本结构，主要包括特征提取、特征之间的注意力机制、区域候选网络(RegionProposalNetwork，RPN)、ROI Pooling层和预测框的回归和分类五个部分：
特征提取：模型有两个流的输入，分别是RGB流和噪声流。RGB流的输入为RGB图像，噪声流的输入为RGB图像的局部噪声特征图，采用SRM滤波器对RGB图像进行滤波得到。本例采用ResNet101的卷积网络提取RGB流和噪声流特征。
特征之间的注意力机制：
现有技术中的模型仅在建议框特征提取完成之后进行了特征融合，在RPN网络提取建议框阶段和预测框回归阶段都没有融入噪声流的特征，这样导致在整个预测框的位置回归过程中，噪声流并没有起到作用。
由于输入RPN网络的特征是后续的预测框位置回归的基础，本实施例在模型的特征提取阶段对双流特征进行了融合。RGB流主要捕捉篡改区域颜色和对比度的异常变化，而噪声流提取的特征主要关注于篡改边界的噪声模式的差异，由于RGB流和噪声流提取的特征存在差异性，这两种特征在不同深度的卷积层中对于篡改检测任务的重要程度也不同，因此本实施例采用一种注意力机制，在不同深度的特征图上用噪声流特征对RGB流特征进行加注意力加权，在RGB流特征图中对在同样深度的噪声流特征图上表现显著的特征维度赋予更多的注意力，从而引导RGB流在不同层次的特征图中更全面地关注篡改区域，以达到双流特征在不同特征维度的有效融合。
噪声流和RGB流都采用ResNet101的网络结构，所以相同卷积层输出的特征维度是一样的，ResNet101的卷积神经网络可以分为conv1，conv2_x，conv3_x，conv4_x和conv5_x五个部分，每个部分的最后一个卷积层位于特征提取网络的不同深度。
设RGB流和噪声流在卷积层第i(i＝1,2,3,4,5)个部分的输出特征图为Ri和Ni，将Ni输入一个1×1的卷积层fi和一个Softmax层，输出得到注意力向量Ai，用Ai对RGB层特征进行注意力加权，得到新的RGB流特征用注意力加权后的特征/>取代Ri作为下一个卷积层的输入。
RPN网络：RPN网络的输入是RGB流特征提取得到的特征图，RPN网络在特征图上提取建议框，然后传输给ROI Pooling层。
ROI Pooling层：ROI Pooling层接收三个输入：RGB流和噪声流提取得到的两个特征图和RPN网络输出的建议框。ROI Pooling层用建议框在两个特征图上裁剪池化，分别得到RGB流和噪声流的建议框特征。
预测框的回归和分类：对RGB流建议框特征回归得到预测框位置，采用双线性汇合对RGB流和噪声流特征进行融合得到融合特征，然后对融合特征分类得到预测框类别。
4、采用图像匹配检测复制-粘贴区域
1)特征提取
本发明使用基于球谐波变换(Circular Harmonic Transforms，CHT)的特征作为图像匹配的特征，假设I(ρ,θ)是图像在球坐标系的表示，球谐波变换为：
式中，是基函数，基函数的形式如下：
这样，球谐波变换系数也可以写作，
使用不同的径向函数可以得到不同的球谐波变换特征，本实施例选用泽尼克矩(Zernike Moments,ZM)、极坐标余弦变换(Polar Cosine Transform,PCT)和傅立叶梅林变换(Fourier-Mellin Transform)三种特征：
泽尼克矩的径向函数为：
极坐标余弦变换的径向函数为：
Rn(ρ)＝Cncos(πnρ2)
傅里叶梅林变换的径向函数为：
2)采用Patch Match进行特征匹配
初始化：采用如下公式对每个像素点初始化一个随机的偏置δ(s)，
d(S)＝U(S)-S
式中，U(s)是一个随机的二维向量，s是像素点的坐标，由于需要寻找一个远离像素点的匹配点，因此设置一个阈值Ts，剔除所有模值小于阈值Ts的偏置；
邻域搜索：对图像从上到下、从左到右进行扫描，将每个像素的偏置更新为：
式中，ΔP(s)＝{δ(s)，δ(sr)，δ(sc)}，sr和sc表示沿行和列扫描时s之前的像素，这样使得每次搜索得到的偏置都能使匹配的质量提高。
随机搜索：为了防止上述搜索陷入局部极小值，在邻域搜索之后，再进行一次随机搜索，随机搜索的更新策略为：
式中，ΔR(s)＝{δ(s),δi(s),…,δL(s)}，δi(s)＝δ(s)+Ri，Ri是一个二维的随机向量。扫描完所有的像素后停止更新。
3)后处理
特征匹配的结果往往受到噪声、压缩、光线变化以及几何形变的干扰，因此还需要对匹配的结果进一步处理。先对检测结果图进行中值滤波；然后设置阈值Ts，计算所有匹配区域与图像面积的比值，去除面积比小于Ts的匹配区域；设置阈值Td，去除匹配区域距离小于Td的匹配对；最后，对检测结果图进行开运算操作，对匹配区域进行边缘检测，在结果图上显示复制-粘贴的检测结果。
Claims (8)
1.一种基于多种特征和卷积神经网络的图像篡改区域检测方法，其特征在于：
获取待检测图像：
对待检测图像进行基于双重压缩痕迹特征的篡改检测；
将待检测图像输入具有RGB流和噪声流双流输入的双流卷积篡改检测网络模型进行检测；
对待检测图像进行基于图像匹配的复制-粘帖检测；
输出检测结果；
所述双流卷积篡改检测网络模型包括：
获取待检测图像的RGB流和噪声流；
采用卷积网络提取RGB流特征和噪声流特征，并用噪声流特征对RGB流特征进行注意力加权，在RGB流特征图中对在同样深度的噪声流特征图上表现显著的特征维度赋予更多的注意力，引导RGB流在不同层次的特征图中更全面地关注篡改区域；
RGB流特征提取到的特征图输入RPN网络，RPN网络在特征图上提取建议框，传输给ROIPooling层；
ROI Pooling层接收RGB流和噪声流提取得到的两个特征图和RPN网络输出的建议框，ROI Pooling层用建议框在两个特征图上裁剪池化，分别得到RGB流和噪声流的建议框特征；
对RGB流建议框特征回归得到预测框位置，采用双线性汇合对RGB流和噪声流的建议框特征进行融合得到融合特征，然后对融合特征分类得到预测框类别。
2.根据权利要求1所述的基于多种特征和卷积神经网络的图像篡改区域检测方法，其特征在于，所述对待检测图像进行基于双重压缩痕迹特征的篡改检测，包括：
生成待检测图像的DCT系数直方图；
估计直方图周期性变换的周期；
采用贝叶斯公式估计直方图每个值来自篡改区域和未篡改区域的概率；根据直方图索引到待检测图像中每个图像块，估计每个图像块属于篡改区域的概率，将待检测图像中所有图像块篡改概率组成篡改后验概率图；
将篡改后验概率图中高于设定阈值的部分划分为篡改区域，低于设定阈值的部分划分为未篡改区域；
基于篡改区域和未篡改区域的概率值的方差之和判断是否有显著的连通区域，若有，则根据连通区域与篡改后验概率图的面积比值筛选确定篡改区域；若没有，判断待检测图像未经篡改。
3.根据权利要求2所述的基于多种特征和卷积神经网络的图像篡改区域检测方法，其特征在于，所述估计直方图周期性变换的周期，包括：
设周期为p，Smin和Smax为直方图左右边界的索引值，S0为直方图最大值对应的索引值，对p取1到Smax/20之间的值，计算下式：
式中，imax＝[(Smax-S0)/p]，imin＝[(Smin-S0)/p]，h为直方图；
周期的最佳估计为：
p＝argmaxpH(p)。
4.根据权利要求3所述的基于多种特征和卷积神经网络的图像篡改区域检测方法，其特征在于，采用贝叶斯公式估计直方图每个值来自篡改区域和未篡改区域的概率，包括：
计算先验概率，未篡改图像块DCT变换后对应的直方图索引值为S0+i的概率为经过篡改的图像块DCT变换后对应的直方图索引值为S0+i的概率为Pt(S0+i)＝1/p；
根据贝叶斯公式，如果一个图像块对应到直方图的索引值S0+i，则该图像块来自篡改区域和未篡改区域的概率分别为：
P(tampered|s0+i)＝Pt/(Pt+Pu)
P(unchanged|s0+i)＝Pu/(Pt+Pu)。
5.根据权利要求1所述的基于多种特征和卷积神经网络的图像篡改区域检测方法，其特征在于，所述对待检测图像进行基于图像匹配的复制-粘帖检测，包括：
采用基于球谐波变换的特征作为图像匹配的特征；
采用Patch Match进行特征匹配；
对检测结果图进行中值滤波，根据匹配区域与结果图面积的比值及匹配对中匹配区域之间的距离筛选确定篡改区域。
6.根据权利要求1所述的基于多种特征和卷积神经网络的图像篡改区域检测方法，其特征在于，所述获取待检测图像，包括：
采用最高的质量因子将取待检测图像的格式转换为JPEG。
7.一种计算机设备，包括存储器和处理器，存储器上存储有计算机程序，其特征在于：所述计算机程序被所述处理器执行时实现权利要求1～6任意一项所述基于多种特征和卷积神经网络的图像篡改区域检测方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1～6任意一项所述基于多种特征和卷积神经网络的图像篡改区域检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010388676.8A CN111553916B (zh) | 2020-05-09 | 2020-05-09 | 基于多种特征和卷积神经网络的图像篡改区域检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010388676.8A CN111553916B (zh) | 2020-05-09 | 2020-05-09 | 基于多种特征和卷积神经网络的图像篡改区域检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111553916A CN111553916A (zh) | 2020-08-18 |
| CN111553916B true CN111553916B (zh) | 2023-11-14 |
Family
ID=72007959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010388676.8A Active CN111553916B (zh) | 2020-05-09 | 2020-05-09 | 基于多种特征和卷积神经网络的图像篡改区域检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111553916B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111986179B (zh) * | 2020-08-21 | 2021-07-06 | 中国科学技术大学 | 脸部篡改图像检测器 |
| CN112150483B (zh) * | 2020-09-27 | 2023-05-12 | 深圳壹账通智能科技有限公司 | 图片篡改检测方法、装置、终端设备及存储介质 |
| CN112215928B (zh) * | 2020-09-28 | 2023-11-10 | 中国科学院计算技术研究所数字经济产业研究院 | 基于视觉图像的动作捕捉方法及数字动画制作方法 |
| CN112116585B (zh) * | 2020-09-28 | 2022-09-27 | 苏州科达科技股份有限公司 | 图像移除篡改盲检测方法、系统、设备及存储介质 |
| CN112233077A (zh) * | 2020-10-10 | 2021-01-15 | 北京三快在线科技有限公司 | 图像分析方法、装置、设备及存储介质 |
| CN112308004A (zh) * | 2020-11-06 | 2021-02-02 | 神思电子技术股份有限公司 | 一种基于流卷积的目标检测方法 |
| CN112633148B (zh) * | 2020-12-22 | 2022-08-09 | 杭州景联文科技有限公司 | 一种签名指印真假检测方法及系统 |
| CN112561907B (zh) * | 2020-12-24 | 2022-11-01 | 南开大学 | 一种基于双流网络的视频篡改操作检测方法及装置 |
| CN112750122B (zh) * | 2021-01-21 | 2022-08-02 | 山东省人工智能研究院 | 基于双流边界感知神经网络的图像篡改区域定位方法 |
| CN113033379A (zh) * | 2021-03-18 | 2021-06-25 | 贵州大学 | 一种基于双流cnn的帧内取证深度学习方法 |
| CN113034628B (zh) * | 2021-04-29 | 2023-09-26 | 南京信息工程大学 | 一种彩色图像jpeg2000重压缩检测方法 |
| CN113254864A (zh) * | 2021-04-29 | 2021-08-13 | 中国科学院计算技术研究所数字经济产业研究院 | 基于节点特征和回复路径的动态子图生成方法、争议性检测方法 |
| CN113436287B (zh) * | 2021-07-05 | 2022-06-24 | 吉林大学 | 一种基于lstm网络与编解码网络的篡改图像盲取证方法 |
| CN113989245B (zh) * | 2021-10-28 | 2023-01-24 | 杭州中科睿鉴科技有限公司 | 多视角多尺度图像篡改检测方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108269221A (zh) * | 2018-01-23 | 2018-07-10 | 中山大学 | 一种jpeg重压缩图像篡改定位方法 |
| CN108831506A (zh) * | 2018-06-25 | 2018-11-16 | 华中师范大学 | 基于gmm-bic的数字音频篡改点检测方法及系统 |
| CN109934221A (zh) * | 2019-02-22 | 2019-06-25 | 山东大学 | 基于注意力机制的电力设备自动分析识别监控方法及系统 |
| CN110084228A (zh) * | 2019-06-25 | 2019-08-02 | 江苏德劭信息科技有限公司 | 一种基于双流卷积神经网络的危险行为自动识别方法 |
| CN110349136A (zh) * | 2019-06-28 | 2019-10-18 | 厦门大学 | 一种基于深度学习的篡改图像检测方法 |
| US10551846B1 (en) * | 2019-01-25 | 2020-02-04 | StradVision, Inc. | Learning method and learning device for improving segmentation performance to be used for detecting road user events using double embedding configuration in multi-camera system and testing method and testing device using the same |
| CN111080628A (zh) * | 2019-12-20 | 2020-04-28 | 湖南大学 | 图像篡改检测方法、装置、计算机设备和存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106846303A (zh) * | 2016-12-30 | 2017-06-13 | 平安科技（深圳）有限公司 | 图像篡改检测方法及装置 |
| WO2018128741A1 (en) * | 2017-01-06 | 2018-07-12 | Board Of Regents, The University Of Texas System | Segmenting generic foreground objects in images and videos |
| US10733428B2 (en) * | 2017-02-01 | 2020-08-04 | The Government Of The United States Of America, As Represented By The Secretary Of The Navy | Recognition actions on event based cameras with motion event features |
| US11017296B2 (en) * | 2018-08-22 | 2021-05-25 | Ford Global Technologies, Llc | Classifying time series image data |
| KR102140340B1 (ko) * | 2018-10-18 | 2020-07-31 | 엔에이치엔 주식회사 | 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템 및 이를 이용하여 무보정 탐지 서비스를 제공하는 방법 |
-
2020
- 2020-05-09 CN CN202010388676.8A patent/CN111553916B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108269221A (zh) * | 2018-01-23 | 2018-07-10 | 中山大学 | 一种jpeg重压缩图像篡改定位方法 |
| CN108831506A (zh) * | 2018-06-25 | 2018-11-16 | 华中师范大学 | 基于gmm-bic的数字音频篡改点检测方法及系统 |
| US10551846B1 (en) * | 2019-01-25 | 2020-02-04 | StradVision, Inc. | Learning method and learning device for improving segmentation performance to be used for detecting road user events using double embedding configuration in multi-camera system and testing method and testing device using the same |
| CN109934221A (zh) * | 2019-02-22 | 2019-06-25 | 山东大学 | 基于注意力机制的电力设备自动分析识别监控方法及系统 |
| CN110084228A (zh) * | 2019-06-25 | 2019-08-02 | 江苏德劭信息科技有限公司 | 一种基于双流卷积神经网络的危险行为自动识别方法 |
| CN110349136A (zh) * | 2019-06-28 | 2019-10-18 | 厦门大学 | 一种基于深度学习的篡改图像检测方法 |
| CN111080628A (zh) * | 2019-12-20 | 2020-04-28 | 湖南大学 | 图像篡改检测方法、装置、计算机设备和存储介质 |
Non-Patent Citations (11)
| Title |
|---|
| A New Approach to JPEG Tampering Detection Using Convolutional Neural Networks;Andrey Kuznetsov;IEEE;全文 * |
| Learning Rich Features for Image Manipulation Detection;Peng Zhou1;IEEE;1053-1061 * |
| Peng Qi1,2 , Juan Cao1,2.Exploiting Multi-domain Visual Information for Fake News Detection.IEEE.2019,全文. * |
| 刘助龙 ; 赵于前 ; 廖苗 ; 张竣凯 ; 戴塔根 ; .基于JPEG压缩的数字化地质资料篡改探测方法及应用.中国有色金属学报.2012,22(第03期),961-969. * |
| 基于CNN 的湍流图像退化强度分类研究;曹 娟;计算机系统应用;全文 * |
| 基于JPEG压缩的数字化地质资料篡改探测方法及应用;刘助龙;赵于前;廖苗;张竣凯;戴塔根;;中国有色金属学报(第03期);全文 * |
| 基于深度学习的JPEG图像篡改取证技术;刘俊伯;马源;魏尧;和嘉鹏;;网络安全技术与应用(第06期);全文 * |
| 基于深度学习的手语识别综述;张淑军;张群;李辉;;电子与信息学报(第04期);全文 * |
| 基于深度学习的数字图像色彩篡改 被动取证研究;李煜泽;硕士学位论文;全文 * |
| 多重JPEG压缩图像的压缩痕迹检测;韩洪立;李叶舟;牛少彰;孙晓婷;;应用科学学报(第06期);全文 * |
| 张淑军 ; 张群 ; 李辉 ; .基于深度学习的手语识别综述.电子与信息学报.2020,(第04期),230-241. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111553916A (zh) | 2020-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111553916B (zh) | 基于多种特征和卷积神经网络的图像篡改区域检测方法 | |
| CN103400150B (zh) | 一种基于移动平台进行道路边缘识别的方法及装置 | |
| JP2009266189A (ja) | 画像判別装置、画像検索装置、画像検索プログラムおよび記録媒体 | |
| CN108146093B (zh) | 一种去除票据印章的方法 | |
| CN107705254B (zh) | 一种基于街景图的城市环境评估方法 | |
| US7680339B2 (en) | Image processing method and apparatus for edge detection in an image | |
| WO2009114967A1 (zh) | 基于移动扫描的图像处理方法及装置 | |
| CN110288623B (zh) | 无人机海上网箱养殖巡检图像的数据压缩方法 | |
| CN112907598A (zh) | 一种基于注意力cnn文档证件类图像篡改检测方法 | |
| JPWO2019009214A1 (ja) | 画像から変状を検知する画像処理装置、画像処理方法及びプログラム | |
| JP2011054080A (ja) | 画像処理装置および方法、並びにプログラム | |
| CN115937237A (zh) | 一种基于边缘变换域的局部特征提取方法 | |
| CN115439803A (zh) | 一种基于深度学习模型的烟雾光流识别方法 | |
| CN111652033A (zh) | 基于OpenCV的车道线检测方法 | |
| CN110942456A (zh) | 篡改图像检测方法、装置、设备及存储介质 | |
| WO2023065505A1 (zh) | 一种浮游生物原位观测的图像预处理方法及系统 | |
| CN111882525A (zh) | 一种基于lbp水印特征和细粒度识别的图像翻拍检测方法 | |
| CN114445814B (zh) | 一种字符区域提取方法、计算机可读存储介质 | |
| JP2005275854A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよびこのプログラムを記憶した記録媒体 | |
| CN116052090A (zh) | 图像质量评估方法、模型训练方法、装置、设备及介质 | |
| CN111583341B (zh) | 云台像机移位检测方法 | |
| CN114038030A (zh) | 图像篡改识别方法、设备及计算机存储介质 | |
| Zhang et al. | Detecting digital image forgeries through weighted local entropy | |
| Fan et al. | Image tampering detection using noise histogram features | |
| CN111259754A (zh) | 一种端到端的浮游生物数据库构建系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 12 / F, building 4, 108 Xiangyuan Road, Gongshu District, Hangzhou City, Zhejiang Province 310015 Applicant after: Institute of digital economy industry, Institute of computing technology, Chinese Academy of Sciences Applicant after: Hangzhou Zhongke Ruijian Technology Co.,Ltd. Address before: Room 302, building 5, 17-1 Chuxin Road, Hangzhou City, Zhejiang Province, 310015 Applicant before: Hangzhou Zhongke Ruijian Technology Co.,Ltd. Applicant before: Institute of digital economy industry, Institute of computing technology, Chinese Academy of Sciences |
|
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 310015 floor 12, building D, No. 108 Xiangyuan Road, Gongshu District, Hangzhou City, Zhejiang Province Applicant after: Zhongke Computing Technology Innovation Research Institute Applicant after: Hangzhou Zhongke Ruijian Technology Co.,Ltd. Address before: 12 / F, building 4, 108 Xiangyuan Road, Gongshu District, Hangzhou City, Zhejiang Province 310015 Applicant before: Institute of digital economy industry, Institute of computing technology, Chinese Academy of Sciences Applicant before: Hangzhou Zhongke Ruijian Technology Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Cao Juan Inventor after: Yang Tianyun Inventor after: Xie Tian Inventor after: Guo Junbo Inventor before: Cao Juan Inventor before: Yang Tianyun Inventor before: Xie Tian Inventor before: Liu Haoyuan Inventor before: Guo Junbo |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |