CN118115729B - 多层次多尺度特征交互的图像伪造区域识别方法及系统 - Google Patents

多层次多尺度特征交互的图像伪造区域识别方法及系统 Download PDF

Info

Publication number
CN118115729B
CN118115729B CN202410508896.8A CN202410508896A CN118115729B CN 118115729 B CN118115729 B CN 118115729B CN 202410508896 A CN202410508896 A CN 202410508896A CN 118115729 B CN118115729 B CN 118115729B
Authority
CN
China
Prior art keywords
features
level
feature
image
dimension
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410508896.8A
Other languages
English (en)
Other versions
CN118115729A (zh
Inventor
高赞
李磊
马春杰
赵一博
李传森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Zhonglian Audio Visual Information Technology Co ltd
Tianjin University of Technology
Qilu University of Technology
Shandong Institute of Artificial Intelligence
Original Assignee
Shandong Zhonglian Audio Visual Information Technology Co ltd
Tianjin University of Technology
Qilu University of Technology
Shandong Institute of Artificial Intelligence
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Zhonglian Audio Visual Information Technology Co ltd, Tianjin University of Technology, Qilu University of Technology, Shandong Institute of Artificial Intelligence filed Critical Shandong Zhonglian Audio Visual Information Technology Co ltd
Priority to CN202410508896.8A priority Critical patent/CN118115729B/zh
Publication of CN118115729A publication Critical patent/CN118115729A/zh
Application granted granted Critical
Publication of CN118115729B publication Critical patent/CN118115729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及数字图像处理技术领域，尤其涉及一种多层次多尺度特征交互的图像伪造区域识别方法及系统。本发明包括以下步骤：构建规范化的输入图像，将待检图像输入到骨干网络中提取特征；递进式多层次多尺度特征融合；双重激活合并通道优化编码；特征压缩聚合解码；损失函数监督训练。本发明通过多层次信息与多尺度信息交互融合共同探索数字伪造区域的差异性特征，通道优化模块进一步提升了显著性特征编码的准确性，压缩聚合解码对显著性编码进行了有效翻译，充分挖掘了伪造区域与非伪造区域之间的差异性，将伪造区域提取出来。

Description

多层次多尺度特征交互的图像伪造区域识别方法及系统
技术领域
本发明涉及数字图像处理技术领域，尤其涉及一种多层次多尺度特征交互的图像伪造区域识别方法及系统。
背景技术
随着信息化的发展，数字图像的获取变得越来越容易，然而随着图像编辑工具的出现，修改图像、伪造图像的门槛也越来越低。伪造的数字图像是对原始信息的篡改和伪造，对于社会治安、金融安全等领域影响重大。虚假的伪造图像干扰了正常的社会秩序容易造成诸多不良影响。相对于复杂的伪造方法，最简单最常见的便是图像的拼接伪造，这种伪造技术将第三方图像的部分区域剪切粘贴在原始图像上，造成某些图像语义的曲解或是图像主题的错乱。这种数字化拼接伪造技术往往将语义信息整体剪切以消除在伪造图像上的不和谐边界。随着互联网技术的发展，这种伪造的剪切图像日益增多，当下对于伪造数字图像检测方法中，对于频域、压缩域和噪声域的利用较为常见，但对于多尺度多层次特征的融合利用上明显不足。伪造区域的数字化差异信息难以有效利用是数字图像伪造检测和识别的最大障碍，我们希望化繁为简，抓住关键性线索，通过对多尺度多层次信息的利用来挖掘放大伪造区域和非伪造区域之间的像素差异，通过多尺度信息与多层次信息的交互使得伪造区域与非伪造区域间的差异性特征最大化，对最大化的差异性伪造特征进行特征编码，并使用卷积压缩聚合的方式进行解码还原数字伪造区域。我们利用这种方法对数字图像的伪造区域进行定位提取。
发明内容
本发明针对现有技术的不足，研制一种多层次多尺度特征交互的图像伪造区域识别方法及系统，能够有效地在数字图像伪造数据集上进行定位和提取。
本发明解决技术问题的技术方案为：一方面，本发明提供了一种多层次多尺度特征交互的图像伪造区域识别方法，包括以下步骤：
步骤一、构建规范化输入图像，将待检图像输入到骨干网络中提取不同尺度下的多尺度特征：
步骤二、多尺度特征递进式提取多层次特征融合得到显著性特征：
将不同阶段的尺度特征进行递进式多层次特征提取，每个阶段的尺度特征分别在三个不同层次上进行递进式特征提取，并通过下采样和上采样操作保证每个递进式多层次特征图尺寸相同，融合递进式多层次特征得到伪造区域的显著性特征；
步骤三、双重激活合并通道优化编码：
将融合所得的显著性特征使用不同的激活函数连续重复激活两次,然后序列化地在图像通道维度上产生通道特征，通道特征与显著性特征做点积进行伪造区域识别的嵌合特征修正，通过修正的显著性特征作为数字伪造区域的特征编码；
步骤四、特征压缩聚合解码：
将特征编码采样矫正后分别进行卷积压缩和聚合，同时应用上采样方法和下采样方法保持特征张量尺寸一致，对压缩聚合后的特征使用全连接网络进行通道数的调整，最后联合上采样和卷积完成特征编码的解码；
步骤五、提取损失函数监督训练：
解码后的识别区域与GroundTruth实况图像做像素级的监督，并使用像素级的Dice损失函数训练网络。
上述多层次多尺度特征交互的图像伪造区域识别方法基础上，图像提取特征构建具体如下：
输入图像数据增强后进行规范化调整，作为网络的输入，输入尺寸规范化固定为C×H×W，W为图像像素宽度，H为图像像素高度，C为图像通道数；
图像输入过程中应用数字化滤波进行去噪，在保持分辨率的情况下，图像输入特征提取骨干网络同时共享参数，在四个阶段上分别获取不同尺度的多尺度特征。
上述多层次多尺度特征交互的图像伪造区域识别方法基础上，递进式卷积层定义如下：
公式中PCONVi(X)表示递进式卷积层，X表示递进式卷积层输入的由主干网络各阶段提取到的特征图，i表示递进式卷积层的层级标号，表示sigmiod函数，Ni表示递进式卷积层中卷积层的数目，CONV3×3表示核大小为3×3的单个卷积层，P表示池化操作。
上述多层次多尺度特征交互的图像伪造区域识别方法基础上，双重激活合并通道优化编码具体步骤如下：将获得的显著性特征分别使用不同的激活函数连续重复激活两次,分别经过通道优化模块产生通道特征张量；通道特征张量与显著性特征张量做乘积获得显著性特征编码；
连续激活时首次激活选用ReLU函数：ReLU（x）=x，when x>0。二次激活使用修饰后的双曲正切函数：；
通道优化模块为三分支结构，每条分支结构类似，都包含维度变换连接、优化权重生成、维度恢复三个步骤，其中第一步骤中的维度变换与第三步骤中的维度恢复互为逆操作，三条分支区别在于维度变换时所选取的通道维度不同，最后整合三条分支的输出作为通道优化模块的输出；
通道优化模块定义如下：
，
，
；
公式中MP表示最大池化，AP表示平均池化，i表示分支标号，表示sigmiod函数，©表示连接操作，conv表示3×3的卷积核，BN表示BN层；表示不同分支的维度转换；表示不同分支对应的维度逆转换；，分别为各分支的优化权重和各分支的输出结果。具体变现为：显著性特征的三条分支优化权重分别为，，，三条分支输出分别为;
,
,
，分别表示通道优化模块的输出和输入，具体表现为：在第一、第二、第三、第四尺度上的输入分别为S1，S2，S3，S4，输出分别为T1，T2，T3，T4。
上述多层次多尺度特征交互的图像伪造区域识别方法基础上，特征压缩聚合解码具体步骤如下：
显著性特征编码使用上采样和下采样操作调整尺寸大小，同时对低级特征求和，对高级特征做乘积，形成低级语义特征和高级语义特征，连接语义特征同时使用卷积进一步压缩语义聚合特征，最后调整通道数目并使用上采样进行解码，解码后输出预测图像，特征压缩聚合解码器定义如下：
，
公式中predict表示模型方法最终得到的预测图，U和D分别表示上采样操作和下采样操作,表示通道数调整，表示连接操作，表示3×3的卷积算子，S1′，S2′，S3′，S4′为四个不同尺度下的显著性特征编码。
上述多层次多尺度特征交互的图像伪造区域识别方法基础上，所使用的目标函数为提取损失函数。在识别数字伪造区域时，在像素级上使用受样本影响小，抵抗伪造区域不均衡性较好的Dice损失作为提取损失，其具体定义如下所示：
，
其中，表示像素级提取损失函数，表示伪造图像的GroundTruth实况图像，表示模型方法检测得到的伪造识别区域，i和j表示图像的像素，H为像素高度，W为像素宽度。
第二方面，本发明提供了一种多层次多尺度特征交互的图像伪造区域识别系统，包括以下步骤：
特征提取模块：用于将待检图像输入到骨干网络中提取不同尺度下的多尺度特征：
多尺度特征递进式提取多层次特征融合模块：用于将不同阶段的尺度特征进行递进式多层次特征提取，每个阶段的尺度特征分别在三个不同层次上进行递进式特征提取，并通过下采样和上采样操作保证每个递进式多层次特征图尺寸相同，融合递进式多层次特征得到伪造区域的显著性特征；
双重激活合并通道优化编码模块：用于将融合所得的显著性特征使用不同的激活函数连续重复激活两次,然后序列化地在图像通道维度上产生通道特征，通道特征与显著性特征做点积进行伪造区域识别的嵌合特征修正，通过修正的显著性特征作为数字伪造区域的特征编码；
特征压缩聚合解码模块：用于将特征编码采样矫正后分别进行卷积压缩和聚合，同时应用上采样方法和下采样方法保持特征张量尺寸一致，对压缩聚合后的特征使用全连接网络进行通道数的调整，最后联合上采样和卷积完成特征编码的解码；
损失函数监督训练模块：解码后的识别区域与GroundTruth实况图像做像素级的监督提取，并使用像素级的Dice损失函数训练网络。
发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案具有如下优点或有益效果：
本发明通过构建规范化的输入图像能够有效应对各种复杂的图像伪造场景，包括不同伪造手段、伪造程度和伪造区域的大小及形状等，拓宽了发明方法的使用范围。递进式多层次多尺度特征融合通过在不同层次和不同尺度上提取和融合特征信息，能够更全面、更深入地充分挖掘数字伪造区域的差异性特征，提高了对伪造区域的识别能力和准确性。双重激活合并通道优化编码进一步提升了显著性特征编码的准确性，同时也增强了系统的鲁棒性和适应性。特征压缩聚合解码通过对显著性编码进行翻译和压缩聚合，有效地强化伪造区域的显著性特征，同时抑制非伪造区域的干扰信息，突出伪造区域与非伪造区域之间的差异性，提高了伪造区域识别的准确度。本发明在损失函数约束下优化模型参数和性能，提高了模型的泛化能力，增强了实际应用中的稳定性和可靠性，广泛地适应各种伪造图像识别任务场景，对同源性图像伪造和异源性图像伪造都有出色的识别效果。本发明具有准确高效、适用广泛、鲁棒性强等优点，为数字图像取证、数字图像伪造鉴别提供了有力的技术手段。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明的结构图。
图2为本发明模型性能展示。
具体实施方式
为了能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。
实施例1
如图1所示，一种多层次多尺度特征交互的图像伪造区域检测方法，实现步骤细节如下：
步骤一、构建规范化输入图像，将待检图像输入骨干网络，提取不同尺度下的多尺度特征：
所述提取多尺度特征获取过程如下：在模型方法的训练阶段，首先使用图像增强手段扩充训练数据集，数据增强手段包含水平翻转、垂直翻转、色彩空间变换、马赛克式拼接、噪声添加五种方式，扩充后的训练图像全部为RGB三通道数字图像；在测试阶段，即使用本方法进行数字图像伪造区域识别时，将待检图像滤波去噪，例如可以使用均值值滤波、中值滤波等数字化滤波去噪方式，滤波去噪的同时将待检图像规范化为固定尺寸大小，作为网络的输入，输入维度分别为C×H×W，W为图片的像素宽度，H为图片的像素高度，C为图像的通道数；
具体的，本实施例中将输入图像规范化为3×512×512大小的RGB三通道数字化图像，骨干网络使用ResNet系列的残差网络，ResNet101骨干网络保证精确度的同时又具有较好的应用性，值得注意的是，本发明的方法有较好的移植性；具体的，将骨干网络替换为其他网络，例如ConvNeXt、HR-Net等其他骨干网络时，本发明的方法仍具有较好的可用性，在使用ResNet101作为骨干网络提取特征时，将四个不同阶段的输出作为四个不同尺度的多尺度特征，请注意，在不同阶段进行特征提取时共享网络参数；
步骤二、多尺度特征递进式提取多层次特征融合得到显著性特征：
将不同阶段的多尺度特征进行递进式多层次特征提取，每个阶段的多尺度特征分别在三个不同层次上进行，递进式多层次特征通过递进式卷积层来实现，得到的多层次特征在激活后被重新采样，分别在各个阶段融合形成显著性特征，递进式多层次特征提取所使用的递进式卷积层主要使用池化-卷积堆叠层、批量规范化层和激活层构成，每个阶段分别由三组递进式卷积层提取层次特征，并且这三组递进式卷积层所包含的卷积堆叠层数量呈递进式增加；
递进式的卷积层具体表现为：每一阶段卷积层数量都为上一阶段卷积层数量的递进式增加，每一层次卷积层数量都为上一层次卷积层数量的递进式增加，描述如下：
，
公式中PCONVi(X)表示递进式卷积层，X表示递进式卷积层输入的由主干网络各阶段提取到的特征图，i表示递进式卷积层的层级标号，表示sigmiod函数，Ni表示递进式卷积层中卷积层的数目，CONV3×3表示单个卷积层，且卷积核大小为3×3，P表示池化操作；
具体来说：骨干网络第一阶段提取到的多尺度特征需要顺次通过三个不同的递进式卷积层来获取各层次的层次特征；第一个递进式卷积层先将多尺度特征池化，然后应用1个卷积层提取，再经过sigmoid函数激活后得到第一阶段第一层次特征，记为p11；第二个递进式卷积层亦是先进性池化操作，然后应用2个卷积层做提取，此时这里的卷积层比上一层次递进1层，再经过sigmoid函数激活后得到第一阶段第二层次特征，记为p12；第三个递进式卷积层亦是先进行池化，然后应用3个卷积层提取，此时这里的卷积层比上一层次再次递进1层，再经过sigmoid函数激活后得到第一阶段第三层次特征，记为p13；
骨干网络第二阶段提取到的多尺度特征需要顺次通过三个不同的递进式卷积层来获取各层次的层次特征。第一个递进式卷积层先将多尺度特征池化，然后应用2个卷积层提取，此时这里的卷积层比上一阶段递进1倍，再经过sigmoid函数激活后得到第二阶段第一层次特征，记为p21；第二个递进式卷积层亦是先进性池化操作，然后应用4个卷积层做提取，此时这里的卷积层比上一阶段递进1倍，再经过sigmoid函数激活后得到第二阶段第二层次特征，记为p22；第三个递进式卷积层亦是先进行池化，然后应用6个卷积层提取，此时这里的卷积层比上一阶段再次递进1倍，再经过sigmoid函数激活后得到第二阶段第三层次特征，记为p23；
骨干网络第三阶段提取到的多尺度特征与第二阶段提取到的多尺度特征处理类似，也是顺次通过三个不同的递进式卷积层来获取各层次的层次特征，每个层次的池化和激活操作不变，三个递进式卷积层数量分别在上一阶段基础上递进1倍，具体为4层、8层、12层，所获取的三个层次特征依次记为p31,p32,p33；
骨干网络第四阶段提取到的多尺度特征与前二个阶段提取过程类似，但高层次的卷积会导致网络性能的不稳定，所以第四阶段使用的三个递进式卷积层数量与第三阶段各层次使用的相一致，具体为4层、8层、12层，所获取的三个层次特征依次记为p41,p42,p43；
值得注意的是，为了增强可训练性，当卷积层数目超过3层时，在相邻卷积层之间插入一个批量规范化层来增加网络的稳定性，对于第一阶段获取到的三个层次特征p11，p12，p13进行采样后融合为伪造图像第一阶段的显著性特征，记为S1，与之类似，第二、第三、第四阶段的各个层次特征分别采样融合为第二、第三、第四阶段的显著性特征，分别记为S2，S3，S4；
步骤三、双重激活合并通道优化编码：
将四个多层次显著性特征S1，S2，S3，S4分别使用不同的激活函数连续重复激活两次,然后四个显著性特征分别经过通道优化模块在图像通道维度上产生通道特征张量T1，T2，T3，T4，通道特征张量包含了不同层次的显著性信息，且优化了通道信息，为后续的伪造区域预测提供了丰富的特征表示；
同尺度下的通道特征张量与显著性特征张量做乘积进行伪造区域预测的嵌合特征修正，获得四个尺度的显著性特征编码S1′，S2′，S3′，S4′，这里旨在通过特征融合进一步提升伪造区域预测的精度，经过修正的显著性特征作为伪造区域的特征编码；
连续激活时首次激活选用ReLU函数：ReLU（x）=x，when x>0，ReLU函数的非饱和性使得模型在训练过程中能够更快地收敛，同时其稀疏性有助于减少过拟合的风险；二次激活使用修饰后的双曲正切函数：，这样的修饰旨在增大零点附近的梯度，提高模型的训练效率，经过连续两次激活后，每个显著性特征都得到了充分的非线性变换和增强；
通道优化模块为三分支结构，每条分支结构类似，都包含维度变换连接、优化权重生成、维度恢复三个步骤，其中第一步骤中的维度变换与第三步骤中的维度恢复互为逆操作，三条分支区别在于维度变换时所选取的通道维度不同，第一条分支选取第0维度与第1维度，第二条分支选取第1维度与第2维度，第一条分支选取第2维度与第0维度，最后等比例整合三条分支的输出；
下面阐述通道优化模块的三个步骤，第一步骤，维度变换连接：将修正后的显著特征第0维度与第1维度对调，分别使用最大池化和平均池化做特征提取，然后连接；第二步骤，优化权重生成：对步骤一的输出进行卷积然后使用sigmoid生成优化权重；第三步骤，维度恢复：将步骤二获取的优化权重加权到修正的显著性特征上，先过BN层后使用与步骤一互逆的维度变换恢复原有尺寸；最后三条分支等比例整合；
第一分支公式表示如下：
，
，
；
同理第二第三分支表示如下：
，
，
，
，
，
；
三条分支等比例按如下方式进行整合：
，
公式中MP表示最大池化，AP表示平均池化，©表示连接操作，conv表示3×3的卷积核，BN表示BN层；表示函数；，，，分别表示第一分支、第二分支、第三分支的维度转换；，，分别表示第一分支、第二分支、第三分支对应的维度逆转换；与分别为通道优化模块的输出和输入，具体变现为：在第一、第二、第三、第四尺度上的输入分别为S1，S2，S3，S4，输出分别为T1，T2，T3，T4；最后同尺度下的通道特征张量T1，T2，T3，T4与显著性特征张量S1，S2，S3，S4分别做乘积进行伪造区域预测的嵌合特征修正，获得四个显著性特征编码S1′，S2′，S3′，S4′；
步骤四、特征收缩融合解码：
四个显著性特征编码S1′，S2′，S3′，S4′使用上采样和下采样操作调整尺寸大小，同时对低级特征求和，对高级特征做乘积，形成低级语义特征和高级语义特征，达到收缩低级语义特征的同时融合高级语义特征的目的；连接压缩后的语义特征同时使用卷积进一步聚合；最后调整通道数目并使用上采样进行解码，解码后输出预测图像；
具体表示为：
，
公式中predict表示模型方法最终得到的预测图，U和D分别表示上采样和下采样,表示通道数调整，表示连接操作，表示3×3的卷积算子，S1′，S2′，S3′，S4′为四个不同尺度下的显著性特征张量编码；
步骤五、损失函数监督训练：
解码后的预测图像与GroundTruth实况图像做像素级的提取损失，并使用像素级的提取损失训练网络，像素级提取损失由DiceLoss形式构成，其函数定义如下：
，
其中，表示提取损失函数，表示GroundTruth实况图像，表示模型方法检测得到的伪造识别区域，i和j表示图像的像素，H为像素高度，W为像素宽度。
为了检验此发明的有效性，在DEFACTO数字图像伪造数据集上进行了测试。DEFACTO是一个大规模的数字图像伪造数据集，它是使用上下文数据库中的Microsoft公共对象自动生成的。在这个数据集中包含了拼接伪造、复制粘贴伪造、和修复涂抹三种伪造类型，伪造对象包含了人物、动物、图形、标志、交通工具等多种不同类别，场景涉及室内、室外、森林、街道等多种场所，伪造区域大小不一、规则不一，呈现出方形、圆形、三角形等形状区域，是一个很有挑战性的数字伪造图像数据集，按照7:3比例划分训练集和测试集，使用数据12K，同时采用马修斯相关系数MCC、F1分数和准确度ACC作为评价指标。
主流的数字伪造检测算法与本发明的性能比较如下表所示，实验设置52个epoch,采用优化方法为SGD，默认学习率是1e-3，损失函数为Dice损失 ；对实验数据划分训练集和测试集，使用训练集训练模型并在测试集上进行测试。
本发明与H-LSTM（混合长短时记忆编码器-解码器架构）,GSR-Net（生成分割细化网络）,SPAN（空间金字塔注意力网络）,CAT-Net（压缩伪影跟踪网络）四种检测方法对比，在MCC,F1，ACC三个性能指标上都获得了较好的性能，对伪造的数字图像能够较好的识别。
表1 本发明中的方法与其他方法的比较结果
从表1中可以看到本发明的方法效果在MCC,F1，ACC三个性能指标上都获得了较好的性能，对伪造的数字图像能够较好的识别。
其中各个方法具体解释如下：H-LSTM（混合长短时记忆编码器-解码器架构）：该架构利用重采样特征、LSTM（长短时记忆单元）和编码器-解码器网络分析伪造区域和非伪造区域之间的判别特征;
GSR-Net（生成分割细化网络）：这种方法是一种基于语义分割的图像处理方法，包括生成、分割和细化三个阶段，有很好的泛化能力;
SPAN（空间金字塔注意力网络）：这是一种用于检测和定位多种伪造类型的空间金字塔注意力网络，网络通过构建局部自注意块的金字塔，在多个尺度上高效地对图像块之间的关系进行建模;
CAT-Net（压缩伪影跟踪网络）：该方法是一种端到端的全卷积神经网络，联合考虑包括RGB域和DCT域，并基于DCT系数来跟踪图像压缩线索。
实施例2
一种多层次多尺度特征交互的图像伪造区域识别系统，包括以下步骤：
特征提取模块：用于将待检图像输入到骨干网络中提取不同尺度下的多尺度特征：
多尺度特征递进式提取多层次特征融合模块：用于将不同阶段的尺度特征进行递进式多层次特征提取，每个阶段的尺度特征分别在三个不同层次上进行递进式特征提取，并通过下采样和上采样操作保证每个递进式多层次特征图尺寸相同，融合递进式多层次特征得到伪造区域的显著性特征；
双重激活合并通道优化编码模块：用于将融合所得的显著性特征使用不同的激活函数连续重复激活两次,然后序列化地在图像通道维度上产生通道特征，通道特征与显著性特征做点积进行伪造区域识别的嵌合特征修正，通过修正的显著性特征作为数字伪造区域的特征编码；
特征压缩聚合解码模块：用于将特征编码采样矫正后分别进行卷积压缩和聚合，同时应用上采样方法和下采样方法保持特征张量尺寸一致，对压缩聚合后的特征使用全连接网络进行通道数的调整，最后联合上采样和卷积完成特征编码的解码；
损失函数监督训练模块：解码后的识别区域与GroundTruth实况图像做像素级的监督提取，并使用像素级的Dice损失函数训练网络。
上述虽然结合附图对发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.一种多层次多尺度特征交互的图像伪造区域识别方法，其特征在于，包括以下步骤：
步骤一、构建规范化输入图像，将待检图像输入到骨干网络中提取不同尺度下的多尺度特征：
步骤二、多尺度特征递进式提取多层次特征融合得到显著性特征：
将不同阶段的尺度特征进行递进式多层次特征提取，每个阶段的尺度特征分别在三个不同层次上进行递进式特征提取，递进式多层次特征通过递进式卷积层来实现，得到的多层次特征在激活后被重新采样，分别在各个阶段融合形成显著性特征，递进式多层次特征提取所使用的递进式卷积层主要使用池化-卷积堆叠层、批量规范化层和激活层构成，每个阶段分别由三组递进式卷积层提取层次特征，并且这三组递进式卷积层所包含的卷积堆叠层数量呈递进式增加，并通过下采样和上采样操作保证每个递进式多层次特征图尺寸相同，融合递进式多层次特征得到伪造区域的显著性特征；
步骤三、双重激活合并通道优化编码：
将融合所得的显著性特征使用不同的激活函数连续重复激活两次,然后序列化地经过通道优化模块在图像通道维度上产生通道特征，通道特征与显著性特征做点积进行伪造区域识别的嵌合特征修正，通过修正的显著性特征作为数字伪造区域的特征编码；
通道优化模块为三分支结构，每条分支结构类似，都包含维度变换连接、优化权重生成、维度恢复三个步骤，其中第一步骤中的维度变换与第三步骤中的维度恢复互为逆操作，三条分支区别在于维度变换时所选取的通道维度不同，第一条分支选取第0维度与第1维度，第二条分支选取第1维度与第2维度，第一条分支选取第2维度与第0维度，最后等比例整合三条分支的输出；
通道优化模块的三个步骤，第一步骤，维度变换连接：将修正后的显著特征第0维度与第1维度对调，分别使用最大池化和平均池化做特征提取，然后连接；第二步骤，优化权重生成：对步骤一的输出进行卷积然后使用sigmoid生成优化权重；第三步骤，维度恢复：将步骤二获取的优化权重加权到修正的显著性特征上，先过BN层后使用与步骤一互逆的维度变换恢复原有尺寸；最后三条分支等比例整合；
步骤四、特征压缩聚合解码：
将特征编码采样矫正后分别进行卷积压缩和聚合，同时应用上采样方法和下采样方法保持特征张量尺寸一致，对压缩聚合后的特征使用全连接网络进行通道数的调整，最后联合上采样和卷积完成特征编码的解码；
步骤五、损失函数监督训练：
解码后的识别区域与GroundTruth实况图像做像素级的监督，并使用像素级的Dice损失函数训练网络。
2.根据权利要求1所述的多层次多尺度特征交互的图像伪造区域识别方法，其特征在于，图像提取特征构建具体如下：
输入图像数据增强后进行规范化调整，作为网络的输入，输入尺寸规范化固定为C×H×W，W为图像像素宽度，H为图像像素高度，C为图像通道数；
图像输入过程中应用数字化滤波进行去噪，在保持分辨率的情况下，图像输入特征提取骨干网络同时共享参数，在四个阶段上分别获取不同尺度的多尺度特征。
3.根据权利要求1所述的多层次多尺度特征交互的图像伪造区域识别方法，其特征在于，递进式卷积层定义如下：
，
公式中PCONVi(X)表示递进式卷积层，X表示递进式卷积层输入的由主干网络各阶段提取到的特征图，i表示递进式卷积层的层级标号，表示sigmiod函数，Ni表示递进式卷积层中卷积层的数目，表示核大小为3×3的单个卷积层，P表示池化操作。
4.根据权利要求1所述的多层次多尺度特征交互的图像伪造区域识别方法，其特征在于，双重激活合并通道优化编码具体步骤如下：将获得的显著性特征分别使用不同的激活函数连续重复激活两次,分别经过通道优化模块产生通道特征张量；通道特征张量与显著性特征张量做乘积获得显著性特征编码；
连续激活时首次激活选用ReLU函数：ReLU（x）=x，when x > 0，二次激活使用修饰后的双曲正切函数：；
通道优化模块为三分支结构，每条分支结构类似，都包含维度变换连接、优化权重生成、维度恢复三个步骤，其中第一步骤中的维度变换与第三步骤中的维度恢复互为逆操作，三条分支区别在于维度变换时所选取的通道维度不同，最后整合三条分支的输出作为通道优化模块的输出；
通道优化模块定义如下：
，
，
；
公式中MP表示最大池化，AP表示平均池化，i表示分支标号，表示sigmiod函数，©表示连接操作，conv表示3×3的卷积核，BN表示BN层；表示不同分支的维度转换；表示不同分支对应的维度逆转换；，分别为各分支的优化权重和各分支的输出结果；具体变现为：显著性特征的三条分支优化权重分别为，，，三条分支输出分别为，
，
，
，分别表示通道优化模块的输出和输入，具体表现为：在第一、第二、第三、第四尺度上的输入分别为S1，S2，S3，S4，输出分别为T1，T2，T3，T4。
5.根据权利要求1所述的多层次多尺度特征交互的图像伪造区域识别方法，其特征在于，特征压缩聚合解码具体步骤如下：
显著性特征编码使用上采样和下采样操作调整尺寸大小，同时对低级特征求和，对高级特征做乘积，形成低级语义特征和高级语义特征，连接语义特征同时使用卷积进一步压缩语义聚合特征，最后调整通道数目并使用上采样进行解码，解码后输出预测图像，特征压缩聚合解码器定义如下：
，
公式中predict表示模型方法最终得到的预测图，U和D分别表示上采样操作和下采样操作,表示通道数调整，表示连接操作，表示3×3的卷积算子，S1′，S2′，S3′，S4′为四个不同尺度下的显著性特征编码。
6.根据权利要求1所述的多层次多尺度特征交互的图像伪造区域识别方法，其特征在于，所使用的目标函数为提取损失函数，该损失函数具体如下：
在识别数字伪造区域时，在像素级上使用受样本影响小，抵抗伪造区域不均衡性较好的Dice损失作为提取损失函数，其函数定义如下：
，
其中，表示像素级提取损失函数，表示伪造图像的GroundTruth实况图像，表示模型方法检测得到的伪造识别区域，i和j表示图像的像素，H为像素高度，W为像素宽度。
7.一种多层次多尺度特征交互的图像伪造区域识别系统，其特征在于，执行如权利要求1-6中任一项所述的多层次多尺度特征交互的图像伪造区域识别方法，包括以下步骤：
特征提出模块：用于将待检图像输入到骨干网络中提取不同尺度下的多尺度特征：
多尺度特征递进式提取多层次特征融合模块：用于将不同阶段的尺度特征进行递进式多层次特征提取，每个阶段的尺度特征分别在三个不同层次上进行递进式特征提取，并通过下采样和上采样操作保证每个递进式多层次特征图尺寸相同，融合递进式多层次特征得到伪造区域的显著性特征；
双重激活合并通道优化编码模块：用于将融合所得的显著性特征使用不同的激活函数连续重复激活两次,然后序列化地在图像通道维度上产生通道特征，通道特征与显著性特征做点积进行伪造区域识别的嵌合特征修正，通过修正的显著性特征作为数字伪造区域的特征编码；
特征压缩聚合解码模块：用于将特征编码采样矫正后分别进行卷积压缩和聚合，同时应用上采样方法和下采样方法保持特征张量尺寸一致，对压缩聚合后的特征使用全连接网络进行通道数的调整，最后联合上采样和卷积完成特征编码的解码；
提取损失函数监督训练模块：解码后的识别区域与GroundTruth实况图像做像素级的监督提取，并使用像素级的Dice损失函数训练网络。
CN202410508896.8A 2024-04-26 2024-04-26 多层次多尺度特征交互的图像伪造区域识别方法及系统 Active CN118115729B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410508896.8A CN118115729B (zh) 2024-04-26 2024-04-26 多层次多尺度特征交互的图像伪造区域识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410508896.8A CN118115729B (zh) 2024-04-26 2024-04-26 多层次多尺度特征交互的图像伪造区域识别方法及系统

Publications (2)

Publication Number Publication Date
CN118115729A CN118115729A (zh) 2024-05-31
CN118115729B true CN118115729B (zh) 2024-07-26

Family

ID=91219350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410508896.8A Active CN118115729B (zh) 2024-04-26 2024-04-26 多层次多尺度特征交互的图像伪造区域识别方法及系统

Country Status (1)

Country Link
CN (1) CN118115729B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118279306B (zh) * 2024-06-03 2024-08-09 齐鲁工业大学(山东省科学院) 一种边缘引导的双链多尺度图像伪造区域检测方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465790A (zh) * 2020-12-03 2021-03-09 天津大学 基于多尺度卷积和三线性全局注意力的表面缺陷检测方法
CN116682141A (zh) * 2023-06-05 2023-09-01 厦门华厦学院 基于多尺度递进式感知的多标签行人属性识别方法及介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field
CN112767997B (zh) * 2021-02-04 2023-04-25 齐鲁工业大学 一种基于多尺度卷积注意力神经网络的蛋白质二级结构预测方法
US11580646B2 (en) * 2021-03-26 2023-02-14 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on U-Net
CN115115676A (zh) * 2022-04-29 2022-09-27 腾讯医疗健康(深圳)有限公司 图像配准方法、装置、设备和存储介质
CN115035377B (zh) * 2022-06-15 2024-08-23 天津大学 基于双流编码和交互解码的显著性检测网络系统
CN115346094B (zh) * 2022-08-25 2023-08-22 杭州电子科技大学 一种基于主体区域引导的伪装目标检测方法
CN115620118A (zh) * 2022-09-15 2023-01-17 河北汉光重工有限责任公司 一种基于多尺度扩张卷积神经网络的显著性目标检测方法
CN115578631B (zh) * 2022-11-15 2023-08-18 山东省人工智能研究院 基于多尺度交互和跨特征对比学习的图像篡改检测方法
CN116385407A (zh) * 2023-04-10 2023-07-04 南京信息工程大学 一种基于多尺度可疑预测框的资质证书图像篡改检测方法
CN117893858A (zh) * 2023-12-08 2024-04-16 四川大学 一种融合多层级多尺度与边界信息的图像篡改定位方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465790A (zh) * 2020-12-03 2021-03-09 天津大学 基于多尺度卷积和三线性全局注意力的表面缺陷检测方法
CN116682141A (zh) * 2023-06-05 2023-09-01 厦门华厦学院 基于多尺度递进式感知的多标签行人属性识别方法及介质

Also Published As

Publication number Publication date
CN118115729A (zh) 2024-05-31

Similar Documents

Publication Publication Date Title
CN118115729B (zh) 多层次多尺度特征交互的图像伪造区域识别方法及系统
CN112348770A (zh) 一种基于多分辨率卷积网络的桥梁裂缝检测方法
CN113744153B (zh) 双分支图像修复伪造检测方法、系统、设备及存储介质
CN112907598A (zh) 一种基于注意力cnn文档证件类图像篡改检测方法
CN111275070B (zh) 一种基于局部特征匹配的签名验证方法及设备
CN114187520B (zh) 一种建筑物提取模型的构建及应用方法
CN114842524B (zh) 一种基于不规则显著性像素簇的人脸鉴伪方法
CN115345866B (zh) 一种遥感影像中建筑物提取方法、电子设备及存储介质
Su et al. Hierarchical image resampling detection based on blind deconvolution
Liu et al. Overview of image inpainting and forensic technology
Wang et al. An Intelligent Forensics Approach for Detecting Patch‐Based Image Inpainting
CN117558011B (zh) 基于自一致性矩阵和多尺度损失的图像文本篡改检测方法
CN117496583B (zh) 一种可学习局部差异的深度伪造人脸检测定位方法
Rana et al. MSRD-CNN: Multi-scale residual deep CNN for general-purpose image manipulation detection
CN112818818B (zh) 一种基于affpn的新型超高清遥感图像变化检测方法
Singh et al. StegGAN: hiding image within image using conditional generative adversarial networks
CN117314938A (zh) 一种基于多尺度特征融合译码的图像分割方法及装置
Gan et al. Highly accurate end-to-end image steganalysis based on auxiliary information and attention mechanism
CN115131244A (zh) 基于对抗学习的单幅图像去雨方法及系统
Kadha et al. Robust manipulation detection scheme for post-JPEG compressed images using CNN
Aminu et al. Detection of image manipulation with convolutional neural network and local feature descriptors
Azam et al. Evaluation of Image Support Resolution Deep Learning Technique based on PSNR Value
Dalvi et al. Deep Learning Approaches for Fingerprint Verification
CN117576567B (zh) 一种使用多层级差异特征自适应融合的遥感图像变化检测方法
CN117911410B (zh) 一种视频对象移除篡改检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant