CN116935200B - 面向审计的图像篡改检测方法、系统、设备及存储介质 - Google Patents

面向审计的图像篡改检测方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN116935200B
CN116935200B CN202311205808.9A CN202311205808A CN116935200B CN 116935200 B CN116935200 B CN 116935200B CN 202311205808 A CN202311205808 A CN 202311205808A CN 116935200 B CN116935200 B CN 116935200B
Authority
CN
China
Prior art keywords
image
edge
tampered
pixel
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311205808.9A
Other languages
English (en)
Other versions
CN116935200A (zh
Inventor
于丽娟
陈凯
孟玉飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202311205808.9A priority Critical patent/CN116935200B/zh
Publication of CN116935200A publication Critical patent/CN116935200A/zh
Application granted granted Critical
Publication of CN116935200B publication Critical patent/CN116935200B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/95—Pattern authentication; Markers therefor; Forgery detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/12—Accounting
    • G06Q40/125—Finance or payroll
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Finance (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向审计的图像篡改检测方法、系统、设备及存储介质包括对大量的财务审计图像进行快速筛查，寻找可疑的财务审计图像；首先将所有的财务审计图像进行数据预处理，得到尺寸一致的RGB图像，采用局部二值算法来获取图像的纹理特征，描述像素点周围的纹理信息；使用Canny算子对经局部二值算法处理后的特征矩阵进行特征提取，得到每个位置像素的边缘强度，最后采用分类模型进行票据筛选分类；完成对可疑的财务审计图像的再分辨和篡改区域的精准定位，采用篡改区域检测模型进行篡改图像检测，篡改区域检测模型采用双分支结构，利用注意力模块进行分支融合，注意力模块的输出结果在经过激活函数后，获取最终的篡改区域掩模。

Description

面向审计的图像篡改检测方法、系统、设备及存储介质
技术领域
本发明涉及服务器数据交互技术领域，尤其涉及面向审计的图像篡改检测方法、系统、设备及存储介质。
背景技术
随着信息技术的发展和电子支付的普及，电子发票、网银电子回单和转账凭证被广泛应用于财会工作，包括微信、支付宝等在内的支付记录已成为重要的会计原始凭证。日益完善和进步的图像处理技术让数字图像编辑变得越来越简便易行，利用触手可及的图像处理软件，人们可以方便地改动图像内容，而篡改后的图像往往十分逼真，肉眼无法确认其真实性。这些篡改的银行回单、支付记录已对财会、审计工作造成了严重的干扰。目前财务审计领域的非现场分析技术有限，针对转账凭证、支付截图等非结构化数据，审计人员无法快速判断真伪，往往需要对抽样凭证逐个查看，不仅对同类事项的综合性分析不足，还耗费大量时间。票据篡改造假现象，给审计工作带来了很大的挑战。
现有的非现场分析技术主要包括传统方法和数字水印方法。传统方法主要采用手工设计的图像特征提取技术，例如颜色直方图、纹理特征、尺度不变特征变换等。这些方法通过对图像进行特征提取和分类，来判断图像是否遭受篡改。然而，传统方法存在一些明显的缺点。首先，传统方法对于复杂的篡改操作和高质量的伪造图像表现不佳，因为这些方法的特征提取过程通常基于简单的图像统计信息，难以捕捉到复杂篡改操作引入的微小变化。其次，传统方法在应对不同类型的篡改时，往往需要调整特征选择和参数设置，缺乏灵活性，并且在大规模和多样化的图像篡改检测任务中应用受限。
数字水印方法是另一种常用的图像篡改检测技术，数字水印技术通过嵌入特定的信息或标记到图像中，以验证图像的真实性和完整性。水印可以是可见的或不可见的，通过检测和提取水印信息，可以判断图像是否经历了篡改。然而，水印方法也存在一些局限性。首先，水印方法需要在图像生成或拍摄后进行嵌入水印，不能直接应用于已有图像的篡改检测，这在一些场景下可能会限制水印方法的实际应用。其次，水印嵌入可能导致图像质量损失，特别是不可见水印，嵌入过程可能引入视觉上不可见的伪影或破坏图像的视觉效果。综上所述，传统方法和水印方法在图像篡改检测领域各自有其局限性。传统方法在处理复杂篡改和高质量伪造方面表现较差，并且缺乏灵活性。水印方法受到嵌入时间和图像质量损失的限制，而且不能直接应用于已有图像的篡改检测。
因此，亟待解决上述问题。
发明内容
发明目的：本发明的第一目的是提供一种面向审计的图像篡改检测方法，能够准确识别并定位财务审计图像中被篡改的部分。
本发明的第二目的是提供一种面向审计的图像篡改检测系统。
本发明的第三目的是提供一种电子设备。
本发明的第四目的是提供一种计算机存储介质。
技术方案：为实现以上目的，本发明公开了一种面向审计的图像篡改检测方法，包括如下步骤：
对大量的财务审计图像进行快速筛查，寻找可疑的财务审计图像；首先将所有的财务审计图像进行数据预处理，得到尺寸一致的RGB图像，采用局部二值算法来获取图像的纹理特征，描述像素点周围的纹理信息；使用Canny算子对经局部二值算法处理后的特征矩阵进行特征提取，得到每个位置像素的边缘强度，最后采用分类模型进行票据筛选分类；
完成对可疑的财务审计图像的再分辨和篡改区域的精准定位，采用篡改区域检测模型进行篡改图像检测，篡改区域检测模型采用双分支结构，分别为边缘监督分支和噪声敏感分支，最后利用注意力模块进行分支融合，注意力模块的输出结果在经过激活函数后，获取最终的篡改区域掩模。
其中，采用局部二值算法来获取财务审计图像的纹理特征，描述像素点周围的纹理信息；使用局部二值算法对图像进行特征提取，得到一个与图像大小相同的特征矩阵，其中每个元素代表相应位置像素的编码值；局部二值算法将像素点的灰度值与周围相邻像素的灰度值进行比较，并将比较结果转换为二进制编码。
优选的，使用Canny算子对经局部二值算法处理后的特征矩阵进行特征提取，首先对经局部二值算法提取到的特征矩阵进行高斯滤波，如式（1）所示：
（1）
G(i,j)表示在坐标(i,j)处的高斯滤波器响应，i表示像素所在图像中的横坐标，j表示像素所在图像中的纵坐标，σ表示标准差，控制滤波器对图像平滑的程度；
然后对滤波后的图像在水平和垂直方向上应用Sobel算子，计算水平和垂直梯度分量，通过将水平和垂直梯度分量进行平方和开方运算计算每个像素点的梯度幅值；在水平方向上应用Sobel算子，在垂直方向上应用Sobel算子，如式（2）和（3）所示；
（2）
（3）
其中G i 表示图像在水平方向上的梯度，G j 表示图像在垂直方向上的梯度，G表示梯度幅值，即图像每个像素的梯度大小，i表示像素所在图像中的横坐标，j表示像素所在图像中的纵坐标；
计算每个像素点的梯度幅值和方向，如式（4）和（5）所示；
（4）
（5）
其中G表示梯度幅值，即图像每个像素的梯度大小，G i 表示图像在水平方向上的梯度，G j 表示图像在垂直方向上的梯度，θ表示梯度方向；
接着进行非极大值抑制，对于每个像素点，沿着其梯度方向上的两侧，比较每一像素点与相邻像素点在梯度幅值上的大小；如果当前像素的梯度幅值最大，则保留该像素，否则将其抑制为零；接着对非极大值抑制后的图像进行二值化，定义预先设定的高阈值和低阈值，根据以下条件进行分类：若像素值大于高阈值，则将其标记为强边缘；若像素值小于低阈值，则将其抑制为非边缘；若像素值位于高阈值和低阈值之间，则将其标记为弱边缘；最后进行边缘连接，对被标记为弱边缘的像素，检查其周围的8个相邻像素是否为强边缘；若存在强边缘像素，则将该弱边缘像素标记为强边缘，否则将其抑制为零。
再者，分类模型采用ResNet-50-C网络，ResNet-50-C网络由一个输入模块、阶段1、阶段2、阶段3、阶段4和一个输出模块组成，输入模块包括三个3×3的卷积层，输出通道分别为64、64及256，第一层的步长为2，第二和第三层的步长均为1，接下来是一个3×3的最大池化层，步长为2；阶段1中由3个N层组成，每个N层由3个残差块构成；阶段2由4个M层组成，阶段3由6个M层组成，阶段4由3个M层组成，每个M层由1个下采样块和2个残差块组成，残差块结构与下采样块相同，区别是残差块中卷积和池化的步长均为1；
从阶段2开始，每个阶段都以一个下采样块作为起点，然后是2个残差块；下采样块包含两个路径：路径A和路径B，路径A由3个卷积层组成，第一层是1×1的卷积层，第二层是3×3的卷积层，第三层是1×1的卷积层；路径B包含一个1×1的卷积层，步长为2；路径B的特征矩阵是通过跳跃连接从上一个阶段或残差块获取的，残差块结构与下采样块完全相同，除了全部卷积层步长均为1；
最后在网络的输出模块使用平均池化操作来将特征矩阵转换为向量形式，并利用全连接层，将全连接层的输出经过sigmoid进行二分类，将财务图像分为未经篡改图像和篡改后图像。
进一步，边缘监督分支用于提取篡改区域周围的细微边缘伪影特征，噪声敏感分支用于提取篡改区域周围和真实区域之间的不一致特征，噪声敏感分支输出了篡改图像中篡改区域的噪声特征，作为边缘监督分支的并行分支；注意力模块由通道注意力和位置注意力组成，通道注意力将通道特征关联起来，选择性强调相互依赖的通道特征映射；位置注意力对所有位置特征的加权和，选择性的更新每个位置的特征；注意力模块的输出结果在经过激活函数sigmoid后，获取最终的篡改区域掩模。
优选的，边缘监督分支用于提取篡改区域周围的细微边缘伪影特征的具体步骤为：
将被归类为篡改后图像作为输入，记为x；设H(x)为图像被篡改的概率，将H(x i )定义为第i个像素被篡改的概率，其中i=1,2,…,512×512；将进行像素分割后的图像记作{H(x 1),H(x 2),…,H(x i )}，整体图像是否被篡改受到像素是否被篡改影响，通过分割映射上的全局最大池化来计算H(x)，如式（6）所示；
（6）
其中GMP()表示全局最大池化函数，H(x i )表示第i个像素被篡改的概率，i=1,2,…,512×512，H(x)为整个图像被篡改的概率；
对输入的财务审计图像进行特征提取，采用Res2Net残差块作为基本的特征提取模块，捕获图像的篡改痕迹，通过多层次残差块，由浅到深的提取检测特征，考虑到篡改图像中丰富的边缘信息，在每个Res2Net块之间使用边缘残差块提取特征矩阵边缘特征；
为了增强边缘相关的模式，将每个特征矩阵通过Sobel层进行处理，采用Sobel层从Res2Net块的输出中提取到边缘特征，然后输入到边缘残差块；经Sobel层处理后的特征矩阵更易于边缘残差块提取边缘伪影信息，Sobel层能够计算图像像素点周围像素的梯度值，从而检测出图像中的边缘信息；
将经过Sobel层处理的特征矩阵输入到边缘残差块中进行进一步处理，边缘残差块ERB由一系列卷积层、规范化操作和非线性激活函数组成，用于提取财务审计图像中的边缘特征；
将当前块的边缘残差块输出与下一个块的边缘残差块输出进行特征融合，通过对特征矩阵进行元素级的相加操作，得到融合后的特征矩阵；
将融合后的特征矩阵再次输入到一个新的边缘残差块中进行处理，这个新的边缘残差块由一系列卷积层、规范化操作和非线性激活函数组成；
边缘残差块的输出包括两个部分，分别是最后一个Res2Net块的特征输出，表示为{f esb,1,…,f esb,k }，以及用sigmoid层变换最后一个边缘残差块的输出得到S(x i )，如式（7）所示；
（7）
其中ERB-Res2Net()表示边缘监督分支特征提取函数，f esb,i 表示第i个像素的最后一个Res2Net块的特征输出，i=1,2,…,512×512；
构建了一个与边缘监督分支并行的噪声敏感分支，将经过图像预处理后生成的RGB图像作为噪声敏感分支的输入；噪声敏感分支由一个SRM滤波器和四个Res2Net残差块组成，捕获图像的篡改痕迹，通过多层次残差块，由浅到深的提取检测特征；噪声敏感分支的输出是k个特征映射的数组，输出来自最后一个Res2Net残差块，如式（8）所示：
（8）
其中Res2Net()表示由四个Res2Net残差块合成的特征变换函数，SRM()表示SRM滤波器变换函数，nsb表示噪声敏感分支，i=1,2,…,512×512；
采用一个注意力模块来对两个分支的输出进行特征融合，注意力模块由通道注意力和位置注意力组成，通道注意力将通道特征关联起来，选择性强调相互依赖的通道特征映射；位置注意力对所有位置特征的加权和，选择性的更新每个位置的特征，将通道注意力和位置注意力的输出相加，通过1×1卷积变成尺寸为32×32的特征矩阵，记为H ’ (x i )；通过双线性插值上采样，同时加上sigmoid函数，将H ’ (x i )转换为最终的分割图H(x i )，如式（9）所示：
（9）
其中DA()表示注意力模块特征融合函数，esb表示边缘监督分支，nsb表示噪声敏感分支，H ’(x i )表示双分支特征融合后的特征矩阵，H(x i )表示H ’(x i )经上采样和sigmoid函数后输出的特征矩阵，Bilinear()表示双线性插值上采样函数，σ()表示sigmoid激活函数，i=1,2,…,512×512；
注意力模块的输出结果在经过一个激活函数sigmoid后，获取最终的篡改区域掩模。
本发明一种面向审计的图像篡改检测系统，包括：
筛查可疑图像模块，用于对大量的财务审计图像进行快速筛查，寻找可疑的财务审计图像；首先将所有的财务审计图像进行数据预处理，得到尺寸一致的RGB图像，采用局部二值算法来获取图像的纹理特征，描述像素点周围的纹理信息；使用Canny算子对经局部二值算法处理后的特征矩阵进行特征提取，得到每个位置像素的边缘强度，最后采用分类模型进行票据筛选分类；
篡改区域定位模块，用于完成对可疑的财务审计图像的再分辨和篡改区域的精准定位，采用篡改区域检测模型进行篡改图像检测，篡改区域检测模型采用双分支结构，分别为边缘监督分支和噪声敏感分支，最后利用注意力模块进行分支融合，注意力模块的输出结果在经过激活函数后，获取最终的篡改区域掩模。
优选的，篡改区域定位模块中边缘监督分支用于提取篡改区域周围的细微边缘伪影特征，噪声敏感分支用于提取篡改区域周围和真实区域之间的不一致特征，噪声敏感分支输出了篡改图像中篡改区域的噪声特征，作为边缘监督分支的并行分支；注意力模块由通道注意力和位置注意力组成，通道注意力将通道特征关联起来，选择性强调相互依赖的通道特征映射；位置注意力对所有位置特征的加权和，选择性的更新每个位置的特征；注意力模块的输出结果在经过激活函数sigmoid后，获取最终的篡改区域掩模。
本发明一种电子设备，包括处理器和存储器，
存储器，用于存储计算机程序，该计算机程序被处理器运行，执行上述一种面向财务审计的图像篡改检测方法。
本发明一种计算机存储介质，计算机存储介质存储有计算机程序，该计算机程序被处理器运行，执行上述一种面向财务审计的图像篡改检测方法。
有益效果：与现有技术相比，本发明具有以下显著优点：
（1）本发明能够对大量的财务审计图像进行快速筛查，寻找可能存在篡改的可疑图像，这有助于快速定位潜在的问题图像，节省审计人员的时间和精力；其中采用局部二值算法获取图像的纹理特征，能够有效地描述像素点周围的纹理信息；纹理特征对于篡改图像的检测具有较好的敏感性，能够帮助区分原始图像与篡改图像之间的差异；同时使用Canny算子对特征矩阵进行处理，得到每个位置像素的边缘强度。边缘信息是图像篡改检测中的重要特征之一，能够较好地反映图像中可能的篡改边界；
（2）本发明在完成对可疑的财务审计图像的再分辨后，使用篡改区域检测模型进行精准的篡改区域定位；这使得审计人员能够准确地找到篡改的部分，而不仅是简单地发现可疑图像；篡改区域检测模型采用双分支结构，结合了多种特征信息，有利于增强模型的表征能力；这样可以更全面地捕捉篡改图像的不同特征，提高检测的准确性。同时在模型中增加注意力模块，注意力模块能够对不同的特征图进行加权处理，将更多的关注点放在重要的区域上；通过注意力机制的引入，篡改区域检测模型能够更加关注可能发生篡改的区域，进一步提高检测的效率和准确性；筛查可疑图像和篡改区域定位之间相互补充和结合，使得本发明能够更有效应对财务审计中的图像篡改问题。
附图说明
图1为本发明的流程图；
图2为本发明中ResNet-50-C网络结构图；
图3为本发明中篡改区域检测模型的框架图；
图4为本发明中Res2Net块结构图；
图5为本发明中Sobel层结构图；
图6为本发明中边缘残差块结构图；
图7为本发明中图像篡改检测可视化展示图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
实施例
如图1所示，本发明一种面向审计的图像篡改检测方法，包括如下步骤：
对大量的财务审计图像进行快速筛查，寻找可疑的财务审计图像；首先将所有的财务审计图像进行数据预处理，得到尺寸一致的RGB图像，采用局部二值算法来获取图像的纹理特征，描述像素点周围的纹理信息；使用Canny算子对图像进行特征提取，得到每个位置像素的边缘强度，最后采用ResNet-50-C模型进行票据筛选分类；
其中采用局部二值算法来获取财务审计图像的纹理特征，描述像素点周围的纹理信息；使用局部二值算法对图像进行特征提取，得到一个与图像大小相同的特征矩阵，其中每个元素代表相应位置像素的编码值；局部二值算法将像素点的灰度值与周围相邻像素的灰度值进行比较，并将比较结果转换为二进制编码；使用Canny算子对经局部二值算法处理后的特征矩阵进行特征提取，得到每个位置像素的边缘强度；
其中使用Canny算子对经局部二值算法处理后的特征矩阵进行特征提取，首先对经局部二值算法提取到的特征矩阵进行高斯滤波，如式（1）所示：
（1）
G(i,j)表示在坐标(i,j)处的高斯滤波器响应，i表示像素所在图像中的横坐标，j表示像素所在图像中的纵坐标，σ表示标准差，控制滤波器对图像平滑的程度；
然后对滤波后的图像在水平和垂直方向上应用Sobel算子，计算水平和垂直梯度分量，通过将水平和垂直梯度分量进行平方和开方运算计算每个像素点的梯度幅值；在水平方向上应用Sobel算子，在垂直方向上应用Sobel算子，如式（2）和（3）所示；
（2）
（3）
其中G i 表示图像在水平方向上的梯度，G j 表示图像在垂直方向上的梯度，G表示梯度幅值，即图像每个像素的梯度大小，i表示像素所在图像中的横坐标，j表示像素所在图像中的纵坐标；
计算每个像素点的梯度幅值和方向，如式（4）和（5）所示；
（4）
（5）
其中G表示梯度幅值，即图像每个像素的梯度大小，G i 表示图像在水平方向上的梯度，G j 表示图像在垂直方向上的梯度，θ表示梯度方向。
接着进行非极大值抑制，对于每个像素点，沿着其梯度方向上的两侧，比较每一像素点与相邻像素点在梯度幅值上的大小；如果当前像素的梯度幅值最大，则保留该像素，否则将其抑制为零；接着对非极大值抑制后的图像进行二值化，定义预先设定的高阈值和低阈值，根据以下条件进行分类：若像素值大于高阈值，则将其标记为强边缘；若像素值小于低阈值，则将其抑制为非边缘；若像素值位于高阈值和低阈值之间，则将其标记为弱边缘；最后进行边缘连接，对被标记为弱边缘的像素，检查其周围的8个相邻像素是否为强边缘；若存在强边缘像素，则将该弱边缘像素标记为强边缘，否则将其抑制为零；
如图2所示，为了快速的筛选可疑票据，分类模型采用ResNet-50-C网络，ResNet-50-C网络由一个输入模块、阶段1、阶段2、阶段3、阶段4和一个输出模块组成，输入模块包括三个3×3的卷积层，输出通道分别为64、64及256，第一层的步长为2，第二和第三层的步长均为1；接下来是一个3×3的最大池化层，步长为2；阶段1中由3个N层组成，每个N层由3个残差块构成；阶段2由4个M层组成，阶段3由6个M层组成，阶段4由3个M层组成，每个M层由1个下采样块和2个残差块组成。残差块结构与下采样块相同，区别是残差块中卷积和池化的步长均为1；
从阶段2开始，每个阶段都以一个下采样块作为起点，然后是2个残差块；下采样块包含两个路径：路径A和路径B，路径A由3个卷积层组成，第一层是1×1的卷积层，第二层是3×3的卷积层，第三层是1×1的卷积层；路径B包含一个1×1的卷积层，步长为2；路径B的特征矩阵是通过跳跃连接从上一个阶段或残差块获取的，残差块结构与下采样块完全相同，除了全部卷积层步长均为1；每个阶段都包含多个残差块，残差块由一系列卷积层组成，包括两个3×3的卷积层，每个卷积层后面跟着批归一化（Batch Normalization）和激活函数（ReLU）；
最后在网络的输出模块使用平均池化操作来将特征矩阵转换为向量形式，并利用全连接层，将全连接层的输出经过sigmoid进行二分类，将财务图像分为未经篡改图像和篡改后图像；分类模型的模型训练损失函数采用交叉熵损失函数；
完成对可疑的财务审计图像的再分辨和篡改区域的精准定位，采用篡改区域检测模型进行篡改图像检测，篡改区域检测模型采用双分支结构，分别为边缘监督分支和噪声敏感分支，最后利用注意力模块进行分支融合，注意力模块的输出结果在经过激活函数后，获取最终的篡改区域掩模；
如图3所示，其中，边缘监督分支用于提取篡改区域周围的细微边缘伪影特征，噪声敏感分支用于提取篡改区域周围和真实区域之间的不一致特征，噪声敏感分支输出了篡改图像中篡改区域的噪声特征，作为边缘监督分支的并行分支；注意力模块由通道注意力和位置注意力组成，通道注意力将通道特征关联起来，选择性强调相互依赖的通道特征映射；位置注意力对所有位置特征的加权和，选择性的更新每个位置的特征；注意力模块的输出结果在经过激活函数sigmoid后，获取最终的篡改区域掩模；
以下是利用边缘监督分支来捕捉边缘伪影的具体步骤：
将被归类为篡改后图像作为输入，记为x；设H(x)为图像被篡改的概率，将H(x i )定义为第i个像素被篡改的概率，其中i=1,2,…,512×512；将进行像素分割后的图像记作{H(x 1),H(x 2),…,H(x i )}，整体图像是否被篡改受到像素是否被篡改影响，通过分割映射上的全局最大池化来计算H(x)，如式（6）所示；
（6）
其中GMP()表示全局最大池化函数，H(x i )表示第i个像素被篡改的概率，i=1,2,…,512×512，H(x)为整个图像被篡改的概率；
对输入的财务审计图像进行特征提取，采用Res2Net残差块作为基本的特征提取模块，捕获图像的篡改痕迹，Res2Net块的结构如附图4所示；通过多层次残差块，由浅到深的提取检测特征，考虑到篡改图像中丰富的边缘信息，在每个Res2Net块之间使用边缘残差块提取特征矩阵边缘特征；
为了增强边缘相关的模式，将每个特征矩阵通过Sobel层进行处理，Sobel层的结构如附图5所示；采用Sobel层从Res2Net块的输出中提取到边缘特征，然后输入到边缘残差块；经Sobel层处理后的特征矩阵更易于边缘残差块提取边缘伪影信息，Sobel层能够计算图像像素点周围像素的梯度值，从而检测出图像中的边缘信息；通过这个处理步骤，用于突出财务图像中的边缘区域，有助于后续的篡改边缘定位；
将经过Sobel层处理的特征矩阵输入到边缘残差块中进行进一步处理，边缘残差块结构如图6所示；边缘残差块由一系列卷积层、规范化操作和非线性激活函数组成，用于提取财务审计图像中的边缘特征，边缘残差块能够增强边缘的鲁棒性和表示能力，帮助定位财务图像中的篡改边缘；
将当前块的边缘残差块输出与下一个块的边缘残差块输出进行特征融合，通过对特征矩阵进行元素级的相加操作，得到融合后的特征矩阵；特征融合的目的是整合不同深度的特征表示，以获得更全局和语义丰富的特征表达，这样能够提高财务图像篡改边缘定位的准确性和鲁棒性；
将融合后的特征矩阵再次输入到一个新的边缘残差块中进行处理，这个额外的边缘残差块能够进一步控制特征的变化幅度，并增强特征的鲁棒性；通过这一步骤通过额外的边缘残差块，进一步处理融合后的特征矩阵；这个新的边缘残差块由一系列卷积层、规范化操作和非线性激活函数组成，旨在进一步提升边缘的鲁棒性和表示能力，这样的处理步骤有助于适应不同财务图像中篡改边缘的变化和复杂性；
边缘残差块的输出包括两个部分，分别是最后一个Res2Net块的特征输出，表示为{f esb,1,…,f esb,k }，以及用sigmoid层变换最后一个边缘残差块的输出得到S(x i )，如式（7）所示；
（7）
其中ERB-Res2Net()表示边缘监督分支特征提取函数，f esb,i 表示第i个像素的最后一个Res2Net块的特征输出，i=1,2,…,512×512；
为了充分利用噪声视图，构建了一个与边缘监督分支并行的噪声敏感分支，将经过图像预处理后生成的尺寸为512×512的RGB图像作为噪声敏感分支的输入；噪声敏感分支由一个SRM滤波器和四个Res2Net残差块组成，捕获图像的篡改痕迹，通过多层次残差块，由浅到深的提取检测特征；噪声敏感分支的输出是k个特征映射的数组，输出来自最后一个Res2Net残差块，如式（8）所示：
（8）
其中Res2Net()表示由四个Res2Net残差块合成的特征变换函数，SRM()表示SRM滤波器变换函数，nsb表示噪声敏感分支，i=1,2,…,512×512；
采用一个注意力模块来对两个分支的输出进行特征融合，注意力模块由通道注意力和位置注意力组成，通道注意力将通道特征关联起来，选择性强调相互依赖的通道特征映射；位置注意力对所有位置特征的加权和，选择性的更新每个位置的特征，将通道注意力和位置注意力的输出相加，通过1×1卷积变成尺寸为32×32的特征矩阵，记为H ’ (x i )；通过双线性插值上采样，同时加上sigmoid函数，将H ’ (x i )转换为最终的分割图H(x i )，如式（9）所示：
（9）
其中DA()表示注意力模块特征融合函数，esb表示边缘监督分支，nsb表示噪声敏感分支，H ’(x i )表示双分支特征融合后的特征矩阵，H(x i )表示H ’(x i )经上采样和sigmoid函数后输出的特征矩阵，Bilinear()表示双线性插值上采样函数，σ()表示sigmoid激活函数，i=1,2,…,512×512；
注意力模块的输出结果在经过一个激活函数sigmoid后，获取最终的篡改区域掩模，将定位到的篡改边缘位置生成篡改边缘图，生成一个二值图，其中被篡改的边缘区域被表示为白色，而未篡改的区域则为黑色；篡改边缘图能够清晰地显示出财务图像中的篡改区域，为财务审计人员提供了定位和分析篡改的参考，检测结果如附图7所示。
在篡改区域检测模型训练时，从2个角度考虑模型训练损失，分别为像素级损失和边缘损失，其中像素级损失用于提高篡改区域检测模型对像素级操作检测的灵敏度，损失函数如式（10）所示，记作loss pixel ，其中y i 表示第i个像素是否被篡改的二进制标号；
（10）
其中y i 表示第i个像素是否被篡改的二进制标号，x表示图像，xi表示第图像的第i个像素，H(x i )表示第i个像素被篡改的概率，i=1,2,…,512×512；
边缘损失定义，如式（11）所示，记为lossedg，由于操作边缘检测是一项辅助任务，因此不计算512×512的完整尺寸的损失，而是以128×128的较小尺寸计算损失，该策略减少了训练过程中的计算成本；
（11）
其中x表示图像，y i 表示第i个像素的标签值，表示第i个像素的预测值，i=1,2,…,128×128；
最后将两种损失组合到一起得到最终的损失函数，如式（12）所示。
（12）
其中，Loss表示损失值，loss pixel表示像素损失，lossedg表示边缘损失，α表示调节参数，用来调节像素级损失和边缘损失的比重。
实施例2
本发明一种面向审计的图像篡改检测系统，包括
筛查可疑图像模块，用于对大量的财务审计图像进行快速筛查，寻找可疑的财务审计图像；首先将所有的财务审计图像进行数据预处理，得到尺寸一致的RGB图像，采用局部二值算法来获取图像的纹理特征，描述像素点周围的纹理信息；使用Canny算子对图像进行特征提取，得到每个位置像素的边缘强度，最后采用ResNet-50-C模型进行票据筛选分类；
其中采用局部二值算法来获取财务审计图像的纹理特征，描述像素点周围的纹理信息；使用局部二值算法对图像进行特征提取，得到一个与图像大小相同的特征矩阵，其中每个元素代表相应位置像素的编码值；局部二值算法将像素点的灰度值与周围相邻像素的灰度值进行比较，并将比较结果转换为二进制编码；使用Canny算子对经局部二值算法处理后的特征矩阵进行特征提取，得到每个位置像素的边缘强度；
其中使用Canny算子对经局部二值算法处理后的特征矩阵进行特征提取，首先对经局部二值算法提取到的特征矩阵进行高斯滤波，如式（1）所示：
（1）
G(i,j)表示在坐标(i,j)处的高斯滤波器响应，i表示像素所在图像中的横坐标，j表示像素所在图像中的纵坐标，σ表示标准差，控制滤波器对图像平滑的程度；
然后对滤波后的图像在水平和垂直方向上应用Sobel算子，计算水平和垂直梯度分量，通过将水平和垂直梯度分量进行平方和开方运算计算每个像素点的梯度幅值；在水平方向上应用Sobel算子，在垂直方向上应用Sobel算子，如式（2）和（3）所示；
（2）/>
（3）
其中G i 表示图像在水平方向上的梯度，G j 表示图像在垂直方向上的梯度，G表示梯度幅值，即图像每个像素的梯度大小，i表示像素所在图像中的横坐标，j表示像素所在图像中的纵坐标；
计算每个像素点的梯度幅值和方向，如式（4）和（5）所示；
（4）
（5）
其中G表示梯度幅值，即图像每个像素的梯度大小，G i 表示图像在水平方向上的梯度，G j 表示图像在垂直方向上的梯度，θ表示梯度方向。
接着进行非极大值抑制，对于每个像素点，沿着其梯度方向上的两侧，比较每一像素点与相邻像素点在梯度幅值上的大小；如果当前像素的梯度幅值最大，则保留该像素，否则将其抑制为零；接着对非极大值抑制后的图像进行二值化，定义预先设定的高阈值和低阈值，根据以下条件进行分类：若像素值大于高阈值，则将其标记为强边缘；若像素值小于低阈值，则将其抑制为非边缘；若像素值位于高阈值和低阈值之间，则将其标记为弱边缘；最后进行边缘连接，对被标记为弱边缘的像素，检查其周围的8个相邻像素是否为强边缘；若存在强边缘像素，则将该弱边缘像素标记为强边缘，否则将其抑制为零；
为了快速的筛选可疑票据，分类模型采用ResNet-50-C网络，ResNet-50-C网络由一个输入模块、阶段1、阶段2、阶段3、阶段4和一个输出模块组成，输入模块包括三个3×3的卷积层，输出通道分别为64、64及256，第一层的步长为2，第二和第三层的步长均为1；接下来是一个3×3的最大池化层，步长为2；阶段1中由3个N层组成，每个N层由3个残差块构成；阶段2由4个M层组成，阶段3由6个M层组成，阶段4由3个M层组成，每个M层由1个下采样块和2个残差块组成。残差块结构与下采样块相同，区别是残差块中卷积和池化的步长均为1；
从阶段2开始，每个阶段都以一个下采样块作为起点，然后是2个残差块；下采样块包含两个路径：路径A和路径B，路径A由3个卷积层组成，第一层是1×1的卷积层，第二层是3×3的卷积层，第三层是1×1的卷积层；路径B包含一个1×1的卷积层，步长为2；路径B的特征矩阵是通过跳跃连接从上一个阶段或残差块获取的，残差块结构与下采样块完全相同，除了全部卷积层步长均为1；每个阶段都包含多个残差块，残差块由一系列卷积层组成，包括两个3×3的卷积层，每个卷积层后面跟着批归一化（Batch Normalization）和激活函数（ReLU）；
最后在网络的输出模块使用平均池化操作来将特征矩阵转换为向量形式，并利用全连接层，将全连接层的输出经过sigmoid进行二分类，将财务图像分为未经篡改图像和篡改后图像；分类模型的模型训练损失函数采用交叉熵损失函数；
篡改区域定位模块，用于完成对可疑的财务审计图像的再分辨和篡改区域的精准定位，采用篡改区域检测模型进行篡改图像检测，篡改区域检测模型采用双分支结构，分别为边缘监督分支和噪声敏感分支，最后利用注意力模块进行分支融合，注意力模块的输出结果在经过激活函数后，获取最终的篡改区域掩模；
其中，边缘监督分支用于提取篡改区域周围的细微边缘伪影特征，噪声敏感分支用于提取篡改区域周围和真实区域之间的不一致特征，噪声敏感分支输出了篡改图像中篡改区域的噪声特征，作为边缘监督分支的并行分支；注意力模块由通道注意力和位置注意力组成，通道注意力将通道特征关联起来，选择性强调相互依赖的通道特征映射；位置注意力对所有位置特征的加权和，选择性的更新每个位置的特征；注意力模块的输出结果在经过激活函数sigmoid后，获取最终的篡改区域掩模；
以下是利用边缘监督分支来捕捉边缘伪影的具体步骤：
将被归类为篡改后图像作为输入，记为x；设H(x)为图像被篡改的概率，将H(x i )定义为第i个像素被篡改的概率，其中i=1,2,…,512×512；将进行像素分割后的图像记作{H(x 1),H(x 2),…,H(x i )}，整体图像是否被篡改受到像素是否被篡改影响，通过分割映射上的全局最大池化来计算H(x)，如式（6）所示；
（6）
其中GMP()表示全局最大池化函数，H(x i )表示第i个像素被篡改的概率，i=1,2,…,512×512，H(x)为整个图像被篡改的概率；
对输入的财务审计图像进行特征提取，采用Res2Net残差块作为基本的特征提取模块，捕获图像的篡改痕迹，通过多层次残差块，由浅到深的提取检测特征，考虑到篡改图像中丰富的边缘信息，在每个Res2Net块之间使用边缘残差块提取特征矩阵边缘特征；
为了增强边缘相关的模式，将每个特征矩阵通过Sobel层进行处理，采用Sobel层从Res2Net块的输出中提取到边缘特征，然后输入到边缘残差块；经Sobel层处理后的特征矩阵更易于边缘残差块提取边缘伪影信息，Sobel层能够计算图像像素点周围像素的梯度值，从而检测出图像中的边缘信息；通过这个处理步骤，用于突出财务图像中的边缘区域，有助于后续的篡改边缘定位；
将经过Sobel层处理的特征矩阵输入到边缘残差块中进行进一步处理。边缘残差块由一系列卷积层、规范化操作和非线性激活函数组成，用于提取财务审计图像中的边缘特征，边缘残差块能够增强边缘的鲁棒性和表示能力，帮助定位财务图像中的篡改边缘；
将当前块的边缘残差块输出与下一个块的边缘残差块输出进行特征融合，通过对特征矩阵进行元素级的相加操作，得到融合后的特征矩阵；特征融合的目的是整合不同深度的特征表示，以获得更全局和语义丰富的特征表达，这样能够提高财务图像篡改边缘定位的准确性和鲁棒性；
将融合后的特征矩阵再次输入到一个新的边缘残差块中进行处理，这个额外的边缘残差块能够进一步控制特征的变化幅度，并增强特征的鲁棒性；通过这一步骤通过额外的边缘残差块，进一步处理融合后的特征矩阵；这个新的边缘残差块由一系列卷积层、规范化操作和非线性激活函数组成，旨在进一步提升边缘的鲁棒性和表示能力，这样的处理步骤有助于适应不同财务图像中篡改边缘的变化和复杂性；
边缘残差块的输出包括两个部分，分别是最后一个Res2Net块的特征输出，表示为{f esb,1,…,f esb,k }，以及用sigmoid层变换最后一个边缘残差块的输出得到S(x i )，如式（7）所示；
（7）
其中ERB-Res2Net()表示边缘监督分支特征提取函数，f esb,i 表示第i个像素的最后一个Res2Net块的特征输出，i=1,2,…,512×512；
为了充分利用噪声视图，构建了一个与边缘监督分支并行的噪声敏感分支，将经过图像预处理后生成的尺寸为512×512的RGB图像作为噪声敏感分支的输入；噪声敏感分支由一个SRM滤波器和四个Res2Net残差块组成，捕获图像的篡改痕迹，通过多层次残差块，由浅到深的提取检测特征；噪声敏感分支的输出是k个特征映射的数组，输出来自最后一个Res2Net残差块，如式（8）所示：
（8）
其中Res2Net()表示由四个Res2Net残差块合成的特征变换函数，SRM()表示SRM滤波器变换函数，nsb表示噪声敏感分支，i=1,2,…,512×512；
采用一个注意力模块来对两个分支的输出进行特征融合，注意力模块由通道注意力和位置注意力组成，通道注意力将通道特征关联起来，选择性强调相互依赖的通道特征映射；位置注意力对所有位置特征的加权和，选择性的更新每个位置的特征，将通道注意力和位置注意力的输出相加，通过1×1卷积变成尺寸为32×32的特征矩阵，记为H ’ (x i )；通过双线性插值上采样，同时加上sigmoid函数，将H ’ (x i )转换为最终的分割图H(x i )，如式（9）所示：
（9）
其中DA()表示注意力模块特征融合函数，esb表示边缘监督分支，nsb表示噪声敏感分支，H ’(x i )表示双分支特征融合后的特征矩阵，H(x i )表示H ’(x i )经上采样和sigmoid函数后输出的特征矩阵，Bilinear()表示双线性插值上采样函数，σ()表示sigmoid激活函数，i=1,2,…,512×512；
注意力模块的输出结果在经过一个激活函数sigmoid后，获取最终的篡改区域掩模，将定位到的篡改边缘位置生成篡改边缘图，生成一个二值图，其中被篡改的边缘区域被表示为白色，而未篡改的区域则为黑色；篡改边缘图能够清晰地显示出财务图像中的篡改区域，为财务审计人员提供了定位和分析篡改的参考，检测结果如附图7所示。
实施例3
与本发明实施例1的方法相对应的，本发明实施例3还提供一种电子设备。
在本实施例中，电子设备包括：至少一个处理器、至少一个存储器，存储器包含程序和数据。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储器（n on-volatilememory），例如至少一个磁盘存储器。
处理器调用存储器所存储的程序与数据，以执行本发明实施例提供的面向审计的图像篡改检测方法。
实施例4
与本发明实施例1的方法相对应的，本发明实施例4还提供一种计算机存储介质，计算机存储介质存储有计算机程序，该计算机程序被处理器运行，以执行本发明实施例提供的一种面向审计的图像篡改检测方法。
本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单位集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现，也可以结合软件和硬件的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：移动硬盘、U盘、只读存储器（ROM ,Read-Only Memory)、随机存取存储器（RAM , Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明提供了一种面向审计的图像篡改检测方法、系统、设备及存储介质，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (10)

1.一种面向审计的图像篡改检测方法，其特征在于，包括如下步骤：
对大量的财务审计图像进行快速筛查，寻找可疑的财务审计图像；首先将所有的财务审计图像进行数据预处理，得到尺寸一致的RGB图像，采用局部二值算法来获取图像的纹理特征，描述像素点周围的纹理信息；使用Canny算子对经局部二值算法处理后的特征矩阵进行特征提取，得到每个位置像素的边缘强度，最后采用分类模型进行票据筛选分类；
完成对可疑的财务审计图像的再分辨和篡改区域的精准定位，采用篡改区域检测模型进行篡改图像检测，篡改区域检测模型采用双分支结构，分别为边缘监督分支和噪声敏感分支，最后利用注意力模块进行分支融合，注意力模块的输出结果在经过激活函数后，获取最终的篡改区域掩模。
2.根据权利要求1所述的一种面向审计的图像篡改检测方法，其特征在于，包括如下步骤：所述采用局部二值算法来获取财务审计图像的纹理特征，描述像素点周围的纹理信息；使用局部二值算法对图像进行特征提取，得到一个与图像大小相同的特征矩阵，其中每个元素代表相应位置像素的编码值；局部二值算法将像素点的灰度值与周围相邻像素的灰度值进行比较，并将比较结果转换为二进制编码。
3.根据权利要求2所述的一种面向审计的图像篡改检测方法，其特征在于，包括如下步骤：所述使用Canny算子对经局部二值算法处理后的特征矩阵进行特征提取，首先对经局部二值算法提取到的特征矩阵进行高斯滤波，如式（1）所示：
（1）
G(i,j)表示在坐标(i,j)处的高斯滤波器响应，i表示像素所在图像中的横坐标，j表示像素所在图像中的纵坐标，σ表示标准差，控制滤波器对图像平滑的程度；
然后对滤波后的图像在水平和垂直方向上应用Sobel算子，计算水平和垂直梯度分量，通过将水平和垂直梯度分量进行平方和开方运算计算每个像素点的梯度幅值；在水平方向上应用Sobel算子，在垂直方向上应用Sobel算子，如式（2）和（3）所示；
（2）
（3）
其中G i 表示图像在水平方向上的梯度，G j 表示图像在垂直方向上的梯度，G表示梯度幅值，即图像每个像素的梯度大小，i表示像素所在图像中的横坐标，j表示像素所在图像中的纵坐标；
计算每个像素点的梯度幅值和方向，如式（4）和（5）所示；
（4）
（5）
其中G表示梯度幅值，即图像每个像素的梯度大小，G i 表示图像在水平方向上的梯度，G j 表示图像在垂直方向上的梯度，θ表示梯度方向；
接着进行非极大值抑制，对于每个像素点，沿着其梯度方向上的两侧，比较每一像素点与相邻像素点在梯度幅值上的大小；如果当前像素的梯度幅值最大，则保留该像素，否则将其抑制为零；接着对非极大值抑制后的图像进行二值化，定义预先设定的高阈值和低阈值，根据以下条件进行分类：若像素值大于高阈值，则将其标记为强边缘；若像素值小于低阈值，则将其抑制为非边缘；若像素值位于高阈值和低阈值之间，则将其标记为弱边缘；最后进行边缘连接，对被标记为弱边缘的像素，检查其周围的8个相邻像素是否为强边缘；若存在强边缘像素，则将该弱边缘像素标记为强边缘，否则将其抑制为零。
4.根据权利要求3所述的一种面向审计的图像篡改检测方法，其特征在于，包括如下步骤：所述分类模型采用ResNet-50-C网络，ResNet-50-C网络由一个输入模块、阶段1、阶段2、阶段3、阶段4和一个输出模块组成，输入模块包括三个3×3的卷积层，输出通道分别为64、64及256，第一层的步长为2，第二和第三层的步长均为1，接下来是一个3×3的最大池化层，步长为2；阶段1中由3个N层组成，每个N层由3个残差块构成；阶段2由4个M层组成，阶段3由6个M层组成，阶段4由3个M层组成，每个M层由1个下采样块和2个残差块组成，残差块结构与下采样块相同，区别是残差块中卷积和池化的步长均为1；
从阶段2开始，每个阶段都以一个下采样块作为起点，然后是2个残差块；下采样块包含两个路径：路径A和路径B，路径A由3个卷积层组成，第一层是1×1的卷积层，第二层是3×3的卷积层，第三层是1×1的卷积层；路径B包含一个1×1的卷积层，步长为2；路径B的特征矩阵是通过跳跃连接从上一个阶段或残差块获取的，残差块结构与下采样块完全相同，除了全部卷积层步长均为1；
最后在网络的输出模块使用平均池化操作来将特征矩阵转换为向量形式，并利用全连接层，将全连接层的输出经过sigmoid进行二分类，将财务图像分为未经篡改图像和篡改后图像。
5.根据权利要求4所述的一种面向审计的图像篡改检测方法，其特征在于，包括如下步骤：所述边缘监督分支用于提取篡改区域周围的细微边缘伪影特征，噪声敏感分支用于提取篡改区域周围和真实区域之间的不一致特征，噪声敏感分支输出了篡改图像中篡改区域的噪声特征，作为边缘监督分支的并行分支；注意力模块由通道注意力和位置注意力组成，通道注意力将通道特征关联起来，选择性强调相互依赖的通道特征映射；位置注意力对所有位置特征的加权和，选择性的更新每个位置的特征；注意力模块的输出结果在经过激活函数sigmoid后，获取最终的篡改区域掩模。
6.根据权利要求5所述的一种面向审计的图像篡改检测方法，其特征在于，包括如下步骤：所述边缘监督分支用于提取篡改区域周围的细微边缘伪影特征的具体步骤为：
将被归类为篡改后图像作为输入，记为x；设H(x)为图像被篡改的概率，将H(x i )定义为第i个像素被篡改的概率，其中i=1,2,…,512×512；将进行像素分割后的图像记作{H(x 1),H(x 2),…,H(x i )}，整体图像是否被篡改受到像素是否被篡改影响，通过分割映射上的全局最大池化来计算H(x)，如式（6）所示；
（6）
其中GMP()表示全局最大池化函数，H(x i )表示第i个像素被篡改的概率，i=1,2,…,512×512，H(x)为整个图像被篡改的概率；
对输入的财务审计图像进行特征提取，采用Res2Net残差块作为基本的特征提取模块，捕获图像的篡改痕迹，通过多层次残差块，由浅到深的提取检测特征，考虑到篡改图像中丰富的边缘信息，在每个Res2Net块之间使用边缘残差块提取特征矩阵边缘特征；
为了增强边缘相关的模式，将每个特征矩阵通过Sobel层进行处理，采用Sobel层从Res2Net块的输出中提取到边缘特征，然后输入到边缘残差块；经Sobel层处理后的特征矩阵更易于边缘残差块提取边缘伪影信息，Sobel层能够计算图像像素点周围像素的梯度值，从而检测出图像中的边缘信息；
将经过Sobel层处理的特征矩阵输入到边缘残差块中进行进一步处理，边缘残差块ERB由一系列卷积层、规范化操作和非线性激活函数组成，用于提取财务审计图像中的边缘特征；
将当前块的边缘残差块输出与下一个块的边缘残差块输出进行特征融合，通过对特征矩阵进行元素级的相加操作，得到融合后的特征矩阵；
将融合后的特征矩阵再次输入到一个新的边缘残差块中进行处理，这个新的边缘残差块由一系列卷积层、规范化操作和非线性激活函数组成；
边缘残差块的输出包括两个部分，分别是最后一个Res2Net块的特征输出，表示为{f esb,1,…,f esb,k }，以及用sigmoid层变换最后一个边缘残差块的输出得到S(x i )，如式（7）所示；
（7）
其中ERB-Res2Net()表示边缘监督分支特征提取函数，f esb,i 表示第i个像素的最后一个Res2Net块的特征输出，i=1,2,…,512×512；
构建了一个与边缘监督分支并行的噪声敏感分支，将经过图像预处理后生成的RGB图像作为噪声敏感分支的输入；噪声敏感分支由一个SRM滤波器和四个Res2Net残差块组成，捕获图像的篡改痕迹，通过多层次残差块，由浅到深的提取检测特征；噪声敏感分支的输出是k个特征映射的数组，输出来自最后一个Res2Net残差块，如式（8）所示：
（8）
其中Res2Net()表示由四个Res2Net残差块合成的特征变换函数，SRM()表示SRM滤波器变换函数，nsb表示噪声敏感分支，i=1,2,…,512×512；
采用一个注意力模块来对两个分支的输出进行特征融合，注意力模块由通道注意力和位置注意力组成，通道注意力将通道特征关联起来，选择性强调相互依赖的通道特征映射；位置注意力对所有位置特征的加权和，选择性的更新每个位置的特征，将通道注意力和位置注意力的输出相加，通过1×1卷积变成尺寸为32×32的特征矩阵，记为H ’ (x i )；通过双线性插值上采样，同时加上sigmoid函数，将H ’ (x i )转换为最终的分割图H(x i )，如式（9）所示：
（9）
其中DA()表示注意力模块特征融合函数，esb表示边缘监督分支，nsb表示噪声敏感分支，H ’(x i )表示双分支特征融合后的特征矩阵，H(x i )表示H ’(x i )经上采样和sigmoid函数后输出的特征矩阵，Bilinear()表示双线性插值上采样函数，σ()表示sigmoid激活函数，i=1,2,…,512×512；
注意力模块的输出结果在经过一个激活函数sigmoid后，获取最终的篡改区域掩模。
7.一种面向审计的图像篡改检测系统，其特征在于，包括：
筛查可疑图像模块，用于对大量的财务审计图像进行快速筛查，寻找可疑的财务审计图像；首先将所有的财务审计图像进行数据预处理，得到尺寸一致的RGB图像，采用局部二值算法来获取图像的纹理特征，描述像素点周围的纹理信息；使用Canny算子对经局部二值算法处理后的特征矩阵进行特征提取，得到每个位置像素的边缘强度，最后采用分类模型进行票据筛选分类；
篡改区域定位模块，用于完成对可疑的财务审计图像的再分辨和篡改区域的精准定位，采用篡改区域检测模型进行篡改图像检测，篡改区域检测模型采用双分支结构，分别为边缘监督分支和噪声敏感分支，最后利用注意力模块进行分支融合，注意力模块的输出结果在经过激活函数后，获取最终的篡改区域掩模。
8.根据权利要求7所述的一种面向审计的图像篡改检测系统，其特征在于，所述篡改区域定位模块中边缘监督分支用于提取篡改区域周围的细微边缘伪影特征，噪声敏感分支用于提取篡改区域周围和真实区域之间的不一致特征，噪声敏感分支输出了篡改图像中篡改区域的噪声特征，作为边缘监督分支的并行分支；注意力模块由通道注意力和位置注意力组成，通道注意力将通道特征关联起来，选择性强调相互依赖的通道特征映射；位置注意力对所有位置特征的加权和，选择性的更新每个位置的特征；注意力模块的输出结果在经过激活函数sigmoid后，获取最终的篡改区域掩模。
9.一种电子设备，其特征在于，包括处理器和存储器，
存储器，用于存储计算机程序，该计算机程序被处理器运行，执行权利要求1-6任一项所述的方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，该计算机程序被处理器运行，执行权利要求1-6任一项所述的方法。
CN202311205808.9A 2023-09-19 2023-09-19 面向审计的图像篡改检测方法、系统、设备及存储介质 Active CN116935200B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311205808.9A CN116935200B (zh) 2023-09-19 2023-09-19 面向审计的图像篡改检测方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311205808.9A CN116935200B (zh) 2023-09-19 2023-09-19 面向审计的图像篡改检测方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116935200A CN116935200A (zh) 2023-10-24
CN116935200B true CN116935200B (zh) 2023-12-19

Family

ID=88390133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311205808.9A Active CN116935200B (zh) 2023-09-19 2023-09-19 面向审计的图像篡改检测方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116935200B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105138984A (zh) * 2015-08-24 2015-12-09 西安电子科技大学 基于多分辨率过冲效应度量的锐化图像识别方法
EP3417429A1 (en) * 2016-02-18 2018-12-26 Checkprint Limited Method and apparatus for detection of document tampering
CN109903302A (zh) * 2015-06-25 2019-06-18 北京影谱科技股份有限公司 一种用于拼接图像的篡改检测方法
CN112907598A (zh) * 2021-02-08 2021-06-04 东南数字经济发展研究院 一种基于注意力cnn文档证件类图像篡改检测方法
CN113989245A (zh) * 2021-10-28 2022-01-28 杭州中科睿鉴科技有限公司 多视角多尺度图像篡改检测方法
CN114612476A (zh) * 2022-05-13 2022-06-10 南京信息工程大学 一种基于全分辨率混合注意力机制的图像篡改检测方法
CN115063373A (zh) * 2022-06-24 2022-09-16 山东省人工智能研究院 基于多尺度特征智能感知的社交网络图像篡改定位方法
CN115496980A (zh) * 2022-09-22 2022-12-20 上海大学 基于多视角特征的遥感影像篡改目标检测方法及系统
CN115578626A (zh) * 2022-07-07 2023-01-06 福州大学 基于混合注意力机制的多尺度图像篡改检测方法
CN116363489A (zh) * 2023-03-31 2023-06-30 广东技术师范大学 一种复制粘贴篡改图像数据检测方法、装置、计算机及计算机可读存储介质
CN116385407A (zh) * 2023-04-10 2023-07-04 南京信息工程大学 一种基于多尺度可疑预测框的资质证书图像篡改检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2011200831B8 (en) * 2011-02-25 2013-10-31 Canon Kabushiki Kaisha Dynamic thresholds for document tamper detection

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903302A (zh) * 2015-06-25 2019-06-18 北京影谱科技股份有限公司 一种用于拼接图像的篡改检测方法
CN105138984A (zh) * 2015-08-24 2015-12-09 西安电子科技大学 基于多分辨率过冲效应度量的锐化图像识别方法
EP3417429A1 (en) * 2016-02-18 2018-12-26 Checkprint Limited Method and apparatus for detection of document tampering
CN112907598A (zh) * 2021-02-08 2021-06-04 东南数字经济发展研究院 一种基于注意力cnn文档证件类图像篡改检测方法
CN113989245A (zh) * 2021-10-28 2022-01-28 杭州中科睿鉴科技有限公司 多视角多尺度图像篡改检测方法
CN114612476A (zh) * 2022-05-13 2022-06-10 南京信息工程大学 一种基于全分辨率混合注意力机制的图像篡改检测方法
CN115063373A (zh) * 2022-06-24 2022-09-16 山东省人工智能研究院 基于多尺度特征智能感知的社交网络图像篡改定位方法
CN115578626A (zh) * 2022-07-07 2023-01-06 福州大学 基于混合注意力机制的多尺度图像篡改检测方法
CN115496980A (zh) * 2022-09-22 2022-12-20 上海大学 基于多视角特征的遥感影像篡改目标检测方法及系统
CN116363489A (zh) * 2023-03-31 2023-06-30 广东技术师范大学 一种复制粘贴篡改图像数据检测方法、装置、计算机及计算机可读存储介质
CN116385407A (zh) * 2023-04-10 2023-07-04 南京信息工程大学 一种基于多尺度可疑预测框的资质证书图像篡改检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A novel method for detecting image sharpening based on local binary pattern;Ding, F 等;《Digital-Forensics and Watermarking: 12th International Workshop, IWDW 2013》;180-191 *
Digital image forgery detection approaches: A review and analysis;Abraham D L 等;《Proceedings of the 2nd International Conference on IoT, Social, Mobile, Analytics & Cloud in Computational Vision & Bio-Engineering (ISMAC-CVB 2020)》;326-340 *
Image forgery detection using region–based Rotation invariant Co-occurrences among adjacent LBPs;Isaac M M 等;《Journal of Intelligent & Fuzzy Systems》;第34卷(第3期);1679-1690 *
基于改进ManTra-Net网络的图像篡改检测;陈赵乐 等;《长江信息通信》;第36卷(第07期);71-73 *
基于注意力机制的数字图像篡改检测技术研究;朱昊昱;《中国优秀硕士学位论文全文数据库信息科技辑》(第2022(01)期);I138-2663 *
基于深度卷积网络的图像复制—粘贴篡改检测算法研究;李倩雯;《中国优秀硕士学位论文全文数据库信息科技辑》(第2023(02)期);I138-1703 *

Also Published As

Publication number Publication date
CN116935200A (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
Li et al. Identification of deep network generated images using disparities in color components
Tang et al. Median filtering detection of small-size image based on CNN
Bahrami et al. Blurred image splicing localization by exposing blur type inconsistency
Kang et al. Robust median filtering forensics using an autoregressive model
Hsu et al. Detecting image splicing using geometry invariants and camera characteristics consistency
Chang et al. A forgery detection algorithm for exemplar-based inpainting images using multi-region relation
Kumar et al. A fast DCT based method for copy move forgery detection
CN104933721B (zh) 基于颜色滤波阵列特性的拼接图像篡改检测方法
Qu et al. Detect digital image splicing with visual cues
CN101944178B (zh) 用于智能监控的显著区域提取方法
Alshayeji et al. Detection method for counterfeit currency based on bit-plane slicing technique
CN104598933A (zh) 一种基于多特征融合的图像翻拍检测方法
Zhang et al. Feature pyramid network for diffusion-based image inpainting detection
Ding et al. Smoothing identification for digital image forensics
Rhee Detection of spliced image forensics using texture analysis of median filter residual
CN111476727A (zh) 一种面向换脸视频检测的视频运动增强方法
CN106709915B (zh) 一种图像重采样操作检测方法
Chen et al. Digital image manipulation detection with weak feature stream
CN111275687B (zh) 一种基于连通区域标记的细粒度图像拼接检测方法
Li et al. A robust approach to detect digital forgeries by exploring correlation patterns
CN116935200B (zh) 面向审计的图像篡改检测方法、系统、设备及存储介质
Banu et al. Detection of Indian Fake Currency using Image Processing
Sreelakshmy et al. An improved method for copy-move forgery detection in digital forensic
Bappy et al. Detection and localization of image forgeries using resampling features and deep learning
VidalMata et al. On the effectiveness of image manipulation detection in the age of social media

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant