CN113706636A - 一种用于篡改图像识别的方法与装置 - Google Patents
一种用于篡改图像识别的方法与装置 Download PDFInfo
- Publication number
- CN113706636A CN113706636A CN202110776743.8A CN202110776743A CN113706636A CN 113706636 A CN113706636 A CN 113706636A CN 202110776743 A CN202110776743 A CN 202110776743A CN 113706636 A CN113706636 A CN 113706636A
- Authority
- CN
- China
- Prior art keywords
- image
- tampering
- features
- training sample
- tampered
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000012549 training Methods 0.000 claims abstract description 67
- 238000004458 analytical method Methods 0.000 claims abstract description 21
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 11
- 238000004590 computer program Methods 0.000 claims description 22
- 230000015654 memory Effects 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 11
- 230000006835 compression Effects 0.000 claims description 8
- 238000007906 compression Methods 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 239000013589 supplement Substances 0.000 claims description 4
- 238000001514 detection method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 239000000284 extract Substances 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000005291 magnetic effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/60—Rotation of a whole image or part thereof
Abstract
本发明的目的是提供一种识别篡改图像的方法、模型及其训练方法以及计算机设备与计算机可读存储介质。其中，该方法包括以下步骤：获取待识别图像；提取所述待识别图像的多项篡改识别特征；将所述多项篡改识别特征组合成多维图像篡改特征；从所述多维图像篡改特征提取深层图像篡改特征；将所述深层图像篡改特征输入至分类器，以获得分类结果。本发明提出了将先验知识与卷积神经网络结合的图像篡改识别方案，利用图像的表面特征和误差等级分析特征等有增益的篡改识别特征，并引导篡改图像识别模型学习精确的篡改识别特征。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种识别篡改图像的技术。
背景技术
随着图像处理技术的不断发展，人们可以通过各种算法和软件对图像进行篡改，使得图像的真实性和合法性受到严重的挑战，严重情况下篡改图像甚至会对企业和个人造成经济、名誉上的影响。
现有的图像篡改检测技术主要基于特征算子的传统篡改检测方法。传统篡改检测方法由相关研究人员根据人工经验设计特征算子，从大量的特征算子里挑选篡改识别特征，在局限的实验室场景下能得到较好的效果，但是对于大量的场景丰富的图片泛化性能较差，难以达到理想的效果。
基于人工特征提取的传统篡改检测方法需要人工设计特征算子和大量的特征实验，耗时费力。而且，人工设计特征泛化性能有限，对于不同的篡改类别，往往需要研究人员重新设计特征算子，不能实现通用的图像篡改检测。近年来随着卷积神经网络在图像识别、目标检测、图像分割等计算机视觉任务中的优异表现，卷积神经网络强大的特征学习能力得到了有效验证。但是，常规的计算机视觉任务往往只需提取图像的颜色、纹理、形状、空间关系等表面性质的特征，对于图像篡改这种细粒度的特征不能奏效。对于纹理复杂图片以及本身噪声较大或篡改区域较小的篡改图像，识别效果较差，因此需要探索提取更加丰富图像篡改特征的方法。
发明内容
本发明的目的是提供一种识别篡改图像的方法、模型及其训练方法以及计算机设备与计算机可读存储介质。
根据本发明的一个方面，提供了一种识别篡改图像的方法，其中，该方法包括以下步骤：
获取待识别图像；
提取所述待识别图像的多项篡改识别特征，所述篡改识别特征包括图像表面特征以及误差等级分析特征；
将所述多项篡改识别特征组合成多维图像篡改特征；
从所述多维图像篡改特征提取深层图像篡改特征；
将所述深层图像篡改特征输入至分类器，以获得分类结果，所述分类结果包括篡改相关类别，所述篡改相关类别包括以下任一项：
-无篡改图像或篡改图像；
-篡改内容来源于其他图像或当前图像。
根据本发明的一个方面，还提供了一种训练篡改图像识别模型的方法，其中，该方法包括以下步骤：
获取训练样本图像，其中，所述训练样本图像标注有分类结果，所述分类结果包括篡改相关类别，所述篡改相关类别包括以下任一项：
-无篡改图像或篡改图像；
-篡改内容来源于其他图像或当前图像；
提取所述训练样本图像的多项篡改识别特征，包括图像表面特征和误差等级分析特征；
将所述训练样本图像的多项篡改识别特征组合成所述训练样本图像的多维图像篡改特征；
从所述训练样本图像的多维图像篡改特征提取所述训练样本图像的深层图像篡改特征；
将所述训练样本图像的深层图像篡改特征输入至分类器；
重复执行上述步骤直至所述分类器的目标函数收敛。
根据本发明的一个方面，还提供了一种篡改图像识别模型，包括：
输入模块，用于获取待识别图像；
先验知识模块，用于提取所述待识别图像的多项篡改识别特征，所述篡改识别特征包括图像表面特征以及误差等级分析特征；
组合模块，用于将所述多项篡改识别特征组合成多维图像篡改特征；
特征提取模块，用于从所述多维图像篡改特征提取深层图像篡改特征；
分类器，用于将所述深层图像篡改特征作为输入来获得分类结果，所述分类结果包括篡改相关类别，所述篡改相关类别包括以下任一项：
-无篡改图像或篡改图像；
-篡改内容来源于其他图像或当前图像。
根据本发明的一个方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现根据本发明的一个方面的识别篡改图像的方法。
根据本发明的一个方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现根据本发明的一个方面的根据本发明的一个方面的训练篡改图像识别模型的方法。
根据本发明的一个方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现根据本发明的一个方面的识别篡改图像的方法。
根据本发明的一个方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现根据本发明的一个方面的训练篡改图像识别模型的方法。
与现有技术相比，本发明旨在解决图像篡改检测问题，针对现有技术中特征泛化性能不强、实际应用场景受限的问题，提出了泛化性能更好、更通用的图像篡改检测识别方案。
具体地，本发明提出了将先验知识与卷积神经网络结合的图像篡改识别方案，利用图像的表面特征和误差等级分析特征等有增益的篡改识别特征，并引导篡改图像识别模型学习精确的篡改识别特征。将篡改识别特征与卷积神经网络结合的方法可有效提升图像篡改检测精度，多维度的深层次的篡改识别特征有助于提升篡改检测的泛化能力。特别地，本发明中先验知识模块提取的篡改识别特征通过充分的实验验证，相比其他图像篡改检测方案有更高的识别精度和更好的泛化能力，能适用于更多领域的数字图像篡改检测。
进一步地，本发明还可以定位篡改区域，如通过可视化类激活热力图可以精确定位到篡改的具体区域。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1示出根据本发明一个实施例的一种训练篡改图像识别模型的方法流程图；
图2示出根据本发明一个实施例的篡改图像识别模型的示意图；
图3示出根据本发明一个示例的提取SRM特征的卷积核参数；
图4示出根据本发明另一个实施例的一种识别篡改图像的方法流程图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
在更加详细地讨论示例性实施例之前应当提到的是，本发明的一些示例性实施例被描述为由方框图表述的装置和由流程图表述的过程或方法。虽然流程图将本发明的操作过程描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。本发明的过程可在其操作执行完毕时被终止，但也可包括未在所述流程图中示出的额外步骤。本发明的过程可以对应于方法、功能、规程、子例程、子程序等。
以下讨论的由流程图示出的方法和由方框图示出的装置，可以通过硬件、软件、固件、中间件、微代码、硬件描述语言、或其任意组合实现。当以软件、固件、中间件或微代码实现时，执行必要任务的程序代码或代码段可被存储于机器或诸如存储介质的计算机可读介质。(一个或多个)处理器可以执行所述必要任务。
类似地，还将理解任何流程表、流程图、状态转换图，诸如此类，表示各种过程，其可以被充分地描述为存储于计算机可读介质内的程序代码并因此被计算设备或处理器执行，无论这些计算设备或处理器是否被明确示出。
本文中，术语“存储介质”可以表示一个或多个用于存储数据的设备，包括只读存储器(ROM)，随机存取存储器(RAM)，磁性RAM，内核存储器，磁盘存储介质，光存储介质，闪存设备和/或其他用于存储信息的机器可读介质。术语“计算机可读介质”可包括但不限于，便携的或固定的存储设备，光存储设备，及各种其他能够存储和/或包含指令和/或数据的介质。
代码段可表示规程、功能、子程序、程序、例程、子例程、模块、软件包、类，或指令、数据结构或程序描述的任一组合。一个代码段可以通过传递和/或接收信息、数据、自变量、参数或存储内容，与另一个代码段或硬件电路相耦合。信息、自变量、参数、数据等，可以经由包括存储共享、信息传递、令牌传递、网络传输等任一合适方式，被传递、转发或发射。
在上下文中所称“计算机设备”，是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的电子设备，其至少可以包括处理器与存储器，其中由处理器执行在存储器中预存的程序指令来执行预定处理过程，或是由ASIC、FPGA、DSP等硬件执行预定处理过程，或是由上述二者组合来实现。
上述“计算机设备”通常以通用计算机设备的形式表现，其组件可以包括但不限于：一个或者多个处理器或者处理单元、系统存储器。系统存储器可以包括易失性存储器形式的计算机可读介质，例如随机存取存储器(RAM)和/或高速缓存存储器。“计算机设备”可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机可读存储介质。存储器可以包括至少一个计算机程序产品，该计算机程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能和/或方法。处理器通过运行存储在存储器中的程序，从而执行各种功能应用以及数据处理。
例如，存储器中存储有用于执行本发明的各项功能和处理的计算机程序，处理器执行相应计算机程序时，本发明的篡改图像识别模型被实现。
典型地，计算机设备例如可以是用户设备或网络设备，甚至是两者的集合。其中，所述用户设备包括但不限于个人计算机(PC)、笔记本电脑、移动终端等，所述移动终端包括但不限于智能手机、平板电脑等；所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中，所述计算机设备可单独运行来实现本发明，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本发明。其中，所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。
需要说明的是，所述用户设备、网络设备和网络等仅为举例，其他现有的或今后可能出现的计算设备或网络如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。
本领域技术人员应能理解，本发明的篡改图像识别模型可以被配置在任何一个通用的计算机设备中。并且，本领域技术人员还应能理解，前述说明仅意在表明本发明的篡改图像识别模型可以应用于任何通用计算机设备，而当本发明的篡改图像识别模型被配置于一个通用计算机设备之后，该通用计算机设备则成为一个专门的实现本发明的篡改图像识别模型，该“篡改图像识别模型”可以以计算机程序、硬件或其结合的方式实现。
这里所公开的具体结构和功能细节仅仅是代表性的，并且是用于描述本发明的示例性实施例的目的。但是本发明可以通过许多替换形式来具体实现，并且不应当被解释成仅仅受限于这里所阐述的实施例。
应当理解的是，虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说，在不背离示例性实施例的范围的情况下，第一单元可以被称为第二单元，并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。
这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。
还应当提到的是，在一些替换实现方式中，所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说，取决于所涉及的功能/动作，相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。
下面结合附图对本发明作进一步详细描述。
为了能够实现更泛化的篡改图像识别方案，本发明引入了误差等级分析ELA特征，以提升篡改图像的识别精度。通过本发明的篡改图像识别方案，当待识别图像被输入至经训练的篡改图像识别模型，即可获得相应的识别结果，如真实图像或篡改图像，甚至是篡改图像中的篡改区域。
参阅图1，其中示出根据本发明的一个实施例的训练篡改图像识别模型的过程。配合参阅图2，其中示出训练篡改图像识别模型200的模块化示意图。
在步骤101中，输入模块210获取训练样本图像，训练样本图像标注有篡改相关类别，例如标注为正常图像或篡改图像，或者标注有篡改来源，如篡改内容来自其他图像或来自当前图像，前者例如篡改图像为两个图像的合成，后者例如篡改内容来源于当前图像中的其他区域。
在此，输入模块210读取训练样本图像并将其转换为宽度*高度*RGB三通道的数组，用于后续提取训练样本图像的图像篡改特征。
根据本发明的一个示例，篡改图像识别模型200还可以包括一个数据增强模块(未示出)。数据增强模块用于对训练样本图像进行数据增强，例如随机翻转、旋转、随机裁剪以及调整尺寸的数据增强操作，以补充训练样本图像的局部数据。数据增强可以增加训练样本图像的数据量，提高篡改图像识别模型200的泛化能力以及鲁棒性。
本领域技术人员应能理解，引入数据增强模块旨在增加篡改图像识别模型200的训练数据，因此对所有训练样本图像进行数据增强并非是必须的，可以仅对部分数据量不足的训练样本图像进行数据增强。此外，本领域技术人员还应能理解，数据增强模块仅用于模型训练阶段，在篡改图像识别模型200训练完成后对图像进行篡改识别时，不需要对待识别图像进行数据增强。
在步骤102中，先验知识模块220提取训练样本图像的多项篡改识别特征，篡改识别特征包括图像表面特征以及误差等级分析特征。
先验知识模块220用于引导篡改图像识别模型200学习到更精确的图像篡改特征。
在此，先验知识模块220可以通过常规卷积层提取训练样本图像的颜色、纹理、形状、空间关系等图像表面特征。
先验知识模块220可以通过误差等级分析方法(Error Level Analysis，ELA)来检测特定压缩比率重新绘制图片后造成的误差分布，这可用于识别JPEG图像的压缩。误差等级分析突出显示了JPEG压缩率的差异。误差等级分析允许识别图像中处于不同压缩级别的区域。对于JPEG图像，整个图片应处于大致相同的水平。如果图像的某个部分的误差等级明显不同，则它可能表示数字修改。因此，误差等级分析特征对于JPEG格式的图像篡改有一定识别效果，且篡改特征不因篡改区域尺寸而改变。
JPEG图像使用有损压缩系统。图像的每次重新编码(重新保存)都会增加图像的质量损失。具体地说，JPEG算法在8*8像素网格上运行。每个8*8正方形均独立压缩。如果JPEG图像完全未修改，则所有8*8正方形都应具有相似的潜在错误。如果JPEG图像未修改并修复，则每个正方形应以大致相同的速率降级。ELA以指定的JPEG质量级别保存图像。重新保存会在整个JPEG图像中引入已知数量的错误，然后将还原的图像与原始图像进行比较。如果对JPEG图像进行了修改，则修改所触及的每个8*8正方形应比图像其余部分具有更高的潜在误差。也即，修改后的区域将显示更高的潜在误差等级。
此外，根据本发明的一个示例，先验知识模块220还可以提取训练样本图像的SRM特征来作为其篡改识别特征。先验知识模块220可以通过隐写分析的丰富模型(Steganalysis Rich Model，SRM)层提取训练样本图像的SRM特征。其中，SRM层用于提取图像篡改区域的噪声信号。SRM层可以选择三个对篡改识别贡献较大的卷积核，例如通过对照实验来确定对篡改识别贡献大的卷积核。所选的卷积核参数如图3所示。
在步骤103中，组合模块230将训练样本图像的多项篡改识别特征组合成多维图像篡改特征。
在此，组合模块230将先验知识模块220通过各种方法提取的多项图像篡改识别特征在通道维度进行组合，得到包含先验知识模块220提取的这些可视化特征的多维图像篡改特征。
根据本发明的一个示例，组合模块230可以把先验知识模块220中基于不同方法提取的多项篡改识别特征组合成多维图像篡改特征。
根据本发明的另一个示例，先验知识模块220中基于不同方法提取的篡改识别特征可以被赋予不同的权重，组合模块230按照篡改识别特征各自的重要性来加权获得加权后的多维图像篡改特征。
在步骤104中，特征提取模块240从多维图像篡改特征中提取深层图像篡改特征。
在此，特征提取模块240为深层卷积神经网络模块，用于从组合的多维图像篡改特征中提取深层的图像篡改特征。其中，深层卷积神经网络模块可以采用各种用于提取图像特征的卷积神经网络，诸如Alexnet、Resnet、Densenet、Senet等。
根据本发明的一个示例，特征提取模块240采用添加注意力机制的Densenet神经网络结构。Densenet神经网络本身具有较强的特征学习能力，注意力机制(AttentionMechanism，AM)则可以增加有益特征的权重，引导神经网络自适应地进行图像篡改特征选择，有助于提高图像篡改的识别精度。注意力机制通过反向传播算法学习对图像篡改识别有益的特征，并增加这些有益特征的权重。反向传播算法无需人工特征提取，在一个多层的神经网络中，反向传播算法就是不断的学习这个网络的权值和偏值，采用梯度下降法使得该神经网络的输出值(即有益特征的权重)与真实的目标值之间的误差最小。
在步骤105中，分类器250接收深层图像篡改特征作为输入来获得训练，以得到训练好的分类器。
在此，将深层图像篡改特征作为分类器250的输入，以获得目标分类结果。分类器250可以是Softmax分类器、支持向量机、逻辑斯蒂分类器等有能力进行分类的分类器。
其中，在每一轮识别之后，根据当前识别结果与真实结果(即样本标注的篡改相关类别)来计算目标函数，以根据目标函数的计算结果来调整篡改图像识别模型200的相关参数，例如根据反向传播算法自动更新篡改图像识别模型200中的参数。当目标函数的计算结果收敛至一定的值时，训练结束。
从输入训练样本图像到得到分类器的分类结果的整个流程是端到端的，对篡改图像识别模型200进行整体训练，而不需要对其中每个模块分开单独训练。
根据本发明的一个示例，篡改图像识别模型200还可以包括一个绘制模块(未示出)。绘制模块可以输出篡改图像的类激活热力图，以查看图像被篡改的具体区域，其中热力图越红的区域为经篡改图像识别模型200判断为被篡改图像区域的概率越大。
参阅图4，其中示出根据本发明的一个实施例的识别篡改图像的过程。经图1所示过程训练好的篡改图像识别模型200接下来被用于图4所示的篡改图像识别过程。
在步骤401中，输入模块210获取待识别图像。具体地，输入模块210读取待识别图像并将其转换为宽度*高度*RGB三通道的数组，用于后续提取图像篡改特征。
在步骤402中，先验知识模块220提取待识别图像的多项篡改识别特征，篡改识别特征包括图像表面特征以及误差等级分析特征。
在此，先验知识模块220可以通过常规卷积层提取待识别图像的颜色、纹理、形状、空间关系等图像表面特征，并通过误差等级分析方法来检测特定压缩比率重新绘制图片后造成的误差分布以获得误差等级分析特征。
此外，根据本发明的一个示例，先验知识模块220还可以提取待识别图像的SRM特征来作为其篡改识别特征。其中，SRM层选择图3所示的三个对篡改识别贡献较大的卷积核。
在步骤403中，组合模块230将待识别图像的多项篡改识别特征组合成多维图像篡改特征。
在此，组合模块230将先验知识模块220中各方法生成的篡改识别特征的在通道维度进行组合，得到组合后的多维图像篡改特征。
在步骤404中，特征提取模块240从待识别图像的多维图像篡改特征中提取深层图像篡改特征。
在此，特征提取模块240为深层卷积神经网络模块，用于从组合的多维图像篡改特征中提取深层的图像篡改特征。根据本发明的一个示例，特征提取模块240采用在Densenet模型基础上添加注意力机制的神经网络结构。
在步骤405中，分类器250接收待识别图像的深层图像篡改特征作为输入并输出相应的分类结果。
在此，将深层图像篡改特征作为分类器250的输入，以获得分类结果。例如，按照预先训练的分类，即篡改相关类别，待识别图像的分类结果可以是正常图像或篡改图像，或者待识别图像的分类结果可以是篡改来源，如篡改内容来自其他图像或来自当前图像自身。
根据本发明的一个示例，篡改图像识别模型200最后还可以输出篡改图像的类激活热力图，以查看图像被篡改的具体区域，其中热力图越红的区域为经篡改图像识别模型200判断为被篡改图像区域的概率越大。
需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本发明的至少一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算设备执行时，通过该计算设备的操作，可以调用或提供根据本发明的方法和/或技术方案。而调用/提供本发明的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算设备的工作存储器中。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (18)
1.一种识别篡改图像的方法，其中，该方法包括以下步骤：
获取待识别图像；
提取所述待识别图像的篡改识别特征，所述篡改识别特征包括图像表面特征以及误差等级分析特征；
将所述篡改识别特征组合成多维图像篡改特征；
从所述多维图像篡改特征提取深层图像篡改特征；
将所述深层图像篡改特征输入至分类器，以获得分类结果，所述分类结果包括篡改相关类别，所述篡改相关类别包括以下任一项：
-无篡改图像或篡改图像；
-篡改内容来源于其他图像或当前图像。
2.根据权利要求1所述的方法，其中，所述误差等级分析特征通过误差等级分析方法检测所述待识别图像在特定压缩比例重新绘制后的误差分布来获得。
3.根据权利要求1或2所述的方法，其中，所述篡改识别特征还包括SRM特征。
4.根据权利要求1所述的方法，其中，所述深层图像篡改特征通过添加注意力机制的深层卷积神经网络来从所述多维图像篡改特征提取。
5.根据权利要求1所述的方法，其中，该方法还包括：
-输出所述待识别图像的类激活热力图，以定位其中的篡改区域。
6.根据权利要求1所述的方法，其中，该方法通过经训练的篡改图像识别模型来实施；
其中，所述篡改图像识别模型通过以下步骤来得到训练：
获取训练样本图像，其中，所述训练样本图像标注有所述分类结果；
提取所述训练样本图像的篡改识别特征；
将所述训练样本图像的篡改识别特征组合成所述训练样本图像的多维图像篡改特征；
从所述训练样本图像的多维图像篡改特征提取所述训练样本图像的深层图像篡改特征；
将所述训练样本图像的深层图像篡改特征输入至所述分类器；
重复执行上述步骤直至所述分类器的目标函数收敛。
7.根据权利要求6所述的方法，其中，所述训练的步骤还包括：
-对所述训练样本图像进行数据增强，以补充所述训练样本图像的局部数据。
8.一种训练篡改图像识别模型的方法，其中，该方法包括以下步骤：
获取训练样本图像，其中，所述训练样本图像标注有分类结果，所述分类结果包括篡改相关类别，所述篡改相关类别包括以下任一项：
-无篡改图像或篡改图像；
-篡改内容来源于其他图像或当前图像；
提取所述训练样本图像的篡改识别特征，包括图像表面特征和误差等级分析特征；
将所述训练样本图像的篡改识别特征组合成所述训练样本图像的多维图像篡改特征；
从所述训练样本图像的多维图像篡改特征提取所述训练样本图像的深层图像篡改特征；
将所述训练样本图像的深层图像篡改特征输入至分类器；
重复执行上述步骤直至所述分类器的目标函数收敛。
9.根据权利要求8所述的方法，其中，该方法还包括：
-对所述训练样本图像进行数据增强，以补充所述训练样本图像的局部数据。
10.根据权利要求8所述的方法，其中，所述训练样本图像的误差等级分析特征通过误差等级分析方法检测所述训练样本图像在特定压缩比例重新绘制后的误差分布来获得。
11.根据权利要求8所述的方法，其中，所述训练样本图像的篡改识别特征还包括SRM特征。
12.根据权利要求8所述的方法，其中，所述训练样本图像的深层图像篡改特征通过添加注意力机制的深层卷积神经网络来从所述训练样本图像的多维图像篡改特征提取。
13.一种篡改图像识别模型，包括：
输入模块，用于获取待识别图像；
先验知识模块，用于提取所述待识别图像的图像篡改识别特征，所述图像篡改识别特征包括图像表面特征以及误差等级分析特征；
组合模块，用于将所述图像篡改识别特征组合成多维图像篡改特征；
特征提取模块，用于从所述多维图像篡改特征提取深层图像篡改特征；
分类器，用于将所述深层图像篡改特征作为输入来获得分类结果，所述分类结果包括篡改相关类别，所述篡改相关类别包括以下任一项：
-无篡改图像或篡改图像；
-篡改内容来源于其他图像或当前图像。
14.根据权利要求13的篡改图像识别模型，在训练过程中，还包括：
数据增强模块，用于对所述训练样本图像进行数据增强，以补充所述训练样本图像的局部数据。
15.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。
16.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求8至12中任一项所述的方法。
17.一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
18.一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求8至12中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110776743.8A CN113706636A (zh) | 2021-07-09 | 2021-07-09 | 一种用于篡改图像识别的方法与装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110776743.8A CN113706636A (zh) | 2021-07-09 | 2021-07-09 | 一种用于篡改图像识别的方法与装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113706636A true CN113706636A (zh) | 2021-11-26 |
Family
ID=78648350
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110776743.8A Pending CN113706636A (zh) | 2021-07-09 | 2021-07-09 | 一种用于篡改图像识别的方法与装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113706636A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114820380A (zh) * | 2022-05-13 | 2022-07-29 | 四川大学 | 基于内容自适应对抗扰动的空域隐写载体图像增强方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111311563A (zh) * | 2020-02-10 | 2020-06-19 | 北京工业大学 | 一种基于多域特征融合的图像篡改检测方法 |
| CN111368342A (zh) * | 2020-03-13 | 2020-07-03 | 众安信息技术服务有限公司 | 图像篡改识别模型训练方法、图像篡改识别方法及装置 |
| CN112950564A (zh) * | 2021-02-23 | 2021-06-11 | 北京三快在线科技有限公司 | 一种图像检测方法、装置、存储介质及电子设备 |
-
2021
- 2021-07-09 CN CN202110776743.8A patent/CN113706636A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111311563A (zh) * | 2020-02-10 | 2020-06-19 | 北京工业大学 | 一种基于多域特征融合的图像篡改检测方法 |
| CN111368342A (zh) * | 2020-03-13 | 2020-07-03 | 众安信息技术服务有限公司 | 图像篡改识别模型训练方法、图像篡改识别方法及装置 |
| CN112950564A (zh) * | 2021-02-23 | 2021-06-11 | 北京三快在线科技有限公司 | 一种图像检测方法、装置、存储介质及电子设备 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114820380A (zh) * | 2022-05-13 | 2022-07-29 | 四川大学 | 基于内容自适应对抗扰动的空域隐写载体图像增强方法 |
| CN114820380B (zh) * | 2022-05-13 | 2023-04-18 | 四川大学 | 基于内容自适应对抗扰动的空域隐写载体图像增强方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10943145B2 (en) | Image processing methods and apparatus, and electronic devices | |
| Matern et al. | Exploiting visual artifacts to expose deepfakes and face manipulations | |
| CN108334848B (zh) | 一种基于生成对抗网络的微小人脸识别方法 | |
| CN111311563A (zh) | 一种基于多域特征融合的图像篡改检测方法 | |
| CN108229418B (zh) | 人体关键点检测方法和装置、电子设备、存储介质和程序 | |
| CN113591968A (zh) | 一种基于非对称注意力特征融合的红外弱小目标检测方法 | |
| Yang et al. | Spatiotemporal trident networks: detection and localization of object removal tampering in video passive forensics | |
| CN110020658B (zh) | 一种基于多任务深度学习的显著目标检测方法 | |
| CN107347125B (zh) | 视频图像的处理方法、装置和终端设备 | |
| CN111104813A (zh) | 二维码图像关键点检测方法、装置、电子设备及存储介质 | |
| ur Rehman et al. | DeepRPN-BIQA: Deep architectures with region proposal network for natural-scene and screen-content blind image quality assessment | |
| CN115861756A (zh) | 基于级联组合网络的大地背景小目标识别方法 | |
| Wang et al. | NAS-YOLOX: a SAR ship detection using neural architecture search and multi-scale attention | |
| Qin et al. | Face inpainting network for large missing regions based on weighted facial similarity | |
| CN114299383A (zh) | 基于密度图与注意力机制融合的遥感图像目标检测方法 | |
| CN113706636A (zh) | 一种用于篡改图像识别的方法与装置 | |
| CN116977336A (zh) | 摄像头缺陷检测方法、装置、计算机设备及存储介质 | |
| CN112365451A (zh) | 图像质量等级的确定方法、装置、设备及计算机可读介质 | |
| CN114519689A (zh) | 图像篡改检测方法、装置、设备及计算机可读存储介质 | |
| CN115661482B (zh) | 一种基于联合注意力的rgb-t显著目标检测方法 | |
| CN116071557A (zh) | 一种长尾目标检测方法、计算机可读存储介质及驾驶设备 | |
| Zhou et al. | On contrast combinations for visual saliency detection | |
| CN113920377A (zh) | 对图像进行分类的方法、计算机设备、存储介质 | |
| Ke et al. | Scale-aware dimension-wise attention network for small ship instance segmentation in synthetic aperture radar images | |
| WO2022271145A1 (en) | Zoom agnostic watermark extraction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211209 Address after: 100193 Room 606, 6 / F, building 4, West District, courtyard 10, northwest Wangdong Road, Haidian District, Beijing Applicant after: Du Xiaoman Technology (Beijing) Co.,Ltd. Address before: 401120 b7-7-2, Yuxing Plaza, No.5, Huangyang Road, Yubei District, Chongqing Applicant before: Chongqing duxiaoman Youyang Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right |