CN111915568A - 图像篡改定位模型的生成方法、图像篡改定位方法及设备 - Google Patents

图像篡改定位模型的生成方法、图像篡改定位方法及设备 Download PDF

Info

Publication number
CN111915568A
CN111915568A CN202010651539.9A CN202010651539A CN111915568A CN 111915568 A CN111915568 A CN 111915568A CN 202010651539 A CN202010651539 A CN 202010651539A CN 111915568 A CN111915568 A CN 111915568A
Authority
CN
China
Prior art keywords
tampering
image
positioning
module
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010651539.9A
Other languages
English (en)
Other versions
CN111915568B (zh
Inventor
庄培裕
李昊东
黄继武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202010651539.9A priority Critical patent/CN111915568B/zh
Publication of CN111915568A publication Critical patent/CN111915568A/zh
Application granted granted Critical
Publication of CN111915568B publication Critical patent/CN111915568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种图像篡改定位模型的生成方法、图像篡改定位方法及设备，通过预设网络模型根据训练集中的图片，生成与所述图片对应的预测篡改概率图集，根据各个图片的预测篡改概率图对模型参数进行修正，并继续执行所述对运算网络模型进行训练的步骤，直至得到训练完成的图像篡改定位模型，利用图像篡改定位模型对图像进行篡改区域定位，得到该图像中各个像素被篡改的概率图，从而得到篡改区域。本发明对预设网络模型进行训练，得到训练完成的图像篡改定位模型，利用所述图像篡改定位模型可以实现对图像中是否存在篡改痕迹进行精确定位，因此本发明所述方法可以在涉及图像安全的多种实际应用场合中发挥重要作用。

Description

图像篡改定位模型的生成方法、图像篡改定位方法及设备
技术领域
本发明涉及信息安全技术领域，尤其涉及的是一种图像篡改定位模型的生成方法、图像篡改定位方法及设备。
背景技术
随着智能手机、数码相机等智能设备的普及，开发出越来越多的图像编辑软件，但是，由于图像编辑软件(如Photoshop、ACDSee等)操作简单，普通人可以使用这些图像编辑软件轻松地制造出篡改图像并不留下明显的视觉痕迹。因此，鉴别图像是否经过编辑软件修改并且定位出篡改区域是一个亟待解决的问题。
因此，现有技术有待于进一步的改进。
发明内容
鉴于上述现有技术中的不足之处，本发明的目的在于提供一种图像篡改定位模型的生成方法、图像篡改定位方法及设备，克服现有技术中图像被篡改后无法对篡改区域进行准确定位的缺陷。
第一方面，本实施例公开了一种图像篡改定位模型的生成方法，其中，包括：
预设网络模型根据训练集中的图片，生成与所述图片对应的预测篡改概率图集，其中，所述预测篡改概率图集中含有与所述训练集中每一张图片一一对应的预测篡改概率图；所述预测篡改概率图中含有所述图片各个像素对应的预测篡改概率，以及各个所述图片中标注有篡改区域；
所述预设网络模型根据所述预测篡改概率图集中各个图片的预测篡改概率图和各个所述图片中标注出的篡改区域，对模型参数进行修正，并继续执行所述根据训练集中的图片，生成与所述图片对应的预测篡改概率集的步骤，直至所述预设网络模型的训练情况满足预设条件，得到所述图像篡改定位模型。
可选的，所述预设网络模型根据所述预测篡改概率图集中各个图片的预测篡改概率图和各个所述图片中标注出的篡改区域，对模型参数进行修正的步骤包括：
根据所述预测篡改概率集中各个图片的每个像素对应的预测篡改概率和所述篡改区域，计算出篡改概率的损失值；
根据计算出的篡改概率的损失值对模型参数进行修正。
可选的，所述预设网络模型包括：2k+1个稠密连接卷积模块、k平均池化模块和k个转置卷积模块；所述平均池化模块和所述转置卷积模块分别设置在依次排列各个稠密连接卷积模块之间；其中，所述k为正整数。
所述预设网络模型根据训练集中的图片，生成与所述图片对应的预测篡改概率图集的步骤包括：
将所述图片依次输入至所述稠密连接卷积模块、间隔设置在两个所述稠密连接卷积模块之间的平均池化模块或所述转置卷积模块，得到与各个所述图片对应的预测篡改概率图集。
可选的，所述将所述图片依次输入至所述稠密连接卷积模块、间隔设置在两个所述稠密连接卷积模块之间的平均池化模块或所述转置卷积模块，得到与各个所述图片对应的预测篡改概率图集的步骤包括：
将所述图片依次输入至第一稠密连接卷积模块、第一平均池化模块、第二稠密连接卷积模块、第二平均池化模块、第三稠密连接卷积模块、第三稠密连接卷积模块，通过所述第一稠密连接卷积模块、第一平均池化模块、第二稠密连接卷积模块、第二平均池化模块、第三稠密连接卷积模块、第三稠密连接卷积模块得到与所述图片对应的第一特征图；
将所述第一特征图输入至第四稠密连接卷积模块和第五稠密连接卷积模块，通过所述第四稠密连接卷积模块和第五稠密连接卷积模块得到与所述图片对应的第二特征图；
将所述第二特征图输入至第一转置卷积模块、第六稠密连接卷积模块、第二转置卷积模块、第七稠密连接卷积模块和第三转置卷积模块，通过所述第一转置卷积模块、第六稠密连接卷积模块、第二转置卷积模块、第七稠密连接卷积模块和第三转置卷积模块得到与所述图片对应的预测篡改概率图集。
可选的，所述第四稠密连接卷积模块和所述第五稠密连接卷积模块的卷积层为空洞卷积层。
可选的，所述预设网络模型还包括：目标卷积模块；
将所述第三转置卷积模块得到与所述图片对应的预测篡改概率图集输入至所述目标卷积模块，得到预测篡改概率图集的更新图集，并将所述更新图集替换所述预测篡改概率图集，得到最终的预测篡改概率图集。
第二方面，本实施例还公开了一种图像篡改定位方法，其中，应用如所述的图像篡改定位模型的生成方法生成的图像篡改定位模型，所述图像篡改定位方法包括：
获取待篡改定位图像；所述待篡改定位图像中含有被篡改像素；
将所述待篡改定位图像输入所述图像篡改定位模型，通过所述图像篡改定位模型输出与所述待篡改定位图像对应的预测篡改概率图；
根据所述预测篡改概率图得到所述待篡改定位图像中的篡改区域。
可选的，所述图像篡改定位模型包括：2k+1个稠密连接卷积模块、k平均池化模块和k个转置卷积模块；所述平均池化模块和所述转置卷积模块分别设置在依次排列各个稠密连接卷积模块之间；其中，所述k为正整数。
第三方面，本实施例还公开了一种电子设备，其中，包括处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现上述图像篡改定位模型的生成方法，以及所述的图像篡改定位方法的步骤。
第四方面，本实施例还公开了一种计算机可读存储介质，其中，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现所述的图像篡改定位模型的生成方法，以及实现所述的图像篡改定位方法的步骤。
有益效果，本发明提供了一种图像篡改定位模型的生成方法、图像篡改定位方法及设备，通过预设网络模型根据训练集中的图片，生成与所述图片对应的预测篡改概率图集，根据各个图片的预测篡改概率图和各个图片的每个像素篡改概率的真实值，对模型参数进行修正，并继续执行所述对运算网络模型进行训练的步骤，直至得到训练完成的所述图像篡改定位模型。再利用训练得到的图像篡改定位模型对待篡改定位的图像进行篡改区域定位，得到该图像中各个像素被篡改的概率图，基于所述概率图得到该图像中被篡改的区域。本发明对预设网络模型进行训练，得到训练完成的图像篡改定位模型，利用所述图像篡改定位模型可以实现对图像中是否存在篡改痕迹进行精确定位，因此本发明所述方法可以在涉及图像安全的多种实际应用场合中发挥重要作用。
附图说明
图1是本发明所提供的图像篡改定位模型的生成方法的步骤流程图；
图2是本发明实施例所述图像篡改定位模型的结构示意图；
图3是本发明所述图像篡改定位方法的步骤流程图；
图4是本发明所述图像篡改定位模型中使用稠密连接和空洞卷积前后，网络对于篡改和原始像素的区分能力对比图；
图5是本发明所述图像篡改定位模型对于真实篡改图像的检测结果图；
图6是本发明所述电子设备的原理结构框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
已有不少的图像篡改定位的方法被提出来，但是现有的有关篡改检测和定位的工作在实际场景中通常面临两个问题：(1)这些方法通常只能检测特定篡改操作留下的痕迹，例如中值过滤，重新压缩、重采样和对比度增强等，当使用多种篡改操作进行篡改时，这些检测方法一般会失效；(2)有些基于深度学习的方法，使用Matlab或者Python工具箱中提供的滤波工具生成大量的图像进行训练。但是，这些简单的滤波工具与实际中使用的篡改工具有很大的不同，这导致使用这些篡改图像训练的取证方法，难以定位出实际场景中篡改图像中特定的篡改区域。因此，有必要针对以上的问题，提出一种能够适用于实际篡改场景下的图像篡改定位技术，这也是保障图像信息安全的必要手段，具有重要的应用价值。
本实施例提供了一种图像篡改定位模型的生成方法、图像篡改定位方法及设备，通过训练集中的图像对预设网络模型进行训练，并根据训练结果对预设网络模型的参数进行修正，重复使用训练集中的图像对参数修正后的预设网络模型进行训练，直至对预设网络模型训练完成，得到图像篡改定位模型，再使用训练得到的图像篡改定位模型对图像进行篡改定位检测，得到该图像中各个像素被篡改的概率图，基于所述概率图得到所述图像的篡改定位区域。本发明所公开的图像篡改定位模型、图像篡改定位方法及设备，适用于实际篡改场景下的图像篡改定位，为保证图像的信息安全提供了必要的技术支持。
下面结合附图，对本发明所公开的所述方法做更为详细的解释。
示例性方法
第一方面，本实施例公开了一种图像篡改定位模型的生成方法，如图1所示，包括：
步骤S1、预设网络模型根据训练集中的图片，生成与所述图片对应的预测篡改概率图集，其中，所述预测篡改概率图集中含有与所述训练集中每一张图片一一对应的预测篡改概率图；所述预测篡改概率图中含有所述图片各个像素对应的预测篡改概率，以及各个所述图片中标注有篡改区域。
具体的，训练集中用于训练的图片可以直接从训练图片库中获取，例如：PS_border、PS_arbitrary、NIST 2016 Splice这三个数据库。其中，PS_border数据库是1000幅使用Photoshop对篡改区域边缘进行处理的篡改图像所组成的数据库，PS_arbitrary是1001幅使用Photoshop并对篡改区域任意位置进行处理的篡改图像所组成的数据库，NIST2016 Splice是一个公开的篡改数据库，由292幅未知篡改操作的篡改图像组成。这三个数据库的每幅篡改图像都有对应的一幅篡改区域标记图像。
本步骤中所使用的训练集中含有多幅图片，每幅图片均为被篡改过的图片。由于训练集中含有的训练图片的多样性对预设网络模型的训练结果有较大影响，因此在获取训练集时，首先收集多幅被篡改过的图片，再分别对收集到的图片进行处理，生成更多含有被篡改痕迹的图片。
用于训练的多幅图片中均标注有篡改区域，基于所述篡改区域可以直接得到各个图片中每个像素被篡改的真实值。预设网络模型对各个图片中篡改区域进行学习，得到各个图片中各个像素被篡改的概率，生成篡改概率图。所述篡改概率图中含有图片中各个像素对应的被篡改概率值，各个像素与其被篡改概率值与该像素在图片中的位置及被篡改概率值在篡改概率图中所处的位置一一对应，并且每一个图片均生成一个相对应的篡改概率图。
当终端设备采集到训练集，并将所述训练集输入到服务器，以使得服务器依据所述训练集对预设网络模型进行训练。所述服务器接收所述终端设备输入的训练集，将所述训练集中图片作为输入项输入预先存储的预设网络模型，然后，获取所述预设网络模型输出的所述图片对应的预测篡改概率图。
步骤S2、所述预设网络模型根据所述预测篡改概率图集中各个图片的预测篡改概率图和各个图片的篡改区域，对模型参数进行修正，并继续执行所述根据训练集中的图片，生成与所述图片对应的预测篡改概率集的步骤，直至所述预设网络模型的训练情况满足预设条件，得到所述图像篡改定位模型。
根据预设网络模型输出的针对各个图片的预测篡改概率图，和各个图片中标记出的篡改概率，计算出各个像素的篡改概率的预测值与真实值之间的误差，并根据误差对模型的参数进行修正，再重复上述训练过程。
在一种实施方式中，使用交叉熵作为网络的损失函数，并使用Xavier初始化所有的卷积核，所有的卷积核的初始偏置都设置成0。在训练阶段，使用小批量的方式进行训练，将批量大小设置成16。
进一步的，所述预设网络模型根据所述预测篡改概率图集中各个图片的预测篡改概率图和各个图片的篡改区域，对模型参数进行修正的步骤包括：
根据所述预测篡改概率集中各个图片的每个像素对应的预测篡改概率和所述篡改区域，计算出篡改概率的损失值；
根据计算出的篡改概率的损失值对模型参数进行修正。
在具体实施时，本实施例使用随机梯度下降和反向传播的方式来训练预设网络模型，使用Adam优化器，初始学习率设置成5×10-3。所述预设网络模型一共训练11代，每训练一代，学习率就下降成原来的50％。
结合图2所示，所述预设网络模型包括：2k+1个稠密连接卷积模块、k平均池化模块和k个转置卷积模块；所述平均池化模块和所述转置卷积模块分别设置在依次排列各个稠密连接卷积模块之间；其中，所述k为正整数。
在一种实施方式中，所述k值为3。具体的，所述预设网络模型主要包括7个稠密连接卷积模块、3个平均池化模型和3个转置卷积模块，上述各个模块中的卷积层均使用3×3的卷积核，具体的所述稠密连接卷积模块的参数如下表1所示：
Figure BDA0002575146640000081
步骤S1中所述预设网络模型根据训练集中的图片，生成与所述图片对应的预测篡改概率图集的步骤包括：
将所述图片依次输入至所述稠密连接卷积模块、间隔设置在两个所述稠密连接卷积模块之间的平均池化模块或所述转置卷积模块，得到与各个所述图片对应的预测篡改概率图集。
输入至所述预设网络模型中的图片分别经过7个稠密连接卷积模块、间隔设置在所述稠密连接卷积模块之间的3个平均池化模型或3个转置卷积模块后，输出与输入图片相对应的预测篡改概率图。
结合图2所示，所述将所述图片依次输入至所述稠密连接卷积模块、间隔设置在两个所述稠密连接卷积模块之间的平均池化模块或所述转置卷积模块，得到与各个所述图片对应的预测篡改概率图集的步骤包括：
将所述图片100依次输入至第一稠密连接卷积模块200、第一平均池化模块300、第二稠密连接卷积模块400、第二平均池化模块500、第三稠密连接卷积模块600、第三稠密连接卷积模块700，通过所述第一稠密连接卷积模块200、第一平均池化模块300、第二稠密连接卷积模块400、第二平均池化模块500、第三稠密连接卷积模块600、第三稠密连接卷积模块700得到与所述图片对应的第一特征图；
将所述第一特征图输入至第四稠密连接卷积模块800和第五稠密连接卷积模块900，通过所述第四稠密连接卷积模块800和第五稠密连接卷积模块900得到与所述图片对应的第二特征图；
将所述第二特征图输入至第一转置卷积模块1000、第六稠密连接卷积模块1100、第二转置卷积模块1200、第七稠密连接卷积模块1300和第三转置卷积模块1400，通过所述第一转置卷积模块1000、第六稠密连接卷积模块1100、第二转置卷积模块1200、第七稠密连接卷积模块1300和第三转置卷积模块1400得到与所述图片对应的预测篡改概率图集。
为了实现更加的篡改定位效果，所述第四稠密连接卷积模块和所述第五稠密连接卷积模块的卷积层为空洞卷积层。
考虑到篡改操作留下的痕迹是难以察觉的，所以设计能够应对这种情况的网络结构。在预设网络模型中，用稠密连接的卷积来代替直接连接的卷积。更深层的卷积层，可以直接获得之前所有浅层卷积层的输出。
具体的，所述稠密连接卷积模块中第l层卷积的输出定义为：
xl＝Hl([x0,x1,...,xl-1])；
其中，[x0,x1,...,xl-1]表示将第0至第l-1层的输出进行级联，Hl(·)定义为在第l层执行三个连续的操作，分别是3×3的卷积，批归一化和Relu函数激活操作。
稠密连接使得篡改留下的细微信号不会随着网络层次的加深而被进一步减弱，更有利于提高网络的定位效果。
具体的，在第四稠密连接卷积模块和所述第五稠密连接卷积模块的卷积层中应用空洞卷积，避免特征图尺寸缩小而导致有用的空间信息的丢失。空洞卷积是通过在普通卷积核中的相邻元素之间添加若干个0来实现的。通过空洞率r来控制插入0的个数，从而实现在不减小特征图尺寸的前提下，增大卷积核的感受野。
本实施例中使用转置卷积模块，使网络能够直接输出与待测试图像相同大小的定位概率图。
结合图2所示，所述预设网络模型还包括：目标卷积模块1500；
将所述第三转置卷积模块1400得到与所述图片对应的预测篡改概率图集输入至所述目标卷积模块1500，得到预测篡改概率图集的更新图集，并将所述更新图集替换所述预测篡改概率图集，得到最终的预测篡改概率图集1600。
本实施例中，上述各个模块中使用的是3×3的卷积核，仅最后一层的卷积层使用的5×5的卷积核，使用该卷积层的主要目的是消除转置卷积产生的棋盘效应。其中，稠密卷积块的参数如表1所示，网络最后一层的输出通过softmax操作，从而输出篡改定位概率图。
本实施例利用预设网络模型对训练样本进行监督学习而得到的一个像素级别的图像篡改定位模型，所述图像篡改定位模型为一个二分类器。训练样本也即训练集中的图片中的像素由未经过编辑软件篡改的像素和经过编辑软件篡改的像素组成；对这两类样本进行学习，从而得到一个具有检测篡改痕迹能力的图像篡改定位模型。
根据图像经过篡改后势必会留下篡改痕迹，本实施例提供的图像篡改定位模型，能以很高准确率检测出图像中是否存在编辑软件留下的篡改痕迹，进而实现篡改定位。该方法可以在涉及图像安全的多种实际应用场合中发挥重要作用。
本实施例还公开了一种图像篡改定位方法，如图3所示，应用如所述的图像篡改定位模型的生成方法生成的图像篡改定位模型，所述图像篡改定位方法包括：
步骤H1、获取待篡改定位图像；所述待篡改定位图像中含有被篡改像素。
本步骤的执行主体可以为设备终端也可以为服务器，设备终端可以为移动终端也可以为计算机，设备终端或服务器获取待篡改定位图像可以有很多获取图像的方式。例如：所述获取待篡改定位图像的方式可以为接收另一个终端设备发送的待篡改定位图像，其接收的方式可以通过有线网络连接的方式也可以通过无线网络连接的方式实现，例如：通过通信网络连接，将手机中的一张图像传输到电脑上，通过wifi模块或蓝牙模块将手机拍摄的照片传输到电脑上，另外终端设备获取待篡改定位图像的方式还可以由终端设备自身的摄像头直接采集到待篡改定位图像，或从其内存中提取一张人脸图片作为待篡改定位图像。
所述待篡改定位图像可以是含有篡改区域的图像，也可以为不未被篡改的图像，所述待篡改定位图像可以为一个，也可以为多个。
步骤H2、将所述待篡改定位图像输入所述图像篡改定位模型，通过所述图像篡改定位模型输出与所述待篡改定位图像对应的预测篡改概率图。
将所述待篡改定位图像输入到上述实施例中生成的图像篡改定位模型，所述图像篡改定位模型输出与该待篡改定位图像对应的预测篡改概率图。
步骤H3、根据所述预测篡改概率图得到所述待篡改定位图像中的篡改区域。
本步骤中根据上述步骤H2中输出的预测篡改概率图可以得到该待篡改定位图像中的篡改区域。
由于本发明提出的定位网络，能够处理任意尺寸的图片，又因为对图像进行旋转和翻转，并不会破坏篡改留下的痕迹，也不会引入新的痕迹。因此，在对待篡改定位图像进行测试时，除了直接将待测图像输入网络，还会将待测图像分别旋转180°、沿着横轴翻转、沿着纵轴翻转再分别输入网络，最后将所有输出的篡改概率图求平均，得到最后的篡改区域定位结果。
进一步的，所述图像篡改定位模型包括：2k+1个稠密连接卷积模块、k平均池化模块和k个转置卷积模块；所述平均池化模块和所述转置卷积模块分别设置在依次排列各个稠密连接卷积模块之间；其中，所述k为正整数。在一种实施方式中，k为3。
本实施例结合附图2对使用稠密连接卷积块和空洞卷积的原因进行详细说明。
为了验证使用稠密连接卷积块是否能提升最后的篡改定位性能，设计了两个不同的网络结构，将不使用稠密连接卷积模块的网络称作网络1，将使用稠密连接卷积模块的网络称作网络2，并保持这两个网络其他结构相同。使用相同的训练数据训练这两个网络，接着将100幅测试图像分别输入这两个网络，并将每个网络中，前五个稠密连接卷积块输出的特征图，使用线性判别分析方法进行降维。需要注意的是，网络1并没有使用稠密连接卷积块，因此将网络1与网络2中第1至第5个稠密卷积连接块相同位置卷积层的输出降至1维。最后绘制降维后特征图中篡改像素和原始像素的分布直方图，并计算两种分布的卡方距离。由附图4中，第1和第2行的分布直方图可以看出，使用稠密连接块的网络(网络2)与不使用稠密卷积块的网络(网络1)相比，网络2对于篡改像素和原始像素有更好的区分能力(两种分布的卡方距离更大)。由此可见，使用稠密连接卷积块，更能提高网络对于篡改像素的检测能力。
为了验证使用空洞卷积是否能提升最后的篡改定位性能，我们对比网络2(只是用稠密连接卷积块)和网络3(将第4和第5个稠密连接卷积块中的普通卷积替换成空洞卷积)对于篡改像素和原始像素的分辨能力。实验方法与验证稠密连接卷积块一样。对比附图4中的第2行和第3行，可以看出，网络3在使用空洞卷积之后，对于篡改像素和原始像素的区分能力进一步提升，并且优于不使用空洞卷积的网络2。由此可见，使用空洞卷积，能提高网络对于篡改像素和原始像素的分辨能力，进一步提高篡改定位性能。
将训练好的篡改定位网络，分别在PS_border、PS_arbitrary、NIST 2016 Splice这三个数据库上进行比较。其中，PS_border数据库是1000幅使用Photoshop对篡改区域边缘进行处理的篡改图像所组成的数据库，PS_arbitrary是1001幅使用Photoshop并对篡改区域任意位置进行处理的篡改图像所组成的数据库，NIST 2016 Splice是一个公开的篡改数据库，由292幅未知篡改操作的篡改图像组成。这三个数据库的每幅篡改图像都有对应的一幅篡改区域标记图像。需要注意的是，为了在实施例中使用对应的数据库图像对网络进行微调，所以先分别从这三个数据库中随机选择100幅图像作为微调的训练样本。因此，最后PS_border、PS_arbitrary、NIST 2016 Splice这三个数据库用来测试的图像分别为900幅、901幅和192幅。
为了证明本发明针对篡改图像的定位效果，同样基于深度学习的篡改定位方法进行比较，比较的方法有：MFCN、LSTM-EnDec、Forensic Similarity。最后的测试结果如表2(表1使用Photoshop脚本程序生成的篡改图像进行训练后在三个数据库上测试结果(F1指标)。
Figure BDA0002575146640000141
由表2可见，本发明方法的篡改定位性能大幅领先其他的方法。
接下来，分别使用3个数据库中的100幅篡改图像，对每个方法进行微调。再重新测试微调后的模型在这3个数据库上的篡改定位性能，测试结果如表3所示。由下面的表3使用100幅图像进行微调后在三个数据库上的测试结果可以看出，经过微调之后，所有的方法的篡改定位性能都有所提升。其中，本发明的篡改定位网络的定位性能还是大幅领先其他的方法。
附图5显示了各个方法对于实际篡改图像的定位效果。
Figure BDA0002575146640000142
其中，A列为待定位的篡改图像，B列为使用MFCN方法定位出的篡改区域示意图，C列为使用LSTM-EnDec定位出的篡改区域示意图，D列为使用Forensic Similarity方法定位出的篡改区域示意图，E列为使用本发明所述定位网络定位出的篡改区域图，F列为真实的篡改区域定位示意图(Ground Truths区域示意图)。可以看出，本发明所公开的图像篡改定位模型定位出的篡改区域拥有比其他方法更精确的定位效果。
由上述实验结果，可知本发明方法对篡改像素和原始像素具有更好的区分能力，并且能够有效地定位出篡改图像中具体的篡改区域。这对于涉及图像安全的实用场合具有重要意义。
示例性设备
在上述方法的基础上，本实施例还公开了一种电子设备，该电子设备可以用于对图像中含有的被篡改区域进行定位，具体的，其包括处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现所述的图像篡改定位方法。一种实施方式中，所述电子设备可以为手机、平板电脑或智能电视。
具体的，如图6所示，所述电子设备包括至少一个处理器(processor)20以及存储器(memory)22，还可以包括显示屏21、通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器30通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
另一方面，一种计算机可读存储介质，其中，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现所述的图像篡改定位模型的生成方法和所述的图像篡改定位方法的步骤。
有益效果，本发明提供了一种图像篡改定位模型的生成方法、图像篡改定位方法及设备，通过预设网络模型根据训练集中的图片，生成与所述图片对应的预测篡改概率图集，根据各个图片的预测篡改概率图和各个图片的每个像素篡改概率的真实值，对模型参数进行修正，并继续执行所述对运算网络模型进行训练的步骤，直至得到训练完成的所述图像篡改定位模型。再利用训练得到的图像篡改定位模型对待篡改定位的图像进行篡改区域定位，得到该图像中各个像素被篡改的概率图，基于所述概率图得到该图像中被篡改的区域。本发明对预设网络模型进行训练，得到训练完成的图像篡改定位模型，利用所述图像篡改定位模型可以实现对图像中是否存在篡改痕迹进行精确定位，因此本发明所述方法可以在涉及图像安全的多种实际应用场合中发挥重要作用。
可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种图像篡改定位模型的生成方法，其特征在于，包括：
预设网络模型根据训练集中的图片，生成与所述图片对应的预测篡改概率图集，其中，所述预测篡改概率图集中含有与所述训练集中每一张图片一一对应的预测篡改概率图；所述预测篡改概率图中含有所述图片各个像素对应的预测篡改概率，以及各个所述图片中标注有篡改区域；
所述预设网络模型根据所述预测篡改概率图集中各个图片的预测篡改概率图和各个所述图片中标注出的篡改区域，对模型参数进行修正，并继续执行所述根据训练集中的图片，生成与所述图片对应的预测篡改概率集的步骤，直至所述预设网络模型的训练情况满足预设条件，得到所述图像篡改定位模型。
2.根据权利要求1所述的图像篡改定位模型的生成方法，其特征在于，所述预设网络模型根据所述预测篡改概率图集中各个图片的预测篡改概率图和各个所述图片中标注出的篡改区域，对模型参数进行修正的步骤包括：
根据所述预测篡改概率集中各个图片的每个像素对应的预测篡改概率和所述篡改区域，计算出篡改概率的损失值；
根据计算出的篡改概率的损失值对模型参数进行修正。
3.根据权利要求1所述的图像篡改定位模型的生成方法，其特征在于，所述预设网络模型包括：2k+1个稠密连接卷积模块、k平均池化模块和k个转置卷积模块；所述平均池化模块和所述转置卷积模块分别设置在依次排列各个稠密连接卷积模块之间；其中，所述k为正整数；
所述预设网络模型根据训练集中的图片，生成与所述图片对应的预测篡改概率图集的步骤包括：
将所述图片依次输入至所述稠密连接卷积模块、间隔设置在两个所述稠密连接卷积模块之间的平均池化模块或所述转置卷积模块，得到与各个所述图片对应的预测篡改概率图集。
4.根据权利要求3所述的图像篡改定位模型的生成方法，其特征在于，所述将所述图片依次输入至所述稠密连接卷积模块、间隔设置在两个所述稠密连接卷积模块之间的平均池化模块或所述转置卷积模块，得到与各个所述图片对应的预测篡改概率图集的步骤包括：
将所述图片依次输入至第一稠密连接卷积模块、第一平均池化模块、第二稠密连接卷积模块、第二平均池化模块、第三稠密连接卷积模块、第三稠密连接卷积模块，通过所述第一稠密连接卷积模块、第一平均池化模块、第二稠密连接卷积模块、第二平均池化模块、第三稠密连接卷积模块、第三稠密连接卷积模块得到与所述图片对应的第一特征图；
将所述第一特征图输入至第四稠密连接卷积模块和第五稠密连接卷积模块，通过所述第四稠密连接卷积模块和第五稠密连接卷积模块得到与所述图片对应的第二特征图；
将所述第二特征图输入至第一转置卷积模块、第六稠密连接卷积模块、第二转置卷积模块、第七稠密连接卷积模块和第三转置卷积模块，通过所述第一转置卷积模块、第六稠密连接卷积模块、第二转置卷积模块、第七稠密连接卷积模块和第三转置卷积模块得到与所述图片对应的预测篡改概率图集。
5.根据权利要求4所述的图像篡改定位模型的生成方法，其特征在于，所述第四稠密连接卷积模块和所述第五稠密连接卷积模块的卷积层为空洞卷积层。
6.根据权利要求4所述的图像篡改定位模型的生成方法，其特征在于，所述预设网络模型还包括：目标卷积模块；
将所述第三转置卷积模块得到与所述图片对应的预测篡改概率图集输入至所述目标卷积模块，得到预测篡改概率图集的更新图集，并将所述更新图集替换所述预测篡改概率图集，得到最终的预测篡改概率图集。
7.一种图像篡改定位方法，其特征在于，应用如权利要求1-6任一项所述的图像篡改定位模型的生成方法生成的图像篡改定位模型，所述图像篡改定位方法包括：
获取待篡改定位图像；所述待篡改定位图像中含有被篡改像素；
将所述待篡改定位图像输入所述图像篡改定位模型，通过所述图像篡改定位模型输出与所述待篡改定位图像对应的预测篡改概率图；
根据所述预测篡改概率图得到所述待篡改定位图像中的篡改区域。
8.根据权利要求7所述的图像篡改定位方法，其特征在于，所述图像篡改定位模型包括：2k+1个稠密连接卷积模块、k平均池化模块和k个转置卷积模块；所述平均池化模块和所述转置卷积模块分别设置在依次排列各个稠密连接卷积模块之间；其中，所述k为正整数。
9.一种电子设备，其特征在于，包括处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现上述权利要求7或8所述的图像篡改定位方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1～6任一项所述的图像篡改定位模型的生成方法，以及实现如权利要求7或8所述的图像篡改定位方法的步骤。
CN202010651539.9A 2020-07-08 2020-07-08 图像篡改定位模型的生成方法、图像篡改定位方法及设备 Active CN111915568B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010651539.9A CN111915568B (zh) 2020-07-08 2020-07-08 图像篡改定位模型的生成方法、图像篡改定位方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010651539.9A CN111915568B (zh) 2020-07-08 2020-07-08 图像篡改定位模型的生成方法、图像篡改定位方法及设备

Publications (2)

Publication Number Publication Date
CN111915568A true CN111915568A (zh) 2020-11-10
CN111915568B CN111915568B (zh) 2023-07-25

Family

ID=73226839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010651539.9A Active CN111915568B (zh) 2020-07-08 2020-07-08 图像篡改定位模型的生成方法、图像篡改定位方法及设备

Country Status (1)

Country Link
CN (1) CN111915568B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465783A (zh) * 2020-11-26 2021-03-09 泰康保险集团股份有限公司 一种图像篡改检测方法和装置
CN112785480A (zh) * 2021-03-15 2021-05-11 河北工业大学 基于频域变换和残差反馈模块的图像拼接篡改检测方法
CN116645591A (zh) * 2023-05-31 2023-08-25 杭州数盒魔方科技有限公司 基于像素值的电子合同印章图片ps痕迹识别方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109285112A (zh) * 2018-09-25 2019-01-29 京东方科技集团股份有限公司 基于神经网络的图像处理方法、图像处理装置
CN109310396A (zh) * 2016-06-20 2019-02-05 蝴蝶网络有限公司 用于辅助用户操作超声装置的自动图像获取
CN110414670A (zh) * 2019-07-03 2019-11-05 南京信息工程大学 一种基于全卷积神经网络的图像拼接篡改定位方法
US20200005460A1 (en) * 2018-06-28 2020-01-02 Shenzhen Imsight Medical Technology Co. Ltd. Method and device for detecting pulmonary nodule in computed tomography image, and computer-readable storage medium
CN110852316A (zh) * 2019-11-07 2020-02-28 中山大学 一种采用密集结构卷积网络的图像篡改检测和定位方法
CN111080629A (zh) * 2019-12-20 2020-04-28 河北工业大学 一种图像拼接篡改的检测方法
CN111340784A (zh) * 2020-02-25 2020-06-26 安徽大学 一种基于Mask R-CNN图像篡改检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109310396A (zh) * 2016-06-20 2019-02-05 蝴蝶网络有限公司 用于辅助用户操作超声装置的自动图像获取
US20200005460A1 (en) * 2018-06-28 2020-01-02 Shenzhen Imsight Medical Technology Co. Ltd. Method and device for detecting pulmonary nodule in computed tomography image, and computer-readable storage medium
CN109285112A (zh) * 2018-09-25 2019-01-29 京东方科技集团股份有限公司 基于神经网络的图像处理方法、图像处理装置
CN110414670A (zh) * 2019-07-03 2019-11-05 南京信息工程大学 一种基于全卷积神经网络的图像拼接篡改定位方法
CN110852316A (zh) * 2019-11-07 2020-02-28 中山大学 一种采用密集结构卷积网络的图像篡改检测和定位方法
CN111080629A (zh) * 2019-12-20 2020-04-28 河北工业大学 一种图像拼接篡改的检测方法
CN111340784A (zh) * 2020-02-25 2020-06-26 安徽大学 一种基于Mask R-CNN图像篡改检测方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465783A (zh) * 2020-11-26 2021-03-09 泰康保险集团股份有限公司 一种图像篡改检测方法和装置
CN112465783B (zh) * 2020-11-26 2023-12-08 泰康保险集团股份有限公司 一种图像篡改检测方法和装置
CN112785480A (zh) * 2021-03-15 2021-05-11 河北工业大学 基于频域变换和残差反馈模块的图像拼接篡改检测方法
CN112785480B (zh) * 2021-03-15 2022-05-03 河北工业大学 基于频域变换和残差反馈模块的图像拼接篡改检测方法
CN116645591A (zh) * 2023-05-31 2023-08-25 杭州数盒魔方科技有限公司 基于像素值的电子合同印章图片ps痕迹识别方法及系统
CN116645591B (zh) * 2023-05-31 2024-01-05 杭州数盒魔方科技有限公司 基于像素值的电子合同印章图片ps痕迹识别方法及系统

Also Published As

Publication number Publication date
CN111915568B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
US20240046105A1 (en) Image Quality Assessment Using Similar Scenes as Reference
CN111915568B (zh) 图像篡改定位模型的生成方法、图像篡改定位方法及设备
CN112766189B (zh) 深度伪造检测方法、装置、存储介质及电子设备
CN111862035B (zh) 光斑检测模型的训练方法、光斑检测方法、设备及介质
CN111460936A (zh) 基于U-Net网络的遥感影像建筑物提取方法、系统、电子设备
CN112215255A (zh) 一种目标检测模型的训练方法、目标检测方法及终端设备
CN112085056B (zh) 目标检测模型生成方法、装置、设备及存储介质
TWI803243B (zh) 圖像擴增方法、電腦設備及儲存介質
CN112529897B (zh) 一种图像检测方法、装置、计算机设备及存储介质
US20230401691A1 (en) Image defect detection method, electronic device and readable storage medium
CN111078924B (zh) 图像检索方法、装置、终端及存储介质
CN104778238A (zh) 一种视频显著性的分析方法及装置
US20200005078A1 (en) Content aware forensic detection of image manipulations
CN106709915B (zh) 一种图像重采样操作检测方法
CN111222558A (zh) 图像处理方法及存储介质
CN114863384A (zh) 一种基于YOLO v4算法的交通标志检测方法
CN111753714B (zh) 基于字符分割的多方向自然场景文本检测方法
CN111753729B (zh) 一种假脸检测方法、装置、电子设备及存储介质
CN116977336A (zh) 摄像头缺陷检测方法、装置、计算机设备及存储介质
CN115797291B (zh) 回路端子的识别方法、装置、计算机设备和存储介质
CN107330382A (zh) 基于局部卷积特征联合表示的单样本人脸识别方法及装置
CN116597246A (zh) 模型训练方法、目标检测方法、电子设备及存储介质
CN116645513A (zh) 水印提取方法、模型训练方法、装置、电子设备及介质
You et al. Tampering detection and localization base on sample guidance and individual camera device convolutional neural network features
CN106845540B (zh) 一种图像重采样操作插值类型识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant