CN112529835A - 一种基于源相机识别的图像拼接篡改检测与定位方法 - Google Patents

一种基于源相机识别的图像拼接篡改检测与定位方法 Download PDF

Info

Publication number
CN112529835A
CN112529835A CN202011139820.0A CN202011139820A CN112529835A CN 112529835 A CN112529835 A CN 112529835A CN 202011139820 A CN202011139820 A CN 202011139820A CN 112529835 A CN112529835 A CN 112529835A
Authority
CN
China
Prior art keywords
image
source
tampered
class
tampering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011139820.0A
Other languages
English (en)
Inventor
王总辉
段宇萱
陈清源
虞楚尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202011139820.0A priority Critical patent/CN112529835A/zh
Publication of CN112529835A publication Critical patent/CN112529835A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明公开了一种基于源相机识别的图像拼接篡改检测与定位方法，包括以下步骤：基于卷积神经网络构建用于提取源相机噪声特征的特征提取器；将待测图像划分为满足卷积神经网络输入尺寸的图像块并预处理后，利用所述特征提取器提取图像块的源相机噪声特征；基于源相机噪声特征对所有图像块进行聚类，以确定源图像类和篡改区域类，并对篡改区域类中的图像块进行干扰图像剔除后，依据篡改区域类中的图像块占待测图像的比例来判断待测图像是否为篡改图像，对应的篡改区域类中的图像块为篡改区域。该方法能够快速准确地实现图像拼接篡改检测与定位。

Description

一种基于源相机识别的图像拼接篡改检测与定位方法
技术领域
本发明属于图像检测领域，具体涉及一种基于源相机识别的图像拼接篡改检测与定位方法。
背景技术
随着互联网和多媒体工具在世界范围内的广泛应用，图像已经成为人们日常信息获取的重要来源。同时，由于图像处理技术和图像编辑软件的不断发展，在个人电脑和移动设备上编辑图像内容变得越来越简单易行，即使是未经专业训练的人士也可以轻易使用图像编辑软件来篡改、伪造图像。在当前的时代背景下，通过社交网络和媒体等途径发布、传播篡改图像十分容易，这些经过细心编辑的篡改图像难以靠肉眼辨别真假，极易对人产生误导。在一些外交、商务等重要的场合，恶意的图像篡改可能会造成严重后果。
正是由于篡改图像的出现与传播在日常生活变得越来越普遍，人们对鉴别图像真实性的需求越来越多，图像篡改检测技术已经成为图像取证领域的重要内容。尽管近些年来图像篡改检测技术已经取得了长足的发展，但是相关技术仍然存在着诸如检测准确率不够高，技术方案本身的适用范围不够广等问题，这一领域的许多内容仍然亟待研究。
图像篡改主要可以分为图像拼接、复制-移动和消除这三个类型。图像拼接和复制-移动的主要区别在于，复制-移动是在同一张图像上将部分内容复制，并粘贴在该图像上的另一位置，而图像拼接则是发生在两张或多张图像之间，将一张或多张的图像内容拼接在另一图像上。
图像篡改类型不同，要检测该篡改所需的方法和证据往往也不一样。例如，复制-移动类型的篡改通常检测一张图像中是否有重复的区域，而图像拼接检测通常检测一张图像中的不一致性，例如光照效果的不一致性、源相机的不一致性等。
源相机识别是图像取证领域的重要内容，其主要工作是通过图像上的证据来追溯拍摄该图像的相机。识别源相机所需的依据往往是相机在图像拍摄流程中遗留在图像上的一些痕迹，例如传感器模式噪声。以传感器模式噪声为主要证据的一类源相机识别技术，其具体技术路线也有较大的差异。一类现有技术是通过提取同一相机拍摄的大量图像上的噪声来建立对应相机的噪声特征模型，通过比对图像上的噪声和已建立的相机模型来判断对应相机是否该图像的源相机。这种方法针对噪声特征模型未知的相机并不适用，普适性不强。
发明内容
本发明的目的是提供一种基于源相机识别的图像拼接篡改检测与定位方法，通过利用CNN提取源相机噪声特征统计源相机噪声特征的分布情况来实现图像拼接篡改检测与定位。
为实现上述发明目的，本发明提供的技术方案为：
一种基于源相机识别的图像拼接篡改检测与定位方法，包括以下步骤：
基于卷积神经网络(Conventional Neural Network，CNN)构建用于提取源相机噪声特征的特征提取器；
将待测图像划分为满足卷积神经网络输入尺寸的图像块并预处理后，利用所述特征提取器提取图像块的源相机噪声特征；
基于源相机噪声特征对所有图像块进行聚类，以确定源图像类和篡改区域类，并对篡改区域类中的图像块进行干扰图像剔除后，依据篡改区域类中的图像块占待测图像的比例来判断待测图像是否为篡改图像，对应的篡改区域类中的图像块为篡改区域。
优选地，构建特征提取器时，获取带有相机标签的训练图像，将训练图像划分为满足卷积神经网络输入尺寸的图像块，并依据图像块的置信度筛选获取置信度满足需求的图像块作为训练样本，并采用SRM滤波器对训练样本提取残差噪声后，将提取的残差噪声输入至卷积神经网络，对由卷积层、全连接层以及softmax层组成的卷积神经网络进行训练，训练结束后，提取卷积层、全连接层组成用于提取源相机噪声特征的特征提取器。
优选地，在训练卷积神经网络之前，每层神经网络的权重W的初始化分布如下所示：
Figure BDA0002737867150000031
其中，nin和nout分别代表每层神经网络的输入数据个数和输出数据个数，
Figure BDA0002737867150000032
表示在区间
Figure BDA0002737867150000033
到
Figure BDA0002737867150000034
上的均匀分布。
其中，所述图像块的尺寸为32*32，训练卷积神经网络时，损失函数 Ltotal为：
Ltotal＝Lcross_entropy+L2
其中，Lcross_entropy为训练样本对应的预测值与相机标签的交叉熵，L2为对全连接层参数所作的L2正则化产生的损失。
优选地，基于源相机噪声特征对所有图像块进行K-means聚类，将数量最大的一类确定为源图像类，其余类确定为篡改区域类。
优选地，所述对篡改区域类中的图像块进行干扰图像剔除包括：
针对篡改区域类中的每个图像块，计算每个图像块与源图像类中所有图像块的质心之间的相异度，并将相异度小于相异度阈值的图像块从篡改区域类剔除，并增加到源图像类中。
优选地，所述对篡改区域类中的图像块进行干扰图像剔除包括：
针对篡改区域类中的每个图像块，将置信度低于置信度阈值的图像块从篡改区域类剔除，并增加到源图像类中。
优选地，所述对篡改区域类中的图像块进行干扰图像剔除包括：
针对篡改区域类中的每个图像块，若与图像块相邻的其他图像块不存在于篡改区域类中，也就是图像块单独存在于篡改区域类中，则将该图像块从篡改区域类剔除，并增加到源图像类中。
优选地，针对干扰图像剔除后的篡改区域类，计算篡改区域类中的图像块占待测图像的比例，当该比例大于比例阈值时，则判断该待测图像是为篡改图像，该篡改图像对应的篡改区域类中的图像块为篡改区域。
优选地，构建篡改图像集，具体过程为：读取来源于两个相机型号的图像分别作为源图像和目标图像，从目标图像上截取一块矩形内的某个物体作为篡改内容，并将该篡改内容移动到源图像的某个位置，得到的新图像为篡改图像，同时记录篡改图像的篡改区域，并保存篡改信息；
利用篡改图像集测试上述基于源相机识别的图像拼接篡改检测与定位方法的篡改检测与定位效果。
与现有技术相比，本发明具有的有益效果至少包括：
本发明提供的基于源相机识别的图像拼接篡改检测与定位方法中，利用SRM滤波器提取图像块的残差噪声，同时将图像块的尺寸缩小至32*32，利用残差噪声来训练卷积神经网络，提升卷积神经网络提取源相机噪声特征的能力和准确度，基于提取的源相机噪声特征对图像块进行聚类和干扰数据剔除，依据篡改区域类中的图像块占待测图像的比例来确定篡改图像和篡改区域，提升了图像拼接篡改检测准确率、效率以及普适性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是本发明实施例提供的基于源相机识别的图像拼接篡改检测与定位方法的流程图；
图2本发明实施例提供的篡改检测与定位比对效果图，其中，(a)为篡改图像，(b)为人工标记的篡改定位结果，(c)为采用本发明提供的基于源相机识别的图像拼接篡改检测与定位方法的检测效果图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
如图1所示，实施例提供了一种基于源相机识别的图像拼接篡改检测与定位方法，将基于传感器模式噪声的源相机识别技术应用于图像篡改检测任务中，实现图像拼接类型的篡改检测和定位。具体包含数据准备和预处理、CNN预训练、篡改检测和定位三个阶段。
数据准备和预处理阶段
本实施例中所需数据集包括两个，一是预训练数据集，用于训练识别源相机噪声特征的CNN和测试其效果；二是篡改图像数据集，用于检验图像拼接篡改检测与定位的效果，篡改图像数据集又分为已知数据集和未知数据集。
预训练数据集用于CNN预训练，拥有大量带有数据标签的图像，数据标签是拍摄该图像的相机型号。每个相机型号作为一个类别，每个类别内的图像数量不宜差距太大，否则会影响CNN的训练效果。预训练数据集中的数据按比例分为训练集和测试集，分别用于CNN训练和测试。本发明所用的数据集来源于德累斯顿数据集。
篡改图像数据集的作用是测试篡改检测和定位效果。本发明所用的德累斯顿数据集中并不包含篡改图像，所需的篡改图像以该数据集中的图像为素材，利用OpenCV处理素材人工制作。本发明制作篡改图像数据集的流程如下：
(a)读取来源于两个相机型号的图像分别作为源图像和目标图像；(b) 利用鼠标从目标图像上截取一块矩形，选取该矩形内的某个物体作为篡改内容；(c)通过鼠标将篡改内容移动到源图像的某个位置；(d)将产生的新图像保存为篡改图像；(e)记录该篡改图像的篡改区域，保存篡改信息。
篡改图像数据集中的所有图像均只来源于两张不同型号相机拍摄的图像，且篡改区域均为一个大小大于64×64的矩形内的物体。本发明进行篡改检测时的干扰数据去除过程要求任意检测为篡改区域的图像块周围至少有一个篡改图像块与之相邻，否则会被视为干扰数据去除，因此小于64×64的篡改区域可能无法检测。
由于本发明限定CNN输入为32×32，因此用于该网络训练的图像数据应当进行调整后才能输入到神经网络中。调整步骤中的主要操作是将预训练数据集中的所有图像切割成若干个32×32大小的无重叠图像块。
CNN在图像的低纹理度区域提取到的噪声特征可靠性较低。为了保证CNN的训练效果，经切割出得到的图像块还需要经过筛选，可靠性较好的图像块可以作为训练数据供给CNN训练。评价图像块可靠性的依据是如下公式计算得出的置信度Q。公式中的μc和σc，c∈∈[R,G,B]分别代表图像块上的R,G,B三个通道值的平均数和标准差。α,β和γ是三个常数，分别设置为0.7，4和ln0.01。
Figure BDA0002737867150000071
图像预处理是重要的处理环节，其目的是为了抑制图像内容，提取残差噪声。该步骤使用SRM滤波器完成，本发明选用了Tuama等人在其源相机识别研究中使用的过滤核，其结构是一个大小为5×5的矩阵。预处理的具体操作是使用该过滤核作为卷积核对RGB图像进行卷积，其输出通道数为3。预处理过程中所使用的过滤核如下所示。
Figure BDA0002737867150000072
CNN预训练阶段
本实施例中采用的CNN的输入尺寸为32×32，且CNN拥有11个卷积层和3个全连接层，网络结构如表1所示：
表1
Figure BDA0002737867150000073
Figure BDA0002737867150000081
Figure BDA0002737867150000091
在表1展示的CNN结构中，output代表每一层输出的向量的维度， convolutional表示卷积层，kernel size表示卷积核大小，stride表示步长， activation表示使用激活函数，Relu指线性整流函数，是神经网络中一种常用的激活函数，fully connected表示全连接层，in_depth表示全连接层的输入维度，out_depth表示全连接层的输出维度，dropout指是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃，dropout参数值即为丢弃的概率，softmax为一种回归函数，output classes表示最终输出的类别。第一层的输入大小为32×32×3。Dropout 比率随着训练过程的进行不断衰减。最终输出的维度是此分类的任务的类别数，最后一个全连接层输出的向量经过softmax函数处理，处理后的向量中每个元素的值与其预测为对应类别的概率正相关。
相机识别任务本质上是图像分类任务。在进行CNN训练时，首先从预训练数据集的数据中选择来源于若干个不同型号相机的图像，依据拍摄该图像的相机分为不同类别。筛选出的数据按比例划分为训练集和测试集，分别将测试集和训练集中的数据随机打乱，将训练集的数据输入到神经网络中进行训练。
训练开始之前，CNN中的所有参数都应当初始化。本实施例中CNN 训练时选择Xavier初始化完成参数初始化。为了网络中的信息能够更好的流动，前向传播和反向传播时每一层的方差应该尽量保持一致。经过推导得出，每层神经网络的权重W的初始化分布应该如下所示：
每层神经网络的权重W的初始化分布如下所示：
Figure BDA0002737867150000101
其中，nin和nout分别代表每层神经网络的输入数据个数和输出数据个数，使用该初始化方式能够有效地帮助卷积神经网络的训练。
除了权重和偏移量的初始化以外，学习率也是影响神经网络训练的重要参数，学习率设置过大的话，可能会在更新神经网络参数时候越过最优点，而学习率太小则可能会在训练过程中长时间难以收敛。本模型在训练时选择初始化一个较大的学习率以加速收敛，训练过程中学习率不断衰减。例如将学习率初始化为0.001，每经过500个训练批次，学习率衰减为原来的0.98倍。
由于源相机识别是一个分类任务，因此训练模型时使用交叉熵作为损失函数，总体的损失函数如下：
Ltotal＝Lcross_entropy+L2
其中Lcross_entropy是神经网络最后一层输出的向量与输入数据的标签所计算出的交叉熵。L2是对全连接层参数所作的L2正则化产生的损失，该方法可以有效的防止过拟合。
利用SRM滤波器提取的残差噪声输入至卷积神经网络，依据损失函数Ltotal对卷积神经网络进行训练，训练结束后，提取卷积层、全连接层组成用于提取源相机噪声特征的特征提取器。
篡改检测和定位阶段
在完成CNN预训练环节之后，训练好的CNN(也就是特征提取器) 就可以被用于图像拼接检测任务，对一张拼接图像进行篡改检测的流程如下：
(a)将图像切割成若干个32×32大小的无重叠图像块。
(b)采用训练好的CNN(也就是特征提取器)提取每个图像块的噪声特征。
(c)将所有的噪声特征进行聚类，数量最大的一类源图像类，其余类别均为篡改区域类。
(d)在所有被识别为篡改区域的图像块中，计算其与源图像特征的质心之间的相异度距离，相异度距离较小的划分到源图像类中。
(e)在所有被识别为篡改区域的图像块中，将置信度较低的划分到源图像类中。
(f)在所有被识别为篡改区域的图像块中，将周围篡改图像密度较低的划分到源图像类。
(g)计算被预测为篡改区域的图像块占所有图像块的比例，判断该图像是否是篡改图像。
将图像切块并提取到每个图像块的特征之后，这些特征还需要进一步的处理才能定位图像篡改区域。图像切块后，该图像上的每一个图像块都可以用横坐标和纵坐标来表示，例如，可以用p(i,j)表示位于图像上第i行第j列的图像块。对于每一个图像块p(i,j)，可以通过CNN提取到噪声特征 f(i,j)。
特征后处理的第一个步骤是对所有的噪声特征f(i,j)进行K-means聚类，将聚类结果中最大的一类认定为源图像的特征，较小的一类则为篡改区域特征。建立二维数组m表示图像上各个图像块的预测结果，令m(i,j)＝0 表示图像块p(i,j)属于源图像，m(i,j)＝1表示图像块p(i,j)属于篡改区域。由于CNN提取出的噪声特征的可靠性不能满足要求，同时K-means聚类的结果也往往无法做到全局最优，因此后处理过程中需要除去影响最终检测结果的干扰数据。
特征之间的相异度距离可以作为去除干扰数据的一个指标。对所有源图像m(i,j)＝0，计算所有源图像m(i,j)＝0的噪声特征的质心
Figure RE-GDA0002924778760000121
对于任意的 m(i,j)＝1根据如下公式计算其噪声特征f(i,j)与质心
Figure RE-GDA0002924778760000122
的相异度d(i,j)。
Figure BDA0002737867150000121
其中f(i,j)k表示噪声特征f(i,j)的第k个元素，
Figure RE-GDA0002924778760000124
表示质心
Figure RE-GDA0002924778760000125
的第k个元素。当图像块的相异度d(i,j)小于相异度阈值Γdist，可以认为对应的噪声特征f(i,j)在聚类流程中被错误的预测为篡改区域特征，因此，令对应的 m(i,j)＝0，表示将该图像块从篡改区域类剔除，并增加到源图像类中。
去除干扰数据的另一指标是置信度，已有的研究成果表明CNN在低纹理度区域提取到的噪声特征并不可靠。因此，对于任意的m(i,j)＝1，根据置信度公式计算其置信度q(i,j)，当图像块的置信度q(i,j)<置信度阈值
Figure BDA0002737867150000126
可以认为CNN提取到的噪声特征并不可靠，令对应的m(i,j)＝0，表示将该图像块从篡改区域类剔除，并增加到源图像类中。
如果一个被预测为篡改区域的图像块周围存在有其他相邻图像块被判断为篡改区域，则该图像块所在区域极有可能是篡改区域，而如果预测为篡改区域的图像块单独出现，该图像块极有可能被错误的预测，该预测结果需要作为干扰数据去除。因此对于任意的m(i,j)＝1，若其周围的所有相邻图像块均被预测为源图像块，则令其m(i,j)＝0。
在经过上述的特征提取和特征后处理等流程之后，统计所有的 m(i,j)＝1，并计算其占比μ，当μ≥比例阈值
Figure BDA0002737867150000127
时,可以认为该图像是篡改图像，对于所有的m(i,j)＝1，对应的p(i,j)所代表的区域则为预测的篡改区域，反之，当
Figure 1
时,则可以认为该图像是真实图像。
利用篡改图像集测试上述基于源相机识别的图像拼接篡改检测与定位方法的篡改检测与定位效果，如图2所示，其中，(a)为篡改图像，(b) 为人工标记的篡改定位结果，(c)为采用本发明提供的基于源相机识别的图像拼接篡改检测与定位方法的检测效果图。分析图2可得，本发明提供的基于源相机识别的图像拼接篡改检测与定位方法能够实现图像拼接篡改准确率检测和定位，与此同时，由于采用训练的CNN提取噪声特征，跟具有普适性，且识别速率更快。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于源相机识别的图像拼接篡改检测与定位方法，其特征在于，包括以下步骤：
基于卷积神经网络构建用于提取源相机噪声特征的特征提取器；
将待测图像划分为满足卷积神经网络输入尺寸的图像块并预处理后，利用所述特征提取器提取图像块的源相机噪声特征；
基于源相机噪声特征对所有图像块进行聚类，以确定源图像类和篡改区域类，并对篡改区域类中的图像块进行干扰图像剔除后，依据篡改区域类中的图像块占待测图像的比例来判断待测图像是否为篡改图像，对应的篡改区域类中的图像块为篡改区域。
2.如权利要求1所述的基于源相机识别的图像拼接篡改检测与定位方法，其特征在于，构建特征提取器时，获取带有相机标签的训练图像，将训练图像划分为满足卷积神经网络输入尺寸的图像块，并依据图像块的置信度筛选获取置信度满足需求的图像块作为训练样本，并采用SRM滤波器对训练样本提取残差噪声后，将提取的残差噪声输入至卷积神经网络，对由卷积层、全连接层以及softmax层组成的卷积神经网络进行训练，训练结束后，提取卷积层、全连接层组成用于提取源相机噪声特征的特征提取器。
3.如权利要求1所述的基于源相机识别的图像拼接篡改检测与定位方法，其特征在于，在训练卷积神经网络之前，每层神经网络的权重W的初始化分布如下所示：
Figure FDA0002737867140000011
其中，nin和nout分别代表每层神经网络的输入数据个数和输出数据个数，
Figure FDA0002737867140000021
表示在区间
Figure FDA0002737867140000022
到
Figure FDA0002737867140000023
上的均匀分布。
4.如权利要求1～3任一项所述的基于源相机识别的图像拼接篡改检测与定位方法，其特征在于，所述图像块的尺寸为32*32，训练卷积神经网络时，损失函数Ltotal为：
Ltotal＝Lcross_entropy+L2
其中，Lcross_entropy为训练样本对应的预测值与相机标签的交叉熵，L2为对全连接层参数所作的L2正则化产生的损失。
5.如权利要求1所述的基于源相机识别的图像拼接篡改检测与定位方法，其特征在于，基于源相机噪声特征对所有图像块进行K-means聚类，将数量最大的一类确定为源图像类，其余类确定为篡改区域类。
6.如权利要求1所述的基于源相机识别的图像拼接篡改检测与定位方法，其特征在于，所述对篡改区域类中的图像块进行干扰图像剔除包括：
针对篡改区域类中的每个图像块，计算每个图像块与源图像类中所有图像块的质心之间的相异度，并将相异度小于相异度阈值的图像块从篡改区域类剔除，并增加到源图像类中。
7.如权利要求1或6所述的基于源相机识别的图像拼接篡改检测与定位方法，其特征在于，所述对篡改区域类中的图像块进行干扰图像剔除包括：
针对篡改区域类中的每个图像块，将置信度低于置信度阈值的图像块从篡改区域类剔除，并增加到源图像类中。
8.如权利要求1或6或7所述的基于源相机识别的图像拼接篡改检测与定位方法，其特征在于，所述对篡改区域类中的图像块进行干扰图像剔除包括：
针对篡改区域类中的每个图像块，若与图像块相邻的其他图像块不存在于篡改区域类中，也就是图像块单独存在于篡改区域类中，则将该图像块从篡改区域类剔除，并增加到源图像类中。
9.如权利要求1或8所述的基于源相机识别的图像拼接篡改检测与定位方法，其特征在于，针对干扰图像剔除后的篡改区域类，计算篡改区域类中的图像块占待测图像的比例，当该比例大于比例阈值时，则判断该待测图像是为篡改图像，该篡改图像对应的篡改区域类中的图像块为篡改区域。
10.如权利要求1～9任一项所述的基于源相机识别的图像拼接篡改检测与定位方法，其特征在于，构建篡改图像集，具体过程为：读取来源于两个相机型号的图像分别作为源图像和目标图像，从目标图像上截取一块矩形内的某个物体作为篡改内容，并将该篡改内容移动到源图像的某个位置，得到的新图像为篡改图像，同时记录篡改图像的篡改区域，并保存篡改信息；
利用篡改图像集测试权利要求1～9任一项所述的基于源相机识别的图像拼接篡改检测与定位方法的篡改检测与定位效果。
CN202011139820.0A 2020-10-22 2020-10-22 一种基于源相机识别的图像拼接篡改检测与定位方法 Pending CN112529835A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011139820.0A CN112529835A (zh) 2020-10-22 2020-10-22 一种基于源相机识别的图像拼接篡改检测与定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011139820.0A CN112529835A (zh) 2020-10-22 2020-10-22 一种基于源相机识别的图像拼接篡改检测与定位方法

Publications (1)

Publication Number Publication Date
CN112529835A true CN112529835A (zh) 2021-03-19

Family

ID=74980248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011139820.0A Pending CN112529835A (zh) 2020-10-22 2020-10-22 一种基于源相机识别的图像拼接篡改检测与定位方法

Country Status (1)

Country Link
CN (1) CN112529835A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115376080A (zh) * 2021-05-21 2022-11-22 福特全球技术公司 相机识别

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647742A (zh) * 2018-05-19 2018-10-12 南京理工大学 基于轻量级神经网络的快速目标检测方法
CN109934761A (zh) * 2019-01-31 2019-06-25 中山大学 基于卷积神经网络的jpeg图像隐写分析方法
CN109961838A (zh) * 2019-03-04 2019-07-02 浙江工业大学 一种基于深度学习的超声影像慢性肾脏病辅助筛查方法
CN110852316A (zh) * 2019-11-07 2020-02-28 中山大学 一种采用密集结构卷积网络的图像篡改检测和定位方法
CN111476283A (zh) * 2020-03-31 2020-07-31 上海海事大学 基于迁移学习的青光眼眼底图像识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647742A (zh) * 2018-05-19 2018-10-12 南京理工大学 基于轻量级神经网络的快速目标检测方法
CN109934761A (zh) * 2019-01-31 2019-06-25 中山大学 基于卷积神经网络的jpeg图像隐写分析方法
CN109961838A (zh) * 2019-03-04 2019-07-02 浙江工业大学 一种基于深度学习的超声影像慢性肾脏病辅助筛查方法
CN110852316A (zh) * 2019-11-07 2020-02-28 中山大学 一种采用密集结构卷积网络的图像篡改检测和定位方法
CN111476283A (zh) * 2020-03-31 2020-07-31 上海海事大学 基于迁移学习的青光眼眼底图像识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LUCA BONDI ET AL.: "Tampering Detection and Localization through Clustering of Camera-Based CNN Features", 《COMPUTER VISION & PATTERN RECOGNITION WORKSHOPS》, pages 3 - 4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115376080A (zh) * 2021-05-21 2022-11-22 福特全球技术公司 相机识别

Similar Documents

Publication Publication Date Title
Li et al. SAR image change detection using PCANet guided by saliency detection
Li et al. Automatic pavement crack detection by multi-scale image fusion
CN108319964B (zh) 一种基于混合特征和流形学习的火灾图像识别方法
CN112668594B (zh) 一种基于对抗性域适应的无监督图像目标检测方法
CN108810620A (zh) 识别视频中的关键时间点的方法、计算机设备及存储介质
CN111178120B (zh) 一种基于作物识别级联技术的害虫图像检测方法
CN105574550A (zh) 一种车辆识别方法及装置
CN109117836A (zh) 一种基于焦点损失函数的自然场景下文字检测定位方法和装置
CN108596038B (zh) 一种结合形态学分割和神经网络的粪便中红细胞识别方法
CN111583180B (zh) 一种图像的篡改识别方法、装置、计算机设备及存储介质
CN111583229A (zh) 一种基于卷积神经网络路面故障检测方法
CN111310662B (zh) 一种基于集成深度网络的火焰检测识别方法及系统
Baroffio et al. Camera identification with deep convolutional networks
CN111368690A (zh) 基于深度学习的海浪影响下视频图像船只检测方法及系统
Fan et al. A novel automatic dam crack detection algorithm based on local-global clustering
CN111311475A (zh) 检测模型训练方法、装置、存储介质和计算机设备
CN110263712A (zh) 一种基于区域候选的粗精行人检测方法
CN111709313A (zh) 基于局部和通道组合特征的行人重识别方法
Bai et al. Classify vehicles in traffic scene images with deformable part-based models
CN109615610B (zh) 一种基于YOLO v2-tiny的医用创可贴瑕疵检测方法
CN115100497A (zh) 基于机器人的通道异常物体巡检方法、装置、设备及介质
CN111444816A (zh) 一种基于Faster RCNN的多尺度密集行人检测方法
CN109145770B (zh) 一种基于多尺度特征融合网络与定位模型相结合的麦蜘蛛自动计数方法
CN112633354B (zh) 路面裂缝检测方法、装置、计算机设备和存储介质
CN113870254A (zh) 目标对象的检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination