CN112926598B - 基于残差域深度学习特征的图像拷贝检测方法 - Google Patents
基于残差域深度学习特征的图像拷贝检测方法 Download PDFInfo
- Publication number
- CN112926598B CN112926598B CN202110249157.8A CN202110249157A CN112926598B CN 112926598 B CN112926598 B CN 112926598B CN 202110249157 A CN202110249157 A CN 202110249157A CN 112926598 B CN112926598 B CN 112926598B
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- sift
- original image
- residual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 22
- 230000009466 transformation Effects 0.000 claims abstract description 22
- 239000011159 matrix material Substances 0.000 claims abstract description 18
- 238000001914 filtration Methods 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 4
- 238000005096 rolling process Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 abstract description 4
- 238000013527 convolutional neural network Methods 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
- G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于残差域深度学习特征的图像拷贝检测方法，具体为：提取原始图像和待检测图像的SIFT特征；将两幅图像的SIFT特征进行匹配得到SIFT匹配对；然后将错误的SIFT匹配对过滤，保留其中3对SIFT匹配对，再计算出两幅图像之间的仿射变换矩阵；使用仿射变换矩阵对原始图像进行仿射变换；然后分别计算出变换后原始图像上的重叠区域以及待检测图像上的重叠区域，将两个重叠区域逐像素做差值运算，得到残差图像；将残差图像送入基于多层特征融合的CNN中，从而判断出两幅图像是否为拷贝关系。本发明在保持检测效率的同时，显著地提高了检测精度，且对于视觉上高度相似的拷贝图像和相似图像具有很强的区分能力。
Description
技术领域
本发明属于数字取证领域。
背景技术
随着计算机网络和多媒体技术的迅速发展，网络上的多媒体信息也呈爆炸式的增长。在多媒体信息中，图像数据是其中最主要的组成部分。然而，多媒体技术的发展在给我们带来便利的同时，也让非法使用者获取图像资源变得越来越容易。非法使用者在未经版权方授权的情况下，肆意复制图片，然后对拷贝副本施以一些诸如裁剪，旋转，缩放等拷贝攻击，以达到自已的使用目的。因此，图像拷贝检测对于版权保护有重大的现实意义。图像拷贝检测任务是给定一对包含原始图像和待检测图像的图像对，判断这组图像之间是否存在拷贝关系，即判断待检测图像是否为原始图像的一个拷贝副本。值得注意的是，图像拷贝检测任务的一个难点在于如何区分拷贝图像和相似图像。拷贝图像和相似图像往往包含相同的物体或者场景，而相似图像是由不同的拍摄角度或者在不同的拍摄条件下获取的，因此一些视角变化或者亮度变化较小的相似图像往往与拷贝图像在视觉上具有较高的相似性，这使得拷贝图像与相似图像难以区分。
在研究的初期，研究者们往往使用手工设计的特征。一般说来，手工设计的特征主要包含特征提取和特征匹配两个步骤。特征提取主要包括全局特征提取和局部特征提取两大类。然后根据设定的度量准则，例如计算特征之间的欧氏距离、汉明距离等，判断两幅图像之间是否存在拷贝关系。然而，由于拷贝攻击种类繁多，因此很难设计一种普适且有效的特征提取方案来提取有区分的特征。且由于常用的度量准则往往是简单地计算特征向量之间的空间距离，导致手工设计的特征难以区分视觉上相似度较高的拷贝图像和相似图像。
最近几年，随着深度学习的发展，神经网络在计算机视觉领域受到了广泛的关注。鉴于这一事实，研究者们开始倾向于将原始图像和待检测图像成对地输入深度神经网络然后直接得到判断输出。由于网络的输入是一对图片，因此研究者们往往选择孪生网络，伪孪生网络或者双信道网络以完成图像拷贝检测任务。之后，一些改进的网络模型被相继提出，例如，孪生CNN网络(Chopra S，Hadsell R and Lecun Y，Learning a similarity metricdiscriminatively，with application to face verification[C]，2005IEEE ComputerSociety Conference on Computer Vision and Pattern Recognition(CVPR′05)，2005，1：539-546.)，伪孪生深度网络(Zheng S，Song Y and Leung T，Improving theRobustness of Deep Neural Networks via Stability Training[C]，In Proceedingsof the IEEE Conference on Computer Vision and Pattern Recognition，2016，4480-4488.)和双流双信道网络(Zagoruyko S and Komodakis N，Learning to Compare ImagePatches via Convolutional Neural Networks[J]，In Proceedings of the IEEEConference on Computer Vision and Pattern Recognition，2015，4353-4361.)。虽然这些改进的网络取得了可观的检测精度，但是这些网络没有考虑到原始图像和拷贝图像之间的本质联系，即忽视了拷贝检测任务的领域知识，因此难以区分拷贝图像和相似图像。另外，由于CNN本身的设计局限性，即CNN针对几何攻击的抵抗能力往往源自于庞大的训练数据量，这导致网络在训练阶段负担较大，学习效率低下，且检测效果受限。
基于深度学习的图像拷贝检测研究虽然已经取得了很大的成就，但现有的基于深度学习的图像拷贝检测方法主要有以下几个技术难题：
1、现有的基于深度学习的图像拷贝检测方法，往往直接将图像成对地输入网络中，而忽视了拷贝图像和相似图像之间的本质关系，导致网络难以区分视觉相似性较高的拷贝图像和相似图像。
2、现有的基于深度学习的图像拷贝检测方法，往往直接使用CNN提取特征然后将高层的输出送入决策网络进行预测分类，然而拷贝图像之间的区分信息往往很微小，而CNN高层的特征往往表征整体的语义信息，因此CNN的高层特征并不能直接适用于图像拷贝检测任务。
3、现有的基于深度学习的图像拷贝检测方法，往往使用CNN进行特征学习和预测分类，然而由于CNN本身设计的局限性，其针对旋转等几何攻击的抵抗能力主要依赖于庞大的训练数据量。这不仅加重了网络学习的负担，使网络的学习效率低下，而且容易使检测效果受限。
发明内容
发明目的：为了解决上述现有技术中存在的问题，本发明提供了一种基于残差域深度学习特征的图像拷贝检测方法。
技术方案：本发明提供了一种基于残差域深度学习特征的图像拷贝检测方法，具体包括如下步骤：
步骤1：分别提取原始图像IO和待检测图像IC的SIFT特征；
步骤2：分别计算原始图像IO中第i个SIFT特征与待检测图像IC中每个SIFT特征之间的欧氏距离，选择最短欧氏距离对应的待检测图像IC中SIFT特征与原始图像IO中第i个SIFT特征组成SIFT匹配对；i＝1，2，…I，其中I为原始图像IO中SIFT特征的总个数；
步骤3：采用RANSAC算法对SIFT匹配对进行过滤，从而筛选出N对SIFT匹配对；
步骤4：基于N对SIFT匹配对，计算原始图像和待检测图像之间的仿射变换矩阵T；
步骤5：采用仿射变换矩阵T对原始图像IO进行变换，从而得到图像I′O；
步骤6：分别将待检测图像IC和图像I′O进行二值化处理，得到掩码MC和MO；然后将掩码MC与图像I′O进行按位与运算，得到原始图像上与待检测图像重叠的区域；将掩码MO与待检测图像IC进行按位与运算，得到待检测图像上与原始图像重叠的区域；再将两个重叠的区域逐像素进行差值运算，从而得到原始图像IO与待检测图像IC之间的残差图像IR；
步骤7：若图像库中某个图像与原始图像IO之间为拷贝关系，则将该图像的标签值设置为1，否则该图像的标签值设置为0；根据步骤1～6计算图像库中每个图像与原始图像IO之间的残差图像，得到数据集，采用数据集中一部分残差图像以及该部分残差图像对应的标签值对改进后的ResNet18模型进行训练；数据集中剩余的残差图像以及该剩余的残差图像对应的标签值用于检测训练好的改进后的ResNet18模型的性能；
步骤8；将残差图像IR作为训练好的改进后的ResNet18模型的输入，得到待检测图像与原始图像之间存在拷贝关系的概率，如果该概率值大于预设的阈值，则认为待检测图像与原始图像之间存在拷贝关系。
进一步的，所述步骤4中计算仿射变换矩阵T具体为：
步骤4.1：将原始图像IO左上角的像素点作为原点，计算N个SIFT匹配对中在原始图像IO上的SIFT特征与原点之间的欧氏距离，并将所有欧氏距离按照由小到大的顺序排列，得到距离集合Lrank＝[l1，l2，l3，..，lN-1，lN]，ln为第n个欧氏距离，n＝1，2，…，N；选择l1，
lN对应的SIFT匹配对，
为向下取整；
步骤4.2：原始图像和待检测图像之间的仿射变换为：
其中，(xC，yC)为某一对匹配对中待检测图像IC中的SIFT特征在待检测图像上的坐标；(xO，yO)为该匹配对中原始图像IO的SIFT特征在原始图像IO上的坐标，a，b，c，d，e，f均为参数；根据步骤4.1中选择的3个SIFT匹配对中SIFT特征的尺度信息和方向信息，求解参数a，b，c，d，e，f；从而得到仿射变换矩阵T为：
进一步的，所述步骤4.2中采用采用SVD算法或最小二乘法求解参数a，b，c，d，e，f。
进一步的，所述步骤6具体为：
将待检测图像IC进行二值化处理得到掩码MC：
其中，pC(x，y)表示待检测图像IC中任意像素点(x，y)的像素值；δ(·)表示二值化处理；
将图像I′O与掩码MC进行按位与运算，得到原始图像上与待检测图像重叠的区域RO：
其中，
pO′(x’，y’)，pC(x’，y’)分别表示重叠区域RO中任意一个像素点(x’，y’)在重叠区域RO，图像I′O和待检测图像IC上的像素值；符号[·]B表示二进制形式；&表示按位与运算；
将图像I′O进行二值化处理得到掩码MO：
MO＝{δ(pO′(x1，y1))}，且
其中，pO′(x1，y1)表示图像I′O中任意一个像素点(x1，y1)的像素值；
将待检测图像IC与掩码MO进行按位与运算，得到待检测图像IC上与原始图像重叠的区域RC：
其中，
pO′(x’1，y’1)，pC(x’1，y’1)分别表示区域RC上像素点(x’1，y’1)在区域RC，图像I′O和待检测图像IC上的像素值。
进一步的，所述步骤7中的改进后的ResNet18模型包括卷积核大小为3*3的卷积层，第一～四卷积块，第一、二平均池化层，第一、二全连接层，第一、二分类器加权相加模块；所述第一、二分类器的维数为2；
所述卷积层与第一卷积块连接，所述第一卷积块与第二卷积块连接，所述第二卷积卷积块分别连接第三卷积块和第二平均池化层；所述第三卷积块，第四卷积块，第一平均池化层，第一全连接层，第一分类器依次连接，所述第二平均池化层，第二全连接层和第二分类器依次连接；所述第一，二分类器均与加权相加模块连接，所述加权相加模块输出待检测图像与原始图像之间存在拷贝关系的概率。
进一步的，改进后的ResNet18模型的损失函数L为：
L＝0.3*L1+0.7*L2
其中L1为改进后的ResNet18模型的第一分类器的输出
与用于训练该模型的残差图像对应的标签值之间的交叉熵损失，L2为改进后的ResNet18模型的第二分类器的输出
与用于训练该模型的残差图像对应的标签值之间的交叉熵损失；
基于如下公式计算L1或L2：
其中y为用于训练改进后的ResNet18模型的残差图像对应的标签值。
有益效果：
(1)本发明采用残差图像作为神经网络的输入，一方面，残差图像能够反映拷贝图像和相似图像的本质区别，所以本发明可以有效地区分拷贝图像和相似图像；另一方面，由于在计算残差图像的过程中减去了两幅图像之间的重叠区域，从而减少了内容的相关性，所以本发明能够避免神经网络学习到无关特征。
(2)本发明采用改进后的ResNet18网络进行训练学习和预测分类。在CNN中，低层的纹理信息和高层的语义信息都能反映拷贝图像和非拷贝图像之间的区别。出于结合CNN多层信息的考虑，本发明结合第二卷积模块的特征和高层特征进行拷贝检测，所以本发明更适用于拷贝检测任务。
(3)本发明采用了SIFT特征进行图像配准，所以本发明能有效地抵抗几何攻击，并且能避免增加不必要的训练数据量。
附图说明
图1是本发明的流程图；
图2是本发明中基于多层特征融合的ResNet18网络结构示意图。
具体实施方式
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
如图1所示，本实施例提供一种基于残差域深度学习特征的拷贝图像检测方法：在图像预处理阶段，对原始图像和待检测图像提取并匹配SIFT特征，根据正确的SIFT特征匹配对估算两幅图像之间的仿射变换矩阵，利用该仿射变换矩阵将两幅图像进行配准，然后将配准后的图像逐像素相减得到残差图像。在网络学习阶段，将残差图像送入基于多层特征融合的ResNet18网络中进行特征学习和预测分类，根据分类输出，判断两幅图像是否存在拷贝关系。为了提高对于拷贝图像和相似图像的区分能力，本发明在图像预处理阶段通过图像配准然后逐像素相减得到残差图像作为网络的输入，残差图像能反映拷贝图像和相似图像的本质区别，且残差域的计算方式能有效抵抗几何攻击，从而减轻网络的学习负担。同时，在网络学习阶段，为了使ResNet18网络更适用于拷贝检测任务，本发明对ResNet18的网络结构进行了优化，联合考虑了CNN的低层特征和高层特征以区分拷贝图像和非拷贝图像，从而进一步提高拷贝检测的准确率。具体的步骤如下所示：
步骤1：提取原始图像IO和待检测图像IC的SIFT特征，所述提取的SIFT特征不仅包含128维的特征向量，还包括特征点的位置信息、尺度信息和角度信息。
步骤2：计算原始图像IO中第i个SIFT特征与待检测图像IC中所有SIFT特征之间的欧氏距离，选择距离最短的SIFT特征与原始图像IO中第i个SIFT特征组成SIFT匹配对；＝1，2，…I，其中I为原始图像IO中SIFT特征的总个数；
步骤3：所得的SIFT匹配对中包含一些错误匹配，利用RANSAC算法过滤错误的SIFT匹配对：RANSAC算法允许从一组观测值(其中包含一些异常值)精确估计模型参数。为此，RANSAC算法迭代地选择随机观察子集，也称为最小集，以建立模型假设。根据假设与所有观察结果的一致性，对假设进行排序，排名最高的假设将作为最终估计返回。经RANSAC算法过滤后，保留N对正确的SIFT匹配对。
步骤4：为了配准图像以得到残差图像，需要求解两幅图像之间的仿射变换矩阵。若原始图像IO和待检测图像IC之间存在仿射变换，则有
其中(xC，yC)，(xO，yO)为一对匹配的特征点分别在待检测图像IC和原始图像IO上的像素点的坐标值，该式可化简为
则
即为所需的仿射变换矩阵，一方面，为了求解仿射变换矩阵
的6个参数a，b，c，d，e，f，我们需要至少3对的SIFT匹配点。另一方面，为了更好地估算仿射变换矩阵T，我们尽可能地挑选分散分布的3对SIFT特征点。鉴于以上原因，在原始图像IO中，根据筛选出的N个特征点与图像左上角原点O(0，0)之间的欧式距离按照升序进行排序，得到距离集合Lrank＝[l1，l2，l3，..，lN-1，lN]，且l1＜l2＜l3＜...＜lN-1＜lN，保留距离分别为l1，
lN对应的3对SIFT匹配对；然后根据这3对SIFT匹配对的尺度信息和方向信息，使用SVD算法或者最小二乘法求解两幅图像之间的仿射变换矩阵T。
步骤5：将仿射变换矩阵T作用于原始图像IO上，得到变换后的原始图像I′O。此时，变换之后的原始图像I′O与待检测图像IC在方向和尺度上保持了一致。
步骤6：将待检测图像IC进行二值化处理得到掩码MC，将掩码MC与变换后的原始图像I′O进行按位与运算，得到原始图像上与待检测图像的重叠区域RO；类似地，将变换后的原始图像I′O进行二值化处理得到掩码MO，然后将掩码MO与待检测图像IC进行按位与运算，得到待检测图像上与原始图像重叠的区域RC；再将重叠区域RO与RC逐像素进行差值运算，得到残差图像IR。由于构造残差图像IR时减去了两幅图像之间的重叠部分，因此，残差图像不仅能反映拷贝图像和相似图像的本质区别，而且避免了网络学习不必要的内容特征。具体步骤如下：
步骤6-1：将待检测图像IC进行二值化处理得到掩码MC：
其中，pC(x，y)表示待检测图像IC上的任何一个素点(x，y)在待检测图像IC上的像素值；符号δ表示二值化处理运算；
然后将变换后的原始图像I′O与掩码MC进行按位与运算，得到原始图像IO与待检测图像重叠的区域RO(所述重叠区域为待检测图像和原始图像之间包括同一物体或场景的区域)，重叠区域RO的计算方式为：
其中，
pO′(x’，y’)，pC(x’，y’)分别表示重叠区域RO中任意一个像素点(x’，y’)在重叠区域RO，图像I′O和待检测图像IC上的像素值；符号[·]B表示二进制形式；符号&表示按位与运算；
步骤6-2：类似地，将变换后的图像I′O进行二值化处理得到掩码MO：
MO＝{δ(pO′(x1，y1))}，且
其中，pO′(x1，y1)表示图像I′O中任意一个像素点(x1，y1)在图像I′O上的像素值
然后将待检测图像IC与掩码MO进行按位与运算，得到待检测图像IC上与原始图像重叠的区域RC，重叠区域RC的计算方式为：
其中，
pO′(x’1，y’1)，pC(x’1，y’1)分别表示区域RC上像素点(x’1，y’1)在区域RC，图像I′O和待检测图像IC上的像素值。
步骤6-3：两个重叠区域的大小相同；将重叠区域RO与RC逐像素进行差值运算，得到残差图像IR，残差图像IR的计算方式为：
其中，pR(x1，y1)，
分别表示在重叠区域RO或RC中任意像素点(x1，y1)在残差图像IR，重叠区域RO，重叠区域RC上的像素值。残差图像IR即为神经网络的输入。
步骤7：将残差图像IR送入基于多层特征融合的CNN进行训练学习和预测分类。分类结果为1，表示给定的两幅图像之间存在拷贝关系；分类结果为0，则表示给定的两幅图像之间为非拷贝关系。具体如下所示：
步骤7-1：优化ResNet18(深度残差网络)的网络结构，使得神经网络融合学习多层特征。理论上，网络的参数量决定了网络的训练速度和学习效率，因此本发明选择ResNet18网络作为基础网络，并对ResNet18网络进行优化，优化后的ResNet18网络的结构如图2所示，在原始的网络中增加了分支。同时为了使ResNet18更适用于图像拷贝检测任务，本发明对ResNet18网络结构进行了优化：首先调整ResNet18的第一层卷积层的卷积核大小，将卷积核的尺寸由原来的7×7调整为3×3，由于较小的卷积核能更好地聚焦微小的细节特征，因此更有利于区分拷贝图像和非拷贝图像；其次，由于图像拷贝检测任务本质上是个二分类问题，即两幅图像若存在拷贝关系则分类为1，若为非拷贝关系则分类为0，因此本发明将全连接层的输出维数置为2；最后，由于CNN的低层纹理特征和高层语义特征都有助于区分拷贝图像和非拷贝图像，因此出于结合CNN多层特征的考虑，本发明修改了ResNet18网络的目标损失函数为：L＝0.3*L1+0.7*L2，其中，L1为由优化后网络第二卷积模块的输出
与标签值y计算所得的交叉熵损失，L2为由优化后网络最后一层的输出
与标签值y计算所得的交叉熵损失；交叉熵损失的计算方式为：
其中，y为样本标签，
为softmax层(分类器)的输出概率值；保存优化后的ResNet18网络结构。
步骤7-2：使用训练数据集对网络模型进行训练；随机挑选图像库中70％的图像对用于网络模型的训练，其中，拷贝图像对的标签值为1，非拷贝图像对的标签值为0；网络根据目标损失函数，通过反向传播算法依据梯度方向更新模型参数；待训练完毕后保存所有的模型参数。
步骤7-3：使用测试集对训练好的网络模型进行性能评估。将图像库中剩余的30％的图像对用于网络模型的验证，将这些测试图像对送入训练好的神经网络中进行特征学习和预测分类。
步骤7-4：将待检测图像和原始图像之间的残差图像输入至训练好的ResNet18网络中，ResNet18网络中的第一分类器的输出
为(v1，v2)，第二分类器的输出
为(v3，v4)，其中v1，v3表示待检测图像和原始图像为拷贝关系的概率值，v2，v4表示待检测图像和原始图像为非拷贝关系的概率值；将v1和v3进行加权相加，最终的输出概率。
步骤8：判断待检测图像是否为原始图像的一个拷贝副本：如果改进后的ResNet18网络输出的概率大于预设的值Th，则认为待检测图像的与原始图像之间存在拷贝关系。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (4)
1.基于残差域深度学习特征的图像拷贝检测方法，其特征在于，具体包括如下步骤：
步骤1：分别提取原始图像IO和待检测图像IC的SIFT特征；
步骤2：分别计算原始图像IO中第i个SIFT特征与待检测图像IC中每个SIFT特征之间的欧氏距离，选择最短欧氏距离对应的待检测图像IC中SIFT特征与原始图像IO中第i个SIFT特征组成SIFT匹配对；i＝1,2,…I，其中I为原始图像IO中SIFT特征的总个数；
步骤3：采用RANSAC算法对SIFT匹配对进行过滤，从而筛选出N对SIFT匹配对；
步骤4：基于N对SIFT匹配对，计算原始图像和待检测图像之间的仿射变换矩阵T；
步骤5：采用仿射变换矩阵T对原始图像IO进行变换，从而得到图像I’O；
步骤6：分别将待检测图像IC和图像I’O进行二值化处理，得到掩码MC和MO；然后将掩码MC与图像I'O进行按位与运算，得到原始图像上与待检测图像重叠的区域；将掩码MO与待检测图像IC进行按位与运算，得到待检测图像上与原始图像重叠的区域；再将两个重叠的区域逐像素进行差值运算，从而得到原始图像IO与待检测图像IC之间的残差图像IR；
步骤7：若图像库中某个图像与原始图像IO之间为拷贝关系，则将该图像的标签值设置为1，否则该图像的标签值设置为0；根据步骤1～6计算图像库中每个图像与原始图像IO之间的残差图像，得到数据集；采用数据集中一部分残差图像以及该部分残差图像对应的标签值对改进后的ResNet18模型进行训练；数据集中剩余的残差图像以及该剩余的残差图像对应的标签值用于检测训练好的改进后的ResNet18模型的性能；
步骤8；将残差图像IR作为训练好的改进后的ResNet18模型的输入，得到待检测图像与原始图像之间存在拷贝关系的概率，如果该概率值大于预设的阈值，则认为待检测图像与原始图像之间存在拷贝关系；
所述步骤7中的改进后的ResNet18模型包括卷积核大小为3*3的卷积层，第一～四卷积块，第一、二平均池化层，第一、二全连接层，第一、二分类器加权相加模块；所述第一、二分类器的维数为2；
所述卷积层与第一卷积块连接，所述第一卷积块与第二卷积块连接，所述第二卷积块分别连接第三卷积块和第二平均池化层；所述第三卷积块，第四卷积块，第一平均池化层，第一全连接层，第一分类器依次连接；所述第二平均池化层，第二全连接层和第二分类器依次连接；所述第一，二分类器均与加权相加模块连接，所述加权相加模块输出待检测图像与原始图像之间存在拷贝关系的概率；
改进后的ResNet18模型的损失函数L为：
L＝0.3*L1+0.7*L2
其中L1为改进后的ResNet18模型的第一分类器的输出
与用于训练该模型的残差图像对应的标签值之间的交叉熵损失，L2为改进后的ResNet18模型的第二分类器的输出
与用于训练该模型的残差图像对应的标签值之间的交叉熵损失；
基于如下公式计算L1或L2：
其中y为用于训练改进后的ResNet18模型的残差图像对应的标签值。
2.根据权利要求1所述的基于残差域深度学习特征的图像拷贝检测方法，其特征在于，所述步骤4中计算仿射变换矩阵T具体为：
步骤4.1：将原始图像IO左上角的像素点作为原点，计算N个SIFT匹配对中在原始图像Io上的SIFT特征与原点之间的欧氏距离，并将所有欧氏距离按照由小到大的顺序排列，得到距离集合，Lrank＝[l1,l2,l3,...,ln,...,lN-1,lN]，ln为第n个欧氏距离，n＝1,2,…,N；选择l1,
lN对应的SIFT匹配对，
为向下取整；
步骤4.2：原始图像和待检测图像之间的仿射变换为：
其中，(xC,yC)为某一对匹配对中待检测图像IC中的SIFT特征在待检测图像上的坐标；(xO,yO)为该匹配对中原始图像IO的SIFT特征在原始图像IO上的坐标，a,b，c，d,e,f均为参数；根据步骤4.1中选择的3个SIFT匹配对中SIFT特征的尺度信息和方向信息，求解参数a,b,c,d，e，f；从而得到仿射变换矩阵T为：
3.根据权利要求2所述的基于残差域深度学习特征的图像拷贝检测方法，其特征在于，所述步骤4.2中采用SVD算法或最小二乘法求解参数a,b，c,d,e,f。
4.根据权利要求1所述的基于残差域深度学习特征的图像拷贝检测方法，其特征在于，所述步骤6具体为：
将待检测图像IC进行二值化处理得到掩码MC：
MC＝{δ(pC(x,y))},且
其中，pC(x,y)表示待检测图像IC中任意像素点(x,y)的像素值；δ(.)表示二值化处理；
将图像I'O与掩码MC进行按位与运算，得到原始图像上与待检测图像重叠的区域RO：
其中，
pO'(x’,y’)，pC(x’,y’)分别表示重叠区域RO中任意一个像素点(x’,y’)在重叠区域RO、图像I'O和待检测图像IC上的像素值；符号[·]B表示二进制形式；&表示按位与运算；
将图像I'O进行二值化处理得到掩码MO：
MO＝{δ(pO'(x1,y1))}，且
其中，pO’(x1,y1)表示图像I'O中任意一个像素点(x1,y1)的像素值；
将待检测图像IC与掩码MO进行按位与运算，得到待检测图像IC上与原始图像重叠的区域RC：
其中，
pO'(x’1,y’1)，pC(x’1,y’1)分别表示区域RC上像素点(x’1,y’1)在区域RC、图像I'O和待检测图像IC上的像素值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110249157.8A CN112926598B (zh) | 2021-03-08 | 2021-03-08 | 基于残差域深度学习特征的图像拷贝检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110249157.8A CN112926598B (zh) | 2021-03-08 | 2021-03-08 | 基于残差域深度学习特征的图像拷贝检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112926598A CN112926598A (zh) | 2021-06-08 |
| CN112926598B true CN112926598B (zh) | 2021-12-07 |
Family
ID=76171797
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110249157.8A Active CN112926598B (zh) | 2021-03-08 | 2021-03-08 | 基于残差域深度学习特征的图像拷贝检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112926598B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109543674A (zh) * | 2018-10-19 | 2019-03-29 | 天津大学 | 一种基于生成对抗网络的图像拷贝检测方法 |
| JP2019536164A (ja) * | 2016-11-30 | 2019-12-12 | 日本電気株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109543735A (zh) * | 2018-11-14 | 2019-03-29 | 北京工商大学 | 视频拷贝检测方法及其系统 |
| CN111754403B (zh) * | 2020-06-15 | 2022-08-12 | 南京邮电大学 | 一种基于残差学习的图像超分辨率重构方法 |
-
2021
- 2021-03-08 CN CN202110249157.8A patent/CN112926598B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019536164A (ja) * | 2016-11-30 | 2019-12-12 | 日本電気株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| CN109543674A (zh) * | 2018-10-19 | 2019-03-29 | 天津大学 | 一种基于生成对抗网络的图像拷贝检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于对象的图像内容篡改取证方法研究;独智序;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190115(第12期);正文第49-62页 * |
| 平稳背景下器件成像多余物检测技术;李旭;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120315(第3期);正文第31-34页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112926598A (zh) | 2021-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhu et al. | AR-Net: Adaptive attention and residual refinement network for copy-move forgery detection | |
| CN109949317B (zh) | 基于逐步对抗学习的半监督图像实例分割方法 | |
| CN112395957B (zh) | 一种针对视频目标检测的在线学习方法 | |
| CN106683119B (zh) | 基于航拍视频图像的运动车辆检测方法 | |
| CN112131967A (zh) | 基于多分类器对抗迁移学习的遥感场景分类方法 | |
| CN110717526A (zh) | 一种基于图卷积网络的无监督迁移学习方法 | |
| CN110503161B (zh) | 一种基于弱监督yolo模型的矿石泥团目标检测方法和系统 | |
| CN108629286B (zh) | 一种基于主观感知显著模型的遥感机场目标检测方法 | |
| Li et al. | A review of deep learning methods for pixel-level crack detection | |
| CN109743642B (zh) | 基于分层循环神经网络的视频摘要生成方法 | |
| CN111126412A (zh) | 基于特征金字塔网络的图像关键点检测方法 | |
| CN114419151A (zh) | 一种基于对比学习的多目标跟踪方法 | |
| Liu et al. | Deep domain adaptation for pavement crack detection | |
| CN110633727A (zh) | 基于选择性搜索的深度神经网络舰船目标细粒度识别方法 | |
| CN114913498A (zh) | 一种基于关键点估计的并行多尺度特征聚合车道线检测方法 | |
| Wang et al. | License plate recognition system | |
| CN115410081A (zh) | 一种多尺度聚合的云和云阴影辨识方法、系统、设备及存储介质 | |
| Lee et al. | License plate detection via information maximization | |
| CN110222217B (zh) | 一种基于分段加权的鞋印图像检索方法 | |
| CN117333948A (zh) | 一种融合时空注意力机制的端到端多目标肉鸡行为识别方法 | |
| CN116092134A (zh) | 一种基于深度学习和特征融合的指纹活体检测方法 | |
| Vijayalakshmi K et al. | Copy-paste forgery detection using deep learning with error level analysis | |
| Long et al. | SASiamNet: Self-adaptive Siamese Network for change detection of remote sensing image | |
| CN116912184B (zh) | 一种基于篡改区域分离和区域约束损失的弱监督深度修复图像篡改定位方法及系统 | |
| Sirhan et al. | Multilabel CNN model for asphalt distress classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |