CN111353504B - 基于图像块多样性选择和残差预测模块的源相机识别方法 - Google Patents

基于图像块多样性选择和残差预测模块的源相机识别方法 Download PDF

Info

Publication number
CN111353504B
CN111353504B CN202010137617.3A CN202010137617A CN111353504B CN 111353504 B CN111353504 B CN 111353504B CN 202010137617 A CN202010137617 A CN 202010137617A CN 111353504 B CN111353504 B CN 111353504B
Authority
CN
China
Prior art keywords
image
image blocks
training
residual prediction
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010137617.3A
Other languages
English (en)
Other versions
CN111353504A (zh
Inventor
刘云霞
邹泽宇
张文娜
陈月辉
杨阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Jinan
Original Assignee
University of Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Jinan filed Critical University of Jinan
Priority to CN202010137617.3A priority Critical patent/CN111353504B/zh
Publication of CN111353504A publication Critical patent/CN111353504A/zh
Application granted granted Critical
Publication of CN111353504B publication Critical patent/CN111353504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种基于图像块多样性选择和残差预测模块的源相机识别方法，将数据库图像划分为训练集、验证集和测试集；将原始图像分割成大小一定的图像块，从每张训练图像中分割得到的所有图像块中选取部分有代表性的小图像块作为训练数据；构建残差预测模块，并利用其降低图像内容对相机特征的影响；对卷积神经网络模型进行改进，去掉两个全连接层，使用一个全局平均池化层和一个全连接层，形成改进后的卷积神经网络模型；将处理后的残差图像输入至改进的卷积神经网络模型中，进行训练，进而进行源相机识别；能够对图像块进行有效的源相机识别。

Description

基于图像块多样性选择和残差预测模块的源相机识别方法
技术领域
本公开属于源相机识别技术领域，涉及一种基于图像块多样性选择和残差预测模块的源相机识别方法。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
在图像取证任务中，源相机识别一直是备受关注的重点问题。源相机识别的目的是确定用于获取未知来源的数字图像的源相机。对于某一特定的相机，所拍摄的图像在成像时会受到设备所特有的成像特征的影响，如相机模式噪声、镜头像差等。此外，相机内部的芯片对采集到的图像信息采用一定的处理方法，如白平衡、对比度饱和度设置等，也会对最终的成像有所影响。以上两类特征随相机种类的不同而不同，都会在最终的图像中留下微弱的痕迹，这是源相机识别的重要依据。由于相机内部的操作是不可逆的，并且相机留下的痕迹相对稳定，因此可以利用图像中留下的痕迹进行源相机识别。
Luca Bondi等人首次将卷积神经网络(CNN)应用于源相机识别领域。他们通过卷积神经网络提取相机模型特征并用支持向量机进行分类，可以预测整幅图像的相机模型类别，然而该方法对在图像块上的相机模型识别效果不好。并且，源相机的特征非常微弱，容易受到图像场景内容的影响。而卷积神经网络的特征提取能力比较强大，所以在提取源相机特征时，可能会提取到部分图像内容信息，掩盖源相机特征，导致结果不够理想。
发明内容
本公开为了解决上述问题，提出了一种基于图像块多样性选择和残差预测模块的源相机识别方法，本公开能够有效降低图像内容对相机特征提取的影响，并通过提升图像块内容的多样性进一步提升卷积神经网络对源相机识别的特征提取效果。
根据一些实施例，本公开采用如下技术方案：
一种基于图像块多样性选择和残差预测模块的源相机识别方法，包括以下步骤：
将数据库图像划分为训练集、验证集和测试集；
将原始图像分割成大小一定的图像块，从每张训练图像中分割得到的所有图像块中选取部分有代表性的小图像块作为训练数据；
构建残差预测模块，并利用其降低训练数据中图像内容的影响；
对卷积神经网络模型进行改进，去掉两个全连接层，使用一个全局平均池化层和一个全连接层，形成改进后的卷积神经网络模型；
将处理后的残差图像输入至改进的卷积神经网络模型中，进行训练；
利用验证集对训练结果进行验证，不断训练，直到满足验证标准；
利用最终的卷积神经网络模型对测试集的图像进行源相机识别。
作为可选择的实施方式，进行数据库图像划分时，在源相机模型数据集划分中，剔除只有一部相机设备的相机模型，以保证测试集中出现的相机设备没有在训练集和验证集中出现；通过图像的场景内容划分为训练集、验证集和测试集，保证训练集、验证集和测试集中的场景不一致。
在源相机品牌数据集划分中，首先，剔除只有一种相机模型的相机品牌，然后通过图像的场景内容划分为训练集、验证集和测试集。在源相机设备数据集划分中，使用了数据库中所有的相机设备。然后通过图像的场景内容划分为训练集、验证集和测试集，保证训练集、验证集和测试集中的场景不一致。
作为可选择的实施方式，将原始图像分割成64×64的图像块，并忽略小于64×64的图像块。
作为可选择的实施方式，对分割得到的图像块进行选择的过程中，采用不同的选取图像块的方法来丰富图像特征。
具体的，一种为根据均值方差公式，为同一张图像中分割得到的每个图像块计算得分，对图像块的得分进行排名，选择排名靠前的m个图像块；
另一种为利用K-means聚类算法选择图像块，根据每个图像块的均值和方差将每张原始图像中分割得到的所有图像块进行K-means聚类，聚成k个不同的类别，从每个类别中，选取距离聚类中心最近的n个图像块作为此类别的代表；
当选择的图像块与基于均值方差的方法有重叠时，保留K-means方法选择的图像块，然后选择均值方差公式得分排名顺延一个位置的图像块。
作为可选择的实施方式，构建残差预测模块时，对残差网络进行进行改进，在1×1卷积之后，使用一组卷积组,每一组有w个通道，以增加输出特性可以代表的尺度。
作为可选择的实施方式，改进的卷积神经网络模型，使用卷积神经网络的5个阶段，前两个阶段包含2个卷积层，卷积层分别包含64个卷积核和128个卷积核，接下来的三个阶段包括3个卷积层，卷积层包含256、512、512个卷积核。在每个卷积层之后应用ReLU激活函数，在每个阶段结束时连接一个最大池层，改进的网络去掉了两个全连接层，使用一个全局平均池化层和一个全连接层。
利用设定的源相机识别准确率计算方式为验证标准。
一种基于图像块多样性选择和残差预测模块的源相机识别系统，包括：
数据划分模块，被配置为将数据库图像划分为训练集、验证集和测试集；
分割与多样性选择模块，被配置为将原始图像分割成大小一定的图像块，从每张训练图像中分割得到的所有图像块中选取部分有代表性的小图像块作为训练数据；
残差预测模块，被配置为构建残差预测模块，并利用其降低训练数据中图像内容的影响；
识别模型构建模块，被配置为对卷积神经网络模型进行改进，去掉两个全连接层，使用一个全局平均池化层和一个全连接层，形成改进后的卷积神经网络模型；
模型训练与验证模块，被配置为将处理后的残差图像输入至改进的卷积神经网络模型中，进行训练，利用验证集对训练结果进行验证，不断训练，直到满足验证标准；
识别模块，被配置为利用最终的卷积神经网络模型对测试集的图像进行源相机识别。
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种基于图像块多样性选择和残差预测源相机识别方法的步骤。
一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于图像块多样性选择和残差预测源相机识别方法的步骤。
与现有技术相比，本公开的有益效果为：
本公开能够对图像块进行有效的源相机识别，不再局限于整幅图像的识别。本公开通过结合多种方法来提取图像块作为训练数据，可以在使用较少训练数据的情况下，利用更加丰富的图像特征训练网络，得到较好的结果。
本公开设计的自动提取残差模块，可以在不进行人工手动设计残差的情况下，避免图像内容对相机特征的影响。本公开可以在更加公平合理的测试条件下，得到较好的结果，并且未来此种测试方法有望辅助拼接篡改的检测。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为本实施例的流程图。
图2(a)、图2(b)为原始图像分割的可视化示意图。
图3(a)、图3(b)为图像块选取的可视化图。
图4为本实施例中卷积神经网络的示意图。
图5为本实施例分类结果视觉效果对比图。图5(a)为原始图像；图5(b)为卷积神经网络方法的相机模型分类结果可视化图像；图5(c)为本实施例方法的相机模型分类结果可视化图像。
具体实施方式：
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本实施例提供了一种基于图像块多样性选择和残差预测模块的源相机识别方法，该方法采用多种图像块选取方法、自动的残差提取模块，从而可以在更加公平合理的测试条件下，获得更好的识别性能，本实施例的流程如图1所示。
主要包括图像块的提取、残差预测模块以及特征提取网络。在训练阶段，首先，根据图像块选取方法，从每张训练图像中分割得到的所有图像块中选取部分有代表性的小图像块作为训练数据。其次，由于相机特征容易受到图像内容影响，所以通过残差预测模块降低图像内容的影响。最后，应用改进的VGG网络进行图像的特征提取和分类。在测试阶段，对每张测试图像中所有分割得到的小图像块都进行识别，将小图像块的类别作为准确率的统计标准，加大测试难度，更加公平合理，也更适合图像拼接篡改检测。
具体过程包括：
1.数据集划分
将最大的数字图像取证Dresden数据库中的图像划分到训练集、验证集和测试集中。在划分数据集的过程中遵守以下准则：在源相机模型数据集划分中，为了避免单部相机设备对相机模型特征的影响，剔除只有一部相机设备的相机模型。将Nikon_D70s和Nikon_D70合并为Nikon_D70。保证测试集中出现的相机设备没有在训练集和验证集中出现。最后，通过图像的场景内容划分为训练集、验证集和测试集。
在源相机品牌数据集划分中，首先，剔除只有一种相机模型的相机品牌，然后通过图像的场景内容划分为训练集、验证集和测试集。在本实施例中，在源相机设备数据集划分中，使用了数据库中所有的相机设备，一共74部相机设备。通过图像的场景内容划分为训练集、验证集和测试集，保证训练集、验证集和测试集中的场景不一致。
2.图像块分割
将原始图像分割成64×64的图像块。本实施例的卷积神经网络的输入数据不是原始图像，而是将原始图像分割成不重叠的64×64大小的图像块，并忽略小于64×64的图像块。图像块的分割结果入图2所示，其中图2(a)为原始图像，图2(b)为分割后的图像块。小图像块相较于原始图像，包含的内容更少，不同相机的指纹在小图像块上重合概率更大，所以基于小图像块的源相机识别方法的难度更大。
3.图像块的选取
在有限的训练图像块中(每张图像中选择128个图像块作为神经网络的输入数据)，为了使得涉及的训练图像块内容尽量丰富，保证卷积神经网络可以提取足够的特征。所以，我们采用两种不同的选取图像块的方法来尽可能丰富图像特征。采取的第一种图像块选取方法是根据均值方差公式选取图像块。此方法为同一张图像中分割得到的每个图像块计算得分：
Figure BDA0002397186460000091
然后对图像块的得分进行排名，选择排名靠前的64个图像块。
第二种选取方式采用K-means聚类方法。采用K-means聚类方法来丰富图像特征。因为我们之前已经确定图像块的数量为128个。但是由于每张图像中的图像块数量很大。如果k值从2开始取值，然后逐步增加，确定k的最优值，这种确定方法耗时且劳动密集。因此，当进行图像块聚类时，k是分别选择16、32、96，这种离散的取值方法，可有提升算法的效率。
最终，确定在运用K-means聚类算法选择图像块时，根据每个图像块的均值和方差将每张原始图像中分割得到的所有图像块进行K-means聚类，聚成16个不同的类别。从每个类别中，选取距离聚类中心最近的4个图像块作为此类别的代表。当选择的图像块与第一种基于均值方差的方法有重叠时，为了避免选择的图像块一致，则优先保留K-means方法选择的图像块，然后选择得分排名顺延一个位置的图像块，图3(a)给出在“Nikon_D200_1_17346.JPG”图像中选取到的图像块，图3(b)为选取的图像块内容。
4.训练卷积神经网络
本实施例中的卷积神经网络由两部分组成，分别是残差预测模块和改进的VGG网络模型。在本方法中，为了降低图像内容对相机特征的影响，我们设计了一个可以自动提取残差的残差预测模块。这个模块本身是残差网络的一种改进，但是我们将这种结构与基于先验知识的传统方法进行融合，并应用到源相机识别中。
残差预测模块是一个多尺度的结构。为了实现这一目标，在1×1卷积之后，使用一组卷积组,每一组有w个通道。这些卷积组可以增加输出特性可以代表的尺度。具体来说，将输入特征图划分为几个组。一组卷积首先从一组输入特征图中提取特征。然后，将前一组的输出特征与另一组输入特征图发送到下一组卷积中。这个过程重复几次，直到处理完所有的输入特征图。最后，将来自所有组的特征图连接起来，并将其送到1×1的卷积层中，从而将信息融合在一起。这样，可以提取到丰富的图像特征。
应用修改的VGG网络模型进行源相机识别。在进行相机品牌识别时，提取的特征更多地是反映同一品牌的相机的共性，而相机模型识别和相机设备识别则需要提取个体之间的差异。所以，在进行相机品牌识别时，去掉了VGG网络的最后一个阶段。对于相机设备识别我们尝试添加更多的卷积层，例如用VGG19进行特征提取，但是最终的结果并没有明显的提升。所以，最终相机模型识别、相机设备识别都使用改进的VGG16网络，在进行相机设备网络模型训练时，我们在相机模型级别得到的网络模型的基础上进行微调(finetuning)。
VGG网络使用连续的3×3卷积核，而不是更大的卷积核。多重非线性层可以增加网络深度，以确保学习更复杂的模式。VGG网络在各个领域得到了广泛的应用，并取得了良好的性能。本实施例的网络整体架构如图4所示。使用VGG网络的5个阶段。前两个阶段包含2个卷积层，卷积层分别包含64个卷积核和128个卷积核。接下来的三个阶段包括3个卷积层，卷积层包含256、512、512个卷积核，在每个卷积层之后应用ReLU激活函数，在每个阶段结束时连接一个最大池层。改进的VGG网络去掉了两个全连接层，使用一个全局平均池化层和一个全连接层。在图4中，全局平均池化层表示为GAP，全连接层表示为ip-N。N为全连接层神经元数目，与分类目标数目一致。将全连接层的输出连接到softmax进行分类。
4.网络测试及源相机识别性能评价
利用训练集进行网络的训练，然后在训练过程中应用验证集可以看到网络在验证集中的效果，选择在验证集中表现最好的网络作为最终的网络。
建议对所有的小图像块进行测试。在测试阶段，将测试图像全部分割成64×64大小的图像块，分割得到的图像块输入到训练的卷积神经网络模型中，对测试图像块进行源相机识别，计算得到测试准确率：
Figure BDA0002397186460000111
这种测试方法，未来可以作为辅助篡改检测的评价标准。
下面，结合具体实施例对本实施例做进一步说明。
首先，下载Dresden数据库中的数字图像，然后按照上述数据集划分准则，将数据库中的图像分成训练集、验证集和测试集。其次，将整幅图像分割成64×64的图像块，利用均值方差公式方法和K-means方法从中选择有代表性的128个图像块作为卷积神经网络的输入数据。最后，将输入数据输入到我们设计的神经网络中，进行网络的训练。神经网络包括两部分，分别是为了降低图像内容影响而设计的残差提取模块和改进的VGG网络。
在同样的设计之下，将本实施例方法与其他几种成功的源相机识别方法进行比较，比较涉及到相机品牌级别、相机模型级别、相机设备级别的源相机识别。比较结果在表1中给出，表中所有的准确率都是通过以下公式计算得到：
Figure BDA0002397186460000121
从表1给出的实验结果来看，得益于多样性训练数据的选取及残差提取模块，本实施例源相机识别方法在相机品牌级别、模型级别、设备级别中均给出最高的识别准确率。相较于最新的Na[5]方法识别准确率提升分别为4.88％，10.48％，10.53％；相较于知名度最高的Luca[1]方法准确率分别提升16.94％，13.76％，7.71％；相较于网络结构复杂的Pengpeng[2]方法，准确率分别提升0.4％，3.89％，1.28％，并且与此方法相比，本实施例方法效率更高，时间代价更低。
表1不同源相机识别方法在品牌级别、模型级别、设备级别的比较
Figure BDA0002397186460000131
图5给出了本实施例方法和Luca[1]方法分类结果的可视化对比图。图5(a)为原始的测试图像。图5(b)为Luca方法的模型级别分类可视化图像，图5(c)为本实施例的模型级别分类可视化图像。
框中圈出的图像块为误分类区域，框中标记的数字为误分类相机模型的标号。没有用红框标记的区域是正确分类的区域。从图中可以看出，本实施例方法相较于Luca[1]方法有很大改善，可以有效提高整体识别精度。尤其对树枝、草丛、天空、房屋建筑等边缘或纹理区域的分类效果改善很大。
本实施例的对比例文件分别为：
[1]Bondi L,Baroffio L,Güera D,et al.First steps toward camera modelidentification with convolutional neural networks[J].IEEE Signal ProcessingLetters,2016,24(3):259-263.
[2]Yang P,Ni R,Zhao Y,et al.Source camera identification based oncontent-adaptive fusion residual networks[J].Pattern Identification Letters,2017.
[3]Tuama A,Comby F,Chaumont M.Camera model identification with theuse of deep convolutional neural networks[C]//2016IEEE International workshopon information forensics and security(WIFS).IEEE,2016:1-6.
[4]Bayar B,Stamm M C.Augmented convolutional feature maps for robustcnn-based camera model identification[C]//2017IEEE International Conferenceon Image Processing(ICIP).IEEE,2017:4098-4102.
[5]Huang N,He J,Zhu N,et al.Identification of the source camera ofimages based on convolutional neural network[J].Digital Investigation,2018,26:72-80.
还提供以下产品实施例：
一种基于图像块多样性选择和残差预测模块的源相机识别系统，包括：
数据划分模块，被配置为将数据库图像划分为训练集、验证集和测试集；
分割与多样性选择模块，被配置为将原始图像分割成大小一定的图像块，从每张训练图像中分割得到的所有图像块中选取部分有代表性的小图像块作为训练数据；
残差预测模块，被配置为构建残差预测模块，并利用其降低训练数据中图像内容的影响；
识别模型构建模块，被配置为对卷积神经网络模型进行改进，去掉两个全连接层，使用一个全局平均池化层和一个全连接层，形成改进后的卷积神经网络模型；
模型训练与验证模块，被配置为将处理后的残差图像输入至改进的卷积神经网络模型中，进行训练，利用验证集对训练结果进行验证，不断训练，直到满足验证标准；
识别模块，被配置为利用最终的卷积神经网络模型对测试集的图像进行源相机识别。
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种基于图像块多样性选择和残差预测源相机识别方法的步骤。
一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于图像块多样性选择和残差预测源相机识别方法的步骤。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (9)

1.一种基于图像块多样性选择和残差预测模块的源相机识别方法，包括以下步骤：
将选择的数据库图像划分为训练集、验证集和测试集；
将原始图像分割成大小一定的图像块，从每张训练图像中分割得到的所有图像块中选取部分有代表性的小图像块作为训练数据；
对分割得到的图像块进行选择的过程中，采用不同的选取图像块的方法来丰富图像特征；
一种方法为根据均值方差公式，为同一张图像中分割得到的每个图像块计算得分，对图像块的得分进行排名，选择排名靠前的m个图像块；
另一种为利用K-means聚类算法选择图像块，根据每个图像块的均值和方差将每张原始图像中分割得到的所有图像块进行K-means聚类，聚成k个不同的类别，从每个类别中，选取距离聚类中心最近的n个图像块作为此类别的代表；
当选择的图像块与基于均值方差的方法有重叠时，保留K-means方法选择的图像块，选择均值方差公式得分排名顺延一个位置的图像块；
构建残差预测模块，并利用其降低训练数据中图像内容的影响；
对卷积神经网络模型进行改进，去掉两个全连接层，使用一个全局平均池化层和一个全连接层，形成改进后的卷积神经网络模型；
将处理后的残差图像输入至改进的卷积神经网络模型中，进行训练；
利用验证集对训练结果进行验证，不断训练，直到满足验证标准；
利用最终的卷积神经网络模型对测试集的图像进行源相机识别。
2.如权利要求1所述的一种基于图像块多样性选择和残差预测模块的源相机识别方法，其特征是：在源相机模型数据集划分中，剔除只有一部相机设备的相机模型，以保证测试集中出现的相机设备没有在训练集和验证集中出现；通过图像的场景内容划分为训练集、验证集和测试集，保证训练集、验证集和测试集中的场景不一致；
或，进行数据库图像划分时，在源相机品牌数据集划分中，首先，剔除只有一种相机模型的相机品牌，然后通过图像的场景内容划分为训练集、验证集和测试集；在源相机设备数据集划分中，使用了数据库中所有的相机设备；然后通过图像的场景内容划分为训练集、验证集和测试集，保证训练集、验证集和测试集中的场景不一致。
3.如权利要求1所述的一种基于图像块多样性选择和残差预测模块的源相机识别方法，其特征是：将原始图像分割成64×64的图像块，并忽略小于64×64的图像块。
4.如权利要求1所述的一种基于图像块多样性选择和残差预测模块的源相机识别方法，其特征是：构建残差预测模型时，对残差网络进行改进，在1×1卷积之后，使用一组卷积组,每一组有w个通道，以增加输出特性可以代表的尺度。
5.如权利要求1所述的一种基于图像块多样性选择和残差预测模块的源相机识别方法，其特征是：改进的卷积神经网络模型，使用卷积神经网络的5个阶段，前两个阶段包含2个卷积层，卷积层分别包含64个卷积核和128个卷积核；接下来的三个阶段包括3个卷积层，卷积层包含256、512、512个卷积核；在每个卷积层之后应用ReLU激活函数，在每个阶段结束时连接一个最大池层，改进的网络去掉了两个全连接层，使用一个全局平均池化层和一个全连接层。
6.如权利要求1所述的一种基于图像块多样性选择和残差预测模块的源相机识别方法，其特征是：利用设定的源相机识别准确率计算方式作为验证标准。
7.一种基于图像块多样性选择和残差预测模块的源相机识别系统，其特征包括：
数据划分模块，被配置为将数据库图像划分为训练集、验证集和测试集；
分割与多样性选择模块，被配置为将原始图像分割成大小一定的图像块，从每张训练图像中分割得到的所有图像块中选取部分有代表性的小图像块作为训练数据；
对分割得到的图像块进行选择的过程中，采用不同的选取图像块的方法来丰富图像特征；
一种方法为根据均值方差公式，为同一张图像中分割得到的每个图像块计算得分，对图像块的得分进行排名，选择排名靠前的m个图像块；
另一种为利用K-means聚类算法选择图像块，根据每个图像块的均值和方差将每张原始图像中分割得到的所有图像块进行K-means聚类，聚成k个不同的类别，从每个类别中，选取距离聚类中心最近的n个图像块作为此类别的代表；
当选择的图像块与基于均值方差的方法有重叠时，保留K-means方法选择的图像块，选择均值方差公式得分排名顺延一个位置的图像块；
残差预测模块，被配置为构建残差预测模块，并利用其降低训练数据中图像内容的影响；
识别模型构建模块，被配置为对卷积神经网络模型进行改进，去掉两个全连接层，使用一个全局平均池化层和一个全连接层，形成改进后的卷积神经网络模型；
模型训练与验证模块，被配置为将处理后的残差图像输入至改进的卷积神经网络模型中，进行训练，利用验证集对训练结果进行验证，不断训练，直到满足验证标准；
识别模块，被配置为利用最终的卷积神经网络模型对测试集的图像进行源相机识别。
8.一种计算机可读存储介质，其特征是：其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行权利要求1-6中任一项所述的一种基于图像块多样性选择和残差预测源相机识别方法的步骤。
9.一种终端设备，其特征是：包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行权利要求1-6中任一项所述的一种基于图像块多样性选择和残差预测源相机识别方法的步骤。
CN202010137617.3A 2020-03-02 2020-03-02 基于图像块多样性选择和残差预测模块的源相机识别方法 Active CN111353504B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010137617.3A CN111353504B (zh) 2020-03-02 2020-03-02 基于图像块多样性选择和残差预测模块的源相机识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010137617.3A CN111353504B (zh) 2020-03-02 2020-03-02 基于图像块多样性选择和残差预测模块的源相机识别方法

Publications (2)

Publication Number Publication Date
CN111353504A CN111353504A (zh) 2020-06-30
CN111353504B true CN111353504B (zh) 2023-05-26

Family

ID=71195893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010137617.3A Active CN111353504B (zh) 2020-03-02 2020-03-02 基于图像块多样性选择和残差预测模块的源相机识别方法

Country Status (1)

Country Link
CN (1) CN111353504B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112640391B (zh) * 2020-11-16 2021-10-22 华为技术有限公司 一种摄像头标识方法、认证方法、系统及终端
CN112967259B (zh) * 2021-03-16 2023-10-13 山东建筑大学 基于熔池图像的等离子弧焊接穿孔状态预测方法及系统
CN113537279A (zh) * 2021-05-18 2021-10-22 齐鲁工业大学 基于类残差卷积和lstm的covid-19识别系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942564A (zh) * 2014-04-08 2014-07-23 武汉大学 基于非监督特征学习的高分辨率遥感影像场景分类方法
CN107507141A (zh) * 2017-08-07 2017-12-22 清华大学深圳研究生院 一种基于自适应残差神经网络的图像复原方法
US10032256B1 (en) * 2016-11-18 2018-07-24 The Florida State University Research Foundation, Inc. System and method for image processing using automatically estimated tuning parameters
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN110188720A (zh) * 2019-06-05 2019-08-30 上海云绅智能科技有限公司 一种基于卷积神经网络的目标检测方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942564A (zh) * 2014-04-08 2014-07-23 武汉大学 基于非监督特征学习的高分辨率遥感影像场景分类方法
US10032256B1 (en) * 2016-11-18 2018-07-24 The Florida State University Research Foundation, Inc. System and method for image processing using automatically estimated tuning parameters
CN107507141A (zh) * 2017-08-07 2017-12-22 清华大学深圳研究生院 一种基于自适应残差神经网络的图像复原方法
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN110188720A (zh) * 2019-06-05 2019-08-30 上海云绅智能科技有限公司 一种基于卷积神经网络的目标检测方法及系统

Also Published As

Publication number Publication date
CN111353504A (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
Radenović et al. Revisiting oxford and paris: Large-scale image retrieval benchmarking
CN111353504B (zh) 基于图像块多样性选择和残差预测模块的源相机识别方法
CN108388888B (zh) 一种车辆识别方法、装置和存储介质
CN108229468B (zh) 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备
CN109284733B (zh) 一种基于yolo和多任务卷积神经网络的导购消极行为监控方法
CN110084139B (zh) 一种基于多分支深度学习的车辆重识别方法
CN108171247B (zh) 一种车辆再识别方法及系统
CN108334644B (zh) 图像识别方法和装置
CN111046821B (zh) 一种视频行为识别方法、系统及电子设备
CN109117897A (zh) 基于卷积神经网络的图像处理方法、装置及可读存储介质
CN109145766A (zh) 模型训练方法、装置、识别方法、电子设备及存储介质
CN110175615B (zh) 模型训练方法、域自适应的视觉位置识别方法及装置
CN109034086B (zh) 车辆重识别方法、装置及系统
US11062455B2 (en) Data filtering of image stacks and video streams
CN115171165A (zh) 全局特征与阶梯型局部特征融合的行人重识别方法及装置
CN111723600B (zh) 一种基于多任务学习的行人重识别特征描述子
CN113627402B (zh) 一种图像识别方法及相关装置
Mouine et al. Plant species recognition using spatial correlation between the leaf margin and the leaf salient points
CN113221770A (zh) 基于多特征混合学习的跨域行人重识别方法及系统
Xiong et al. RGB-D scene recognition via spatial-related multi-modal feature learning
CN108197660A (zh) 多模型特征融合方法/系统、计算机可读存储介质及设备
CN102722732A (zh) 一种基于数据二阶统计量建模的图像集合匹配方法
CN114168768A (zh) 图像检索方法及相关设备
CN112613474B (zh) 一种行人重识别的方法和装置
CN113450297A (zh) 红外图像和可见光图像的融合模型构建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant