CN111222564A - 基于图像通道相关性的图像鉴别系统、方法、装置 - Google Patents
基于图像通道相关性的图像鉴别系统、方法、装置 Download PDFInfo
- Publication number
- CN111222564A CN111222564A CN202010003281.1A CN202010003281A CN111222564A CN 111222564 A CN111222564 A CN 111222564A CN 202010003281 A CN202010003281 A CN 202010003281A CN 111222564 A CN111222564 A CN 111222564A
- Authority
- CN
- China
- Prior art keywords
- image
- channel correlation
- module
- feature
- correlation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000000605 extraction Methods 0.000 claims abstract description 47
- 230000004927 fusion Effects 0.000 claims abstract description 33
- 238000011176 pooling Methods 0.000 claims description 15
- 238000009877 rendering Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000002474 experimental method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101100136092 Drosophila melanogaster peng gene Proteins 0.000 description 1
- 229920006063 Lamide® Polymers 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 125000002015 acyclic group Chemical group 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 229940125753 fibrate Drugs 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明属于数字图像技术领域，具体涉及一种基于图像通道相关性的图像鉴别系统、方法、装置，本发明系统包括多个混合特征提取模块，用于获取待鉴别图像的混合有通道和邻域相关性的特征的融合特征；特征融合模块，将多个所述混合特征提取模块输出的融合特征叠加为一个总特征映射，并通过多个卷积将所述总特征映射融合为一个高维度的特征表示；图像分类模块，基于所述高维度的特征表示分别获取自然图像、渲染图像的分类概率，并将分类概率大的作为鉴别结果输出。本发明提提升了卷积网络对渲染图像的识别准确率和效率。
Description
技术领域
本发明属于数字图像技术领域，具体涉及一种基于图像通道相关性的图像鉴别系统、方法、装置。
背景技术
视觉信息由于直接性和易理解性作为一种高效、可靠的交互媒介。自然拍摄图像作为视觉信息的重要载体用于重要信息的记录和传播。近年来，随着电影、游戏等娱乐产业的迅速发展，计算机图形渲染技术创建出的图像越来越逼真，以至于肉眼辨别渲染图像和摄影图像变得困难。因此，对于渲染图像的鉴别成为数字图像取证领域的一个重要研究课题。
在深度学习方法出现之前，绝大多数方法是通过手工设计提取特征来区分自然图像和渲染图像。受自然图像和计算机渲染图像生成过程的启发，特别是目标模型、光线传输和获取方式的差异，Ng等人首先提出通过分形和微分几何辅助的特征来辨别渲染图像和自然图像。其中微分几何特征包括表面梯度、第二基本形式和贝特拉米流向量。该方法揭示了两类图像之间的物理差异，比如摄影图像中gamma校正和计算机渲染过程中锐化结构的不同。随后出现了一些基于小波分解特征方法，比如一阶和高阶小波混合统计特征、HSV颜色空间中小波特征函数的统计矩被用来鉴别自然图像和渲染图像。Gallagher和Chen通过检测摄影图像的原始解码痕迹来区分真实图像与计算机渲染图像，并取得了良好的取证效果。在前几项研究工作的基础上，一种包括周期相关特征、颜色直方图特征、基于动量的YCbCr颜色空间统计特征和局部图像统计特征的组合特征较高地提升了鉴别准确率。图像插值、图像压缩等后处理操作在一定程度上消除图像生成痕迹，弱化渲染图像和自然图像在特征空间的差别，导致鉴别准确率下降。Peng等人利用线性回归模型提取经过高斯低通滤波后图像的残差，并将残差图像的直方图统计和多重分形谱结合回归模型的适应度作为特征来区分自然图像和渲染图像。该方法对图像的后处理具有一定的抵抗能力。
针对深度神经网络强大的学习能力，为了提升自然图像和计算机渲染图像的鉴别准确率和鉴别效率，基于深度学习“端到端”的框架被用来解决自然图像和渲染图像鉴别问题。Rahmouni等人设计了一种特殊的池化层，从卷积图像中提取统计量，并在“端到端”卷积框架中进行优化来鉴别计算机渲染的图像和摄影图像。Quan等人提出一种基于卷积神经网络的鉴别渲染图像方法。为了提高网络性能，该方法在标准网络顶部添加级联滤波层。此外，网络结构可以输入图像大小的不同来做简单调整。Yao等人提出了一种基于传感器模式噪声和深度学习的计算机生成图像与自然图像鉴别方法。在输入基于卷积神经网络前，利用三个高通滤波器(HPF)除去代表图像内容的低频信号，排除图像内容对鉴别的干扰。He等人结合卷积神经网络和递归神经网络对渲染图像和自然图像进行鉴别。该方法使用颜色空间变换的预处理操作和Schmid滤波来提取颜色和纹理特征，利用一种双路径卷积神经网络将每个图像的颜色和纹理特征分别表征。通过有向无环递归神经网络结合局部特征表示进行全局建模。Nguyen等人扩展了胶囊网络在渲染图像鉴别中的应用。Bhalang Tarianga等人提出了一种基于注意的深度卷积递归模型来鉴别计算机渲染的图像。这些方法虽然都可以取得良好的鉴别效果，但都或多或少使用了先验特征来提升卷积神经网络的鉴别能力。较为典型的先验特征包括通过高通滤波提取的高频特征、通过颜色空间变换获取的纹理特征以及通过剪裁整张图像得到的局部特征。这些方法显著降低了深度学习框架的效率，增大了部署成本。
另外一方面，图像颜色通道的相关性逐渐在数字图像取证领域引起关注。Gunturk等人的研究表明，自然图像颜色通道间的高频分量具有很强的相关性，大多数自然图像的相关系数在0.98到1范围之间。因此Yan等人使用差分图像(两个颜色通道之间的差)来检测图像是否经过重新上色处理。虽然差分图像是信道相关的一种表示，但差分图像不一定是颜色通道相关性的最优描述。为了充分挖掘R、G、B通道之间的相关性以提高图片的鉴别准确度，提出本发明。
发明内容
为了解决现有技术中的上述问题，即为了提升卷积网络对渲染图像的鉴别准确率和效率，本发明的第一方面提了一种基于图像通道相关性的图像鉴别系统，所述图像鉴别系统包括多个混合特征提取模块、特征融合模块、图像分类模块；
所述混合特征提取模块包括第一子模块、第二子模块；所述第一子模块基于待鉴别图像的三层颜色通道获取一层的通道相关性特征；所述第二子模块用于获取所述通道相关性特征中相邻像素相关性作为融合特征；
所述特征融合模块将多个所述混合特征提取模块输出的融合特征叠加为一个总特征映射，并通过多个卷积将所述总特征映射融合为一个高维度的特征表示；
所述图像分类模块基于所述高维度的特征表示分别获取自然图像、渲染图像的分类概率，并将分类概率大的作为鉴别结果输出。
在一些优选的实施方式中，所述第一子模块为自编码模块；所述自编码模块为1×1的卷积层，其输出的特征维度为1。
在一些优选的实施方式中，所述通道相关性特征中每个像素表示为
Cij＝w1·Rij+w2·Gij+w3·Bij
其中，Cij为通道相关性特征中像素点(i,j)的像素表示，[w1,w2,w3]为R、G、B通道在通道相关性中的权重，Rij、Gij、Bij分别为待鉴别图像中像素点(i,j)的R、G、B值。
在一些优选的实施方式中，所述第二子模块包括多个无池化的3×3卷积层，每个卷积层输出的特征映射层数为8。
在一些优选的实施方式中，在所述第二子模块中，通过3×3卷积提取相邻九个像素点的邻域相关性的方法为
其中，Oij为像素点(i,j)的邻域相关特征值，F表示3×3的卷积核，Ik表示卷积操作中输入的第k条通道，u、v分别为卷积核内像素点坐标。
在一些优选的实施方式中，所述总特征映射中各融合特征逐深度叠加。
在一些优选的实施方式中，所述特征融合模块包含六个有池化操作的卷积层，在最后一层卷积后设置有全局平均池化层；第一层和最后一层卷积的输出特征数量与输入相同，其余卷积层输出通道数量从32到256以2的幂次增加。
在一些优选的实施方式中，所述特征融合模块中卷积层采用最大池化，并且卷积核大小为3×3、步长为2。
在一些优选的实施方式中，所述图像分类模块包括由全连接层和Soft-max层构成的分类网络。
本发明的第二方面，提出了一种基于图像通道相关性的图像鉴别方法，包括以下步骤：
获取待鉴别图像；
基于待鉴别图像的三层颜色通道，分别独立获取多个通道相关性特征；
对于每个通道相关性特征，分别获取相邻像素相关性作为融合特征；
将多个融合特征叠加为一个总特征映射，并通过多个卷积将所述总特征映射融合为一个高维度的特征表示；
基于所述高维度的特征表示分别获取自然图像、渲染图像的分类概率，并将分类概率大的作为鉴别结果输出。
本发明的第三方面，提出了一种基于图像通道相关性的混合特征提取装置，包括第一子模块、第二子模块；
所述第一子模块基于待鉴别图像的三层颜色通道获取一层的通道相关性特征；
所述第二子模块用于获取所述通道相关性特征中相邻像素相关性作为融合特征。
本发明的第四方面，提出了一种基于图像通道相关性的混合特征提取方法，包括：
基于待提取图像的三层颜色通道，分别独立获取多个通道相关性特征；
对于每个通道相关性特征，分别获取相邻像素相关性作为融合特征。
本发明的第五方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于图像通道相关性的图像鉴别方法，或上述的基于图像通道相关性的混合特征提取方法。
本发明的第六方面，提出了一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行以实现上述的基于图像通道相关性的图像鉴别方法，或上述的基于图像通道相关性的混合特征提取方法。
本发明的有益效果：
在混合特征提取模块的开始部分，加入一个自编码模块来显式地提取图像颜色通道间的相关信息，从而提高了整个卷积神经网络的描述能力，进而提高了鉴别系统的识别准确度。实验结果表明，本发明提出的卷积神经网络在分类性能上优于现有鉴别方法。
将自编码模块与没有池化操作的连续卷积层相结合，提取输入图像的底层特征，混合特征提取模块可以直接安放在其他现有卷积神经网络的头部。可以进一步提高现有卷积神经网络的性能，该实验证明本发明设计混合特征提取模块的通用性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明一种实施例的基于图像通道相关性的图像鉴别系统框架示意图；
图2是本发明一种实施例的基于图像通道相关性的图像鉴别系统结构示意图
图3是不同网络变体结构在训练过程中验证集上的准确率曲线示意图；
图4是不同网络变体结构在测试集上的鉴别准确率对比示意图；
图5是其他鉴别网络在测试集上的鉴别准确率对比示意图；
图6是一次实验中自编码模块输出的特征映射图示意图；
图7是本发明一种实施例的基于图像通道相关性的图像鉴别方法流程示意图；
图8是本发明一种实施例的基于图像通道相关性的混合特征提取装置框架示意图；
图9是本发明一种实施例的基于图像通道相关性的混合特征提取方法流程示意图；
图10是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明一种实施例的基于图像通道相关性的图像鉴别系统，如图1、图2所示，包括多个混合特征提取模块、特征融合模块、图像分类模块。
1、混合特征提取模块
该模块用于获取待鉴别图像的混合有通道和邻域相关性的特征的融合特征。本实施例中混合特征提取模块为三个。本实施例中混合特征提取模块包括第一子模块、第二子模块。
(1)第一子模块
第一子模块基于待鉴别图像的三层颜色通道获取一层的通道相关性特征。
第一子模块为自编码模块，自编码模块对自然图像和渲染图像的颜色通道相关性进行了建模，设置于混合特征提取模块的前端，用于提取通道相关性信息。
本实施例中自编码模块为1×1的卷积层，其输出的特征维度为1。该卷积过程实际上是图像三层颜色通道编码到一层通道相关性特征的过程，1×1的卷积核的系数[w1,w2,w3]代表了R，G，B通道在该相关性中的权重。
通过自编码模块获取的通道相关性特征中每个像素表示为
Cij＝w1·Rij+w2·Gij+w3·Bij
其中，Cij为通道相关性特征中像素点(i,j)的像素表示，[w1,w2,w3]为R、G、B通道在通道相关性中的权重，Rij、Gij、Bij分别为待鉴别图像中像素点(i,j)的R、G、B值。
当卷积核的系数为[1,-1,0],[1,0,-1],[0,1,-1]或者其他特殊情况时，该通道相关性表示形式是差分图像。与通过硬编码操作获取的差分图像相比，本发明的自编码模块可以灵活学习三个通道的权重，具有更大的参数空间来表示信道相关性，因此可以更好地描述图像颜色通道的相关性。
(2)第二子模块
第二子模块用于获取所述通道相关性特征中相邻像素相关性作为融合特征。
为了提取相邻像素之间的相关性，混合特征提取模块的剩余部分使用了3组3×3卷积层来提取通道特征的邻域相关性，每个卷积层输出的特征映射层数为8。为了尽可能多的保留原始图像特征信息，三个卷积层都没有采用池化操作。为了提高神经网络的训练速度和稳定性以及增大神经网络非线性映射能力，批标准化和非线性激活函数(ReLU)加入到了网络的适当位置。本实施例中提取邻域相关性的卷积层为3组，在其他实施例中，还可以进行其他数量的设定。
通过3×3卷积提取相邻九个像素点的邻域相关性的方法为
其中，Oij为像素点(i,j)的邻域相关特征值，F表示3×3的卷积核，Ik表示卷积操作中输入的第k条通道，u、v分别为卷积核内像素点坐标。
2、特征融合模块
特征融合模块将多个所述混合特征提取模块输出的融合特征叠加为一个总特征映射，并通过多个卷积将所述总特征映射融合为一个高维度的特征表示。
三个并行混合特征提取模块是相互独立的，它们的学习到的参数也不互相共享，因此三个混合特征提取模块可以获取到关于输入图像的不同混合特征，通过该模块综合三个混合特征提取模块提取的特征映射融合到一个特征空间。
首先将三个混合特征提取模块输出的特征映射逐深度叠加在一起，形成一个总特征映射。此时虽然每个支路的特征映射在物理形态上是一个整体，但实际都是在各自的特征空间相互独立的。
然后使用六个有池化操作的卷积层将特征映射融合到一个新的特征空间中。第一层和最后一层卷积的输出特征数量与输入相同，其余卷积层输出通道数量从32到256以2的幂次增加，各卷积层采用最大池化，并且卷积核大小为3×3、步长为2。
最后通过一个全局平均池化层学习高维度的特征表示。使用全局平均池化(GAP)操作将提取的特征映射转换为一个高维向量。
3、图像分类模块
图像分类模块基于所述高维度的特征表示分别获取自然图像、渲染图像的分类概率，并将分类概率大的作为鉴别结果输出。本实施例中图像分类模块包括由全连接层和Soft-max层构成的分类网络
全连接层(FC)通过该高维向量对图像属于自然图像还是渲染图像评判打分，Soft-max层将打分结果映射到概率空间得到属于两类图像的概率。取概率更高的类别为最终决策结果。
本实施例的基于图像通道相关性的图像鉴别系统，在应用前需要通过训练样本进行训练，训练样本包括自然图像样本集、渲染图像样本集；训练时分别从自然图像样本集、渲染图像样本集提取设定数量的样本构成样本集合对基于图像通道相关性的图像鉴别系统进行训练。
需要说明的是，上述实施例提供的基于图像通道相关性的图像鉴别系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明的方法特色和创新在于使用混合特征提取模块分别获取了图像的通道相关性和邻域相关性。引入了图像颜色通道特征和邻域特征显著提升了对渲染图像的鉴别准确率，无需提取任何先验特征大大提高了网络的鉴别效率。
本发明通过一系列实验验证提出网络的有效性。实验数据是SPL 2018数据集([He18]所采用数据集，[He 18]：P.He,X.Jiang,T.Sun,and H.Li,“Computer graphicsidentification combining convolutional and recurrent neural networks,”IEEESignal Processing Letters,vol.25,no.9,pp.1369–1373,2018.)，包括6800张自然拍照图像和6800张计算机渲染图像。为了保证实验的合理进行本发明按10:3:4的比例将整个数据集划分为训练集，验证集和测试集。所有测试采用多次采样去平均实验结果方法确保测试结果的稳定性。实验平台为具有4块英特尔至强E5-2660 v4 2.00GHz中央处理器，256GBRAM，8块GeForce GTX 1080Ti显卡的64位Ubuntu服务器。在该平台上使用PyTorch 0.4.1深度学习框架验证本发明设计的卷积神经网络性能。
首先，验证了本发明提出的混合特征提取模块和通道自编码模块的鉴别能力。本发明设计的自编码网络称为ScNet，另外引入三个变体网络分别是在本发明网络基础上去掉自编码模块的ScNet-3Pc，将混合特征编码模块替换为差分图像的ScNet-3Di，去掉混合编码模块的ScNet-Base。图3所示的是四个网络在一次训练过程中验证集上的鉴别准确率，可以看出本发明设计的完整网络具有最佳的鉴别性能。图4是四个网络训练完成后最终保存的模型测试结果。表中分别列出了三次独立实验结果和三次实验的平均实验结果。本发明提出网络ScNet在鉴别准确率方面相较于三个变体网络ScNet-3Pc、ScNet-3Di和ScNet-Base有更好的表现。值得注意的是ScNet比ScNet-3Pc高出0.46％，表明引入自编码模块提取的图像颜色通道相关性特征可以较好地提升网络的鉴别能力。
其次，对混合特征提取模块的通用性进行评估，即将混合特征提取模块加到现有卷积网络对鉴别结果的影响。本发明选取了三个鉴别网络分别是LiNet、BSP-CNN和YaoNet。本发明同样使用上一段提到的“3Pc”和“3Di”两个变体网络，而“3Hc”是指加上混合特征提取模块的网络。另外，本段的“Base”代表作者设计的三个原始网络，这与上一段提到的“Base”的意义不同。图5所示的是三个鉴别网络的四种变体结构三次实验对渲染图像的平均鉴别准确率。比较表中第二行和最后一行可以发现，三个网络中加上混合编码模块的鉴别准确率比原始网络分别高出1.55％、1.55％和5.58％，表明混合特征提取模块对于网络鉴别能力的提升具有良好的通用性。另外，三个网络加入完整的特征提取模块的“3Hc”结构鉴别准确率均高于没有加自编码模块的“3Pc”结构。这表明自编码子模块在整个特征提取模块中对于鉴别能力的提升起到重要作用。
最后，本发明所提出的网络与鉴别计算机渲染图像的网络进行比较。通过比较图4中的“AVG”列和图5可以看出，本发明提出的网络在“3Hc”、“3Pc”、“3Di”和“AVG”四个网络结构的鉴别结果均好于本发明比较的三个鉴别网络LiNet、BSP-CNN[He 18]和YaoNet。此外，本发明设计的网络鉴别准确率比[He 18]在SPL 2018数据集上的最佳鉴别准确率93.87％高出0.31％。值得注意的是[He 18]中将手工处理后的特征分别输入到双路卷积神经网络和有向无环图递归神经网络，网络结构更复杂，但鉴别准确率反而略低于本发明网络结果。根据以上对比可以看出，本发明可以有效提取自然图像和渲染图像的特征，比其他计算机渲染图像鉴别方法表现出更好的鉴别性能。
此外，为了探究自编码模块的工作机理，本发明可视化了自编码模块1×1卷积层的卷积核和输出的编码特征。通过观察三次实验中三个并行自编码模块卷积核权重，发现每个卷积核的权重均有一个正值，一个负值和一个近似为零的值，这与差分图像的思想类似。但三个卷积核权重的绝对值大致分布在三个数量级上的，某次实验中，最大数量级正权重为0.92，负权重为-0.89；中间数量级正权重为0.36，负权重为0.28；最小数量级正权重为-0.04，负权重为0.03。三个数量级的图像颜色通道编码可以提取更加丰富的通道相关性特征，使网络更好地学习特征并做出判断。图6是第一次实验自编码模块输出的特征映射，第一列是输入模块的图像，第二列到第四列分别是权重有小到大的可视化编码特征。其中第一行是一张自然图像，第二行是一张渲染图像。输入图像中的绿色框中的文字内容应在编码特征图中红框中的内容。对于自然图像随着编码权重的增大，特征映射红框内的文字越来越模糊，而渲染图像中红框内的文字总是突出的。这与Gunturk等人提出自然图像中颜色通道之间的高频分量具有很强相似性的研究结论相符。对于本发明，通过自编码增大自然图像和渲染图像在特征域的距离，来提升鉴别结果。
综上所述，本发明结合图像颜色通道相关性来区分自然图像和渲染图像，在数字图像取证领域具有重要的应用价值。
本发明一种实施例的基于图像通道相关性的图像鉴别方法，包括：获取待鉴别图像；输入图像鉴别模型获取图像鉴别结果；
其中，所述图像鉴别模型为通过训练样本训练后的上述的基于图像通道相关性的图像鉴别系统。
本发明的基于图像通道相关性的图像鉴别方法，如图7所示，其另一实施例中包括：
获取待鉴别图像；
基于待鉴别图像的三层颜色通道，分别独立获取多个通道相关性特征；
对于每个通道相关性特征，分别获取相邻像素相关性作为融合特征；
将多个融合特征叠加为一个总特征映射，并通过多个卷积将所述总特征映射融合为一个高维度的特征表示；
基于所述高维度的特征表示分别获取自然图像、渲染图像的分类概率，并将分类概率大的作为鉴别结果输出。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的基于图像通道相关性的图像鉴别方法的具体工作过程及有关说明，可以参考前述系统实施例中的基于图像通道相关性的图像鉴别系统对应内容，在此不再赘述。
上述实施例的基于图像通道相关性的图像鉴别系统中，混合特征提取模块还可以设置于其他图像鉴别网络之前，以提升网络对图像的鉴别准确率。
本发明一种实施例的基于图像通道相关性的混合特征提取装置，如图8所示，包括第一子模块、第二子模块；所述第一子模块基于待鉴别图像的三层颜色通道获取一层的通道相关性特征；所述第二子模块用于获取所述通道相关性特征中相邻像素相关性作为融合特征。
本发明一种实施例的基于图像通道相关性的混合特征提取方法，如图9所示，包括：基于待提取图像的三层颜色通道，分别独立获取多个通道相关性特征；对于每个通道相关性特征，分别获取相邻像素相关性作为融合特征。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的基于图像通道相关性的混合特征提取装置、基于图像通道相关性的混合特征提取方法的具体工作过程及有关说明，可以参考前述方法实施例中基于图像通道相关性的图像鉴别系统、基于图像通道相关性的图像鉴别方法的对应描述，在此不再赘述。
本发明第五实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于图像通道相关性的图像鉴别方法，或基于图像通道相关性的混合特征提取方法。
本发明第六实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于图像通道相关性的图像鉴别方法，或基于图像通道相关性的混合特征提取方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
下面参考图10，其示出了适于用来实现本申请方法、系统、装置实施例的服务器的计算机系统1100的结构示意图。图10示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图10所示，计算机系统1100包括中央处理单元(CPU，Central ProcessingUnit)1101，其可以根据存储在只读存储器(ROM，Read Only Memory)1102中的程序或者从存储部分1108加载到随机访问存储器(RAM，Random Access Memory)1103中的程序而执行各种适当的动作和处理。在RAM 1103中，还存储有系统1100操作所需的各种程序和数据。CPU 1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O，Input/Output)接口1105也连接至总线1104。
以下部件连接至I/O接口1105：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(CRT，Cathode Ray Tube)、液晶显示器(LCD，Liquid Crystal Display)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如LAN(局域网，Local AreaNetwork)卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至I/O接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被中央处理单元(CPU)1101执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (14)
1.一种基于图像通道相关性的图像鉴别系统，其特征在于，所述图像鉴别系统包括多个混合特征提取模块、特征融合模块、图像分类模块；
所述混合特征提取模块包括第一子模块、第二子模块；所述第一子模块基于待鉴别图像的三层颜色通道获取一层的通道相关性特征；所述第二子模块用于获取所述通道相关性特征中相邻像素相关性作为融合特征；
所述特征融合模块将多个所述混合特征提取模块输出的融合特征叠加为一个总特征映射，并通过多个卷积将所述总特征映射融合为一个高维度的特征表示；
所述图像分类模块基于所述高维度的特征表示分别获取自然图像、渲染图像的分类概率，并将分类概率大的作为鉴别结果输出。
2.根据权利要求1所述的基于图像通道相关性的图像鉴别系统，其特征在于，所述第一子模块为自编码模块；所述自编码模块为1×1的卷积层，其输出的特征维度为1。
3.根据权利要求2所述的基于图像通道相关性的图像鉴别系统，其特征在于，所述通道相关性特征中每个像素表示为
Cij＝w1·Rij+w2·Gij+w3·Bij
其中，Cij为通道相关性特征中像素点(i,j)的像素表示，[w1,w2,w3]为R、G、B通道在通道相关性中的权重，Rij、Gij、Bij分别为待鉴别图像中像素点(i,j)的R、G、B值。
4.根据权利要求1所述的基于图像通道相关性的图像鉴别系统，其特征在于，所述第二子模块包括多个无池化的3×3卷积层，每个卷积层输出的特征映射层数为8。
5.根据权利要求4所述的基于图像通道相关性的图像鉴别系统，其特征在于，在所述第二子模块中，通过3×3卷积提取相邻九个像素点的邻域相关性的方法为
其中，Oij为像素点(i,j)的邻域相关特征值，F表示3×3的卷积核，Ik表示卷积操作中输入的第k条通道，u、v分别为卷积核内像素点坐标。
6.根据权利要求1所述的基于图像通道相关性的图像鉴别系统，其特征在于，所述总特征映射中各融合特征逐深度叠加。
7.根据权利要求1所述的基于图像通道相关性的图像鉴别系统，其特征在于，所述特征融合模块包含六个有池化操作的卷积层，在最后一层卷积后设置有全局平均池化层；第一层和最后一层卷积的输出特征数量与输入相同，其余卷积层输出通道数量从32到256以2的幂次增加。
8.根据权利要求7所述的基于图像通道相关性的图像鉴别系统，其特征在于，所述特征融合模块中卷积层采用最大池化，并且卷积核大小为3×3、步长为2。
9.根据权利要求1所述的基于图像通道相关性的图像鉴别系统，其特征在于，所述图像分类模块包括由全连接层和Soft-max层构成的分类网络。
10.一种基于图像通道相关性的图像鉴别方法，其特征在于，包括以下步骤：
获取待鉴别图像；
基于待鉴别图像的三层颜色通道，分别独立获取多个通道相关性特征；
对于每个通道相关性特征，分别获取相邻像素相关性作为融合特征；
将多个融合特征叠加为一个总特征映射，并通过多个卷积将所述总特征映射融合为一个高维度的特征表示；
基于所述高维度的特征表示分别获取自然图像、渲染图像的分类概率，并将分类概率大的作为鉴别结果输出。
11.一种基于图像通道相关性的混合特征提取装置，其特征在于，包括第一子模块、第二子模块；
所述第一子模块基于待鉴别图像的三层颜色通道获取一层的通道相关性特征；
所述第二子模块用于获取所述通道相关性特征中相邻像素相关性作为融合特征。
12.一种基于图像通道相关性的混合特征提取方法，其特征在于，包括：
基于待提取图像的三层颜色通道，分别独立获取多个通道相关性特征；
对于每个通道相关性特征，分别获取相邻像素相关性作为融合特征。
13.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求10所述的基于图像通道相关性的图像鉴别方法，或权利要求12所述的基于图像通道相关性的混合特征提取方法。
14.一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行以实现权利要求10所述的基于图像通道相关性的图像鉴别方法，或权利要求12所述的基于图像通道相关性的混合特征提取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010003281.1A CN111222564B (zh) | 2020-01-02 | 2020-01-02 | 基于图像通道相关性的图像鉴别系统、方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010003281.1A CN111222564B (zh) | 2020-01-02 | 2020-01-02 | 基于图像通道相关性的图像鉴别系统、方法、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111222564A true CN111222564A (zh) | 2020-06-02 |
| CN111222564B CN111222564B (zh) | 2023-05-23 |
Family
ID=70828083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010003281.1A Active CN111222564B (zh) | 2020-01-02 | 2020-01-02 | 基于图像通道相关性的图像鉴别系统、方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111222564B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111833360A (zh) * | 2020-07-14 | 2020-10-27 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备以及计算机可读存储介质 |
| CN111881922A (zh) * | 2020-07-28 | 2020-11-03 | 成都工业学院 | 一种基于显著性特征的绝缘子图像识别方法及系统 |
| CN112800942A (zh) * | 2021-01-26 | 2021-05-14 | 泉州装备制造研究所 | 一种基于自校准卷积网络的行人检测方法 |
| CN114554205A (zh) * | 2020-11-26 | 2022-05-27 | 华为技术有限公司 | 一种图像编解码方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107292339A (zh) * | 2017-06-16 | 2017-10-24 | 重庆大学 | 基于特征融合的无人机低空遥感影像高分地貌分类方法 |
| US20190362190A1 (en) * | 2018-05-28 | 2019-11-28 | Samsung Electronics Co., Ltd. | Method and system for dnn based imaging |
-
2020
- 2020-01-02 CN CN202010003281.1A patent/CN111222564B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107292339A (zh) * | 2017-06-16 | 2017-10-24 | 重庆大学 | 基于特征融合的无人机低空遥感影像高分地貌分类方法 |
| US20190362190A1 (en) * | 2018-05-28 | 2019-11-28 | Samsung Electronics Co., Ltd. | Method and system for dnn based imaging |
Non-Patent Citations (1)
| Title |
|---|
| 李士进;占迪;高祥涛;柏屏;: "基于梯度与颜色信息融合的水文资料图像分割", 数据采集与处理 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111833360A (zh) * | 2020-07-14 | 2020-10-27 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备以及计算机可读存储介质 |
| CN111833360B (zh) * | 2020-07-14 | 2024-03-26 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备以及计算机可读存储介质 |
| CN111881922A (zh) * | 2020-07-28 | 2020-11-03 | 成都工业学院 | 一种基于显著性特征的绝缘子图像识别方法及系统 |
| CN111881922B (zh) * | 2020-07-28 | 2023-12-15 | 成都工业学院 | 一种基于显著性特征的绝缘子图像识别方法及系统 |
| CN114554205A (zh) * | 2020-11-26 | 2022-05-27 | 华为技术有限公司 | 一种图像编解码方法及装置 |
| CN114554205B (zh) * | 2020-11-26 | 2023-03-10 | 华为技术有限公司 | 一种图像编解码方法及装置 |
| CN112800942A (zh) * | 2021-01-26 | 2021-05-14 | 泉州装备制造研究所 | 一种基于自校准卷积网络的行人检测方法 |
| CN112800942B (zh) * | 2021-01-26 | 2024-02-13 | 泉州装备制造研究所 | 一种基于自校准卷积网络的行人检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111222564B (zh) | 2023-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Marra et al. | Detection of gan-generated fake images over social networks | |
| CN111222564B (zh) | 基于图像通道相关性的图像鉴别系统、方法、装置 | |
| Chen et al. | Quality assessment for comparing image enhancement algorithms | |
| CN109118504B (zh) | 一种基于神经网络的图像边缘检测方法、装置及其设备 | |
| CN104540445A (zh) | 图像处理装置、图像处理方法、程序和图像处理系统 | |
| CN114449362B (zh) | 视频封面的选取方法、装置、设备及存储介质 | |
| Chang | Single underwater image restoration based on adaptive transmission fusion | |
| Li et al. | A novel feature fusion method for computing image aesthetic quality | |
| Zhang et al. | DuGAN: An effective framework for underwater image enhancement | |
| Moghimi et al. | A joint adaptive evolutionary model towards optical image contrast enhancement and geometrical reconstruction approach in underwater remote sensing | |
| CN115083006A (zh) | 虹膜识别模型训练方法、虹膜识别方法及装置 | |
| Zhang et al. | An image denoising method based on BM4D and GAN in 3D shearlet domain | |
| Guo et al. | Multi-scale multi-attention network for moiré document image binarization | |
| Guan et al. | DiffWater: Underwater image enhancement based on conditional denoising diffusion probabilistic model | |
| CN113763300A (zh) | 一种联合深度上下文与卷积条件随机场的多聚焦图像融合方法 | |
| Yuan et al. | Deep‐sea image stitching: Using multi‐channel fusion and improved AKAZE | |
| Tang et al. | Single image rain removal model using pure rain dictionary learning | |
| CN112560925A (zh) | 一种复杂场景目标检测数据集构建方法及系统 | |
| CN116798041A (zh) | 图像识别方法、装置和电子设备 | |
| CN112633142B (zh) | 一种输电线路违章建筑物识别方法及相关装置 | |
| CN116152162A (zh) | 烤后烟烟叶外观质量残伤指标的数字化方法及装置 | |
| Jin et al. | A randomized algorithm for natural object colorization | |
| Shao et al. | No-Reference image quality assessment based on edge pattern feature in the spatial domain | |
| Sharma et al. | Technical Assessment of Various Image Enhancement Techniques using Finger Vein for personal Authentication | |
| Saxena et al. | An efficient single image haze removal algorithm for computer vision applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |