CN113436287A - 一种基于lstm网络与编解码网络的篡改图像盲取证方法 - Google Patents

一种基于lstm网络与编解码网络的篡改图像盲取证方法 Download PDF

Info

Publication number
CN113436287A
CN113436287A CN202110755400.3A CN202110755400A CN113436287A CN 113436287 A CN113436287 A CN 113436287A CN 202110755400 A CN202110755400 A CN 202110755400A CN 113436287 A CN113436287 A CN 113436287A
Authority
CN
China
Prior art keywords
feature map
image
network
lstm
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110755400.3A
Other languages
English (en)
Other versions
CN113436287B (zh
Inventor
高天畅
吕颖达
周功涛
吴悦莹
胡汉清
贾康健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202110755400.3A priority Critical patent/CN113436287B/zh
Publication of CN113436287A publication Critical patent/CN113436287A/zh
Application granted granted Critical
Publication of CN113436287B publication Critical patent/CN113436287B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于LSTM网络与编解码网络的篡改图像盲取证方法，本发明首先将图像进行插值转化为标准大小，将图像输入到编码器提取图像的像素级篡改特征，将图像分割为8*8的图像块输入到LSTM网络中提取块之间的过渡信息，融合两个特征利用解码器生成篡改区域预测图像。本发明能够对篡改图像进行准确的预测，能够帮助信息鉴别工作者提高了网络图像真伪取证的便捷性与准确度。

Description

一种基于LSTM网络与编解码网络的篡改图像盲取证方法
技术领域
本发明涉及了信息媒体取证领域，特别是利用了LSTM网络与编解码网络进行图像篡改盲取证。
背景技术
图像处理软件及数字图像获取设备的快速发展，使得非专业人士也可以轻松编辑、修改图像。在当今数字化的时代，图像已经是一种普遍至极的媒介，向人们传达着各种社会信息。因此，借助计算机强大的计算能力，来完成伪造图片的辨别与篡改区域的定位是当前图像真伪取证的迫切需求。数字图像盲取证技术(Blind Image Forensic)，因其无需对图像预处理、仅利用图像自身的特征就能鉴别图像真伪，而成为目前该领域的研究热点。
发明内容
本发明能够对篡改图像进行准确的预测，能够帮助信息鉴别工作者提高了网络图像真伪取证的便捷性与准确度。
本发明提供的技术方案为：
一种基于LSTM网络与编解码网络的篡改图像盲取证方法其特征在于，包括如下步骤：
步骤一：输入任意图像，将图像利用二次线性插值重构为256*256的图像X；
步骤二：图像值转化为0-255之间的值，存入hdf5文件；
步骤三：将图像X切割分成8*8个图像块，利用拉普拉斯滤波器对每一个图像块进行锐化处理，通过Rodan变换对图像提取重采样特征图X1；
步骤四：将重采样特征X1输入到LSTM网络提取出重采样特征热图Y1，代表每个块之间的宏观过渡信息；
步骤五：将图像X输入到编码器中，经过第一次二维卷积、批标准化、池化操作得到早期空间特征图Y2，将特征图保存用作解码器的跳过链接。再进行两次二维卷积、批标准化、池化操作得到压缩后的深层特征图Y3。
步骤六：将特征图Y3与特征图X1进行堆叠得到融合特征图Y4，经过一次上采样、批标准化、RELU函数激活得到的特征图与跳过链接特征图Y2堆叠得到融合特征图Y5，再经过一次上采样、批标准化、RELU函数激活得到预测特征图Y6，对Y6利用sigmoid函数进行0-1处理得到最终的预测蒙版图。
优选地，所述步骤三，将图像X切割分成8*8个图像块，利用拉普拉斯滤波器对每一个图像块进行锐化处理，通过Rodan变换对图像提取重采样特征图X1；步骤如下：
给定一幅图像，我们首先提取64(即8×8)个不重叠的patch。由于输入图像的尺寸为256 ×256×3，所以每个patch的尺寸为32×32×3。然后，用3×3拉普拉斯滤波器的幅度的平方根来计算，得到每个提取的patch的线性预测误差的幅度。由于重采样信号的线性预测误差具有周期性的相关性，我们应用Radon变换沿不同的投影角度累积误差。最后，我们应用快速傅里叶变换(FFT)来找出信号的周期性。一般来说，这些重采样特征能够捕获不同的重采样特征——JPEG质量阈值高于或低于阈值、上采样、下采样、顺时针旋转、逆时针旋转和剪切。
优选地，所述步骤四，将重采样特征X1输入到LSTM网络提取出重采样特征热图Y1，代表每个块之间的宏观过渡信息；步骤如下：为了更好地保留块的空间局域性，我们采用了希尔伯特曲线，这种曲线通常用于将多维问题简化为一维的。我们从一个图像中总共提取了 64(8×8)块，需要对平面进行三次递归分割。利用Hilbert曲线对补丁进行排序后，按顺序输入到LSTM网络中。LSTM细胞是LSTM网络的基础组成部分，LSTM细胞间的信息流由三个门控制:输入门、遗忘门和输出门。每个门都有一个从0到1的值，由一个sigmoid函数激活。我们将定义当前t细胞的细胞状态和输出状态为Ct和zt，每个细胞有一个候选细胞状态
Figure RE-GDA0003179688620000021
使用之前的细胞状态Ct-1和
Figure RE-GDA0003179688620000022
我们可以将更新后的单元格状态Ct写为
Figure RE-GDA0003179688620000023
这里的
Figure RE-GDA0003179688620000024
代表对应相乘，然后我们可以得到当前细胞的输出
Figure RE-GDA0003179688620000025
LSTM网络通过将每个块的重采样特征发送到每个LSTM细胞来计算块之间的对数距离。LSTM细胞学习相邻块之间的相关性。本文在LSTM网络中使用了2个堆叠层，64个时间步长。我们从最后一层的每个时间步长得到64维的特征向量。
优选地，所述步骤五，将图像X输入到编码器中，经过第一次二维卷积、批标准化、池化操作得到早期空间特征图Y2，将特征图保存用作解码器的跳过链接。再进行两次二维卷积、批标准化、池化操作得到压缩后的深层特征图Y3。操作步骤如下：卷积网络(ConvNet)由不同的层组成，其中每层输入数据是一个大小为h×w×c的三维数组，其中h和w分别是数据的高度和宽度，c是通道的维度。第一层以图像为输入，尺寸为256×256×3(宽、高、色道)。每个编码器的基本构造块利用卷积、池化和激活函数，使用残差单元可以方便地对残差映射进行优化，并且可以训练更多的层。在每个卷积层中，我们使用3×3×d的卷积核，其中d是一个过滤器的深度，我们利用32、64、128和256个特征映射分别在编码器架构的第一、第二、第三和第四层。激活函数我们选择了可以表示为max(0,x)的整流线性单元(ReLU)，在每个残差单元的末端，进行步长为2的最大池化，这将特征图的大小减少了2倍。
优选地，所述步骤六，将特征图Y3与特征图X1进行堆叠得到融合特征图Y4，经过一次上采样、批标准化、RELU函数激活得到的特征图与跳过链接特征图Y2堆叠得到融合特征图Y5，再经过一次上采样、批标准化、RELU函数激活得到预测特征图Y6，对Y6利用sigmoid函数进行0-1处理得到最终的预测蒙版图。步骤如下：每个解码器遵循基本操作-上采样卷积、批标准化和RELU函数激活。每个解码器首先对前一层学习到的特征图进行上采样。然后进行批归一化和RELU函数激活。解码器网络采用3×3大小的内核。该解码器在第一层和第二层分别开发了64和16个特征图。在第一个解码器输入之前，将特征图Y3与特征图X1进行纵向堆叠得到融合特征图Y4，输入到第一个解码器中，输出特征图与跳过链接特征图Y2 堆叠得到融合特征图Y5，输入第二个解码器当中，最后，利用2张热图对译码网络末端的被操纵类和非被操纵类进行预测。
本发明的有益效果：
1.为媒体土相鉴别提供新的方法，推动图像伪造鉴别的事业发展，在新闻等行业能够发挥极大的价值。能够有效解决当前鉴定工作者鉴定费时费力，而且准确率不高的问题。我们提出的方案能够通过人工提取一些小样本作为输入，训练出一个实用的模型。
2.模型易于推广，可以应用在多领域。我们设计的网络不仅采用小样本学习方式，而且我们的模型参数量小，易于推广，便于应用在一些对硬件资源要求不高的环境以及一些实时系统中。
附图说明
图1为本发明所述的基于LSTM网络与编解码网络的篡改图像盲取证方法流程图。
具体实施方式
下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
如图1所示，本发明提供了一种基于残基于LSTM网络与编解码网络的篡改图像盲取证方法。将任意维度的图像重新插值为256*256大小的图像，封装进hdf5文件，打开文件将图像分成8*8个图像块，利用拉普拉斯滤波器与Rodan变换对图像进行重采样，提取重采样特征，输入到LSTM网络提取出重采样特征热图；将图像输入到编码器，经过三次二维卷积、批标准化、池化操作提取图像深层微观空间信息，同时保存经过第一次操作后的特征图用作跳过链接。融合宏观特征与微观特征，输入解码器网络，经过一次上采样、批标准化、RELU 函数激活，融合跳过链接特征，再进行一次操作得到最终预测蒙版，其步骤如下：
步骤101：将输入任意图像，将图像利用二次线性插值重构为256*256的图像X。
步骤102：将图像值转化为0-255之间的值，存入hdf5文件。
步骤103：将图像X切割分成8*8个图像块，利用拉普拉斯滤波器对每一个图像块进行锐化处理，通过Rodan变换对图像提取重采样特征图X1；步骤如下：给定一幅图像，我们首先提取64(8×8)个不重叠的patch。由于输入图像的尺寸为256x256x3，所以每个patch的尺寸为32x32x3。然后，用3×3拉普拉斯滤波器的幅度的平方根来计算，得到每个提取的patch的线性预测误差的幅度。由于重采样信号的线性预测误差具有周期性的相关性，我们应用Radon变换沿不同的投影角度累积误差。最后，我们应用快速傅里叶变换(FFT)来找出信号的周期性。一般来说，这些重采样特征能够捕获不同的重采样特征——JPEG质量阈值高于或低于阈值、上采样、下采样、顺时针旋转、逆时针旋转和剪切。
步骤104：将重采样特征X1输入到LSTM网络提取出重采样特征热图Y1，代表每个块之间的宏观过渡信息；步骤如下：为了更好地保留块的空间局域性，我们采用了希尔伯特曲线，这种曲线通常用于将多维问题简化为一维的。我们从一个图像中总共提取了64(8×8)块，需要对平面进行三次递归分割。利用Hilbert曲线对补丁进行排序后，按顺序输入到LSTM 网络中。LSTM细胞是LSTM网络的基础组成部分，LSTM细胞间的信息流由三个门控制:输入门、遗忘门和输出门。每个门都有一个从0到1的值，由一个sigmoid函数激活。我们将定义当前t细胞的细胞状态和输出状态为Ct和zt，每个细胞有一个候选细胞状态
Figure RE-GDA0003179688620000041
使用之前的细胞状态Ct-1和
Figure RE-GDA0003179688620000042
我们可以将更新后的单元格状态Ct写为
Figure RE-GDA0003179688620000043
这里的
Figure RE-GDA0003179688620000044
代表对应相乘，然后我们可以得到当前细胞的输出
Figure RE-GDA0003179688620000045
LSTM网络通过将每个块的重采样特征发送到每个LSTM细胞来计算块之间的对数距离。LSTM细胞学习相邻块之间的相关性。本文在LSTM网络中使用了2个堆叠层，64个时间步长。我们从最后一层的每个时间步长得到64维的特征向量。
步骤105：将图像X输入到编码器中，经过第一次二维卷积、批标准化、池化操作得到早期空间特征图Y2，将特征图保存用作解码器的跳过链接。再进行两次二维卷积、批标准化、池化操作得到压缩后的深层特征图Y3。操作步骤如下：卷积网络(ConvNet)由不同的层组成，其中每层输入数据是一个大小为h×w×c的三维数组，其中h和w分别是数据的高度和宽度，c是通道的维度。第一层以图像为输入，尺寸为256×256×3(宽、高、色道)。每个编码器的基本构造块利用卷积、池化和激活函数，使用残差单元可以方便地对残差映射进行优化，并且可以训练更多的层。在每个卷积层中，我们使用3×3×d的卷积核，其中 d是一个过滤器的深度，我们利用32、64、128和256个特征映射分别在编码器架构的第一、第二、第三和第四层。激活函数我们选择了可以表示为max(0,x)的整流线性单元(ReLU)，在每个残差单元的末端，进行步长为2的最大池化，这将特征图的大小减少了2倍。
步骤106：将特征图Y3与特征图X1进行堆叠得到融合特征图Y4，经过一次上采样、批标准化、RELU函数激活得到的特征图与跳过链接特征图Y2堆叠得到融合特征图Y5，再经过一次上采样、批标准化、RELU函数激活得到预测特征图Y6，对Y6利用sigmoid函数进行0-1处理得到最终的预测蒙版图。步骤如下：每个解码器遵循基本操作-上采样卷积、批标准化和RELU函数激活。每个解码器首先对前一层学习到的特征图进行上采样。然后进行批归一化和RELU函数激活。解码器网络采用3×3大小的内核。该解码器在第一层和第二层分别开发了64和16个特征图。在第一个解码器输入之前，将特征图Y3与特征图X1进行纵向堆叠得到融合特征图Y4，输入到第一个解码器中，输出特征图与跳过链接特征图Y2堆叠得到融合特征图Y5，输入第二个解码器当中，最后，利用2张热图对译码网络末端的被操纵类和非被操纵类进行预测。
传统的图像盲取证方法大多利用图像本身的物理特征进行检测，而且很难对图像篡改区域进行准确的定位，我们利用LSTM与编解码网络进行混合的网络结构，不仅可以有效的提取块之间的过渡信息，也可以在像素级别上对篡改区域进行定位。定位过程主要分为四个部分，第一部分通过插值、封装操作将图片进行封装，第二部分将图像分块利用拉普拉斯过滤器与Rodan变换提取重采样特征并输入到LSTM网络之中，第三部分将图像通过卷积、批标准化、池化操作进行编码，第四部分利用特征图堆叠、上采样、批标准化、RELU函数激活得到预测蒙版，在像素级别上定位篡改区域。
第一部分的具体步骤如下：
第一步：确定固定的点，如果图片小于256则点数不变进行双线性插值，大于256则等比例删除一些点。
第二步：确定四个边界点Q11＝(x1,y1)、Q12＝(x1,y2)、Q21＝(x2,y1)、Q22＝(x2,y2)
第三步：在x轴方向上进行插值，根据点Q11、Q21得到
Figure RE-GDA0003179688620000051
根据点Q12、Q22得到
Figure RE-GDA0003179688620000052
第四步：在y轴上进行插值
Figure RE-GDA0003179688620000061
第五步：重复执行二、三、四直到图像的像素为256*256*3
第六步：将图像压缩进hdf5文件，数据部分命名为data
第二部分的具体步骤如下：
第一步：将文件内的图像取出，提取出64(8×8)个不重叠的patch。由于输入图像的尺寸为256×256×3，所以每个patch的尺寸为32×32×3。
第二步：用3×3拉普拉斯滤波器的幅度的平方根来计算，得到每个提取的patch的线性预测误差的幅度。
第三步：应用Radon变换沿不同的投影角度累积误差。
第四步：应用快速傅里叶变换(FFT)来找出信号的周期性。
第五步：将特征存储进蝴hdf5文件，命名为feature。
第六步：生成希尔伯特曲线的顺序
第七步：对平面图像进行三次递归分割，得到64(8×8)个图像特征块。
第八步：利用Hilbert曲线对补丁进行排序后，按顺序输入到LSTM网络中。
第九步：通过LSTM细胞计算内部输入后的状态信息，将定义当前t细胞的细胞状态和输出状态为Ct和zt，每个细胞有一个候选细胞状态
Figure RE-GDA0003179688620000062
使用之前的细胞状态Ct-1和
Figure RE-GDA0003179688620000063
我们可以将更新后的单元格状态Ct写为
Figure RE-GDA0003179688620000064
这里的
Figure RE-GDA0003179688620000065
代表对应相乘，然后我们可以得到当前细胞的输出
Figure RE-GDA0003179688620000066
第十步：LSTM网络通过将每个块的重采样特征发送到每个LSTM细胞来计算块之间的对数距离。
第十一步：将学习结果输出为特征图1
第三部分的具体步骤如下：
第一步：将图像做为输入，尺寸为256×256×3(宽、高、色道)。
第二步：每个编码器的基本构造块利用卷积、步长为2的最大池化和ReLU激活函数，使用残差单元可以方便地对残差映射进行优化，并且可以训练更多的层。这里是第一个卷积层，我们使用3×3×32的卷积核。
第三步：这里是第二个卷积层，我们使用3×3×64的卷积核。
第四步：这里是第三个卷积层，我们使用3×3×128的卷积核。
第五步：这里是第四个卷积层，我们使用3×3×256的卷积核。
第六步：保存第一个卷积层的输出结果为特征图2
第七步：将学习结果输出为特征图3
第四部分的具体步骤如下：
第一步：在第三维堆叠特征图1与特征图3
第二步：每个解码器遵循基本操作-上采样卷积、批标准化和RELU函数激活。解码器网络采用3×3大小的内核，这是第一层解码器，开发了64个特征图，使用批标准化和RELU函数激活。
第三步：输出的结果保存为特征图4
第四步：在第三维堆叠特征图2与特征图4
第五步：这是第二层解码器，开发了16个特征图，批标准化和RELU函数激活。
第六步：输出结果进行sigmoid函数激活，得到预测0-1蒙版
第七步：对蒙版进行阈值分析，小于0.5为0，大于等于0.5为1。
第八步：将学习结果输出为图像。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (5)

1.一种基于LSTM网络与编解码网络的篡改图像盲取证方法，其特征在于，包括如下步骤：
步骤一：输入任意图像，将图像利用二次线性插值重构为256*256的图像X；
步骤二：图像值转化为0-255之间的值，存入hdf5文件；
步骤三：将图像X切割分成8*8个图像块，利用拉普拉斯滤波器对每一个图像块进行锐化处理，通过Rodan变换对图像提取重采样特征图X1；
步骤四：将重采样特征X1输入到LSTM网络提取出重采样特征热图Y1，代表每个块之间的宏观过渡信息；
步骤五：将图像X输入到编码器中，经过第一次二维卷积、批标准化、池化操作得到早期空间特征图Y2，将特征图保存用作解码器的跳过链接；再进行两次二维卷积、批标准化、池化操作得到压缩后的深层特征图Y3；
步骤六：将特征图Y3与特征图X1进行堆叠得到融合特征图Y4，经过一次上采样、批标准化、RELU函数激活得到的特征图与跳过链接特征图Y2堆叠得到融合特征图Y5，再经过一次上采样、批标准化、RELU函数激活得到预测特征图Y6，对Y6利用sigmoid函数进行0-1处理得到最终的预测蒙版图。
2.根据权利要求1所述的一种基于LSTM网络与编解码网络的篡改图像盲取证方法，其特征在于，步骤三具体步骤如下：
给定一幅图像，我们首先提取64(8×8)个不重叠的patch；由于输入图像的尺寸为256×256×3，所以每个patch的尺寸为32×32×3；然后，用3×3拉普拉斯滤波器的幅度的平方根来计算，得到每个提取的patch的线性预测误差的幅度；由于重采样信号的线性预测误差具有周期性的相关性，我们应用Radon变换沿不同的投影角度累积误差；最后，我们应用快速傅里叶变换(FFT)来找出信号的周期性。
3.根据权利要求1所述的一种基于LSTM网络与编解码网络的篡改图像盲取证方法，其特征在于，步骤四的具体步骤如下：
为了更好地保留块的空间局域性，我们采用了希尔伯特曲线，这种曲线通常用于将多维问题简化为一维的；我们从一个图像中总共提取了64(8×8)块，需要对平面进行三次递归分割；利用Hilbert曲线对补丁进行排序后，按顺序输入到LSTM网络中；
LSTM细胞是LSTM网络的基础组成部分，LSTM细胞间的信息流由三个门控制:输入门、遗忘门和输出门；每个门都有一个从0到1的值，由一个sigmoid函数激活；我们将定义当前t细胞的细胞状态和输出状态为Ct和zt，每个细胞有一个候选细胞状态
Figure FDA0003147115090000011
使用之前的细胞状态Ct-1和
Figure FDA0003147115090000021
我们可以将更新后的单元格状态Ct写为
Figure FDA0003147115090000022
这里的
Figure FDA0003147115090000024
代表对应相乘，然后我们可以得到当前细胞的输出
Figure FDA0003147115090000023
LSTM网络通过将每个块的重采样特征发送到每个LSTM细胞来计算块之间的对数距离；LSTM细胞学习相邻块之间的相关性；所述的LSTM网络中使用了2个堆叠层，64个时间步长；从最后一层的每个时间步长得到64维的特征向量。
4.根据权利要求1所述的一种基于LSTM网络与编解码网络的篡改图像盲取证方法，其特征在于，步骤五操作步骤如下：
卷积网络由不同的层组成，其中每层输入数据是一个大小为h×w×c的三维数组，其中h和w分别是数据的高度和宽度，c是通道的维度；第一层以图像为输入，尺寸为256×256×3；每个编码器的基本构造块利用卷积、池化和激活函数，使用残差单元可以方便地对残差映射进行优化，并且可以训练更多的层；在每个卷积层中，我们使用3×3×d的卷积核，其中d是一个过滤器的深度，我们利用32、64、128和256个特征映射分别在编码器架构的第一、第二、第三和第四层；激活函数我们选择了可以表示为max(0,x)的整流线性单元，在每个残差单元的末端，进行步长为2的最大池化，这将特征图的大小减少了2倍。
5.根据权利要求1所述的一种基于LSTM网络与编解码网络的篡改图像盲取证方法，其特征在于，步骤六具体步骤如下：
每个解码器遵循基本操作-上采样卷积、批标准化和RELU函数激活；每个解码器首先对前一层学习到的特征图进行上采样；然后进行批归一化和RELU函数激活；解码器网络采用3×3大小的内核；该解码器在第一层和第二层分别开发了64和16个特征图；在第一个解码器输入之前，将特征图Y3与特征图X1进行纵向堆叠得到融合特征图Y4，输入到第一个解码器中，输出特征图与跳过链接特征图Y2堆叠得到融合特征图Y5，输入第二个解码器当中，最后，利用2张热图对译码网络末端的被操纵类和非被操纵类进行预测。
CN202110755400.3A 2021-07-05 2021-07-05 一种基于lstm网络与编解码网络的篡改图像盲取证方法 Active CN113436287B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110755400.3A CN113436287B (zh) 2021-07-05 2021-07-05 一种基于lstm网络与编解码网络的篡改图像盲取证方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110755400.3A CN113436287B (zh) 2021-07-05 2021-07-05 一种基于lstm网络与编解码网络的篡改图像盲取证方法

Publications (2)

Publication Number Publication Date
CN113436287A true CN113436287A (zh) 2021-09-24
CN113436287B CN113436287B (zh) 2022-06-24

Family

ID=77759070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110755400.3A Active CN113436287B (zh) 2021-07-05 2021-07-05 一种基于lstm网络与编解码网络的篡改图像盲取证方法

Country Status (1)

Country Link
CN (1) CN113436287B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205666A (zh) * 2022-09-16 2022-10-18 太平金融科技服务(上海)有限公司深圳分公司 图像分析方法、装置、服务器、介质和计算机程序产品
CN116740015A (zh) * 2023-06-12 2023-09-12 北京长木谷医疗科技股份有限公司 基于深度学习的医学图像智能检测方法、装置及电子设备

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034217A (zh) * 2010-11-22 2011-04-27 天津职业技术师范大学 数字图像真伪自识别及篡改自定位的方法
CN105938560A (zh) * 2016-03-23 2016-09-14 吉林大学 一种基于卷积神经网络的车型精细分类系统
CN106600577A (zh) * 2016-11-10 2017-04-26 华南理工大学 一种基于深度反卷积神经网络的细胞计数方法
CN109034162A (zh) * 2018-07-13 2018-12-18 南京邮电大学 一种图像语义分割方法
US20190258864A1 (en) * 2018-02-20 2019-08-22 Scenera, Inc. Automated Proximity Discovery of Networked Cameras
CN110263808A (zh) * 2019-05-13 2019-09-20 广东工业大学 一种基于lstm网络和注意力机制的图像情感分类方法
US20190319868A1 (en) * 2019-06-25 2019-10-17 Intel Corporation Link performance prediction technologies
CN110378976A (zh) * 2019-07-18 2019-10-25 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110580704A (zh) * 2019-07-24 2019-12-17 中国科学院计算技术研究所 基于卷积神经网络的et细胞图像自动分割方法及系统
CN110992238A (zh) * 2019-12-06 2020-04-10 上海电力大学 一种基于双通道网络的数字图像篡改盲检测方法
CN111062931A (zh) * 2019-12-20 2020-04-24 河北工业大学 一种被拼接篡改的图像的检测方法
CN111080629A (zh) * 2019-12-20 2020-04-28 河北工业大学 一种图像拼接篡改的检测方法
CN111311563A (zh) * 2020-02-10 2020-06-19 北京工业大学 一种基于多域特征融合的图像篡改检测方法
CN111368342A (zh) * 2020-03-13 2020-07-03 众安信息技术服务有限公司 图像篡改识别模型训练方法、图像篡改识别方法及装置
CN111445454A (zh) * 2020-03-26 2020-07-24 江南大学 一种图像真伪鉴别方法及其在证照识别中的应用
CN111553916A (zh) * 2020-05-09 2020-08-18 杭州中科睿鉴科技有限公司 基于多种特征和卷积神经网络的图像篡改区域检测方法
US20200387829A1 (en) * 2019-06-06 2020-12-10 Retrace Labs Systems And Methods For Dental Treatment Prediction From Cross- Institutional Time-Series Information
WO2020256698A1 (en) * 2019-06-18 2020-12-24 Huawei Technologies Co., Ltd. Dynamic image resolution assessment
CN112634243A (zh) * 2020-12-28 2021-04-09 吉林大学 一种强干扰因素下基于深度学习的图像分类识别系统
US20210118129A1 (en) * 2019-10-18 2021-04-22 Retrace Labs Dental Image Synthesis using Generative Adversarial Networks with Semantic Activation Blocks
CN112785480A (zh) * 2021-03-15 2021-05-11 河北工业大学 基于频域变换和残差反馈模块的图像拼接篡改检测方法

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034217A (zh) * 2010-11-22 2011-04-27 天津职业技术师范大学 数字图像真伪自识别及篡改自定位的方法
CN105938560A (zh) * 2016-03-23 2016-09-14 吉林大学 一种基于卷积神经网络的车型精细分类系统
CN106600577A (zh) * 2016-11-10 2017-04-26 华南理工大学 一种基于深度反卷积神经网络的细胞计数方法
US20190258864A1 (en) * 2018-02-20 2019-08-22 Scenera, Inc. Automated Proximity Discovery of Networked Cameras
CN109034162A (zh) * 2018-07-13 2018-12-18 南京邮电大学 一种图像语义分割方法
CN110263808A (zh) * 2019-05-13 2019-09-20 广东工业大学 一种基于lstm网络和注意力机制的图像情感分类方法
US20200387829A1 (en) * 2019-06-06 2020-12-10 Retrace Labs Systems And Methods For Dental Treatment Prediction From Cross- Institutional Time-Series Information
WO2020256698A1 (en) * 2019-06-18 2020-12-24 Huawei Technologies Co., Ltd. Dynamic image resolution assessment
US20190319868A1 (en) * 2019-06-25 2019-10-17 Intel Corporation Link performance prediction technologies
CN110378976A (zh) * 2019-07-18 2019-10-25 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110580704A (zh) * 2019-07-24 2019-12-17 中国科学院计算技术研究所 基于卷积神经网络的et细胞图像自动分割方法及系统
US20210118129A1 (en) * 2019-10-18 2021-04-22 Retrace Labs Dental Image Synthesis using Generative Adversarial Networks with Semantic Activation Blocks
CN110992238A (zh) * 2019-12-06 2020-04-10 上海电力大学 一种基于双通道网络的数字图像篡改盲检测方法
CN111062931A (zh) * 2019-12-20 2020-04-24 河北工业大学 一种被拼接篡改的图像的检测方法
CN111080629A (zh) * 2019-12-20 2020-04-28 河北工业大学 一种图像拼接篡改的检测方法
CN111311563A (zh) * 2020-02-10 2020-06-19 北京工业大学 一种基于多域特征融合的图像篡改检测方法
CN111368342A (zh) * 2020-03-13 2020-07-03 众安信息技术服务有限公司 图像篡改识别模型训练方法、图像篡改识别方法及装置
CN111445454A (zh) * 2020-03-26 2020-07-24 江南大学 一种图像真伪鉴别方法及其在证照识别中的应用
CN111553916A (zh) * 2020-05-09 2020-08-18 杭州中科睿鉴科技有限公司 基于多种特征和卷积神经网络的图像篡改区域检测方法
CN112634243A (zh) * 2020-12-28 2021-04-09 吉林大学 一种强干扰因素下基于深度学习的图像分类识别系统
CN112785480A (zh) * 2021-03-15 2021-05-11 河北工业大学 基于频域变换和残差反馈模块的图像拼接篡改检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
HAIPENG CHEN ET AL.: "Hybrid features and semantic reinforcement network for image forgery detection", 《MULTIMEDIA SYSTEMS》 *
HAIPENG CHEN ET AL.: "Hybrid features and semantic reinforcement network for image forgery detection", 《MULTIMEDIA SYSTEMS》, vol. 28, no. 2, 27 May 2021 (2021-05-27), pages 363 - 374, XP037799851, DOI: 10.1007/s00530-021-00801-w *
JAWADUL H. BAPPY ET AL.: "Hybrid LSTM and Encoder–Decoder Architecture for Detection of Image Forgeries", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
JAWADUL H. BAPPY ET AL.: "Hybrid LSTM and Encoder–Decoder Architecture for Detection of Image Forgeries", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》, vol. 28, no. 7, 25 January 2019 (2019-01-25), pages 3286 - 3300, XP011724915, DOI: 10.1109/TIP.2019.2895466 *
JAWADUL H. BAPPY ET AL.: "Hybrid LSTM and Encoder–Decoder Architecture for Detection of Image Forgeries", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》, vol. 28, no. 7, 31 July 2019 (2019-07-31), pages 3286 - 3300, XP011724915, DOI: 10.1109/TIP.2019.2895466 *
陈海鹏 等: "基于特征点和密度聚类的图像复制-粘贴篡改盲鉴别算法", 《吉林大学学报(工学版)》, vol. 50, no. 3, 31 May 2020 (2020-05-31), pages 1069 - 1076 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205666A (zh) * 2022-09-16 2022-10-18 太平金融科技服务(上海)有限公司深圳分公司 图像分析方法、装置、服务器、介质和计算机程序产品
CN115205666B (zh) * 2022-09-16 2023-03-07 太平金融科技服务(上海)有限公司深圳分公司 图像分析方法、装置、服务器、介质
CN116740015A (zh) * 2023-06-12 2023-09-12 北京长木谷医疗科技股份有限公司 基于深度学习的医学图像智能检测方法、装置及电子设备

Also Published As

Publication number Publication date
CN113436287B (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN111369581B (zh) 图像处理方法、装置、设备及存储介质
CN110490082B (zh) 一种有效融合神经网络特征的道路场景语义分割方法
CN113888744A (zh) 一种基于Transformer视觉上采样模块的图像语义分割方法
CN113436287B (zh) 一种基于lstm网络与编解码网络的篡改图像盲取证方法
CN111401436B (zh) 一种融合网络和双通道注意力机制的街景图像分割方法
CN111191654B (zh) 道路数据生成方法、装置、电子设备及存储介质
CN111860233B (zh) 基于选择注意力网络的sar图像复杂建筑物提取方法及系统
CN113628291B (zh) 基于边界提取与合并的多形状目标栅格数据矢量化方法
CN114120361B (zh) 一种基于编解码结构的人群计数定位方法
CN116797787B (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
WO2023202695A1 (zh) 数据处理方法及装置、设备、介质
CN110853039A (zh) 一种多数据融合的草图图像分割方法、系统、装置及存储介质
Blier-Wong et al. Geographic ratemaking with spatial embeddings
Yin et al. Automated classification of piping components from 3D LiDAR point clouds using SE-PseudoGrid
CN112668662B (zh) 基于改进YOLOv3网络的野外山林环境目标检测方法
Chen et al. Application of multiresolution pattern classification to steel bridge coating assessment
CN115222947A (zh) 基于全局自注意力变换网络的岩石节理分割方法和装置
CN115810152A (zh) 基于图卷积的遥感图像变化检测方法、装置和计算机设备
CN113344110B (zh) 一种基于超分辨率重建的模糊图像分类方法
CN115170807A (zh) 一种图像分割、模型训练方法、装置、设备及介质
CN115187775A (zh) 一种遥感图像语义分割方法及装置
Mujtaba et al. Automatic solar panel detection from high-resolution orthoimagery using deep learning segmentation networks
CN111856618A (zh) 气象要素的预测方法及设备
CN112989919A (zh) 一种从影像中提取目标对象的方法及系统
Wang et al. RSBuilding: Towards General Remote Sensing Image Building Extraction and Change Detection with Foundation Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant