CN112434180B - 基于dct系数值替换和注意力网络的密文jpeg图像检索方法 - Google Patents

基于dct系数值替换和注意力网络的密文jpeg图像检索方法 Download PDF

Info

Publication number
CN112434180B
CN112434180B CN202011476145.0A CN202011476145A CN112434180B CN 112434180 B CN112434180 B CN 112434180B CN 202011476145 A CN202011476145 A CN 202011476145A CN 112434180 B CN112434180 B CN 112434180B
Authority
CN
China
Prior art keywords
image
coefficient
value
sample
dct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011476145.0A
Other languages
English (en)
Other versions
CN112434180A (zh
Inventor
卢植勋
李佩雅
黄斐然
冯齐华
宋婷婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan University
Original Assignee
Jinan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan University filed Critical Jinan University
Priority to CN202011476145.0A priority Critical patent/CN112434180B/zh
Publication of CN112434180A publication Critical patent/CN112434180A/zh
Application granted granted Critical
Publication of CN112434180B publication Critical patent/CN112434180B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/147—Discrete orthonormal transforms, e.g. discrete cosine transform, discrete sine transform, and variations therefrom, e.g. modified discrete cosine transform, integer transforms approximating the discrete cosine transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种基于DCT系数值替换和注意力网络的密文JPEG图像检索方法，方法包括以下步骤：图像加密，图像拥有者将图像上传至云服务器前利用密钥对图像进行加密，将图像转为比特流形式，加密过程中进行DCT变换并对DCT变换后的DC和AC系数进行值替换，上传图像构成云服务器的图像数据库；图像检索，授权用户上传需检索图像至云服务器，上传前采用与图像拥有者上传图像时采用的相同的加密方法对需检索图像进行加密，云服务器从需检索的加密图中提取特征，利用神经网络模型进行图像检索。本发明确保了检索图像时的安全性，保证了隐私信息不泄露，同时采用神经网络模型来提高检索效果。

Description

基于DCT系数值替换和注意力网络的密文JPEG图像检索方法
技术领域
本发明属于图像检索技术领域，具体涉及一种基于DCT系数值替换和注意力网络的密文JPEG图像检索方法。
背景技术
信息技术与网络技术的飞速发展，每天都有大量的数据在互联网上传输。同时，云服务的兴起，解决了大量数据存储问题，越来越多的用户把数据上传到云服务器中保存，图像是用户常上传到服务器的一种数据，JPEG格式的图像是图像格式其中一种形式，由于存储空间小，其压缩对图像本身的影响并不大，从而得到广泛的使用。用户如果把明文图像直接上传到云服务器中很可能导致其隐私的泄漏，而传统的一些加密方法由于技术限制，在保证其安全性时并未考虑其对检索效果的影响，很难从中提取出有效的特征进行图像检索，在此背景下，迫切需要一种兼顾保护隐私和保证检索效率的图像检索方法。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提出一种基于DCT系数值替换和注意力网络的密文JPEG图像检索方法，方法采用DC系数值替换和AC系数值替换，使用加密后的DC系数和AC系数直方图进行检索操作，保证了隐私信息不会泄漏，同时采用神经网络来提高检索效果。
为了达到上述目的，本发明采用以下技术方案：
基于DCT系数值替换和注意力网络的密文JPEG图像检索方法，包括以下步骤：
图像加密，图像拥有者将图像上传至云服务器前利用密钥对图像进行加密将图像转为比特流形式，上传图像构成云服务器的图像数据库，加密过程中进行DCT变换并对DCT变换后的DC和AC系数进行值替换；
图像检索，授权用户上传需检索图像至云服务器，上传前采用与图像拥有者上传图像时采用的相同的加密方法对需检索图像进行加密，云服务器从需检索的加密图中提取特征，利用神经网络模型进行图像检索；所述神经网络模型采用孪生网络架构，包括输入层、全连接层、注意力层以及输出层。
进一步的，所述图像加密具体包括分量采样、DCT变换、DC系数值替换以及AC系数截断和值替换；
所述DCT变换用于将图像由空域转换为频域；所述空域为DCT变换前图像的像素域，所述频域为经过DCT变换后得到的频谱；
所述DC系数值替换用于加密DC系数信息，防止信息泄露；
所述AC系数截断和值替换用于加密AC系数信息，防止信息泄露。
进一步的，所述分量采样具体为：
将图像从RGB转换为YUV，并对转换后图像按4:2:0对三个分量进行采样；加密过程中对三个分量采用相同方式进行加密，但使用不同的密钥。
进一步的，所述DCT变换具体为：
对YUV图像，将每个分量分成8*8像素块，分别进行DCT变换，每个8*8像素块得到64个DCT系数，其中，每个像素块的第1个系数为直流系数DC，其余63个系数为交流系数AC。
进一步的，所述DC系数值替换具体为：
在将图像转换成比特流时，在差分前进行值替换；
所述转换成比特流具体为8*8像素块经过DCT变换、量化、zigzag扫描以及熵编码后转为比特流，所述差分步骤在量化之后熵编码之前进行，熵编码部分保存的DC系数是差分之后的DC系数；所述值替换具体为：
设定一个取值范围为[-1023,1023]的DC系数列表，即[-1023,-1022,……,1022,1023]，利用密钥对列表进行打乱，DC系数列表每一位置的值被打乱后列表相应位置的值替换，假设Vd表示原来的DC值，Md表示加密后的DC值，Ld表示打乱后的系数列表，那么Md＝Ld(Vd+1023)，其中，Ld(*)里*表示打乱后系数列表的索引。
进一步的，所述AC系数截断具体为：
设AC系数范围为[-100,100]，将AC系数大于100的值改为100，将AC系数小于-100的值改为-100；
所述AC系数值替换具体为：
设定一个取值范围为[-100,100]的AC系数列表，即[-100,-99,……,99,100]，利用密钥对列表进行打乱，AC系数列表每一位置的值被打乱后列表相应位置的值替换，用Va表示原来的AC值，Ma表示加密后的AC值，La表示打乱后的系数列表，那么Ma＝La(Va+100)，其中，La(*)里*表示打乱后系数列表的索引。
进一步的，所述提取特征具体为先将比特流反编码，即熵编码的逆过程，恢复出DC系数和AC系数，其中DC系数需要恢复到差分前的值，进行特征提取，特征提取具体为：
按YUV三个分量分别提取，按照8*8块将每个分量分开，统计特征每个块对应位置的直方图，每个位置的DCT系数的值范围为[-2048,2048]，步长为64，所以直方图的区间数量为64，每个像素块有64个DCT系数，得每个分量的直方图数量为64*64，每张图片有3个分量，所以一张图片的特征向量维度为64*64*3＝12288。
进一步的，所述输入层每次输入两张图片，分别为需检索的加密图片与云服务器的图像数据库中的一加密图片；
所述每层全连接层输出会进行一次批归一化操作，全连接层采用ReLU激活函数；
所述注意力层用于学习YUV三个分量的权重，将特征向量hi分为三个部分h1，h2，h3，分别代表Y分量、U分量以及V分量；
用一层多层感知机MLP得到特征向量hi的表示ui，所述多层感知机包括输入层、隐藏层以及输出层，公式如下：
ui＝tanh(Whi+b)
其中，ui为MLP的输出；
用上下文相关向量uw来衡量每个分量的重要性；用softmax做归一化得到αi；最后把αihi拼接起来；所述上下文相关向量uw随机初始化；具体公式如下：
v′＝concat(αihi)；
其中，αi为注意力权重，v′为注意力层的输出；
所述输出层，输出的是一维向量，具体为计算余弦相似度，对所有余弦相似度值进行排序得到排序结果，返回多张图片给授权用户。
进一步的，所述神经网络模型训练时，输入训练图像为原样本，与原样本相同类别的输入作为正样本，与原样本不同类别的输入作为负样本，采样时每张图片随机选择一张正样本一张负样本；
所述输出层在训练时，输入三个向量，分别为原样本的向量，正样本的向量以及负样本的向量；
分别计算原样本与正样本的以及原样本与负样本的余弦相似度，将计算得到的两个余弦相似度输入损失函数，用负样本与原样本的余弦相似度减去正样本与原样本的余弦相似度值加上一个自定义的阈值；最后使用Adam优化器进行模型优化。
进一步的，所述损失函数具体为：
loss＝max(margin+sim_neg-sim_pos，0)
其中，sim_neg为原样本与负样本的余弦相似度，sim_pos为原样本与正样本的余弦相似度，margin为阈值。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明采用DCT变换后DC和AC系数的值替换方法，值替换之后的DC系数和AC系数直方图已经发生了改变，使统计攻击对该方法失效，而且随着DC系数和AC系数的改变，原来的哈夫曼直方图也发生了改变，使得本发明方案既没有泄漏系数的直方图信息也没有泄漏哈夫曼直方图的信息，确保了检索图像时的安全性，保证了隐私信息不泄露；同时本发明采用神经网络模型，提升了检索性能。
2、本发明对图像拥有者的图像进行加密后再上传到云服务器，确保图像拥有者的隐私不被泄漏；而且从密文图像中提取特征，且提取特征的过程是在云服务器中完成，能够很好的降低图像拥有者的计算开销，只需图像拥有者加密就行。
附图说明
图1是本发明的流程图；
图2a是本发明图像加密前的原图像；
图2b是本发明图像加密后效果图；
图3是本发明的注意力层结构图；
图4是本发明的神经网络整体架构图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
本发明实现加密图像检索，其过程涉及到图像拥有者、云服务器、授权用户三个部分；首先，图像拥有者把需要上传到云服务器的图像进行加密，加密完成后上传到云服务器，云服务器对加密图像保存到图像数据库中，同时云服务器有检索图片功能，授权用户先将要检索的图片加密成加密图，将其传到云服务器中，云服务器从检索加密图提取DC和AC系数直方图特征，将该特征与数据库加密图的特征输入到神经网络进行处理，得到最后的检索结果返回给授权用户，授权用户利用密钥将结果加密图解密成明文图。
实施例
如图1所示，本发明，基于DCT系数直方图和注意力网络的密文JPEG图像检索方法，包括以下步骤：
S1、图像加密，图像拥有者上传图像前，先对图像进行加密，如图2a、图2b所示，为加密前和加密后的图像；
S11、分量采样，将JPEG图像由RGB转换成YCbCr，然后分别对其按照4:2:0的方式进行采样；加密处理过程中，分别对三个分量进行相同处理，采用的密钥不同
S12、DCT变换，将图像每个分量分成8*8的像素块，每个像素块分别进行DCT变换并得到64个DCT系数，每个像素块的第一个系数为直流系数DC，其余63个系数为交流系数AC。
S13、DC系数值替换，将步骤S12得到的DC系数的值用其他的值进行替换，从而隐藏了原来图像中的DC系数信息，从而达到防止信息泄漏的效果。由于把DC系数替换了，所以统计加密图像的DC系数直方图也发生了改变，而且编码过程中统计其哈夫曼码表也会发生改变；
在JPEG图像转换成比特流的步骤中，熵编码部分保存的DC系数是差分之后的DC系数，为了不影响其压缩性能，在差分前进行值替换，所述转换成比特流具体为8*8像素块经过DCT变换、量化、zigzag扫描以及熵编码后转为比特流，所述差分步骤在量化之后熵编码之前进行；
设定范围为[-1023,1023]的列表，步长为1，即该列表为[-1023,-1022,-1011,…1022,1023]的形式，然后利用密钥流Key(对于不同的分量使用不同的密钥)进行打乱该列表，Vd表示原来的DC值，Md表示加密后的DC值，Ld表示打乱后的系数列表，那么Md＝Ld(Vd+1023)，其中，Ld(*)里*表示打乱后系数列表的索引；假设打乱后的列表Ld为[-1000,-512,-1009,…]，则原来DC系数为-1023的位置，现在用-1000来替代，即Md＝Ld(Va+1023)＝Ld(-1023+1023)＝Ld(0)＝-1000，原来-1022的位置现在用-512来代替，以此类推。
S14、AC系数阶段和值替换，采用截断的方式来处理AC系数，将AC系数的范围控制在[-100,100]之间，本来AC系数大于100的更改其值为100，小于-100的值更改为-100。然后设定一个[-100,100]范围的列表，即该列表为[-100,-99,-98,…,99,100]的形式，然后利用密钥进行打乱，Va表示原来的AC值，Ma表示加密后的AC值，La表示打乱后的系数列表，那么Ma＝La(Va+100)，其中，La(*)里*表示打乱后系数列表的索引；假设打乱后的系数列表La为[-50,99,91,0,…5]，则原来AC系数为-100的位置被替换为-50，即Ma＝La(Va+100)＝La(-100+100)＝La(0)＝-50，原来-99的位置被替换为99，原来-98的位置被替换为91，因为AC系数的变化，原来的AC系数直方图也发生了改变，其利用(r,v)进行熵编码的哈夫曼码表直方图也因v的改变而改变，保证了信息不会泄漏。
S2、图像检索，图像检索采用神经网络模型，从加密后DC系数和AC系数中提取特征；
所述特征提取具体为：
JPEG图像保存格式为比特流的形式，先将比特流反编码，即熵编码的逆过程，恢复出DC系数和AC系数，其中DC系数需要恢复到差分前的值，进行特征提取。在Cored数据集上进行测试，Corel数据集含有1000张图片，10个类别，每个类别100张图片，图片的大小为384*256或者256*384。提取DC和AC系数直方图的特征时并不是直接统计其在整个图片中的数量，具体的提取特征过程为：按YCbCr三个分量分别提取，按照8*8块将每个分量分开，统计特征的方法为每个块对应位置的直方图，比如整个分量8*8块的第一位数的DC系数直方图，整个分量8*8块的第二数的直方图，每个位置的DCT系数可能出现的值范围[-2048,2048]步长为64，所以直方图的区间数量为64个，而每个块有64个系数，所以每个分量的直方图数量为64*64，每张图片有三个分量，所以一张图片的特征向量维度为64*64*3＝12288。
在本实施例中，如图4所示，所述神经网络包括输入层、全连接层、注意力层以及输出层，具体为：
S21、输入层，采用孪生网络的架构，输入两张图像的特征向量，相同类别的输入作为正样本，不同类别的输入作为负样本，为了保证正负样本均衡，采样的时候每张图片随机选择一张正样本一张负样本。每张图片特征向量维度为12288，每次从训练集中选取800张原图片，对应于这800张图片另外分别选取800张同类的正样本和800张不同类的负样本输入到网络中进行训练。
S22、全连接层，如图4所示的FC就是全连接层，每个全连接层会做一个批归一化，激活函数为ReLU函数。
S23、注意力层，用值替换之后的DCT系数的直方图做特征，一起有三个分量Y/U/V，因为每个分量在检索里面的影响程度不同，比如Y分量更重要，所以用一个注意力层来学习三个分量的权重。
如图3所示，把特征向量hi分成h1，h2，h3三个部分，分别代表Y分量、U分量和V分量；然后用一层多层感知机MLP得到特征向量hi的表示ui，公式如下：
ui＝tanh(Whi+b)
其中，ui为MLP的输出；
用上下文相关向量uw来衡量每个分量的重要性，然后用softmax做归一化得到αi；最后把αihi拼接起来。这个上下文向量uw随机初始化，可以在训练过程中学习，公式如下：
v′＝concat(αihi)
其中，αi为注意力权重，v′为注意力层的输出。
S24、输出层，输出的是一维向量，训练中，分别输入原样本、与原样本对应的正样本以及与原样本对应的负样本，所述原样本为训练输入图像，正样本为与原样本相同类别的图像，负样本为与原样本不同类别的图像；得到三个输出，分别计算原样本与正样本的余弦相似度以及原样本与负样本的余弦相似度，将这两个相似度输入到损失函数中，用负样本与原样本的余弦相似度减去正样本与原样本的余弦相似度值加上一个自定义的阈值，本实施例中阈值设定为0.5，利用Adam优化器进行优化。
所述损失函数具体为：
loss＝max(margin+sim_neg-sim_pos，0)
其中，sim_neg为原样本与负样本的余弦相似度，sim_pos为原样本与正样本的余弦相似度，margin为阈值。
本实施例神经网络模型训练过程中，从数据集中选取800张图片用于训练，选取200张图片用于测试，按照分层抽样的想法，训练集中每个类别抽取80张，剩下20张作为测试集。
在本实施例中，如图4所示，授权用户检索图像时，将检索加密图片提取出DC和AC系数直方图特征作为input_1，将服务器中数据库的加密图片特征作为input_2，将两者输入到训练好的网络模型中，计算输出的余弦相似度，按照得出的余弦相似度的值进行排序大到小进行排序，根据排序结果返回前k张图片给授权用户。
还需要说明的是，在本说明书中，诸如术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (1)

1.基于DCT系数值替换和注意力网络的密文JPEG图像检索方法，其特征在于，包括以下步骤：
图像加密，图像拥有者将图像上传至云服务器前利用密钥对图像进行加密将图像转为比特流形式，上传图像构成云服务器的图像数据库，加密过程中进行DCT变换并对DCT变换后的DC和AC系数进行值替换；
图像检索，授权用户上传需检索图像至云服务器，上传前采用与图像拥有者上传图像时采用的相同的加密方法对需检索图像进行加密，云服务器从需检索的加密图中提取特征，利用神经网络模型进行图像检索；所述神经网络模型采用孪生网络架构，包括输入层、全连接层、注意力层以及输出层；
所述图像加密具体包括分量采样、DCT变换、DC系数值替换以及AC系数截断和值替换；
所述DCT变换用于将图像由空域转换为频域；所述空域为DCT变换前图像的像素域，所述频域为经过DCT变换后得到的频谱；
所述DC系数值替换用于加密DC系数信息，防止信息泄露；
所述AC系数截断和值替换用于加密AC系数信息，防止信息泄露；
所述分量采样具体为：
将图像从RGB转换为YUV，并对转换后图像按4:2:0对三个分量进行采样；加密过程中对三个分量采用相同方式进行加密，但使用不同的密钥；
所述DCT变换具体为：
对YUV图像，将每个分量分成8*8像素块，分别进行DCT变换，每个8*8像素块得到64个DCT系数，其中，每个像素块的第1个系数为直流系数DC，其余63个系数为交流系数AC；
所述DC系数值替换具体为：
在将图像转换成比特流时，在差分前进行值替换；
所述转换成比特流具体为8*8像素块经过DCT变换、量化、zigzag扫描以及熵编码后转为比特流，所述差分步骤在量化之后熵编码之前进行，熵编码部分保存的DC系数是差分之后的DC系数；所述值替换具体为：
设定一个取值范围为[-1023,1023]的DC系数列表，即[-1023,-1022,……,1022,1023]，利用密钥对列表进行打乱，DC系数列表每一位置的值被打乱后列表相应位置的值替换，假设Vd表示原来的DC值，Md表示加密后的DC值，Ld表示打乱后的系数列表，那么Md＝Ld(Vd+1023)，其中，Ld(*)里*表示打乱后系数列表的索引；
所述AC系数截断具体为：
设AC系数范围为[-100,100]，将AC系数大于100的值改为100，将AC系数小于-100的值改为-100；
所述AC系数值替换具体为：
设定一个取值范围为[-100,100]的AC系数列表，即[-100,-99,……,99,100]，利用密钥对列表进行打乱，AC系数列表每一位置的值被打乱后列表相应位置的值替换，用Va表示原来的AC值，Ma表示加密后的AC值，La表示打乱后的系数列表，那么Ma＝La(Va+100)，其中，La(*)里*表示打乱后系数列表的索引；
所述提取特征具体为先将比特流反编码，即熵编码的逆过程，恢复出DC系数和AC系数，其中DC系数需要恢复到差分前的值，进行特征提取，特征提取具体为：
按YUV三个分量分别提取，按照8*8块将每个分量分开，统计特征每个块对应位置的直方图，每个位置的DCT系数的值范围为[-2048,2048]，步长为64，所以直方图的区间数量为64，每个像素块有64个DCT系数，得每个分量的直方图数量为64*64，每张图片有3个分量，所以一张图片的特征向量维度为64*64*3＝12288；
所述输入层每次输入两张图片，分别为需检索的加密图片与云服务器的图像数据库中的一加密图片；
所述每层全连接层输出会进行一次批归一化操作，全连接层采用ReLU激活函数；
所述注意力层用于学习YUV三个分量的权重，将特征向量hi分为三个部分h1,h2,h3，分别代表Y分量、U分量以及V分量；
用多层感知机MLP得到特征向量hi的表示ui，所述多层感知机包括输入层、隐藏层以及输出层，公式如下：
ui＝tanh(Whi+b)
其中，ui为MLP的输出；
用上下文相关向量uw来衡量每个分量的重要性；用softmax做归一化得到αi；最后把αihi拼接起来；所述上下文相关向量uw随机初始化；具体公式如下：
v′＝concat(αihi)；
其中，αi为注意力权重，v′为注意力层的输出；
所述输出层，输出的是一维向量，具体为计算余弦相似度，对所有余弦相似度值进行排序得到排序结果，返回多张图片给授权用户；
所述神经网络模型训练时，输入训练图像为原样本，与原样本相同类别的输入作为正样本，与原样本不同类别的输入作为负样本，采样时每张图片随机选择一张正样本一张负样本；
所述输出层在训练时，输入三个向量，分别为原样本的向量，正样本的向量以及负样本的向量；
分别计算原样本与正样本的以及原样本与负样本的余弦相似度，将计算得到的两个余弦相似度输入损失函数，用负样本与原样本的余弦相似度减去正样本与原样本的余弦相似度值加上一个自定义的阈值；最后使用Adam优化器进行模型优化；
所述损失函数具体为：
loss＝max(margin+sin_neg-sim_pos,0)
其中，sim_neg为原样本与负样本的余弦相似度，sim_pos为原样本与正样本的余弦相似度，margin为阈值。
CN202011476145.0A 2020-12-15 2020-12-15 基于dct系数值替换和注意力网络的密文jpeg图像检索方法 Active CN112434180B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011476145.0A CN112434180B (zh) 2020-12-15 2020-12-15 基于dct系数值替换和注意力网络的密文jpeg图像检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011476145.0A CN112434180B (zh) 2020-12-15 2020-12-15 基于dct系数值替换和注意力网络的密文jpeg图像检索方法

Publications (2)

Publication Number Publication Date
CN112434180A CN112434180A (zh) 2021-03-02
CN112434180B true CN112434180B (zh) 2024-03-15

Family

ID=74691107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011476145.0A Active CN112434180B (zh) 2020-12-15 2020-12-15 基于dct系数值替换和注意力网络的密文jpeg图像检索方法

Country Status (1)

Country Link
CN (1) CN112434180B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5343539A (en) * 1992-04-29 1994-08-30 Chan Yiu K Method for spatial domain image compression
JPH1051643A (ja) * 1996-07-31 1998-02-20 Canon Inc 画像処理装置及びその方法
JP2001086450A (ja) * 1999-09-10 2001-03-30 Canon Inc 画像記録装置、方法及びコンピュータ読み取り可能な記憶媒体
CN103034853A (zh) * 2013-01-08 2013-04-10 武汉大学 一种jpeg图像通用隐写分析方法
CN104331448A (zh) * 2014-10-29 2015-02-04 上海大学 基于jpeg图像交流系数直方图的密文域图像检索方法
CN106218642A (zh) * 2016-07-19 2016-12-14 浙江吉利控股集团有限公司 一种检测车辆行驶方向的方法及装置
CN110139112A (zh) * 2019-04-29 2019-08-16 暨南大学 一种基于jnd模型的视频编码方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5343539A (en) * 1992-04-29 1994-08-30 Chan Yiu K Method for spatial domain image compression
JPH1051643A (ja) * 1996-07-31 1998-02-20 Canon Inc 画像処理装置及びその方法
JP2001086450A (ja) * 1999-09-10 2001-03-30 Canon Inc 画像記録装置、方法及びコンピュータ読み取り可能な記憶媒体
CN103034853A (zh) * 2013-01-08 2013-04-10 武汉大学 一种jpeg图像通用隐写分析方法
CN104331448A (zh) * 2014-10-29 2015-02-04 上海大学 基于jpeg图像交流系数直方图的密文域图像检索方法
CN106218642A (zh) * 2016-07-19 2016-12-14 浙江吉利控股集团有限公司 一种检测车辆行驶方向的方法及装置
CN110139112A (zh) * 2019-04-29 2019-08-16 暨南大学 一种基于jnd模型的视频编码方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度注意力网络的密文图像检索;冯齐华;《暨南大学硕士学位论文》;全文 *

Also Published As

Publication number Publication date
CN112434180A (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
Duan et al. Reversible image steganography scheme based on a U-Net structure
Cheng et al. Markov process-based retrieval for encrypted JPEG images
Cao et al. High capacity reversible data hiding in encrypted images by patch-level sparse representation
Yin et al. Reversible data hiding in JPEG images with multi-objective optimization
Cheng et al. Encrypted JPEG image retrieval using block-wise feature comparison
Ayoobkhan et al. Prediction-based Lossless Image Compression
Shankar et al. Minor blind feature based Steganalysis for calibrated JPEG images with cross validation and classification using SVM and SVM-PSO
Razeghi et al. Privacy-preserving outsourced media search using secure sparse ternary codes
Bao et al. A robust image steganography on resisting JPEG compression with no side information
Zheng et al. Steganographer detection based on multiclass dilated residual networks
Mutt et al. Secure image Steganography based on Slantlet transform
Yu et al. A privacy-preserving JPEG image retrieval scheme using the local Markov feature and bag-of-words model in cloud computing
Chi et al. An SMVQ compressed data hiding scheme based on multiple linear regression prediction
Chanchal et al. A comprehensive survey on neural network based image data hiding scheme
Li et al. Coverless Video Steganography Based on Frame Sequence Perceptual Distance Mapping.
CN111325807B (zh) 一种基于jpeg图像的加密与特征提取方法
CN112434180B (zh) 基于dct系数值替换和注意力网络的密文jpeg图像检索方法
Li et al. Encrypted jpeg image retrieval using histograms of transformed coefficients
CN108021927A (zh) 一种基于慢变视觉特征的视频指纹提取方法
CN108600573B (zh) 基于树形BoW模型的密文JPEG图像检索方法
Cheng et al. Toward privacy-preserving JPEG image retrieval
CN116205776A (zh) 一种基于半脆弱可逆水印的篡改定位方法
CN112231508B (zh) 一种基于内容的加密jpeg图像检索方法
Roy et al. Review on image steganography
Jain et al. An enhanced digital watermarking for color image using support vector machine

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant