CN110069644B - 一种基于深度学习的压缩域大规模图像检索方法 - Google Patents

Abstract

本发明公开一种基于深度学习的压缩域大规模图像检索方法，包括：利用压缩CNN网络对图像数据库进行压缩，得到空间占用小于原图像的压缩编码；利用哈希CNN网络对压缩图像进行哈希编码；在哈希码数据库中对查询图片进行图像检索。本发明有效地利用深度学习在图像压缩和图像检索中的良好性能，提出了基于深度学习的压缩域大规模图像检索方法，解决了在海量高维媒体数据中高效率快速检索到自己所需要图像的问题。

Description

一种基于深度学习的压缩域大规模图像检索方法

技术领域

本发明涉及模式识别、计算机视觉以及图像编码的技术领域，具体涉及一种基于深度学习的压缩域大规模图像检索方法。

背景技术

在大数据时代，高维媒体数据在搜索引擎和社交网络上变得特别流行，如何对大规模高维媒体数据进行快速有效地检索以满足客户需求成为了一件亟待解决的事。面对这一问题，帮助用户在海量高维媒体数据中高效率快速检索到自己所需要的图像成为热门的研究方向。

为了保证检索质量和准确性，近似最近邻搜索引起了研究人员越来越多的关注。在候选方法中，汉明哈希技术因其将图像保持相似性的映射为二进制哈希码并且在汉明空间距离计算上的高效性和低存储空间的占用，在大规模图像检索上具有很高的性能。中国专利(申请号201010196539.0，申请公布号：CN 101894130 A)提出的公开了一种基于稀疏表达和拉普拉斯图的哈希索引方法，首先提取图像底层特征，进一步通过聚类得到视觉单词，然后利用有权重的拉普拉斯-贝尔特拉米算子的特征方程和特征根，求得欧氏空间到汉明空间的映射函数，得到低维空间汉明向量，该方法哈希函数的构造假设训练数据服从均匀分布，使其应用受限；中国专利(申请号：201510901348.2，申请公布号：CN 105512289 A)提出了一种基于深度学习和哈希的图像检索方法，该方法构建深度神经网络架构，同时学习图像特征和哈希编码，并加入哈希层和将连续值量化为二进制编码所引起的量化误差损失，利用该架构生成具有高表达能力的哈希码，保证哈希图像检索的准确率。

但是，上述发明均使用JPG、PNG等压缩格式的图像，这类压缩格式在面对海量图像数据时仍需要占用大量存储空间。随着深度学习在计算机视觉领域占据主导地位，卷积神经网络也被应用于图像压缩领域。如图鸭科技2018年推出的基于卷积神经网络的图像压缩技术Tiny Network Graphics(TNG)，与JPEG相比压缩率提升了122％，与WebP相比，压缩率提高了30％，使得更高压缩率的图像压缩技术普及成为了可能。但是，在追求高压缩率的同时，卷积神经网络也带来了高昂的计算代价，图像的编解码通常需要借助GPU才能快速完成。

发明内容

针对基于卷积神经网络的图像压缩技术计算复杂度过高的问题，本发明提出了一种基于深度学习的压缩域大规模图像检索方法，该方法利用同时学习压缩图像局部、全局特征和哈希编码的深度卷积网络架构，并在架构中加入哈希层和将连续值量化为二进制编码所引起的量化误差损失，利用该架构生成具有高表达能力的哈希码，保证在压缩域直接进行哈希图像检索的准确率，从而避免了解码带来的空间占用和计算代价。

为实现上述目的，本发明采用的技术方案是：

一种基于深度学习的压缩域大规模图像检索方法，包括：

S1，利用压缩CNN网络对图像数据库进行压缩，得到空间占用小于原图像的压缩编码；

S2，利用哈希CNN网络对压缩图像进行哈希编码；

S3，在哈希码数据库中对查询图片进行图像检索。

优选地，S1进一步包括：

a)压缩前统一图像尺寸：采用Random-crop方法将图像尺寸统一到256*256，裁剪后的图像像素矩阵维度为256*256*3；

b)图像压缩：构建基于深度卷积网络的图像压缩网络，利用ImageNet数据集对网络进行训练，训练后的网络具有较佳的PSNR和SSIM，将图像检索数据送入训练后的压缩网络的编码器进行压缩，得到尺寸为32*32*64的浮点型编码；

c)压缩图片的量化：对图像压缩后的浮点数进行量化。

优选地，所述图像压缩网络包含多个残差块和池化层和一个量化层，压缩网络将图像压缩成压缩编码。

优选地，所述哈希CNN网络为改进的AlexNet结构，基于AlexNet结构的改进网络将压缩编码Z转换成图像压缩特征

并利用哈希层将图像压缩特征/>

映射为K维向量，K即为哈希码的长度；激活函数使用双曲正切函数将K维向量映射到[-1,1]之间，最后将激活函数的结果进行量化，得到属于{-1,1}二值空间的二进制哈希码H。

优选地，利用改进的AlexNet结构对压缩图像进行哈希编码的步骤进一步包括：

a)训练前划分数据集：通过压缩CNN网络压缩后的数据集图像压缩编码统一尺寸为32*32*64，将图像数据集以及其对应的标签分为训练样本集和测试样本集两部分，其中，训练样本集在训练过程中随机选取部分图像作为验证样本集；

b)保证训练模型的鲁棒性：对输入训练集通过水平翻转、垂直翻转进行扩充；

c)构建深度哈希CNN网络架构：深度卷积神经网络包含卷积层、全连接层、哈希层、损失层，卷积层用来聚合图像全局和局部特征，哈希层将聚合之后的图像特征映射为指定的32Bit到128Bit长度的哈希码；

d)损失函数及其优化：损失函数选用基于柯西分布的Cross-entropy损失函数以及量化损失函数，通过Momentum梯度下降法进行参数寻优以最小化损失函数，使网络性能最佳；

e)模型应用：在模型应用上，对于输入图片，先对其进行镜像变换、转置变换、水平翻转、垂直翻转，对各自变换后的图像进行预测，平均预测结果作为最终的预测类别。

优选地，d)中的量化损失函数，用于减少激活层得到的连续值与所有位为1的哈希码之间的汉明距离

优选地，S3进一步包括：

a)深度卷积深度神经网络模型使用：使用哈希CNN(网络应用于所有压缩图像并将得到的哈希码存于数据库中；

b)哈希查找：使用压缩CNN网络应用于查询图片得到压缩图像，紧接着使用哈希CNN网络得到哈希码，计算该哈希码和数据库中所有哈希码之间的汉明距离，得到汉明距离向量，将汉明距离向量中的距离数值按照从小到大的顺序进行排序，按照顺序输出相应的原始图像，得出检索结果。

与现有技术相比，本发明的有益效果是：本发明针对基于深度学习的图像压缩技术解码消耗计算代价过大的问题，利用CNN(卷积神经网络)同时学习压缩图像局部、全局特征和哈希编码的深度卷积网络架构，并将连续值量化为二值编码带来的量化误差作为最小化目标约束之一，生成具有高表达能力的哈希码，保证在压缩域直接进行哈希图像检索的准确率，大大减少了图像检索中图像数据的存储占用，并且省去了压缩图像解码高昂的计算代价。

附图说明

图1为根据实施例的本发明方法的流程示意图。

具体实施方式

下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本发明保护的范围。

本发明提供一种基于深度学习的压缩域大规模图像检索方法，利用同时学习压缩图像局部、全局特征和哈希编码的深度卷积网络架构，并在架构中加入哈希层和将连续值量化为二进制编码所引起的量化误差损失，利用该架构生成具有高表达能力的哈希码，保证在压缩域直接进行哈希图像检索的准确率，从而避免了解码带来的空间占用和计算代价。

作为一种实施方式，如图1所示，一种基于深度学习的压缩域大规模图像检索方法，具体包括：

步骤一、利用压缩CNN网络对图像数据库进行压缩，得到空间占用小于原图像的压缩编码，具体步骤如下：

a)压缩前统一图像尺寸：采用Random-crop方法将图像尺寸统一到256*256，裁剪后的图像像素矩阵维度为256*256*3；

b)图像压缩：构建基于深度卷积网络的图像压缩网络，网络包含由残差块组成的编码器，量化层，由残差块组成的解码器组成。将ImageNet数据集输入到网络进行训练。完成训练的网络具有较好的PSNR(峰值信噪比)和SSIM(结构相似性)指标。将图像检索数据集送入压缩网络的编码器进行压缩，得到压缩之后尺寸为32*32*64的浮点编码；

c)压缩图片的量化：对图像压缩后的浮点数值进行量化，从浮点型量化为整型，减少压缩编码的空间占用；

步骤二、利用哈希CNN网络对压缩图像进行哈希编码：利用本发明提出的改进AlexNet(一种卷积神经网络)结构，对压缩图像进行哈希编码，相比于改进之前的基于原始图像的哈希编码，训练收敛更快，网络复杂度更低，具体步骤如下：

d)训练前划分数据集：通过压缩CNN(卷积神经网络)压缩后的数据集图像压缩编码统一尺寸为32*32*64，将图像数据集以及其对应的标签分为训练样本集和测试样本集两部分，其中，训练样本集在训练过程中随机选取10％图像作为验证样本集；

e)保证训练模型的鲁棒性：对输入训练集通过水平翻转、垂直翻转进行扩充；

f)构建深度哈希CNN(卷积神经网络)架构：深度卷积神经网络包含卷积层、全连接层、哈希层、损失层，卷积层用来聚合图像全局和局部特征，哈希层将聚合之后的图像特征映射为指定长度的哈希码，哈希码长度应为32Bit至128Bit之间，并且是2的整数倍，本实施方式中哈希码为64Bit；

g)损失函数及其优化：损失函数选用基于柯西分布的Cross-entropy损失函数以及量化损失函数，通过Momentum梯度下降法进行参数寻优以最小化损失函数，使网络性能最佳。假设压缩图像的哈希码之间的距离与图像相似度以及哈希编码的量化损失呈柯西分布，利用最大后验概率估计法得到目标函数min L+λQ，其中

为柯西交叉熵损失，/>

为柯西量化损失，

为K维连续码之间的归一化欧几里得距离，用以代替汉明距离，使损失函数可导，能够完成反向传播过程,λ为平衡两个损失的平滑因子；

h)模型应用：在模型应用上，对于输入图片，先对其进行镜像变换、转置变换、水平翻转、垂直翻转，对各自变换后的图像进行预测，平均预测结果作为最终的预测类别；

步骤三、在哈希码数据库中对查询图片进行图像检索：具体步骤如下：

i)深度卷积深度神经网络模型使用：使用哈希CNN(卷积神经网络)应用于所有压缩图像并将得到的哈希码存于数据库中；

j)哈希查找：使用压缩CNN(卷积神经网络)应用于查询图片得到压缩图像，紧接着使用哈希CNN(卷积神经网络)得到哈希码，计算该哈希码和数据库中所有哈希码之间的汉明距离，得到汉明距离向量，将汉明距离向量中的距离数值按照从小到大的顺序进行排序，按照顺序输出相应的Top 30张原始图像(具体输出多少张原始图像依具体情况而定，可以在20到40张之间，或者输出其他数目的原始图像)，得出检索结果。

本发明有效地利用深度学习在图像压缩和图像检索中的良好性能，提出了基于深度学习的压缩域大规模图像检索方法，解决了在海量高维媒体数据中高效率快速检索到自己所需要图像的问题。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种基于深度学习的压缩域大规模图像检索方法，其特征在于，包括：

S1，利用压缩CNN网络对图像数据库进行压缩，得到空间占用小于原图像的压缩编码；进一步包括：

a)压缩前统一图像尺寸：采用Random-crop方法将图像尺寸统一到256*256，裁剪后的图像像素矩阵维度为256*256*3；

b)图像压缩：构建基于深度卷积网络的图像压缩网络，利用ImageNet数据集对网络进行训练，训练后的网络具有较佳的峰值信噪比和结构相似性指标，将图像检索数据送入训练后的压缩网络的编码器进行压缩，得到尺寸为32*32*64的浮点型编码；

c)压缩图片的量化：对图像压缩后的浮点数进行量化；

S2，利用哈希CNN网络对压缩图像进行哈希编码；所述哈希CNN网络为改进的AlexNet结构，基于AlexNet结构的改进网络将压缩编码Z转换成图像压缩特征X(ⁱ),并利用哈希层将图像压缩特征X(ⁱ)映射为K维向量，K即为哈希码的长度；激活函数使用双曲正切函数将K维向量映射到[-1,1]之间，最后将激活函数的结果进行量化，得到属于{-1,1}二值空间的二进制哈希码H；

利用改进的AlexNet结构对压缩图像进行哈希编码的步骤进一步包括：

a)训练前划分数据集：通过压缩CNN网络压缩后的数据集图像压缩编码统一尺寸为32*32*64，将图像数据集以及其对应的标签分为训练样本集和测试样本集两部分，其中，训练样本集在训练过程中随机选取部分图像作为验证样本集；

b)保证训练模型的鲁棒性：对输入训练集通过水平翻转、垂直翻转进行扩充；

c)构建深度哈希CNN网络架构：深度卷积神经网络包含卷积层、全连接层、哈希层、损失层，卷积层用来聚合图像全局和局部特征，哈希层将聚合之后的图像特征映射为指定的32Bit到128Bit长度的哈希码；

d)损失函数及其优化：损失函数选用基于柯西分布的Cross-entropy损失函数以及量化损失函数，通过Momentum梯度下降法进行参数寻优以最小化损失函数，使网络性能最佳；

e)模型应用：在模型应用上，对于输入图片，先对其进行镜像变换、转置变换、水平翻转、垂直翻转，对各自变换后的图像进行预测，平均预测结果作为最终的预测类别；

S3，在哈希码数据库中对查询图片进行图像检索。

2.根据权利要求1所述的基于深度学习的压缩域大规模图像检索方法，其特征在于，所述图像压缩网络包含多个残差块和池化层和一个量化层，压缩网络将图像压缩成压缩编码。

3.根据权利要求1所述的基于深度学习的压缩域大规模图像检索方法，其特征在于，d)中的量化损失函数，用于减少激活层得到的连续值与所有位为1的哈希码之间的汉明距离

4.根据权利要求1所述的基于深度学习的压缩域大规模图像检索方法，其特征在于，S3进一步包括：

a)深度卷积深度神经网络模型使用：使用哈希CNN网络应用于所有压缩图像并将得到的哈希码存于数据库中；

b)哈希查找：使用压缩CNN网络应用于查询图片得到压缩图像，紧接着使用哈希CNN网络得到哈希码，计算该哈希码和数据库中所有哈希码之间的汉明距离，得到汉明距离向量，将汉明距离向量中的距离数值按照从小到大的顺序进行排序，按照顺序输出相应的原始图像，得出检索结果。

Images