CN109635140A - 一种基于深度学习和密度峰值聚类的图像检索方法 - Google Patents

Abstract

本发明公开了一种基于深度学习和密度峰值聚类的图像检索方法，包括：基GoogeLeNet预训练模型提取图像的深度学习特征，构建基于局部核密度函数和最小局部核函数峰值距离参数阈值的密度峰值聚类方法，获得图像集的初始聚类类别数和划分子集信息。依据聚类类别数构建多组双层稀疏自动编码器的网络结构，基于聚类划分子集生成高斯分布随机数矩阵初始化多组双层稀疏自动编码网络参数、构造目标函数和估计多组双层稀疏自动编码器的参数。基于训练好的多组双层稀疏自动编码器提取图像集和待查图像的精细特征，对图像集的精细特征进行密度峰值聚类划分子集，在与待查图像精细特征最近的聚类划分子集中根据相似性原则实现图像检索等内容。

Description

一种基于深度学习和密度峰值聚类的图像检索方法

技术领域

本发明涉及图像检索的方法，特别是涉及一种基于深度学习和密度峰值聚类的图像检索方法。

背景技术

随着图像采集以及存储技术的不断发展，图像资源正在快速增长，需要有效的图像检索方法。传统的基于文本的图像检索方法由人工标注图像的内容、特征和属性,这种方法简单直观、检索的准确率高且速度快，但标注图像信息需要投入大量人力和财力，费时费力、效率低、容易出错。现在众多的基于内容的图像检索(Content Based ImageRetrieval,CBIR)方法已成为主流，可以分为基于手工全局特征、局部特征和深度学习三类。

基于手工定义全局特征的CBIR，使用颜色、纹理、形状、空间位置等全局特征，用户不需要用精确的文字描述图像，但是全局特征描述的粒度比较粗，往往判别能力较弱。基于局部特征点的CBIR，从图像中检测感兴趣的局部特征点描述图像内容，但局部特征不具备图像内容的自学习能力、普适性较差、区分能力有限。基于深度学习的CBIR方法，具有类似人脑感知视觉的层次化结构，逐层抽象学习数据特征，从而发现数据内在结构信息。基于深度学习的图像检索方法可以分为两类：一类是微调分类器预训练模型的CBIR方法；另外一类是结合深度学习特征和传统人工定义特征的方法。尽管基于深度学习的CBIR方法取得了阶段性成果，但还存在几个问题：

(1)直接微调预训练模型参数用于特定图像集检索时会降低检索的准确率。

(2)重新训练模型则需要较多计算资源、大量手工标注量、训练时间长。

(3)线性顺序扫描海量、高维和动态的深度学习特征数据库的检索策略不能满足实时性需求。

发明内容

发明目的：为了解决现有技术问题，本发明公开了一种基于深度学习和密度峰值聚类的图像检索方法。

本发明的基于深度学习和密度峰值聚类的图像检索方法，包括如下步骤：

步骤1，使用GoogeLeNet预训练模型提取图像的深度学习特征，构建基于局部核密度函数和最小局部核函数峰值距离参数阈值的密度峰值聚类方法，获得图像集的初始聚类类别数和划分子集信息；

步骤2，依据聚类类别数构建多组双层稀疏自动编码器的网络结构，基于聚类划分子集生成高斯分布随机数矩阵初始化多组双层稀疏自动编码器参数，基于聚类划分子集构造目标函数和估计多组双层稀疏自动编码器参数；

步骤3，基于训练好的多组双层稀疏自动编码器提取图像集和待查图像的精细特征，对图像集的精细特征进行密度峰值聚类划分子集，在与待查图像精细特征最近的聚类划分子集中根据相似性原则实现图像检索。

步骤1包括以下步骤：

步骤1-1，使用GoogeLeNet预训练模型提取图像的深度学习特征；

步骤1-2，计算图像特征的局部核密度函数参数；

步骤1-3，计算图像特征的最小局部核函数峰值距离参数；

步骤1-4，基于实验数据计算图像集的局部核密度函数参数和最小局部核函数距离参数的阈值；

步骤1-5：基于参数阈值计算图像集的密度聚类中心和聚类划分；

步骤1-1中，设定图像集有N幅图像X₁,X₂,…,X_N,X_N表示第N幅图像，基于GoogLeNet网络直接从第i幅图像X_i中提取1024维深度学习特征ζ_i作为初始特征，1≤i≤N，基于GoogLeNet网络提取的第j幅图像X_j的深度学习特征则记为ζ_j，1≤j≤N。

步骤1-2包括：

计算图像X_i与其周围相邻图像X_j的特征之差ζ_i-ζ_j的核密度函数值小于阈值d_c的图像数，定义为局部核密度函数参数

其中，函数n₁为相邻特征点个数，σ为平滑系数，本发明中取值为0.1。

步骤1-3包括：

图像X_i到其他更高局部核密度峰值参数图像X_j的最小局部函数距离参数，定义为δ_i：

其中，1≤i,j≤N。

步骤1-4包括：取局部核密度函数参数最大值的20％作为阈值最小局部核函数距离参数最大值δ_max的20％作为阈值δ₀。

步骤1-5包括：在局部核密度函数参数和最小局部核函数参数空间，如果图像X_i的局部核密度函数参数且最小局部核函数距离参数δ_i＞δ₀，对应的图像X_i为聚类中心，所有的聚类中心标记为{C₁,C₂,…,C_K}，C_K表示第K个聚类中心，计算所有图像特征与聚类中心的距离，按照距离最近的原则划分图像子集{S₁,S₂,…,S_K}，S_K表示第K个划分子集；

步骤2包括以下步骤：

步骤2-1，基于聚类划分类别数构造多组双层稀疏自动编码器；

步骤2-2，基于聚类划分子集生成高斯分布随机数矩阵初始化多组双层稀疏自动编码器参数；

步骤2-3，基于聚类划分子集估计多组双层稀疏自动编码器参数和构造目标函数。

步骤2-1包括：以输入层和输出层均为n维，隐含层为m维的稀疏自动编码器为基本单元，构建多组双层稀疏自动编码器网络结构，其中每个SAE(Sparse AutoEncoder，稀疏自动编码器)单元对应一个聚类划分子集，根据图像集聚类划分的K个子集，设计K组SAE单元，每组拓展成2层SAE单元构成，第1层采用Sigmoid激活函数，第2层采用ReLU激活函数。

步骤2-2包括：从聚类划分子集S_i的所有图像中抽取l₁(一般取值为1000000)个大小为(n表示输入层和输出层的维数，一般取值64、81或100)的图像块转换为[0，1]的灰度图像，并拉长为nl₁的向量，统计其均值和方差分别为μ_i和σ_i作为先验知识，生成高斯分布随机数矩阵初始化参数，其中1≤i≤K；

按照均值μ_i和方差σ_i生产大小为n×m(m表示隐含层的维数，一般取值16或25)的高斯分布随机数矩阵作为第i组第j层稀疏自动编码器参数权重和大小为m×n的高斯分布随机数矩阵作为权重网络的权重计算公式为：

其中r为中间参数，计算公式为：I_n×m表示大小为n×m的单位矩阵。

步骤2-3包括：根据如下公式计算多组双层稀疏自动编码器的误差项、惩罚项和稀疏项的均值之和作为参数估计的目标函数J：

其中x_i∈S_i是聚类划分图像S_i的灰度值，分别表示第i组第j层稀疏自动编码单元的权重和偏差，1≤i≤K，分别表示第i组第j层稀疏自动编码单元的误差项、惩罚项和稀疏项；

基于梯度下降法更新多组双层稀疏自动编码器的权重和偏差参数，计算公式如下：

其中α为常系数，取值为0.5，迭代公式(6)和(7)，直到目标函数J收敛，输出多组双层稀疏自动编码器模型

本发明的优点在于提出了一种基于深度学习和密度峰值聚类的图像检索方法，利用参数阈值定义和识别密度峰值聚类簇，克服了基于可视化方法确定密度簇的不确定性问题。在聚类划分子集上有针对性地学习多组双层稀疏自动编码器以提取精细特征，具有准确率高、训练速度快等优点。在图像精细特征的密度峰值聚类划分子集上检索图像，缩小了搜索范围，提高了检索速度。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1为本发明流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

本发明涉及一种基于深度学习和密度峰值聚类的图像检索方法，利用GoogeLeNet预训练模型，密度峰值聚类，稀疏自动编码器，参数收敛性等技术等实现了一种基于内容的图像检索技术。本方法分为基于GoogLeNet预训练模型的初始特征密度峰值聚类，多组双层稀疏自动编码网络构建和参数学习，基于精细特征提取和密度峰值聚类划分的图像匹配检索三个部分，具体的工作流程如图1所示。

步骤1，使用GoogeLeNet预训练模型提取图像的深度学习特征，构建基于局部核密度函数和最小局部核函数峰值距离参数阈值的密度峰值聚类方法，获得图像集的初始聚类类别数和划分子集信息；

步骤(11)：使用GoogeLeNet预训练模型提取图像的深度学习特征；

设定图像集有N幅图像X₁,X₂,…,X_N,基于GoogLeNet网络直接从图像X_i中提取1024维深度学习特征ζ_i∈R¹⁰²⁴(1≤i≤N)作为初始特征。

步骤(12)：计算图像特征的局部核密度函数参数。

图像X_i与其周围相邻图像X_j(1≤j≤N)的特征之差ζ_i-ζ_j的核密度函数值小于阈值d_c的图像数，定义为局部核密度函数参数：

其中函数n₁为相邻特征点个数，σ为平滑系数取值0.01，阈值d_c取值0.5。

步骤(13)：计算图像特征的最小局部核函数峰值距离参数。

图像X_i到其他更高局部核密度峰值参数图像X_j的最小局部函数距离参数，定义为

步骤(14)：基于实验数据计算图像集的局部核密度函数参数和最小局部核函数距离参数的阈值；

取局部核密度函数参数最大值的20％作为阈值最小局部核函数距离参数最大值δ_max的20％作为阈值δ₀

步骤(15)：基于参数阈值计算图像集的密度聚类中心和聚类划分；

在局部核密度函数参数和最小局部核函数参数空间，如果图像X_i的局部核密度函数参数且最小局部核函数距离参数δ_i＞δ₀，对应的图像X_i为聚类中心，所有的聚类中心标记为{C₁,C₂,…,C_K}。计算所有图像特征与聚类中心的距离，按照距离最近的原则划分图像子集{S₁,S₂,…,S_K}。

步骤2，依据聚类类别数构建多组双层稀疏自动编码器的网络结构，基于聚类划分子集生成高斯分布随机数矩阵初始化多组双层稀疏自动编码网络参数，基于聚类划分子集构造目标函数和估计多组双层稀疏自动编码器的参数；

步骤(21)：基于聚类划分类别数构造多组双层稀疏自动编码器；

以输入层和输出层均为n维，隐含层为m维的稀疏自动编码器为基本单元，构建多组双层稀疏自动编码器网络结构。其中每个SAE单元对应一个聚类划分子集。根据算法1，图像资源集可以划分为K个子集，所以设计K组SAE单元。为了使网络结构有更好的平衡性，每组拓展成2层SAE单元构成，第1层采用Sigmoid激活函数，第2层采用ReLU激活函数。

步骤(22)：基于聚类划分子集生成高斯分布随机数矩阵初始化多组双层稀疏自动编码器的参数；

从聚类划分子集S_i(1≤i≤K)的所有图像中抽取l₁个大小为的图像块转换为[0，1]的灰度图像，并拉长为nl₁的向量，统计其均值和方差分别为μ_i和σ_i作为先验知识，生成高斯分布随机数矩阵初始化参数。

按照均值μ_i和方差σ_i生产大小为n×m的高斯分布随机数矩阵作为第i组第j层稀疏自动编码器参数权重和大小为m×n的高斯分布随机数矩阵作为权重 网络的权重为

其中I_n×m表示大小为n×m的单位矩阵。

步骤(23)：基于聚类划分子集构造目标函数和估计多组双层稀疏自动编码器参数；

计算多组双层稀疏自动编码器的误差项、惩罚项和稀疏项的均值之和作为参数估计的目标函数。其计算公式如下：

其中x_i∈S_i(1≤i≤K)是聚类划分S_i的图像的灰度值,分别表示第i组第j层稀疏自动编码单元的权重和偏差，分别表示第i组第j层稀疏自动编码单元的误差项、惩罚项和稀疏项。

基于梯度下降法更新多组双层稀疏自动编码器的权重和偏差参数，计算公式如下

其中α为常系数取值为0.5，迭代公式(6)和(7),直到目标函数(5)收敛，输出多组双层稀疏自动编码器模型

步骤3，基于多组双层稀疏自动编码器模型提取图像集和待查图像的精细特征，对图像集的精细特征进行密度峰值聚类划分子集，在与待查图像精细特征最近的聚类划分子集中根据相似性原则实现图像检索。

步骤(31)：基于多组双层稀疏自动编码器模型提取图像集和待查图像的精细特征；

步骤(32)：对图像集的精细特征进行密度峰值聚类分析，确定聚类中心和划分聚类子集；

利用步骤(12)-(15)对图像集的精细特征进行密度峰值聚类分析，得到聚类中心{C′₁,C′₂,…,C′_K}和划分聚类子集{S′₁,S′₂,…,S′_K}。

步骤(33)：确定查询子集和相似度匹配检索图像。

计算查询图像的精细特征分别到聚类中心{C′₁,C′₂,…,C′_K}的距离，选择距离最近的聚类中心C′_i(1≤i≤K)及其划分子集S′_i(1≤i≤K)作为检索对象。计算查询图像与划分子集S′_i(1≤i≤K)图像在局部核密度函数参数和最小局部核函数峰值距离参数空间的相似度，按照相似度降序返回检索结果。

本发明的创新点包括：

(1)采用图像数据特征的欧氏距离定义和计算每个数据点的局部密度参数和最小峰值距离参数，存在倾向于识别凸形的密度聚类。而本专利采用数据特征的局部核密度函数定义和计算局部密度参数和最小峰值距离参数，可以识别任意形状分布的密度聚类。

(2)密度峰值聚类算可视化方法查找不同密度簇，具有一定主观性，聚类结果存在不确定性。本专利基于大量实验结果，提出了基于局部核密度函数参数和最小局部核函数峰值距离参数最大值的20％作为阈值，可以获得稳定的聚类中心和聚类划分结果。

(3)不同聚类划分的图像子集特征差别很大，采用单个稀疏自动编码器训练不同类别的数据，网络结构的稳定性差，收敛速度比较慢，且容易出现训练数据不平衡的问题。本专利利用聚类的类别数，为每个聚类划分子集对应一个稀疏自动编码器单元建立多组稀疏自动编码器。把每组稀疏自动编码器拓展成两层，第1层采用Sigmoid激活函数，第2层采用ReLU激活函数，构建了多组双层稀疏自动编码器。

(4)稀疏自动编码的参数估计对网络参数的初始值敏感，恰当的网络参数初始可以加速网络收敛。利用聚类结果作为先验知识，本专利提出了基于聚类划分子集生成高斯分布随机数矩阵初始化多组双层稀疏自动编码器参数；提出了基于聚类划分估计多组双层稀疏自动编码器参数和构造目标函数。

(5)线性顺序扫描海量、高维和动态的特征数据库检索图像难以满足实时性要求。为此，本专利通过基于精细特征的密度峰值聚类，把相似的图像聚合成簇，检索时首先找到与待查询图像最相似的簇，然后在该聚类簇内检索，缩小搜索范围，实现快速、准确地图像资源检索。

本发明提供了一种基于深度学习和密度峰值聚类的图像检索方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (10)

1.一种基于深度学习和密度峰值聚类的图像检索方法，其特征在于，包括如下步骤：

步骤1，使用GoogeLeNet预训练模型提取图像的深度学习特征，构建基于局部核密度函数和最小局部核函数峰值距离参数阈值的密度峰值聚类方法，获得图像集的初始聚类类别数和划分子集信息；

步骤2，依据聚类类别数构建多组双层稀疏自动编码器的网络结构，基于聚类划分子集生成高斯分布随机数矩阵初始化多组双层稀疏自动编码器参数，基于聚类划分子集构造目标函数和估计多组双层稀疏自动编码器参数；

步骤3，基于训练好的多组双层稀疏自动编码器提取图像集和待查图像的精细特征，对图像集的精细特征进行密度峰值聚类划分子集，在与待查图像精细特征最近的聚类划分子集中根据相似性原则实现图像检索。

2.根据权利要求1所述的方法，其特征在于，步骤1包括以下步骤：

步骤1-1，使用GoogeLeNet预训练模型提取图像的深度学习特征；

步骤1-2，计算图像特征的局部核密度函数参数；

步骤1-3，计算图像特征的最小局部核函数峰值距离参数；

步骤1-4，基于实验数据计算图像集的局部核密度函数参数和最小局部核函数距离参数的阈值；

步骤1-5：基于参数阈值计算图像集的密度聚类中心和聚类划分。

3.根据权利要求2所述的方法，其特征在于，步骤1-1中，设定图像集有N幅图像X₁,X₂,…,X_N,X_N表示第N幅图像，基于GoogLeNet网络直接从第i幅图像X_i中提取1024维深度学习特征ζ_i作为初始特征，1≤i≤N，基于GoogLeNet网络提取的第j幅图像X_j的深度学习特征则记为ζ_j，1≤j≤N。

4.根据权利要求3所述的方法，其特征在于，步骤1-2包括：

计算图像X_i与其周围相邻图像X_j的特征之差ζ_i-ζ_j的核密度函数值小于阈值d_c的图像数，定义为局部核密度函数参数

其中，函数n₁为相邻特征点个数，σ为平滑系数。

5.根据权利要求4所述的方法，其特征在于，步骤1-3包括：

图像X_i到其他更高局部核密度峰值参数图像X_j的最小局部函数距离参数，定义为δ_i：

其中，1≤i,j≤N。

6.根据权利要求5所述的方法，其特征在于，步骤1-4包括：取局部核密度函数参数最大值的20％作为阈值最小局部核函数距离参数最大值δ_max的20％作为阈值δ₀。

7.根据权利要求6所述的方法，其特征在于，步骤1-5包括：在局部核密度函数参数和最小局部核函数参数空间，如果图像X_i的局部核密度函数参数且最小局部核函数距离参数δ_i＞δ₀，对应的图像X_i为聚类中心，所有的聚类中心标记为{C₁,C₂,…,C_K}，C_K表示第K个聚类中心，计算所有图像特征与聚类中心的距离，按照距离最近的原则划分图像子集{S₁,S₂,…,S_K}，S_K表示第K个划分子集。

8.根据权利要求7所述的方法，其特征在于，步骤2包括以下步骤：

步骤2-1，基于聚类划分类别数构造多组双层稀疏自动编码器；

步骤2-2，基于聚类划分子集生成高斯分布随机数矩阵初始化多组双层稀疏自动编码器参数；

步骤2-3，基于聚类划分子集估计多组双层稀疏自动编码器参数和构造目标函数。

9.根据权利要求8所述的方法，其特征在于，步骤2-1包括：以输入层和输出层均为n维，隐含层为m维的稀疏自动编码器为基本单元，构建多组双层稀疏自动编码器网络结构，其中每个SAE单元对应一个聚类划分子集，根据图像集聚类划分的K个子集，设计K组SAE单元，每组拓展成2层SAE单元构成，第1层采用Sigmoid激活函数，第2层采用ReLU激活函数。

10.根据权利要求9所述的方法，其特征在于，步骤2-2包括：从聚类划分子集S_i的所有图像中抽取l₁个大小为的图像块转换为[0，1]的灰度图像，并拉长为nl₁的向量，统计其均值和方差分别为μ_i和σ_i作为先验知识，生成高斯分布随机数矩阵初始化参数，其中1≤i≤K，n表示输入层和输出层的维数；

按照均值μ_i和方差σ_i生产大小为n×m的高斯分布随机数矩阵作为第i组第j层稀疏自动编码器参数权重和大小为m×n的高斯分布随机数矩阵作为权重j＝1,2，m表示隐含层的维数，网络的权重计算公式为：

其中r为中间参数，计算公式为：I_n×m表示大小为n×m的单位矩阵；

步骤2-3包括：根据如下公式计算多组双层稀疏自动编码器的误差项、惩罚项和稀疏项的均值之和作为参数估计的目标函数J：

其中x_i∈S_i是聚类划分图像S_i的灰度值，分别表示第i组第j层稀疏自动编码单元的权重和偏差，1≤i≤K，分别表示第i组第j层稀疏自动编码单元的误差项、惩罚项和稀疏项；

基于梯度下降法更新多组双层稀疏自动编码器的权重和偏差参数，计算公式如下：

其中α为常系数，取值为0.5，迭代公式(6)和(7)，直到目标函数J收敛，输出多组双层稀疏自动编码器模型