CN108985346B - 融合低层图像特征及cnn特征的现勘图像检索方法 - Google Patents

Abstract

本发明涉及一种融合低层图像特征及CNN特征的现勘图像检索方法，主要利用从CNN模型中提取图像特征；将基于CNN的图像特征与传统图像特征相融合，解决了多种类复杂内容的数据库图像的有效特征描述，消除语义鸿沟的问题。为了进一步提高检索效率，分别利用卷积神经网络的中间层特征和传统图像低层特征向量计算图像相似度，并计算最终图像相似度sim，图像间相似度用图像特征向量或特征矩阵间的街区距离衡量。通过实验查准，本发明与利用传统低层特征的检索方法相比，检索精度具有相当程度的提升。

Description

融合低层图像特征及CNN特征的现勘图像检索方法

技术领域

本发明涉及数字图像处理技术，更具体地说，涉及一种融合低层图像特征及CNN特征的现勘图像检索方法。

背景技术

深度学习(Deep Learning)技术在图像检索方面表现突出。利用深度卷积神经网络(Convolutional Neural Network,CNN)可以从大数据中自适应学习语义特征，而非人为设计特征，这是它与传统模式识别方法的最大不同之处。研究表明将CNN网络提取的图像特征作为全连接层(FCN)的输入可以有效提升图像分类及识别精度。但选用卷积神经网络(CNN)上层的语义层不利于目标检索，因为上层的语义层丢失了目标的空间信息，而选取中间层的特征更利于目标检索。

因此，对CNN的中间层特征图进行分析、处理，提取出现勘图像的CNN特征，并与传统低层视觉特征相结合进行现勘图像检索。

基于CNN的图像特征虽能够有效的表达现勘图像的内容，但训练CNN模型耗时较大，且无标准现勘图像库来充分训练CNN模型。

发明内容

本发明的目的在于克服现有技术的不足，提供一种多种类复杂内容的数据库图像的有效特征描述，消除语义鸿沟，进一步提高检索效率的融合低层图像特征及CNN特征的现勘图像检索方法。

本发明的技术方案如下：

一种融合低层图像特征及CNN特征的现勘图像检索方法，步骤如下：

1)提取CNN中间层特征、提取低层图像特征；

2)融合低层图像特征与CNN中间层特征，得到融合特征；

3)利用街区距离计算融合特征的相似度，得出检索结果。

作为优选，步骤3)中，利用街区距离计算融合特征的相似度的公式如下：

sim＝α*sim1+β*sim2；

其中，sim1为CNN中间层特征所得到的图像间相似度，sim2为低层图像特征所得到的图像间相似度，α为sim1的权重系数，β为sim2的权重系数。

作为优选，α＝0.1，β＝0.9。

作为优选，步骤1)中，CNN中间层特征的提取方法如下：

1-1.1)对CNN网络中第l层卷积层的第n个特征图

进行分割，得到k个图像区域

1-1.2)分别计算整幅特征图

以及步骤1-1.1)中k个图像区域

的特征，得到1*(k+1)个特征向量，计算公式如下：

其中，max(.)、min(.)分别表示取最大值、最小值；

1-1.3)对步骤1-1.2)中得到的k+1维特征求和，得到该特征图的特征值

然后串接CNN网络中第l层卷积层的N个特征图的特征值f_n,l，得到第l层卷积层的特征向量F，公式如下：

F＝(f_1,l,f_2,l,...,f_N,l)；

1-1.4)将步骤1-1.3)得到的1*(k+1)维特征向量进行排列，得到(k+1)*N维的特征矩阵F^*，具体如下：

作为优选，步骤1-1.1)中，对特征图的分割方式为：将有效图像划分为一个图像区域，围绕该图像区域，划分出若干个图像区域。

作为优选，有效图像位于特征图中心，则对应的图像位于特征图的中心；其他图像区域为位于特征图的四个角，且左右对称、上下对称的图像区域，则得到5个图像区域。

作为优选，步骤1)中，低层图像特征包括HSV颜色直方图、DCT_DCT波特征以及GIST特征。

作为优选，HSV颜色直方图的特征提取方法如下：

将现勘图像转换到HSV域后，将得到的H、S、V分量非等间隔量化，分别量化为X级、Y级、Z级；根据量化级将图像中点(p,q)处的三维HSV值转化为一维的，使用如下公式：

L(p,q)＝H(p,q)*X+S(p,q)*Y+V(p,q)；

然后进行直方图统计，获得HSV空间域的颜色直方图，表示为1×256维的向量，即为颜色特征向量。

作为优选，DCT_DCT波特征的特征提取步骤包括：DCT特征提取、DCT波特征提取、DCT-DCT波特征提取；

DCT特征提取：对现勘图像分成d块，对每一小块进行DCT变换；分别计算变换系数的均值、方差以及R、G、B三个通道DCT变换的低频分量，构成每一小块的纹理特征；将所有小块的纹理特征连接起来，构成整幅现勘图像的纹理特征，表示为1×(d×5)维的特征向量；

DCT波特征提取：对现勘图像分成m块，对每一小块的R、G、B三个通道进行DCT变换；将得到的DCT变换矩阵与kekre波矩阵进行运算得到DCT波系数；计算DCT小波系数的均值、方差，构成每一小块的特征向量；将所有小块的特征向量连接起来构成整幅现勘图像的纹理特征，表示为1×(d×6)维的特征向量；

DCT-DCT波特征提取；将DCT特征向量与DCT波特征向量归一化后，按权重比例相融合，构成表示现勘图像内容的DCT-DCT波特征向量，表示为1×(d×5+d×6)维的特征向量。

作为优选，GIST特征的特征提取方法如下：

将现勘图像与不同方向不同尺度的Gabor滤波器组进行滤波，将滤波后得到的图像划分为网格，在每个网格内取平均值，并将每个网格的均值级联起来，得到图像的Gist特征，一幅大小为h×w的灰度图像f(x,y)用m尺度n方向，即n_c＝m×n个通道的Gabor滤波器进行滤波，得到的Gist特征为：

本发明的有益效果如下：

本发明所述的融合低层图像特征及CNN特征的现勘图像检索方法，主要利用从CNN模型中提取图像特征；将基于CNN的图像特征与传统图像特征相融合，解决了多种类复杂内容的数据库图像的有效特征描述，消除语义鸿沟的问题。为了进一步提高检索效率，分别利用卷积神经网络的中间层特征和传统图像低层特征向量计算图像相似度，并计算最终图像相似度sim，图像间相似度用图像特征向量或特征矩阵间的街区距离衡量。

通过实验查准，本发明与利用传统低层特征的检索方法相比，检索精度具有相当程度的提升。

附图说明

图1是本发明一个实施例的特征提取流程图；

图2是本发明一个实施例的相似度计算与排序流程图；

图3是本发明一个实施例的特征图分割示意图；

图4是特征向量、特征矩阵以及传统的低层图像特征的检索性能比较图；

图5是本发明、特征向量(f5层)与特征矩阵结合，以及传统的低层图像特征的检索性能比较图。

具体实施方式

以下结合附图及实施例对本发明进行进一步的详细说明。

本发明为了解决现有技术的低层图像特征的检索性能精度较低的不足，提供一种融合低层图像特征及CNN(Convolutional Neural Network,卷积神经网络)特征的现勘图像检索方法，如图1、图2所示，步骤如下：

1)提取CNN中间层特征、提取低层图像特征；

2)融合低层图像特征与CNN中间层特征，得到融合特征；

3)利用街区距离计算融合特征的相似度，得出检索结果。其中，将相似度的计算结果进行排序，可更快速查看得到检索结果。

步骤1)中，CNN中间层特征的提取方法如下：

1-1.1)对CNN网络中第l层卷积层的第n个特征图

进行分割，得到k个图像区域

1-1.2)分别计算整幅特征图

以及步骤1-1.1)中k个图像区域

的特征，得到1*(k+1)个特征向量，计算公式如下：

其中，max(.)、min(.)分别表示取最大值、最小值；

1-1.3)对步骤1-1.2)中得到的k+1维特征求和，得到该特征图的特征值

然后串接CNN网络中第l层卷积层的N个特征图的特征值f_n,l，得到第l层卷积层的特征向量F，公式如下：

F＝(f_1,l,f_2,l,...,f_N,l)；

1-1.4)将步骤1-1.3)得到的1*(k+1)维特征向量进行排列，得到(k+1)*N维的特征矩阵F^*，具体如下：

步骤1-1.1)中，对特征图的分割方式为：将有效图像划分为一个图像区域，围绕该图像区域，划分出若干个图像区域。本实施例中，如图3所示，设定有效图像位于特征图中心，则对应的图像位于特征图的中心；其他图像区域为位于特征图的四个角，且左右对称、上下对称的图像区域，则得到5个图像区域。

步骤1)中，低层图像特征包括HSV颜色直方图、DCT_DCT波特征以及GIST特征具体如下：

步骤1-2.1)，HSV颜色直方图的特征提取方法如下：

采用HSV颜色直方图来作为现勘图像的颜色特征，将现勘图像转换到HSV域后，将得到的H、S、V分量非等间隔量化，分别量化为X级、Y级、Z级；根据量化级将图像中点(p,q)处的三维HSV值转化为一维的，使用如下公式：

L(p,q)＝H(p,q)*X+S(p,q)*Y+V(p,q)；

然后进行直方图统计，获得HSV空间域的颜色直方图，表示为1×(X×Y×Z)维的向量，即为颜色特征向量。

本实施例中，将得到的H、S、V分量分别量化为16级、4级、4级，则颜色特征向量为1×256维的向量。

步骤1-2.2)，DCT_DCT波特征的特征提取步骤包括：DCT特征提取、DCT波特征提取、DCT-DCT波特征提取。DCT(Discrete Cosine Transform，离散余弦变换)是经典的图像频域信息分析工具，常用于图像纹理特征提取。本发明采用的DCT域的纹理特征提取过程分为三个步骤，即DCT特征提取、DCT波特征提取、DCT-DCT波特征提取

DCT特征提取：对现勘图像分成d块，对每一小块进行DCT变换；分别计算变换系数的均值、方差以及R、G、B三个通道DCT变换的低频分量，构成每一小块的纹理特征；将所有小块的纹理特征连接起来，构成整幅现勘图像的纹理特征，表示为1×(d×5)维的特征向量。

本实施例中，对现勘图像分成四块(实验表明，图像分为四块检索结果最好)，则整幅现勘图像的纹理特征表示为1×20维的特征向量。

DCT波特征提取：对现勘图像分成m块，对每一小块的R、G、B三个通道进行DCT变换；将得到的DCT变换矩阵与kekre波矩阵进行运算得到DCT波系数；计算DCT小波系数的均值、方差，构成每一小块的特征向量；将所有小块的特征向量连接起来构成整幅现勘图像的纹理特征，表示为1×(d×6)维的特征向量。

本实施例中，对现勘图像分成四块，则整幅现勘图像的纹理特征，表示为1×24维的特征向量。

DCT-DCT波特征提取；将DCT特征向量与DCT波特征向量归一化后，按权重比例相融合，构成表示现勘图像内容的DCT-DCT波特征向量，表示为1×(d×5+d×6)维的特征向量。

本实施例中，将DCT特征向量与DCT波特征向量归一化后，按权重比例2:3相融合(经实验测试此权重比例为最佳权重比例)，则现勘图像内容的DCT-DCT波特征向量，表示为1×44维的特征向量。

步骤1-2.3)，GIST特征的特征提取方法如下：

GIST描述子常用语场景分类，而现勘图像中包含很多对现勘场景进行描述的图片。Gist描述子特征属于基于语义属性的特征描述方法，即使用一系列统计属性来描述图像，如粗糙度、自然度等。将现勘图像与不同方向不同尺度的Gabor滤波器组进行滤波，将滤波后得到的图像划分为网格，在每个网格内取平均值，并将每个网格的均值级联起来，得到图像的Gist特征，一幅大小为h×w的灰度图像f(x,y)用m尺度n方向，即n_c＝m×n个通道的Gabor滤波器进行滤波，得到的Gist特征为：

本实施例中，按照Oliva和Torralba将图像划分成4×4的网格，用4个尺度8个方向的Gabor滤波器组处理得到图像的Gist特征，则整幅图像的Gist特征维数为4×4×32＝512维。

为进一步提高现勘图像检索准确率，分别利用卷积神经网络的中间层特征和传统图像低层特征向量计算图像相似度，图像间相似度用图像特征向量或特征矩阵间的街区距离衡量。则步骤3)中，将以上四种特征(本实施例中，CNN中间层特征选用f5层F*特征)利用街区距离计算融合特征的相似度的公式如下：

sim＝α*sim1+β*sim2；

其中，sim1为CNN中间层特征所得到的图像间相似度，sim2为低层图像特征所得到的图像间相似度，α为sim1的权重系数，β为sim2的权重系数。由实验所得，α＝0.1，β＝0.9。

本方法在图像检索实验中采用街区距离进行相似度计算与排序得到检索结果。检索性能的评价参数选用查准率：

其中，S为一次查询中系统返回的结果中包含的正确相关图像的数目，K为一次查询中系统返回图像的数目。

在CIIP-CSID-10000数据库上比较所提CNN中间层特征F、F^*以及传统现勘图像低层特征的检索性能，实验结果如图4所示。可以看出，本发明提出的CNN中间层特征F^*比F能够提高2％左右，而当K＝10时，基于CNN不同层的特征矩阵F^*(除f1层外)的检索精度比传统低层特征能够分别高5.2％、4.0％、3.5％、2.7％。

实证结果证明本发明提出的特征对现勘图像检索有效性。

在CIIP-10000数据库上综合使用基于CNN和传统低层特征进行图像相似度计算，并进图像检索，其中CNN中间层特征选用f5层F^*特征。图像相似度计算采用特征间的街区距离衡量，实验结果如如图5所示。可以看出，在K＝10时，将卷积神经网络中间层特征与传统低层特征相结合，比单独使用基于CNN的特征的平均检索效率高2％，而比传统低层特征高7.2％左右。

实验结果证明结合CNN特征能进一步提升传统特征的检索准确度。

上述实施例仅是用来说明本发明，而并非用作对本发明的限定。只要是依据本发明的技术实质，对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。

Claims (9)

1.一种融合低层图像特征及CNN特征的现勘图像检索方法，其特征在于，步骤如下：

1)提取CNN中间层特征、提取低层图像特征，CNN中间层特征的提取方法如下：

1-1.1)对CNN网络中第l层卷积层的第n个特征图

进行分割，得到k个图像区域

1-1.2)分别计算整幅特征图

以及步骤1-1.1)中k个图像区域

的特征，得到1*(k+1)个特征向量，计算公式如下：

其中，max(.)、min(.)分别表示取最大值、最小值；

1-1.3)对步骤1-1.2)中得到的k+1维特征求和，得到该特征图的特征值

然后串接CNN网络中第l层卷积层的N个特征图的特征值f_n,l，得到第l层卷积层的特征向量F，公式如下：

F＝(f_1,l,f_2,l,...,f_N,l)；

1-1.4)将步骤1-1.3)得到的1*(k+1)维特征向量进行排列，得到(k+1)*N维的特征矩阵F^*，具体如下：

2)融合低层图像特征与CNN中间层特征，得到融合特征；

3)利用街区距离计算融合特征的相似度，得出检索结果。

2.根据权利要求1所述的融合低层图像特征及CNN特征的现勘图像检索方法，其特征在于，步骤3)中，利用街区距离计算融合特征的相似度的公式如下：

sim＝α*sim1+β*sim2；

其中，sim1为CNN中间层特征所得到的图像间相似度，sim2为低层图像特征所得到的图像间相似度，α为sim1的权重系数，β为sim2的权重系数。

3.根据权利要求2所述的融合低层图像特征及CNN特征的现勘图像检索方法，其特征在于，α＝0.1，β＝0.9。

4.根据权利要求1所述的融合低层图像特征及CNN特征的现勘图像检索方法，其特征在于，步骤1-1.1)中，对特征图的分割方式为：将有效图像划分为一个图像区域，围绕该图像区域，划分出若干个图像区域。

5.根据权利要求4所述的融合低层图像特征及CNN特征的现勘图像检索方法，其特征在于，有效图像位于特征图中心，则对应的图像位于特征图的中心；其他图像区域为位于特征图的四个角，且左右对称、上下对称的图像区域，则得到5个图像区域。

6.根据权利要求1所述的融合低层图像特征及CNN特征的现勘图像检索方法，其特征在于，步骤1)中，低层图像特征包括HSV颜色直方图、DCT_DCT波特征以及GIST特征。

7.根据权利要求6所述的融合低层图像特征及CNN特征的现勘图像检索方法，其特征在于，HSV颜色直方图的特征提取方法如下：

将现勘图像转换到HSV域后，将得到的H、S、V分量非等间隔量化，分别量化为X级、Y级、Z级；根据量化级将图像中点(p,q)处的三维HSV值转化为一维的，使用如下公式：

L(p,q)＝H(p,q)*X+S(p,q)*Y+V(p,q)；

然后进行直方图统计，获得HSV空间域的颜色直方图，表示为1×(X×Y×Z)维的向量，即为颜色特征向量。

8.根据权利要求6所述的融合低层图像特征及CNN特征的现勘图像检索方法，其特征在于，DCT_DCT波特征的特征提取步骤包括：DCT特征提取、DCT波特征提取、DCT-DCT波特征提取；

DCT特征提取：对现勘图像分成d块，对每一小块进行DCT变换；分别计算变换系数的均值、方差以及R、G、B三个通道DCT变换的低频分量，构成每一小块的纹理特征；将所有小块的纹理特征连接起来，构成整幅现勘图像的纹理特征，表示为1×(d×5)维的特征向量；

DCT波特征提取：对现勘图像分成m块，对每一小块的R、G、B三个通道进行DCT变换；将得到的DCT变换矩阵与kekre波矩阵进行运算得到DCT波系数；计算DCT小波系数的均值、方差，构成每一小块的特征向量；将所有小块的特征向量连接起来构成整幅现勘图像的纹理特征，表示为1×(d×6)维的特征向量；

DCT-DCT波特征提取；将DCT特征向量与DCT波特征向量归一化后，按权重比例相融合，构成表示现勘图像内容的DCT-DCT波特征向量，表示为1×(d×5+d×6)维的特征向量。

9.根据权利要求6所述的融合低层图像特征及CNN特征的现勘图像检索方法，其特征在于，GIST特征的特征提取方法如下：

将现勘图像与不同方向不同尺度的Gabor滤波器组进行滤波，将滤波后得到的图像划分为网格，在每个网格内取平均值，并将每个网格的均值级联起来，得到图像的Gist特征，一幅大小为h×w的灰度图像f(x,y)用m尺度n方向，即n_c＝m×n个通道的Gabor滤波器进行滤波，得到的Gist特征为：

Images