CN109284741A - 一种基于深度哈希网络的大规模遥感影像检索方法和系统 - Google Patents

Abstract

本发明公开了一种基于深度哈希网络的大规模遥感影像检索方法和系统，属于图像数据处理方法。本发明提出的深度哈希网络，采用深度神经网络与哈希学习网络，通过交叉熵损失函数与相似性约束将这两个网络的损失函数进行联合起来进行优化。分为训练阶段与测试阶段，在训练阶段，训练阶段用于学习整个网络参数，测试阶段基于训练好的网络直接进行特征提取与影像检索。本方法可以在利用深度神经网络提取遥感影像的高级语义特征，同时利用哈希学习网络将高维特征映射到低维，大大降低所需存储消耗的同时加快检索速度，适用于大规模遥感影像检索问题。

Description

一种基于深度哈希网络的大规模遥感影像检索方法和系统

技术领域

本发明属于图像数据处理方法，具体涉及一种基于深度哈希网络的大规模遥感影像检索方法和系统。

背景技术

随着遥感观测技术的高速发展，遥感图像数据大幅度增长。目前，大规模遥感数据集的图像检索已经逐渐成为遥感研究界的重要课题。如何从遥感大数据中自动发现有用的知识是非常必要的。在多领域(例如，灾难救援)的需求的推动下，遥感影像的信息挖掘与检索发现变得越来越紧迫。在新兴的遥感大数据挖掘工作中，基于内容的图像检索被广泛应用于大规模遥感影像的检索中。

在早期的遥感图像检索系统中，遥感图像检索主要依赖于手动标签的传感器类型，波段信息和遥感图像的地理位置。因此，这些系统的检索性能很大程度上取决于手动标签的可用性和质量。然而，手动生成标签通常是耗时的并且变得过高，尤其是当遥感图像的体积爆炸性增加时。实际上，遥感图像本身的视觉内容比手动标签更具相关性。基于内容的图像检索通过分析图像内容而不是诸如关键字，标签或与图像相关联的描述等数据。图像的内容可以由图像的颜色，形状，纹理或可以从图像本身导出的任何其他特征来进行表达。作为根据图像的可视内容管理大量网页图像的有效手段，基于内容的图像检索方法也在遥感领域得到广泛的应用。然而，该方法往往依赖于高维度的图像特征，在处理大规模数据集时，计算效率与精度往往并不高。为了解决上高维特征搜索的问题，存在两种可能的策略：改进搜索方法，以及减少特征描述符的维度。前一策略由数据分区算法实现，该算法递归地将数据空间分成子空间并通过树结构进行记录。受益于数据分区，基于树的方法的搜索速度得到显着提高，但检索性能显着降低，尤其是当原始特征描述符的维度非常高时。为了避免这个问题，许多研究人员利用特征减少方法进行大规模遥感图像检索。最近，哈希学习方法被引入到大规模遥感图像检索任务中。这些哈希学习方法采用人工特征描述符作为输入，并将高维特征向量映射到低维二进制特征向量。因此，与高维特征向量相比相比，使用低维二进制特征向量的穷举搜索的复杂性显着降低。虽然现有的哈希学习方法可以显着提高搜索速度，但检索精度仍不能满足实际应用的需求。鉴于近期应用中深度学习的巨大成功，用深度学习的高级语义特征取代哈希学习方法中的低级人工特征是一种很有前景的方法。为了充分结合深度学习和散列学习的各自优点，深度哈希神经网络[1-3]已经被计算机视觉社区的先驱提出并在大规模自然图像检索任务中取得了令人振奋的成果。然而，遥感图像在光谱和空间域中与自然图像有很大不同。由于差距巨大，在自然图像数据集中训练的深度哈希网络不能直接用于大规模遥感图像检索任务。因此，如何针对特定的遥感图像检索任务建模和学习深度哈希网络值得进一步探索。

基于上述考虑，本文提出了一种基于深度哈希网络的新型大规模遥感图像检索方法。更具体地说，本文对深度哈希网络进行了全面的研究，并将深度哈希网络引入到大规模的遥感图像检索任务中。与现有的深度哈希神经网络[1-3]不同，本文采用了相似性约束与哈希二进制损失作为联合约束以获得更好的效果。

[1]H.Zhu,M.Long,J.Wang,and Y.Cao,"Deep hashing network for efficientsimilarity retrieval,"In Proceedings of the Thirtieth AAAI Conference onArtificial Intelligence,pp.2415-2421,2016.

[2]H.Liu,R.Wang,S.Shan,and X.Chen,"Deep supervised hashing for fastimage retrieval,"In Proceedings of the IEEE Conference on Computer Vision andPattern Recognition,pp.2064-2072,2016.

[3]W.Li,S.Wang,and W.Kang,"Feature learning based deep supervisedhashing with pairwise labels,"In Proceedings of the Twenty-FifthInternational Joint Conference on Artificial Intelligence,pp.1711-1717,2016.

发明内容

本发明提出一种基于深度哈希网络的大规模遥感影像检索方法，用来解决大规模遥感影像的检索问题。

本发明所采用的技术方案是：一种基于深度哈希网络的大规模遥感影像检索方法，包括以下步骤：

步骤1，假设需要检索的影像数据库为{(I_i,y_i)|i＝1,2,…,N}，其中I_i表示影像，y_i表示影像对应的类别标签；计算给定影像数据库中的相似性矩阵Θ∈R^2×N×N，其中如果两幅影像的类别标签相同y_i＝y_j，反之，如果给定的类别标签不同y_i≠y_j，则

步骤2，从数据库挑选出一批影像，将每个影像输入深度神经网络提取图像的特征其中d_i∈R^d为图像I_i经过深度神经网络所提取的特征，Λ为深度特征学习网络参数；

步骤3，将深度特征d_i输入哈希学习神经网络，将原始高维度特征映射为低维特征其中f_i∈R^l为哈希学习神经网络输出特征，W∈R^d×l与v∈R^l为哈希学习神经网络的参数；

步骤4，根据将步骤3中的低维特征映射为二进制码形式，其中sign(·)符号函数，输出正数为+1，否则为-1；

步骤5，根据损失函数，利用后向传播更新全部网络参数{Λ,W,v}；

步骤6，重复步骤2-5直到达到迭代次数；

步骤7，在测试阶段，直接通过训练好的深度-哈希神经网络计算出整个数据库的哈希编码，对于一个新的测试影像，计算哈希编码，与数据库中的影像特征进行检索。

进一步的，步骤2中所采用的深度神经网络为深度卷积神经网络，具体包括依次连接的五个卷积层与2个全连接层。

进一步的，步骤5中的损失函数采用交叉熵函数与L2约束项定义为：

其中s为相似因子，l为最终得到的哈希编码长度，η为正则化系数；

整个梯度下降公式表示为：

其中，σ(x)＝1/(1+e^-x)为Sigmoid函数，l为哈希码长度，m＝1:l；根据上式的结果，公式1中的关于{Λ,W,v}的损失函数偏导数可以表示为由公式(3)-(5)计算，

进一步的，步骤6中的迭代次数为20000。

本发明还提供一种基于深度哈希网络的大规模遥感影像检索系统，包括如下模块：

相似性约束模块，假设需要检索的影像数据库为{(I_i,y_i)|i＝1,2,…,N}，其中I_i表示影像，y_i表示影像对应的类别标签；计算给定影像数据库中的相似性矩阵Θ∈R^2×N×N，其中如果两幅影像的类别标签相同y_i＝y_j，反之，如果给定的类别标签不同y_i≠y_j，则

深度特征提取模块，用于从数据库挑选出一批影像，将每个影像输入深度神经网络提取图像的特征其中d_i∈R^d为图像I_i经过深度神经网络所提取的特征，Λ为深度特征学习网络参数；

哈希网络转换模块，用于将深度特征d_i输入哈希学习神经网络，将原始高维度特征映射为低维特征其中f_i∈R^l为哈希学习神经网络输出特征，W∈R^d×l与v∈R^l为哈希学习神经网络的参数；

二进制码转换模块，用于根据将步骤3中的低维特征映射为二进制码形式，其中sign(·)符号函数，输出正数为+1，否则为-1；

网络参数更新模块，用于根据损失函数，利用后向传播更新全部网络参数{Λ,W,v}；

迭代模块，用于重复深度特征提取模块、哈希网络转换模块、二进制码转换模块直到达到迭代次数；

检索模块，用于在测试阶段，直接通过训练好的深度-哈希神经网络计算出整个数据库的哈希编码，对于一个新的测试影像，计算哈希编码，与数据库中的影像特征进行检索。

进一步的，深度特征提取模块中所采用的深度神经网络为深度卷积神经网络，具体包括依次连接的五个卷积层与2个全连接层。

进一步的，网络参数更新模块中的损失函数采用交叉熵函数与L2约束项定义为：

其中s为相似因子，l为最终得到的哈希编码长度，η为正则化系数；

整个梯度下降公式表示为：

其中，σ(x)＝1/(1+e^-x)为Sigmoid函数，l为哈希码长度，m＝1:l；根据上式的结果，公式1中的关于{Λ,W,v}的损失函数偏导数可以表示为由公式(3)-(5)计算，

进一步的，迭代模块中的迭代次数为20000。

与现有技术相比，本发明的优点和有益效果：本发明提出的深度哈希网络，将深度神经网络与哈希学习网络结合，通过深度神经网络获得较为强大的图像表征；同时利用哈希学习网络将高维特征向量转为低维的哈希二进制编码，从而在保持影像特征的同时，降低了大规模遥感影像特征的存储与检索的消耗，可以更好的适用于大规模遥感影像检索问题。

附图说明

图1：为本发明实施例的总体流程图；提出的方法包括训练阶段和测试阶段。训练阶段用于学习整个网络参数，测试阶段基于训练好的网络直接进行特征提取与影像检索。

图2：为本发明的检索结果对比图。更具体地说，(a)表示属于储罐类别的用于查询的遥感影像，(b)表示中PRH方法的结果，(c)是中的KSH检索结果，(d)表示中SDH的检索结果，(e)是中COSDISH的检索结果，(f)代表本发明的检索结果。可视地显示每种方法的第1，第5，第10，第15和第20检索结果。另外，错误检索结果用在图像上用X标记。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种基于深度哈希网络的大规模遥感影像检索方法，包括以下步骤：

步骤1：首先需要检索的影像数据库为{(I_i,y_i)|i＝1,2,…,N}，其中I_i表示影像，y_i表示影像对应的类别标签。计算给定影像数据库中的相似性矩阵Θ∈R^2×N×N，其中如果两幅影像的类别标签相同y_i＝y_j，反之如果给定的类别标签不同y_i≠y_j，则步骤1中所构建的相似度矩阵用于成对相似性约束，使得最终的深度-哈希神经网络最后得到的影像特征之间的相似性符合基于图像场景的手动标签的真实相似度。

步骤2：从数据库挑选出一批影像，将每个影像输入深度神经网络提取图像的特征其中所采用深度神经网络为深度卷积神经网络，具体的有五个卷积层与2个全连接层。其中d_i∈R^d为图像I_i经过深度神经网络所提取的特征，Λ为深度特征学习网络参数。

步骤2中所构建的深度卷积网络结构如下：

层数	配置
		卷积层1	卷积核:64×11×11×3,步长1:4×4,池化:3×3,步长2:2×2
卷积层2	卷积核:256×5×5×64,步长1:1×1,池化:3×3,步长2:2×2
		卷积层3	卷积核:256×3×3×256,步长1:1×1
卷积层4	卷积核:256×3×3×256,步长1:1×1
		卷积层5	卷积核:256×3×3×256,步长1:1×1,池化:3×3,步长2:2×2
全连接层6	4096
		全连接层7	4096

步骤3：将深度特征d_i输入哈希学习神经网络，将原始高维度特征映射为低维特征其中f_i∈R^l为哈希学习神经网络输出特征，W∈R^d×l与v∈R^l为哈希学习神经网络的参数。

步骤4：根据将步骤3中的低维特征映射为二进制码形式。其中sign(·)符号函数，输出正数为+1，否则为-1。

步骤5：根据损失函数，利用后向传播更新全部网络参数{Λ,W,v}。

步骤5中的损失函数采用交叉熵函数与L2约束项可以定义为：

其中s为相似因子，设置为0.5；l为最终得到的哈希编码长度，可根据需要设置为相应大小；η为正则化系数，设置为50。

整个梯度下降公式可以表示为：

其中，σ(x)＝1/(1+e^-x)为Sigmoid函数,l为哈希码长度，m＝1:l。根据上式的结果，公式1中的关于{Λ,W,v}的损失函数偏导数可以表示为由公式(3)-(5)计算。

步骤6：重复步骤2-5直到达到迭代次数，一般设置为20000；

步骤7：在测试阶段，直接通过训练好的深度-哈希神经网络(即由步骤2中的深度神经网络和步骤3中的哈希学习神经网络构成的深度-哈希神经网络)计算出整个数据库的哈希编码，对于一个新的测试影像，计算哈希编码，与数据库中的影像特征进行检索。

本发明实施例还提供一种基于深度哈希网络的大规模遥感影像检索系统，包括如下模块：

相似性约束模块，假设需要检索的影像数据库为{(I_i,y_i)|i＝1,2,…,N}，其中I_i表示影像，y_i表示影像对应的类别标签；计算给定影像数据库中的相似性矩阵Θ∈R^2×N×N，其中如果两幅影像的类别标签相同y_i＝y_j，反之，如果给定的类别标签不同y_i≠y_j，则

深度特征提取模块，用于从数据库挑选出一批影像，将每个影像输入深度神经网络提取图像的特征其中d_i∈R^d为图像I_i经过深度神经网络所提取的特征，Λ为深度特征学习网络参数；

哈希网络转换模块，用于将深度特征d_i输入哈希学习神经网络，将原始高维度特征映射为低维特征其中f_i∈R^l为哈希学习神经网络输出特征，W∈R^d×l与v∈R^l为哈希学习神经网络的参数；

二进制码转换模块，用于根据将步骤3中的低维特征映射为二进制码形式，其中sign(·)符号函数，输出正数为+1，否则为-1；

网络参数更新模块，用于根据损失函数，利用后向传播更新全部网络参数{Λ,W,v}；

迭代模块，用于重复深度特征提取模块、哈希网络转换模块、二进制码转换模块直到达到迭代次数；

检索模块，用于在测试阶段，直接通过训练好的深度-哈希神经网络计算出整个数据库的哈希编码，对于一个新的测试影像，计算哈希编码，与数据库中的影像特征进行检索。

各模块和各步骤的实现方式相应，本发明不予撰述。

以公开的UCMD遥感数据集[8]进行评估，其中，UCMD数据集通过手动标记航拍图像场景生成的，包括21种土地覆盖类别。更具体地，每个土地覆盖类别包含100个具有像素的图像，每个像素的空间分辨率是30cm，包含R-G-B三个波段。为了增加数据量，我们将UCMD数据集中的每个图像分别选择90°,180°和270°进行旋转，从而将原有的数据集扩大为原来的3倍。在实验评估中，查询图像数据集由从增强的UCMD中随机采样的1000个图像组成，其他7400张图像被视为训练图像数据集。分别利用现有的PRH方法[4]，KSH方法[5]，SDH方法[6]，COSDISH方法[7]和本方法发明方法进行检索，部分检索结果如图2所示，实验精度如下表1。从图2中可以看出，本发明在大规模遥感影像检索中能够获得相对高检索精度，从表1中可以看出，本发明的检索精度远远高于现有方法。

表1不同检索方法检索精度对比表

[4]P.Li,and P.Ren,"Partial randomness hashing for large-scale remotesensing image retrieval,"IEEE Geoscience and Remote Sensing Letters,vol.14,pp.464-468,2017.

[5]B.Demir,and L.Bruzzone,"Hashing-based scalable remote sensingimage search and retrieval in large archives,"IEEE Transactions on Geoscienceand Remote Sensing,vol.54,pp.892-904,2016.

[6]F.Shen,C.Shen,W.Liu,and H.Shen,"Supervised discrete hashing,"InProceedings of the IEEE Conference on Computer Vision and PatternRecognition,pp.37-45,2015.

[7]W.Kang,W.Liu,and Z.Zhou,"Column sampling based discrete supervisedhashing,"In Proceedings of the Thirtieth AAAI Conference on ArtificialIntelligence,pp.1230-1236,2016.

[8]Y.Yang,and S.Newsam,"Bag-of-visual-words and spatial extensionsfor land-use classification,"In Proceedings of the International Conferenceon Advances in Geographic Information Systems,pp.270–279,2010.

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (8)

1.一种基于深度哈希网络的大规模遥感影像检索方法，其特征在于，包括如下步骤：

步骤1，假设需要检索的影像数据库为{(I_i,y_i)|i＝1,2,…,N}，其中I_i表示影像，y_i表示影像对应的类别标签；计算给定影像数据库中的相似性矩阵Θ∈R^2×N×N，其中如果两幅影像的类别标签相同y_i＝y_j，反之，如果给定的类别标签不同y_i≠y_j，则

步骤2，从数据库挑选出一批影像，将每个影像输入深度神经网络提取图像的特征其中d_i∈R^d为图像I_i经过深度神经网络所提取的特征，Λ为深度特征学习网络参数；

步骤3，将深度特征d_i输入哈希学习神经网络，将原始高维度特征映射为低维特征其中f_i∈R^l为哈希学习神经网络输出特征，W∈R^d×l与v∈R^l为哈希学习神经网络的参数；

步骤4，根据将步骤3中的低维特征映射为二进制码形式，其中sign(·)符号函数，输出正数为+1，否则为-1；

步骤5，根据损失函数，利用后向传播更新全部网络参数{Λ,W,v}；

步骤6，重复步骤2-5直到达到迭代次数；

步骤7，在测试阶段，直接通过训练好的深度-哈希神经网络计算出整个数据库的哈希编码，对于一个新的测试影像，计算哈希编码，与数据库中的影像特征进行检索。

2.如权利要求1所述的一种基于深度哈希网络的大规模遥感影像检索方法，其特征在于：步骤2中所采用的深度神经网络为深度卷积神经网络，具体包括依次连接的五个卷积层与2个全连接层。

3.如权利要求1所述的一种基于深度哈希网络的大规模遥感影像检索方法，其特征在于：步骤5中的损失函数采用交叉熵函数与L2约束项定义为：

其中s为相似因子，l为最终得到的哈希编码长度，η为正则化系数；

整个梯度下降公式表示为：

其中，σ(x)＝1/(1+e^-x)为Sigmoid函数，l为哈希码长度，m＝1:l；根据上式的结果，公式1中的关于{Λ,W,v}的损失函数偏导数可以表示为由公式(3)-(5)计算，

4.如权利要求1所述的一种基于深度哈希网络的大规模遥感影像检索方法，其特征在于：步骤6中的迭代次数为20000。

5.一种基于深度哈希网络的大规模遥感影像检索系统，其特征在于，包括如下模块：

相似性约束模块，假设需要检索的影像数据库为{(I_i,y_i)|i＝1,2,…,N}，其中I_i表示影像，y_i表示影像对应的类别标签；计算给定影像数据库中的相似性矩阵Θ∈R^2×N×N，其中如果两幅影像的类别标签相同y_i＝y_j，反之，如果给定的类别标签不同y_i≠y_j，则

深度特征提取模块，用于从数据库挑选出一批影像，将每个影像输入深度神经网络提取图像的特征其中d_i∈R^d为图像I_i经过深度神经网络所提取的特征，Λ为深度特征学习网络参数；

哈希网络转换模块，用于将深度特征d_i输入哈希学习神经网络，将原始高维度特征映射为低维特征其中f_i∈R^l为哈希学习神经网络输出特征，W∈R^d×l与v∈R^l为哈希学习神经网络的参数；

二进制码转换模块，用于根据将步骤3中的低维特征映射为二进制码形式，其中sign(·)符号函数，输出正数为+1，否则为-1；

网络参数更新模块，用于根据损失函数，利用后向传播更新全部网络参数{Λ,W,v}；

迭代模块，用于重复深度特征提取模块、哈希网络转换模块、二进制码转换模块直到达到迭代次数；

检索模块，用于在测试阶段，直接通过训练好的深度-哈希神经网络计算出整个数据库的哈希编码，对于一个新的测试影像，计算哈希编码，与数据库中的影像特征进行检索。

6.如权利要求5所述的一种基于深度哈希网络的大规模遥感影像检索系统，其特征在于：深度特征提取模块中所采用的深度神经网络为深度卷积神经网络，具体包括依次连接的五个卷积层与2个全连接层。

7.如权利要求5所述的一种基于深度哈希网络的大规模遥感影像检索方法，其特征在于：网络参数更新模块中的损失函数采用交叉熵函数与L2约束项定义为：

其中s为相似因子，l为最终得到的哈希编码长度，η为正则化系数；

整个梯度下降公式表示为：

其中，σ(x)＝1/(1+e^-x)为Sigmoid函数，l为哈希码长度，m＝1:l；根据上式的结果，公式1中的关于{Λ,W,v}的损失函数偏导数可以表示为由公式(3)-(5)计算，

8.如权利要求5所述的一种基于深度哈希网络的大规模遥感影像检索方法，其特征在于：迭代模块中的迭代次数为20000。