CN111222003B - 基于空间重要性的深度加权哈希学习方法 - Google Patents

基于空间重要性的深度加权哈希学习方法 Download PDF

Info

Publication number
CN111222003B
CN111222003B CN202010021252.8A CN202010021252A CN111222003B CN 111222003 B CN111222003 B CN 111222003B CN 202010021252 A CN202010021252 A CN 202010021252A CN 111222003 B CN111222003 B CN 111222003B
Authority
CN
China
Prior art keywords
image
importance
hash
information
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010021252.8A
Other languages
English (en)
Other versions
CN111222003A (zh
Inventor
聂秀山
尹义龙
史洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jianzhu University
Original Assignee
Shandong Jianzhu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jianzhu University filed Critical Shandong Jianzhu University
Priority to CN202010021252.8A priority Critical patent/CN111222003B/zh
Publication of CN111222003A publication Critical patent/CN111222003A/zh
Application granted granted Critical
Publication of CN111222003B publication Critical patent/CN111222003B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9014—Indexing; Data structures therefor; Storage structures hash tables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于空间重要性的深度加权哈希学习方法，包括以下步骤：(1)空间重要性提取：构造深度空间重要性学习模型得到图像的重要性和非重要性区域；(2)重要性区域和非重要性区域的哈希学习：对图像的重要和非重要区域放入不同的深度卷积神经网络学习哈希码，把两类哈希码结合起来作为最终的哈希表示。与现有技术相比，本发明实现图像不同区域的分层次哈希码学习，根据不同区域的重要性进行哈希编码，最终融合成图像的哈希码，本发明体现了图像不同部分对哈希学习的影响作用，提高了哈希检索的精度。

Description

基于空间重要性的深度加权哈希学习方法
技术领域
本发明涉及一种基于空间重要性的深度加权哈希学习方法，属于多媒体信号处理、大数据检索技术领域。
背景技术
随着近年来互联网、云计算、社交媒体以及其他信息技术的迅速发展，人们能够更加便捷地使用传感器，这使得通过传感器上传的数据包括大量的图像和视频。中国移动研究院的一份简报中称，人类在2011年创造的数据达到180亿吉字节(GB)，且每年还在以高于60％的速度增长，预计到2020年，全球每年产生的数据将达到350万亿吉字节(GB)。这些数据如何处理已成为亟待解决的问题，而其中如何比较这些数据的相似性就是一个重要难点，最近搜索方法应运而生。
传统的最近邻搜索根据数据的相似性，从数据库中寻找与目标数据最相似的项目。这种相似性通常会被量化到空间上数据之间的距离，可以认为数据在空间中的距离越近，则数据之间的相似性越高。但是随着图像采集设备的不断升级，最近邻搜索在处理维度较高的数据时速度慢的特点难以满足人们的需求，即传统的检索方法无法获得理想的检索效果，无法在可接受的时间内检索到结果。迫切需要寻求一种方法来解决最近邻方法在检索问题上的不足，近似最近邻检索方法在检索速度上的突出表现引起了研究人员的注意。
近似最近邻检索利用数据量增大后数据之间会形成簇状聚集分布的特性，通过对数据分析聚类的方法对数据库中的数据进行分类或编码，对于目标数据根据其数据特征预测其所属的数据类别，返回类别中的部分或全部作为检索结果。而近似最近邻检索的核心思想就是搜索可能是近邻的数据项而不再只局限于返回最可能的项目，在牺牲可接受范围内的精度的情况下提高检索效率，这使得在可接受的时间范围内也能获得令人满意的效果。哈希作为近似最近邻检索技术的一种方法，将可视空间的高维数据映射到海明空间的紧凑型二进制代码中。由于哈希具有出色的存储容量和高效的计算能力，引起了研究人员的广泛关注。
发明内容
本发明从对图像识别的贡献度的角度考虑空间重要性信息，也就是说，如果某个像素位置的数据能够对图像的识别有较大的帮助，我们就认为这个像素位置的空间重要性高，反之认为该位置的空间重要性低。基于对上述空间重要性信息的研究和利用，本发明提出了一种基于空间重要性的深度加权哈希学习方法，提升了哈希学习的性能。与现有哈希技术相比，本发明可以学习得到空间重要性信息并利用它学习哈希码，提高了利用哈希技术进行大数据检索的效率和精确性。现有的文献和技术中，并没有出现利用空间重要性信息加权得到哈希码的技术和方法。
本发明采用的技术方案为：
一种基于空间重要性的深度加权哈希学习方法，其特征在于该方法包括以下步骤：
(1)利用深度网络学习空间重要性信息：构造深度空间重要性学习模型，即将图像送入深度网络，深度网络根据图像的像素位置对图像分类的敏感程度以及图像的分类标签信息学习得到图像的空间重要性信息，所述空间重要性信息是表征原始图像中每个像素位置的数据对于整个图像的识别的贡献度的信息，如果某个像素位置的数据能够对图像的识别有较大的帮助，就认为这个像素位置的空间重要性高，反之认为该位置的空间重要性低；
(2)重要性区域和非重要性区域的哈希学习，具体步骤为：
①通过步骤(1)得到的重要性信息以及原图像，生成图像的重要性区域和图像的非重要性区域；
②将图像的重要性区域和图像的非重要性区域放入两个不同的深度网络；
③利用两个深度网络建立哈希码和原始特征的映射关系，得到图像的重要性区域的哈希码和图像的非重要性区域的哈希码；
④将图像的重要性区域的哈希码和图像的非重要性区域的哈希码拼接起来，得到最终的哈希码。
优选地，步骤(2)中，通过样本标记信息、样本相似性信息以及量化信息来建立哈希联合优化目标函数，经过优化目标函数获取哈希表示，所述目标函数如下：
Figure BDA0002360881110000021
其中，B为所有图片的哈希码，Ls代表相似性损失，Lq代表量化损失，Lc代表分类损失，η和β是参数，在Ls中S是相似性矩阵，sij为相似性矩阵中图像i图像j的相似性，若同类则为1，不同类则为0，
Figure BDA0002360881110000022
bi和bj是图像i图像j哈希码，在Lq中bi是图像i的哈希码，di是深度网络得到的结果，在Lc中yi是图像i的标记信息，
Figure BDA0002360881110000023
是网络得到的预测信息。
优选地，所述深度网络包括卷积神经网络CNN、全卷积网络FCN。
本发明实现了带权重空间重要性的深度哈希学习方法，充分利用了每幅图像中的空间重要性信息，提高了哈希检索的性能。
附图说明
图1是本发明基于空间重要性的深度加权哈希学习方法的示意图。
具体实施方式
下面结合附图对本发明加以详细的说明。
本发明的方法按图1所示流程，包括如下具体步骤：
(1)空间重要性提取
网络的输入是原始图像，输出是图像各个像素位置的重要性程度。可以根据图像的分类信息学习到特征图的权重，并加权得到重要性程度。
在特征提取阶段，根据实际的应用需要，可以有两类网络可用：
①卷积神经网络(CNN)：可以利用现有的卷积神经网络(CNN)模型；
②全卷积网络(FCN)：可以利用现有的全卷积网络(FCN)模型或者利用现有的卷积神经网络(CNN)进行更改；
(2)重要性区域和非重要性区域的哈希学习
在哈希学习阶段，通过样本标记信息、样本相似性信息以及量化信息来建立哈希联合优化目标函数，经过优化目标函数获取哈希表示，本发明提出一个优化问题如下：
Figure BDA0002360881110000031
其中，B为所有图片的哈希码，Ls代表相似性损失，Lq代表量化损失，Lc代表分类损失，η和β是参数。在Ls中S是相似性矩阵，sij为相似性矩阵中图像i图像j的相似性(若同类则为1，不同类则为0)，
Figure BDA0002360881110000032
(bi和bj是图像i图像j哈希码)。在Lq中bi是图像i的哈希码，di是深度网络得到的结果。在Lc中yi是图像i的标记信息，
Figure BDA0002360881110000033
是网络得到的预测信息。
表1是本发明方法的一个仿真实验，该实验采用MAP(平均准确率)进行度量，在CIFAR-10， MS-COCO、NUS-WIDE三个常用数据库上进行实验。表1是本发明(SIWH)与其他算法的性能比较。从表1中，我们观察到SIWH在不同长度和不同数据集中明显优于其他算法。与最佳深度哈希方法ADSH相比，在CIFAR10和NUSWIDE数据集上实现的SIWH的mAP值分别实现了平均2.57％和1.29％的性能提升。与MS-COCO数据集上现有的最佳深度哈希方法DOH相比，SIWH 的平均性能提高了4.47％。实质性的改进证明了所提出方法的有效性。
表1本发明与其他算法MAP性能比较
Figure BDA0002360881110000034

Claims (3)

1.一种基于空间重要性的深度加权哈希学习方法，其特征在于该方法包括以下步骤：
(1)利用深度网络学习空间重要性信息：构造深度空间重要性学习模型，即将图像送入深度网络，深度网络根据图像的像素位置对图像分类的敏感程度以及图像的分类标签信息学习得到图像的空间重要性信息，所述空间重要性信息是表征原始图像中每个像素位置的数据对于整个图像的识别的贡献度的信息，如果某个像素位置的数据能够对图像的识别有较大的帮助，就认为这个像素位置的空间重要性高，反之认为该位置的空间重要性低；
(2)重要性区域和非重要性区域的哈希学习，具体步骤为：
①通过步骤(1)得到的重要性信息以及原图像，生成图像的重要性区域和图像的非重要性区域；
②将图像的重要性区域和图像的非重要性区域放入两个不同的深度网络；
③利用两个深度网络建立哈希码和原始特征的映射关系，得到图像的重要性区域的哈希码和图像的非重要性区域的哈希码；
④将图像的重要性区域的哈希码和图像的非重要性区域的哈希码拼接起来，得到最终的哈希码。
2.根据权利要求1所述的一种基于空间重要性的深度加权哈希学习方法，其特征在于：步骤(2)中，通过样本标记信息、样本相似性信息以及量化信息来建立哈希联合优化目标函数，经过优化目标函数获取哈希表示，所述目标函数如下：
Figure FDA0002360881100000011
其中，B为所有图片的哈希码，Ls代表相似性损失，Lq代表量化损失，Lc代表分类损失，η和β是参数，在Ls中S是相似性矩阵，sij为相似性矩阵中图像i图像j的相似性，若同类则为1，不同类则为0，
Figure FDA0002360881100000012
bi和bj是图像i图像j哈希码，在Lq中bi是图像i的哈希码，di是深度网络得到的结果，在Lc中yi是图像i的标记信息，
Figure FDA0002360881100000013
是网络得到的预测信息。
3.根据权利要求1所述的一种基于空间重要性的深度加权哈希学习方法，其特征在于：所述深度网络包括卷积神经网络CNN、全卷积网络FCN。
CN202010021252.8A 2020-01-09 2020-01-09 基于空间重要性的深度加权哈希学习方法 Active CN111222003B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010021252.8A CN111222003B (zh) 2020-01-09 2020-01-09 基于空间重要性的深度加权哈希学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010021252.8A CN111222003B (zh) 2020-01-09 2020-01-09 基于空间重要性的深度加权哈希学习方法

Publications (2)

Publication Number Publication Date
CN111222003A CN111222003A (zh) 2020-06-02
CN111222003B true CN111222003B (zh) 2022-10-25

Family

ID=70809763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010021252.8A Active CN111222003B (zh) 2020-01-09 2020-01-09 基于空间重要性的深度加权哈希学习方法

Country Status (1)

Country Link
CN (1) CN111222003B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165306A (zh) * 2018-08-09 2019-01-08 长沙理工大学 基于多任务哈希学习的图像检索方法
CN109783682A (zh) * 2019-01-19 2019-05-21 北京工业大学 一种基于点对相似度的深度非松弛哈希图像检索方法
CN109800314A (zh) * 2019-01-03 2019-05-24 上海大学 一种利用深度卷积网络生成用于图像检索的哈希码的方法
CN109918528A (zh) * 2019-01-14 2019-06-21 北京工商大学 一种基于语义保护的紧凑的哈希码学习方法
CN110188219A (zh) * 2019-05-16 2019-08-30 复旦大学 面向图像检索的深度强化去冗余哈希算法
CN110517329A (zh) * 2019-08-12 2019-11-29 北京邮电大学 一种基于语义分析的深度学习图像压缩方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512273A (zh) * 2015-12-03 2016-04-20 中山大学 一种基于可变长深度哈希学习的图像检索方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165306A (zh) * 2018-08-09 2019-01-08 长沙理工大学 基于多任务哈希学习的图像检索方法
CN109800314A (zh) * 2019-01-03 2019-05-24 上海大学 一种利用深度卷积网络生成用于图像检索的哈希码的方法
CN109918528A (zh) * 2019-01-14 2019-06-21 北京工商大学 一种基于语义保护的紧凑的哈希码学习方法
CN109783682A (zh) * 2019-01-19 2019-05-21 北京工业大学 一种基于点对相似度的深度非松弛哈希图像检索方法
CN110188219A (zh) * 2019-05-16 2019-08-30 复旦大学 面向图像检索的深度强化去冗余哈希算法
CN110517329A (zh) * 2019-08-12 2019-11-29 北京邮电大学 一种基于语义分析的深度学习图像压缩方法

Also Published As

Publication number Publication date
CN111222003A (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
CN105912611B (zh) 一种基于cnn的快速图像检索方法
CN110059181B (zh) 面向大规模分类体系的短文本标签方法、系统、装置
CN107330074B (zh) 基于深度学习和哈希编码的图像检索方法
CN104008395B (zh) 一种基于人脸检索的不良视频智能检测方法
CN108984642B (zh) 一种基于哈希编码的印花织物图像检索方法
Xia et al. Exploiting deep features for remote sensing image retrieval: A systematic investigation
CN110472652B (zh) 基于语义引导的少量样本分类方法
CN104036012A (zh) 字典学习、视觉词袋特征提取方法及检索系统
CN115357747B (zh) 一种基于序数哈希的图像检索方法及系统
CN114092747A (zh) 基于深度元度量模型互学习的小样本图像分类方法
CN112036511B (zh) 基于注意力机制图卷积神经网络的图像检索方法
CN114565053A (zh) 基于特征融合的深层异质图嵌入模型
CN111723692B (zh) 基于卷积神经网络语义分类的标签特征的近重复视频检测方法
CN113656700A (zh) 基于多相似度一致矩阵分解的哈希检索方法
CN113449111A (zh) 基于时空语义知识迁移的社会治理热点话题自动识别方法
CN105678244A (zh) 一种基于改进编辑距离的近似视频检索方法
CN108647295B (zh) 一种基于深度协同哈希的图片标注方法
CN114612747A (zh) 基于无监督加权哈希的遥感图像检索方法
CN111506760B (zh) 一种基于困难感知的深度集成度量图像检索方法
CN117763185A (zh) 一种基于思考空间维度的哈希图像检索方法
CN112883216A (zh) 基于扰动一致性自集成的半监督图像检索方法及装置
CN111222003B (zh) 基于空间重要性的深度加权哈希学习方法
Hou et al. Remote sensing image retrieval with deep features encoding of Inception V4 and largevis dimensionality reduction
CN114168782B (zh) 一种基于三元组网络的深度哈希图像检索方法
CN115878757A (zh) 一种基于概念分解的混合超图正则化半监督跨模态哈希方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant