CN110688501B - 一种基于深度学习的全卷积网络的哈希检索方法 - Google Patents

一种基于深度学习的全卷积网络的哈希检索方法 Download PDF

Info

Publication number
CN110688501B
CN110688501B CN201910801726.8A CN201910801726A CN110688501B CN 110688501 B CN110688501 B CN 110688501B CN 201910801726 A CN201910801726 A CN 201910801726A CN 110688501 B CN110688501 B CN 110688501B
Authority
CN
China
Prior art keywords
hash
image data
trained
data set
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910801726.8A
Other languages
English (en)
Other versions
CN110688501A (zh
Inventor
袁明汶
钱江波
辛宇
谢锡炯
陈海明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dianwei Information Technology Co.,Ltd.
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201910801726.8A priority Critical patent/CN110688501B/zh
Publication of CN110688501A publication Critical patent/CN110688501A/zh
Application granted granted Critical
Publication of CN110688501B publication Critical patent/CN110688501B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于深度学习的全卷积网络的哈希检索方法，特点是首先从待检索图像数据所在的原始图像数据集中选取训练数据集，定义待训练的哈希模型，将训练数据集随机打乱后输入待训练的哈希模型，根据输出结果与对应的原始标签信息修正模型参数，最终得到训练后的哈希模型，再用训练后的哈希模型分别对原始图像数据集及待检索图像数据进行哈希编码，最后对待检索图像数据进行哈希检索；优点是利用哈希编码重构原始标签信息，使得待训练的哈希模型在学习二进制编码的同时，能更加精细地利用标签信息，其中损失函数用于减少实值哈希编码与二进制编码的损失，从而提高检索效率和准确性。

Description

一种基于深度学习的全卷积网络的哈希检索方法
技术领域
本发明涉及一种图像检索方法，尤其是一种基于深度学习的全卷积网络的哈希检索方法。
背景技术
随着数据规模和维度增大，图像检索的代价急剧增加。哈希作为一种实现图像高效检索的重要方式，受到了广泛的关注。然而，大多数图像哈希算法都是直接利用机器学习机制将图像的特征映射为二进制编码，这些特征无法有效地保证图像之间的语义相似性，导致得到的编码检索效率较低。
发明内容
本发明所要解决的技术问题是提供一种检索准确度较高的基于深度学习的全卷积网络的哈希检索方法。
本发明解决上述技术问题所采用的技术方案为：一种基于深度学习的全卷积网络哈希检索方法，包括以下步骤：
①定义待检索图像数据所在的图像数据集为原始图像数据集，将原始图像数据集的M个图像数据中任意选取m个图像数据作为训练数据集，m≥0.2M，并对训练数据集中的每一个图像数据设置对应的原始标签信息；
②定义待训练的哈希模型，包括输入数据层、卷积子网络层、全卷积层、哈希层、哈希编码输出层和采用softmax分类器的分类输出层，其中，输入数据层用于输入训练数据集里的图像数据，卷积子网络层由五个卷积池化模块组成，全卷积层连续两次的采用1024个1×1的卷积核，哈希层采用K个1×1的卷积核并采用光滑的tanh激活函数，哈希编码输出层用于输出哈希层得到的哈希编码；
③随机打乱训练数据集中的m个图像数据得到打乱后的数据集，将打乱后的数据集输入待训练的哈希模型，根据输出结果与对应的原始标签信息修正模型参数，最终得到训练后的哈希模型；
④使用训练后的哈希模型对原始图像数据集进行哈希编码，得到对应的原始图像数据哈希编码，使用训练后的哈希模型对待检索图像数据进行编码，得到对应的待检索图像哈希编码；
⑤在原始图像数据哈希编码中查找出与待检索图像哈希编码的海明距离最近的数据，并将该数据在原始图像数据集中对应的图像作为最终的检索结果，完成对待检索图像数据的哈希检索过程。
所述的步骤③中将打乱后的数据集输入待训练的哈希模型，根据输出结果与对应的原始标签信息修正模型参数，最终得到训练后的哈希模型的具体过程如下：
③-1设置最大迭代次数，定义待训练的哈希模型的损失函数如下：
minLT(W,b)＝λ1Lc+λ2Lq，其中，λ1＝0.5，λ2＝0.5，Lc表示softmax分类器输出的分类标签信息与原始标签信息的误差，
Figure BDA0002182504240000021
其中，h表示对哈希层输出的哈希编码进行离散化操作后得到的二进制编码，s表示哈希层输出的哈希编码，
Figure BDA0002182504240000022
表示h-s的2-范数的平方；
③-2根据待训练的哈希模型的损失函数，使用RMSProp优化算法对待训练的哈希模型进行迭代优化，直到达到设置的最大迭代次数时，停止迭代过程，得到训练后的哈希模型。
所述的步骤③-1中设置最大迭代次数为10000次。保证哈希检索的准确度，经过测验，最大迭代次数至少为10000次及以上。
与现有技术相比，本发明的优点在于首先从待检索图像数据所在的原始图像数据集中选取训练数据集，定义包括输入数据层、卷积子网络层、全卷积层、哈希层、哈希编码输出层和采用softmax分类器的分类输出层的待训练的哈希模型，该哈希模型采用卷积神经网络，将训练数据集随机打乱后输入待训练的哈希模型，根据输出结果与对应的原始标签信息修正模型参数，最终得到训练后的哈希模型，再用训练后的哈希模型分别对原始图像数据集及待检索图像数据进行哈希编码，最后在原始图像数据哈希编码中查找出与待检索图像哈希编码的海明距离最近的数据，并将该数据在原始图像数据集中对应的图像作为最终的检索结果，完成对待检索图像数据的哈希检索过程；该方法中的哈希模型首先利用卷积神经网络提取图像的高层语义特征；接着为了增强网络对图像的学习能力，增加全卷积层进一步提升特征的表达能力；最后，在全卷积层与分类输出层之间添加隐藏层作为哈希层，利用哈希编码重构原始标签信息，使得待训练的哈希模型在学习二进制编码的同时，能更加精细地利用标签信息，其中损失函数用于减少实值哈希编码与二进制编码的损失，从而提高检索效率和准确性，通过在标准图像数据集上的对比实验，显示了采用本发明的哈希检索方法对待检索图像数据进行检索的检索准确率较高。
附图说明
图1为本发明的步骤流程图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
一种基于深度学习的全卷积网络的哈希检索方法，包括以下步骤：
①定义待检索图像数据所在的图像数据集为原始图像数据集，将原始图像数据集的M个图像数据中任意选取m个图像数据作为训练数据集，m≥0.2M，并对训练数据集中的每一个图像数据设置对应的原始标签信息。
②定义待训练的哈希模型，包括输入数据层、卷积子网络层、全卷积层、哈希层、哈希编码输出层和采用softmax分类器的分类输出层，其中，输入数据层用于输入训练数据集里的图像数据，卷积子网络层由五个卷积池化模块组成，全卷积层连续两次的采用1024个1×1的卷积核，哈希层采用K个1×1的卷积核并采用光滑的tanh激活函数，哈希编码输出层用于输出哈希层得到的哈希编码。
③随机打乱训练数据集中的m个图像数据得到打乱后的数据集，将打乱后的数据集输入待训练的哈希模型，根据输出结果修正模型参数，最终得到训练后的哈希模型,具体过程如下：
③-1设置最大迭代次数为10000次，定义待训练的哈希模型的损失函数如下：
minLT(W,b)＝λ1Lc+λ2Lq，其中，λ1＝0.5，λ2＝0.5，Lc表示softmax分类器输出的分类标签信息与原始标签信息的误差，
Figure BDA0002182504240000031
其中，h表示对哈希层输出的哈希编码进行离散化操作后得到的二进制编码，s表示哈希层输出的哈希编码，
Figure BDA0002182504240000032
表示h-s的2-范数的平方；
③-2根据待训练的哈希模型的损失函数，使用RMSProp优化算法对待训练的哈希模型进行迭代优化，直到达到设置的最大迭代次数时，停止迭代过程，得到训练后的哈希模型。
④使用训练后的哈希模型对原始图像数据集进行哈希编码，得到对应的原始图像数据哈希编码，使用训练后的哈希模型对待检索图像数据进行编码，得到对应的待检索图像哈希编码。
⑤在原始图像数据哈希编码中查找出与待检索图像哈希编码的海明距离最近的数据，并将该数据在原始图像数据集中对应的图像作为最终的检索结果，完成对待检索图像数据的哈希检索过程。

Claims (2)

1.一种基于深度学习的全卷积网络的哈希检索方法，其特征在于包括以下步骤：
①定义待检索图像数据所在的图像数据集为原始图像数据集，将原始图像数据集的M个图像数据中任意选取m个图像数据作为训练数据集，m≥0.2M，并对训练数据集中的每一个图像数据设置对应的原始标签信息；
②定义待训练的哈希模型，包括输入数据层、卷积子网络层、全卷积层、哈希层、哈希编码输出层和采用softmax分类器的分类输出层，其中，输入数据层用于输入训练数据集里的图像数据，卷积子网络层由五个卷积池化模块组成，全卷积层连续两次的采用1024个1×1的卷积核，哈希层采用K个1×1的卷积核并采用光滑的tanh激活函数，哈希编码输出层用于输出哈希层得到的哈希编码；
③随机打乱训练数据集中的m个图像数据得到打乱后的数据集，将打乱后的数据集输入待训练的哈希模型，根据输出结果修正模型参数，最终得到训练后的哈希模型，具体过程如下：
③-1设置最大迭代次数，定义待训练的哈希模型的损失函数如下：
minLT(W,b)＝λ1Lc+λ2Lq，其中，λ1＝0.5，λ2＝0.5，Lc表示softmax分类器输出的分类标签信息与原始标签信息的误差，
Figure FDA0002182504230000011
其中，h表示对哈希层输出的哈希编码进行离散化操作后得到的二进制编码，s表示哈希层输出的哈希编码，
Figure FDA0002182504230000012
表示h-s的2-范数的平方；
③-2根据待训练的哈希模型的损失函数，使用RMSProp优化算法对待训练的哈希模型进行迭代优化，直到达到设置的最大迭代次数时，停止迭代过程，得到训练后的哈希模型；
④使用训练后的哈希模型对原始图像数据集进行哈希编码，得到对应的原始图像数据哈希编码，使用训练后的哈希模型对待检索图像数据进行编码，得到对应的待检索图像哈希编码；
⑤在原始图像数据哈希编码中查找出与待检索图像哈希编码的海明距离最近的数据，并将该数据在原始图像数据集中对应的图像作为最终的检索结果，完成对待检索图像数据的哈希检索过程。
2.根据权利要求1所述的一种基于深度学习的全卷积网络的 哈希检索方法，其特征在于所述的步骤③-1中设置最大迭代次数为10000次。
CN201910801726.8A 2019-08-28 2019-08-28 一种基于深度学习的全卷积网络的哈希检索方法 Active CN110688501B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910801726.8A CN110688501B (zh) 2019-08-28 2019-08-28 一种基于深度学习的全卷积网络的哈希检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910801726.8A CN110688501B (zh) 2019-08-28 2019-08-28 一种基于深度学习的全卷积网络的哈希检索方法

Publications (2)

Publication Number Publication Date
CN110688501A CN110688501A (zh) 2020-01-14
CN110688501B true CN110688501B (zh) 2022-04-05

Family

ID=69108470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910801726.8A Active CN110688501B (zh) 2019-08-28 2019-08-28 一种基于深度学习的全卷积网络的哈希检索方法

Country Status (1)

Country Link
CN (1) CN110688501B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111625258B (zh) * 2020-05-22 2021-08-27 深圳前海微众银行股份有限公司 默克尔树更新方法、装置、设备及可读存储介质
CN111626408B (zh) * 2020-05-22 2021-08-06 深圳前海微众银行股份有限公司 哈希编码方法、装置、设备及可读存储介质
CN111988614B (zh) * 2020-08-14 2022-09-13 深圳前海微众银行股份有限公司 哈希编码优化方法、设备及可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106354735A (zh) * 2015-07-22 2017-01-25 杭州海康威视数字技术股份有限公司 一种图像中目标的检索方法和装置
CN109165306B (zh) * 2018-08-09 2021-11-23 长沙理工大学 基于多任务哈希学习的图像检索方法
CN109299097B (zh) * 2018-09-27 2022-06-21 宁波大学 一种基于哈希学习的在线高维数据最近邻查询方法

Also Published As

Publication number Publication date
CN110688501A (zh) 2020-01-14

Similar Documents

Publication Publication Date Title
CN110413785B (zh) 一种基于bert和特征融合的文本自动分类方法
CN110298037B (zh) 基于增强注意力机制的卷积神经网络匹配的文本识别方法
CN110688501B (zh) 一种基于深度学习的全卷积网络的哈希检索方法
CN106203624B (zh) 基于深度神经网络的矢量量化系统及方法
CN105512289A (zh) 基于深度学习和哈希的图像检索方法
CN110704664B (zh) 一种哈希检索方法
CN106033426A (zh) 一种基于潜在语义最小哈希的图像检索方法
CN113064959A (zh) 一种基于深度自监督排序哈希的跨模态检索方法
CN111400494B (zh) 一种基于GCN-Attention的情感分析方法
CN113377981B (zh) 基于多任务深度哈希学习的大规模物流商品图像检索方法
CN112256727B (zh) 基于人工智能技术的数据库查询处理及优化方法
CN111008224A (zh) 一种基于深度多任务表示学习的时间序列分类和检索方法
CN115983274B (zh) 一种基于两阶段标签校正的噪声事件抽取方法
CN110955745A (zh) 一种基于深度学习的文本哈希检索方法
CN108805280A (zh) 一种图像检索的方法和装置
CN116226357A (zh) 一种输入中包含错误信息场景下的文档检索方法
CN117011943A (zh) 基于多尺度自注意力机制的解耦的3d网络的动作识别方法
CN107730002B (zh) 一种通信网关机遥控参数智能模糊比对方法
CN114168782B (zh) 一种基于三元组网络的深度哈希图像检索方法
Zhu et al. A deep neural network based hashing for efficient image retrieval
CN110909027A (zh) 一种哈希检索方法
Windeatt et al. Boosted tree ensembles for solving multiclass problems
Yang et al. Research and implementation of text classification model based on combination of DAE and DBN
CN112364192A (zh) 一种基于集成学习的零样本哈希检索方法
Lee et al. Proxyformer: Nyström-Based Linear Transformer with Trainable Proxy Tokens

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220801

Address after: Room 2202, 22 / F, Wantong building, No. 3002, Sungang East Road, Sungang street, Luohu District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen dragon totem technology achievement transformation Co.,Ltd.

Address before: 315211, Fenghua Road, Jiangbei District, Zhejiang, Ningbo 818

Patentee before: Ningbo University

TR01 Transfer of patent right
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220915

Address after: Room J227, Building 4, Block B, No. 925, Yecheng Road, Jiading Industrial Zone, Jiading District, Shanghai, 201800

Patentee after: Shanghai Tongran Information Technology Co.,Ltd.

Address before: Room 2202, 22 / F, Wantong building, No. 3002, Sungang East Road, Sungang street, Luohu District, Shenzhen City, Guangdong Province

Patentee before: Shenzhen dragon totem technology achievement transformation Co.,Ltd.

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 213000 Floor 3, Building 13, No. 279, Huanghe West Road, Xinbei District, Changzhou City, Jiangsu Province

Patentee after: Changzhou Tongran Information Technology Co.,Ltd.

Address before: Room J227, Building 4, Block B, No. 925, Yecheng Road, Jiading Industrial Zone, Jiading District, Shanghai, 201800

Patentee before: Shanghai Tongran Information Technology Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231212

Address after: Room 506, 5th Floor, Building 3, Digital Economy and Entrepreneurship Park, No. 168 Kuocang Road, Liandu District, Lishui City, Zhejiang Province, 323050

Patentee after: Zhejiang Dianwei Information Technology Co.,Ltd.

Address before: 213000 Floor 3, Building 13, No. 279, Huanghe West Road, Xinbei District, Changzhou City, Jiangsu Province

Patentee before: Changzhou Tongran Information Technology Co.,Ltd.