CN109670057B - 一种渐进式的端到端深度特征量化系统及方法 - Google Patents

一种渐进式的端到端深度特征量化系统及方法 Download PDF

Info

Publication number
CN109670057B
CN109670057B CN201910005178.8A CN201910005178A CN109670057B CN 109670057 B CN109670057 B CN 109670057B CN 201910005178 A CN201910005178 A CN 201910005178A CN 109670057 B CN109670057 B CN 109670057B
Authority
CN
China
Prior art keywords
quantization
feature
input
layer
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910005178.8A
Other languages
English (en)
Other versions
CN109670057A (zh
Inventor
宋井宽
朱筱苏
高联丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910005178.8A priority Critical patent/CN109670057B/zh
Publication of CN109670057A publication Critical patent/CN109670057A/zh
Application granted granted Critical
Publication of CN109670057B publication Critical patent/CN109670057B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及图像检索领域，其公开了一种渐进式的端到端深度特征量化系统及方法，解决传统技术中由于特征提取和量化两部分相互孤立，在数据库中的二进制编码长度需要变更时，需要重新训练神经网络并对整个数据库重新编码，而带来的耗费时间和运算资源的问题。该系统包括深度神经网络，所述深度神经网络包括：图像特征优化单元，用于将图片通过表示学习，生成用于描述图片的D维实数特征向量；特征量化单元，用于通过一个或多个量化层将特征向量转化为二进制编码；当使用多个量化层时，各个量化层的量化误差作为下一个量化层的输入，根据编码精度需求选择相应个数的量化层的量化输出的编码进行拼接，获得最终的二进制编码。

Description

一种渐进式的端到端深度特征量化系统及方法
技术领域
本发明涉及图像检索领域，具体涉及一种渐进式的端到端深度特征量化系统及方法。
背景技术
随着信息时代多媒体内容的爆炸式增长，如何在海量图片库中检索图片是一个热点问题。传统的图像检索方法是先使用SIFT[1],GIST[2]算法提取图像的特征信息，再使用哈希算法[3]或量化算法[4]将特征信息压缩至极短的二进制编码，以此缩减数据库体积，加快检索速度。最近，一些基于深度学习的量化算法不断涌现，它们首先使用深度神经网络提取图片的特征信息[5]，然后使用传统的量化方法再进行特征压缩。
然而，由于特征提取和量化两部分相互孤立，如果数据库中的二进制编码长度需要变更时，每次都需要对神经网络重新训练并对整个数据库重新编码，非常耗费时间和运算资源。
参考文献：
[1]Lowe D G.Object recognition from local scale-invariant features[C]//Computer vision,1999.The proceedings of the seventh IEEE internationalconference on.Ieee,1999,2:1150-1157.
[2]Oliva A,Torralba A.Modeling the shape of the scene:A holisticrepresentation of the spatial envelope[J].International journal of computervision,2001,42(3):145-175.
[3]Datar M,Immorlica N,Indyk P,et al.Locality-sensitive hashingscheme based on p-stable distributions[C]//Proceedings of the twentiethannual symposium on Computational geometry.ACM,2004:253-262.
[4]Jegou H,Douze M,Schmid C.Product quantization for nearest neighborsearch[J].IEEE transactions on pattern analysis and machine intelligence,2011,33(1):117-128.
[5]Krizhevsky A,Sutskever I,Hinton G E.Imagenet classification withdeep convolutional neural networks[C]//Advances in neural informationprocessing systems.2012:1097-1105.
发明内容
本发明所要解决的技术问题是：提供一种渐进式的端到端深度特征量化系统及方法，解决传统技术中由于特征提取和量化两部分相互孤立，在数据库中的二进制编码长度需要变更时，需要重新训练神经网络并对整个数据库重新编码，而带来的耗费时间和运算资源的问题。
本发明解决上述技术问题所采用的技术方案是：
一种渐进式的端到端深度特征量化系统，包括深度神经网络，所述深度神经网络包括图像特征优化单元和特征量化单元，
所述图像特征优化单元，用于将图片通过表示学习，生成用于描述图片的D维实数特征向量；
所述特征量化单元，用于通过一个或多个量化层将特征向量转化为二进制编码；当使用多个量化层时，各个量化层的量化误差作为下一个量化层的输入，根据编码精度需求选择相应个数的量化层的量化输出的编码进行拼接，获得最终的二进制编码。
作为进一步优化，所述量化层通过softmax函数来进行量化。
作为进一步优化，所述量化层具体用于：
首先随机初始化一个M*D的码本，包含M个长度为D维的码字；
当接收到D维特征向量的输入时，先计算输入与各个码字之间的距离d，得到由M个距离组成的距离向量，之后对距离向量应用softmax函数计算，得到归一化的距离P，P即是各个码元相对于输入的权重，与输入越近似的码字，在P中所占比例就越大；
最后使用P对码字进行加权求和，将加权求和值作为软编码，将P中权重最大的码字的索引作为硬编码；通过软编码和硬编码来计算量化误差。
作为进一步优化，所述量化层还用于，通过优化量化误差来更新量化层的码本。
此外，基于上述系统，本发明还提供了一种渐进式的端到端深度特征量化方法，其包括以下步骤：
a.初始化步骤：
初始化深度神经网络，定义特征向量的长度和码本的大小；
b.网络训练步骤：
输入训练图片至深度神经网络的输入中，获得量化近似后的输出；
c.数据库图片特征量化步骤：
深度神经网络训练完毕后，将图片数据库中的所有图片输入此网络进行特征量化，获取最终二进制编码。
作为进一步优化，步骤b中，在进行网络训练时，通过监督信息计算语义损失和分类损失，并通过梯度下降法反向传播，更新整个网络。
作为进一步优化，步骤b中，所述深度神经网络的输入获取到训练图片后，首先对图片进行特征提取，生成用于描述图片的D维特征向量；
然后对所述特征向量进行量化，量化过程包括：
首先计算特征向量与各个码字之间的距离d，得到由M个距离组成的距离向量，之后对距离向量应用softmax函数计算，得到归一化的距离P，P即是各个码元相对于输入的权重，与输入越近似的码字，在P中所占比例就越大；
最后使用P对码字进行加权求和，将加权求和值作为软编码，将P中权重最大的码字的索引作为硬编码；通过软编码和硬编码来计算量化误差，通过优化量化误差更新量化层的码本。
作为进一步优化，步骤c中，所述最终二进制编码为根据数据库编码精度需求选择相应个数的量化层的量化输出的编码进行拼接获得。
本发明的有益效果是：
(1)定义了可微的量化层，使得量化算法可以作为神经网络的一层使用，从而能够实现端到端的量化算法。
(2)定义了普适的量化方法，通过自定义输入和输出策略，能够实现特定的量化方法。
(3)提出一种量化的输入和输出策略，实现了渐进式的量化方法，达到只需一次训练，就能获得不同长度编码的效果，减少了时间和降低了运算成本。
附图说明
图1为本发明的渐进式的端到端深度特征量化原理示意图；
图2为图像特征优化单元的原理示意图；
图3为特征量化单元的原理示意图；
图4为量化层的工作原理图。
具体实施方式
本发明旨在提供一种渐进式的端到端深度特征量化系统及方法，解决传统技术中由于特征提取和量化两部分相互孤立，在数据库中的二进制编码长度需要变更时，需要对神经网络重新训练并对整个数据库重新编码，而带来的耗费时间和运算资源的问题。
本发明从深度量化方法出发，设计了一个使用深度神经网络的网实现的特征量化层，这一量化层可以将一个D维长度的特征向量用一个包含M个D维码字的码本中的一个字表示，从而将特征向量表示成码本中的一个索引，也即将D维长度的实数向量压缩到长度为logK的二进制编码上。同时，本发明提出了一个普适的量化过程，把量化过程抽象成一些特定的量化层表示，通过给定输入和输出的策略，本发明就能通过这些量化层来实现特定的量化算法。最后，本发明提出了一个量化策略，实现了渐进式的量化算法，使得整个网络仅需训练一次，就能得到压缩成不同长度的二进制编码。
如图1所示，本发明中的渐进式的端到端深度特征量化系统，包括深度神经网络，所述深度神经网络包括图像特征优化单元和特征量化单元两部分，其中，图像特征优化单元，用于将图片通过表示学习，生成用于描述图片的D维实数特征向量；特征量化单元，用于通过一个或多个量化层将特征向量转化为二进制编码；当使用多个量化层时，各个量化层的量化误差作为下一个量化层的输入，根据编码精度需求选择相应个数的量化层的量化输出的编码进行拼接，获得最终的二进制编码。
图像特征优化单元的原理如图2所示，其使用AlexNet提取图像的最后一层(fc7层)4096维的特征，将其同时经过两个全连接层分别得到300维和C维的特征(此处C为监督信息的类别数量)，通过监督信息计算语义损失和分类损失，对特征进行优化。
特征量化单元的原理如图3所示，其通过若干个量化层将图像特征量化为二进制编码，各个量化层的量化误差作为下一个量化层的输入，各个量化层的编码输出依次连接得到完整编码。
量化层的工作原理如图4所示，首先计算输入与其码本中的各个码字之间的距离，将距离经过softmax函数归一化后得到码字的权重，再对码字加权求和得到软编码，而距离的最小的那个码字对应的索引就是硬编码。本发明使用硬编码和软编码计算量化误差，通过优化量化误差来更新量化层的码本。
在具体实现上，本发明构造了一个通过softmax函数来进行量化的量化层，此层首先随机初始化一个M*D的码本，包含M个长度为D维的码字，当接收到输入x，一个D维的特征向量时，此层先计算输入与各个码字之间的距离d，得到由M个距离组成的距离向量，之后对距离向量应用softmax函数，得到归一化的距离P，P即是各个码元相对于输入的权重，与输入越近似的码字，在P中所占比例就越大。最后本发明使用P对码字进行加权求和，这样就使用整个码本的所有码字的线性组合来近似输入，这个近似值就是输出1，而P中权重最大的码字的索引就是量化时要输出的编码。同时，为了保证近似的精确度，本发明直接提取权重最大的码字作为输出2。可以看出，输出1就是使用整个码本的所有码字的加权和来近似输入，输出2就是使用与输入最接近的码字来近似输入。因为使用了softmax函数，本发明将本无法计算梯度的量化层得以加入到神经网络中，从而能够进行梯度计算和参数更新。
定义量化层及其输入输出后，我们就可以设计输入与输出的策略，从而实现整个量化算法。最简单的输入与输出策略即：输入为x，输出为x的近似值，使用此种策略，本发明的量化层就能实现最基本的向量量化(Vector Quantization)算法。本发明提出了一种渐进式的输入输出策略，即：输入一个x，经过量化得到x的近似值后，将x与近似值的差作为下一个量化层的输入。这样，每一个量化层输出的是这个量化层的量化误差，而这一误差作为下一量化层的输入，就能使这个误差通过量化进一步缩小，这几层量化的输出就能逐步逼近x。当需要的量化精度不高时，则只使用第一层的量化编码，当量化精度要求提高，就使用第一层加第二层的量化编码。随着量化层数逐步增加，量化的精度也就逐步提高，体现了渐进的过程。
本发明的渐进式的端到端深度特征量化方法主要包括以下步骤：
步骤1：初始化整个网络，定义特征向量的长度和码本的大小，此处使用300维的特征向量和4个码本，4个码本即对应4个量化层。每个码本中包含256个码字，即每个码本产生8位2进制编码。也可自定义来得到不同大小的码本和二进制编码。
步骤2：输入训练图片到网络的输入中，经过两部分网络，得到量化近似后的输出，针对图像检索任务，本发明需要添加监督信息以提高检索精度，以及计算量化损失函数，并通过梯度下降法反向传播，更新整个网络。
步骤3：网络训练完毕后，将图片数据库中的所有图片输入此网络，通过量化层进行编码，由于每层产生8位的短编码，经过连接，只使用第一层时得到8位编码；第一层和第二层连接得到16位编码；第一、二、三层连接得到24位编码；全部四层连接得到32位编码。

Claims (6)

1.一种渐进式的端到端深度特征量化系统，包括深度神经网络，其特征在于，
所述深度神经网络包括图像特征优化单元和特征量化单元，
所述图像特征优化单元，用于将图片通过表示学习，生成用于描述图片的D维实数特征向量；
所述特征量化单元，用于通过一个或多个量化层将特征向量转化为二进制编码；当使用多个量化层时，各个量化层的量化误差作为下一个量化层的输入，根据编码精度需求选择相应个数的量化层的量化输出的编码进行拼接，获得最终的二进制编码；
所述量化层具体用于：
首先随机初始化一个M*D的码本，包含M个长度为D维的码字；
当接收到D维特征向量的输入时，先计算输入与各个码字之间的距离d，得到由M个距离组成的距离向量，之后对距离向量应用softmax函数计算，得到归一化的距离P，P即是各个码元相对于输入的权重，与输入越近似的码字，在P中所占比例就越大；
最后使用P对码字进行加权求和，将加权求和值作为软编码，将P中权重最大的码字的索引作为硬编码；通过软编码和硬编码来计算量化误差。
2.如权利要求1所述的系统，其特征在于，
所述量化层还用于，通过优化量化误差来更新量化层的码本。
3.一种渐进式的端到端深度特征量化方法，应用于如权利要求1或2所述的系统，其特征在于，包括以下步骤：
a.初始化步骤：
初始化深度神经网络，定义特征向量的长度和码本的大小；
b.网络训练步骤：
输入训练图片至深度神经网络的输入中，获得量化近似后的输出；
c.数据库图片特征量化步骤：
深度神经网络训练完毕后，将图片数据库中的所有图片输入此网络进行特征量化，获取最终二进制编码。
4.如权利要求3所述的方法，其特征在于，
步骤b中，在进行网络训练时，通过监督信息计算语义损失和分类损失，并通过梯度下降法反向传播，更新整个网络。
5.如权利要求3所述的方法，其特征在于，
步骤b中，所述深度神经网络的输入获取到训练图片后，首先对图片进行特征提取，生成用于描述图片的D维特征向量；
然后对所述特征向量进行量化，量化过程包括：
首先计算特征向量与各个码字之间的距离d，得到由M个距离组成的距离向量，之后对距离向量应用softmax函数计算，得到归一化的距离P，P即是各个码元相对于输入的权重，与输入越近似的码字，在P中所占比例就越大；
最后使用P对码字进行加权求和，将加权求和值作为软编码，将P中权重最大的码字的索引作为硬编码；通过软编码和硬编码来计算量化误差，通过优化量化误差更新量化层的码本。
6.如权利要求3所述的方法，其特征在于，
步骤c中，所述最终二进制编码为根据数据库编码精度需求选择相应个数的量化层的量化输出的编码进行拼接获得。
CN201910005178.8A 2019-01-03 2019-01-03 一种渐进式的端到端深度特征量化系统及方法 Active CN109670057B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910005178.8A CN109670057B (zh) 2019-01-03 2019-01-03 一种渐进式的端到端深度特征量化系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910005178.8A CN109670057B (zh) 2019-01-03 2019-01-03 一种渐进式的端到端深度特征量化系统及方法

Publications (2)

Publication Number Publication Date
CN109670057A CN109670057A (zh) 2019-04-23
CN109670057B true CN109670057B (zh) 2021-06-29

Family

ID=66149258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910005178.8A Active CN109670057B (zh) 2019-01-03 2019-01-03 一种渐进式的端到端深度特征量化系统及方法

Country Status (1)

Country Link
CN (1) CN109670057B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378467A (zh) * 2019-06-17 2019-10-25 浙江大学 一种针对深度学习网络参数的量化方法
CN113408552A (zh) * 2020-03-16 2021-09-17 京东方科技集团股份有限公司 特征量化模型训练、特征量化、数据查询方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101335558A (zh) * 2007-06-29 2008-12-31 华为技术有限公司 多输入多输出信道的码本生成方法及装置
CN105512273A (zh) * 2015-12-03 2016-04-20 中山大学 一种基于可变长深度哈希学习的图像检索方法
CN105512289A (zh) * 2015-12-07 2016-04-20 郑州金惠计算机系统工程有限公司 基于深度学习和哈希的图像检索方法
CN106203624A (zh) * 2016-06-23 2016-12-07 上海交通大学 基于深度神经网络的矢量量化系统及方法
CN106909924A (zh) * 2017-02-18 2017-06-30 北京工业大学 一种基于深度显著性的遥感影像快速检索方法
CN107092661A (zh) * 2017-03-28 2017-08-25 桂林明辉信息科技有限公司 一种基于深度卷积神经网络的图像检索方法
CN107239793A (zh) * 2017-05-17 2017-10-10 清华大学 多量化深度二值特征学习方法及装置
CN107943938A (zh) * 2017-11-23 2018-04-20 清华大学 一种基于深度乘积量化的大规模图像相似检索方法及系统
CN107967517A (zh) * 2016-10-19 2018-04-27 三星电子株式会社 用于神经网络量化的方法和设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI496422B (zh) * 2012-09-19 2015-08-11 Univ Nat Chiao Tung 差量調變裝置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101335558A (zh) * 2007-06-29 2008-12-31 华为技术有限公司 多输入多输出信道的码本生成方法及装置
CN105512273A (zh) * 2015-12-03 2016-04-20 中山大学 一种基于可变长深度哈希学习的图像检索方法
CN105512289A (zh) * 2015-12-07 2016-04-20 郑州金惠计算机系统工程有限公司 基于深度学习和哈希的图像检索方法
CN106203624A (zh) * 2016-06-23 2016-12-07 上海交通大学 基于深度神经网络的矢量量化系统及方法
CN107967517A (zh) * 2016-10-19 2018-04-27 三星电子株式会社 用于神经网络量化的方法和设备
CN106909924A (zh) * 2017-02-18 2017-06-30 北京工业大学 一种基于深度显著性的遥感影像快速检索方法
CN107092661A (zh) * 2017-03-28 2017-08-25 桂林明辉信息科技有限公司 一种基于深度卷积神经网络的图像检索方法
CN107239793A (zh) * 2017-05-17 2017-10-10 清华大学 多量化深度二值特征学习方法及装置
CN107943938A (zh) * 2017-11-23 2018-04-20 清华大学 一种基于深度乘积量化的大规模图像相似检索方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Deep Quantization Network for Efficient Image Retrieval";Yue Cao 等;《Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence (AAAI-16)》;20160305;图1，正文第3458页右栏第1段-3460页左栏第1段 *
"Deep Self-Taught Hashing for Image Retrieval";Yu Liu 等;《IEEE TRANSACTIONS ON CYBERNETICS》;20180504;第2229-2241页 *
"一种新的基于矢量量化的图像检索算法";冀鑫 等;《计算机应用与软件》;20160315;第33卷(第3期);第222-225页 *

Also Published As

Publication number Publication date
CN109670057A (zh) 2019-04-23

Similar Documents

Publication Publication Date Title
CN109829299B (zh) 一种基于深度自编码器的未知攻击识别方法
CN109766469B (zh) 一种基于深度哈希学习优化的图像检索方法
Khrulkov et al. Tensorized embedding layers for efficient model compression
CN105512273A (zh) 一种基于可变长深度哈希学习的图像检索方法
KR101958939B1 (ko) 벡터 양자화의 혼합에 기초한 부호화 방법 및 이를 이용한 최근접 이웃 검색(nns) 방법
CN110457514A (zh) 一种基于深度哈希的多标签图像检索方法
CN114911958B (zh) 一种基于语义偏好的快速图像检索方法
CN109670057B (zh) 一种渐进式的端到端深度特征量化系统及方法
CN109918507B (zh) 一种基于TextCNN改进的文本分类方法
CN114358188A (zh) 特征提取模型处理、样本检索方法、装置和计算机设备
JP2022169743A (ja) 情報抽出方法、装置、電子機器及び記憶媒体
US20230123941A1 (en) Multiscale Quantization for Fast Similarity Search
CN112994701A (zh) 数据压缩方法、装置、电子设备及计算机可读介质
CN113204633A (zh) 一种语义匹配蒸馏方法及装置
CN114491115B (zh) 一种基于深度哈希的多模型融合的集成图像检索方法
CN110083734B (zh) 基于自编码网络和鲁棒核哈希的半监督图像检索方法
Wang et al. A new cell-level search based non-exhaustive approximate nearest neighbor (ann) search algorithm in the framework of product quantization
CN111026887A (zh) 一种跨媒体检索的方法及系统
CN116775497B (zh) 数据库测试用例生成需求描述编码方法
Li et al. Online variable coding length product quantization for fast nearest neighbor search in mobile retrieval
Liu et al. Generalized residual vector quantization and aggregating tree for large scale search
CN116955644A (zh) 基于知识图谱的知识融合方法、系统及存储介质
CN116318172A (zh) 一种设计仿真软件数据自适应压缩方法
Song et al. Partial gated feedback recurrent neural network for data compression type classification
CN112487231B (zh) 一种基于双图正则化约束和字典学习的图像自动标注方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant