CN110516026A - 基于图正则化非负矩阵分解的在线单模态哈希检索方法 - Google Patents

基于图正则化非负矩阵分解的在线单模态哈希检索方法 Download PDF

Info

Publication number
CN110516026A
CN110516026A CN201910635330.0A CN201910635330A CN110516026A CN 110516026 A CN110516026 A CN 110516026A CN 201910635330 A CN201910635330 A CN 201910635330A CN 110516026 A CN110516026 A CN 110516026A
Authority
CN
China
Prior art keywords
matrix
text
image
hash
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910635330.0A
Other languages
English (en)
Inventor
王笛
王泉
万波
安亚强
田玉敏
杨鹏飞
赵辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Electronic Science and Technology
Original Assignee
Xian University of Electronic Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Electronic Science and Technology filed Critical Xian University of Electronic Science and Technology
Priority to CN201910635330.0A priority Critical patent/CN110516026A/zh
Publication of CN110516026A publication Critical patent/CN110516026A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/316—Indexing structures
    • G06F16/325—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于图正则化非负矩阵分解的在线哈希信息检索方法，其步骤为：(1)生成初始训练集；(2)在线有监督训练单模态哈希检索模型；(3)利用图正则化非负矩阵分解构造信息损失函数；(4)获得最优投影矩阵和哈希编码；(5)生成待检索的图像或文本样本的哈希编码；(6)获取检索结果。本发明采用图正则化非负矩阵分解的思想构建信息损失函数，能够对实时获取的有标签数据在线建立模型，并根据获取到的数据在线更新模型，在模型训练的过程中，信息检索系统只需存储前一轮的优化结果，降低了系统存储压力，提高了计算速度，具有广泛的适应性。

Description

基于图正则化非负矩阵分解的在线单模态哈希检索方法
技术领域
本发明属于计算机技术领域，更进一步涉及信息检索技术领域的一种基于图正则化非负矩阵分解的在线单模态哈希检索方法。本发明可用于对文字或图片等多种单模态的数据，实现在线单模态数据模态内部的快速检索。
背景技术
随着互联网的不断发展，数据量飞速增长，同时用以承载信息的数据形式也呈现出了多样化，这些数据通常都具有数据量大，维数较高等特点，为了能够实现对于多样化的数据进行快速准确的检索，需要采用哈希方法对数据进行降维、编码。传统的哈希检索方法需要存储大量历史数据，通过对历史数据的训练学习，建立模型，但是传统哈希检索方法并不能解决对在线数据进行模型建立的问题。如何针对上述问题实现对在线增长数据的模型建立以及快速检索，是当前信息检索技术领域需要亟需解决的问题。
山东山大鸥玛软件股份有限公司在其申请的专利文献“基于哈希检索的手写英文单词智能识别方法”(申请公布号：CN109344279A，申请公告日：2019.02.15，申请号：2018115199618)中公开了一种单模态哈希检索方法。该方法的步骤是，(1)根据数据库中每一张手写英文单词图像的视觉特征和标签信息，分别得到对应的视觉特征矩阵和标签信息矩阵；(2)根据标签信息矩阵得到图像的相似性矩阵；(3)利用视觉特征矩阵、标签信息矩阵和相似性矩阵，获得数据库中每一张图像的哈希码；(4)根据获得的哈希码，学习视觉特征到哈希码的映射，即哈希哈数；(5)获取待检索的手写英文单词图像，利用哈希函数检索数据库中图像的哈希码，完成图像检索。该方法存在的不足之处是，该方法需要对历史数据进行存储，在数据量很大的情况下，会产生很大的数据存储压力，同时面对数据的快速增长，该方法不能够解决动态增长数据的模型建立问题和单模态数据的在线检索问题。
宁波大学在其申请的专利文献“一种面向高维大数据集的加权量化哈希检索方法”(申请公布号：CN109634953A，申请公告日：2018.11.07，申请号：2018113168831)中公开了一种面向高维大数据的加权量化哈希检索方法。该方法的步骤是，(1)利用主成分分析算法分别对原始高维数据和给定查询数据降维；(2)根据成对保相似性原则并采用松弛后的正交约束条件构造损失函数，通过最小化该损失函数得到最终二进制编码矩阵和最终权重矩阵；(3)根据最终权重矩阵和最终二进制编码矩阵获得加权后的二进制编码矩阵和与给定查询数据对应的二进制编码；(4)在加权后的二进制编码矩阵中查找与给定查询数据对应的二进制编码的加权海明距离最近的行向量数据，完成对给定查询数据的哈希检索过程。该方法存在的不足之处是，该方法是一个无监督方法，未能充分利用数据的标签信息，导致检索精度大幅度下降。
综上所述，对于信息检索领域的应用，目前已有的单模态哈希检索方法仍然存在由于只对历史数据进行训练而导致模型不能实时学习新数据的特征，由于需要存储大量历史数据用于模型训练而导致存储空间不足，由于大多数在线单模态哈希检索方法是无监督方法，未能充分利用标签信息导致检索精度大幅度下降等问题。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于图正则化非负矩阵分解的在线单模态哈希检索方法。对于动态增长的单模态有标签数据，本发明能有效利用单模态数据的标签信息，利用图正则化非负矩阵分解的方法，在线建立模型，得到更具代表性的哈希编码，从而提高哈希检索方法的准确率，还能够提升计算速度，降低系统的存储压力。
实现本发明目的的思路是，在训练模式下，系统实时获取数据，利用图正则化非负矩阵分解方法构建信息损失函数，通过对损失函数进行迭代优化，得到当前的潜在语义矩阵，投影矩阵和哈希编码矩阵，将哈希编码矩阵进行符号函数运算，获得训练数据对应的哈希编码；在测试模式下，利用训练模式下获得的投影矩阵进行矩阵投影，得到测试数据的哈希编码矩阵，进行符号函数运算，获得测试数据的哈希编码；在对于该方法进行评估时，采用信息检索领域常用的评估标准：平均精度均值(mAP)，该标准可以用来衡量信息检索的准确性。
本发明的具体步骤包括如下：
(1)生成初始训练集：
(1a)采集不少于50个图像样本或文本样本组成初始训练集，每个图像样本包含图像和其标签，每个文本样本包含文本和其标签。
(1b)利用样本转化方法，将初始训练集中的每个图像样本或文本样本转化成图像或文本信息矩阵。
所述的样本转化方法如下：
若初始训练集中的样本为图像样本，则将每张图像中每行的所有像素灰度值首尾相接相连，然后将所有行依次排列，组成一个图像信息矩阵。
若初始训练集中的样本为文本样本，则按照下述步骤，生成文本信息矩阵：
第一步，按照下式，计算初始训练集中的每个样本中同一文本的文本特征值。
其中，Hij表示初始训练集中的第i个样本中第j个文本的文本特征值，Kij表示初始训练集中的第i个样本中第j个文本出现的次数，Mi表示初始训练集中的第i个样本中所有文本的总数，log表示以10为底的对数操作，Lj表示第j个文本在初始训练集的所有样本中出现的次数，N表示初始训练集所有样本中的文本总数。
第二步，将初始训练集的每个样本中所有文本的文本特征值组成一个向量。
第三步，将初始训练集中所有样本向量，按照样本在初始训练集中的先后顺序依次排列，组成文本信息矩阵。
(1c)利用归一化公式，将图像或文本信息矩阵中的所有元素进行归一化处理，得到归一化后的图像或文本信息矩阵。
所述的归一化公式如下：
其中，Xij表示归一化后的图像或文本信息矩阵中第i行、第j列元素，Xij表示归一化前的图像或文本信息矩阵中第i行、第j列元素,Ximin表示归一化前的图像或文本信息矩阵中第i行中最小的一个元素，Ximax表示归一化前的图像或文本信息矩阵中第i行中最大的一个元素。
(1d)将归一化后的图像或文本信息矩阵存入到信息检索系统中。
(2)构建并在线有监督训练单模态哈希检索模型：
(2a)信息检索系统在线实时获取不少于50个带标签的图像或文本样本，组成数据集，依次利用样本转化方法和归一化公式，对每个带标签的图像或文本样本进行预处理，得到归一化后的图像或文本信息矩阵。
所述的样本转化方法如下：
若初始训练集中的样本为图像样本，则将每张图像中每行的所有像素灰度值首尾相接相连，然后将所有行依次排列，组成一个图像信息矩阵。
若初始训练集中的样本为文本样本，则按照下述步骤，生成文本信息矩阵：
第一步，按照下式，计算初始训练集中的每个样本中同一文本的文本特征值。
其中，Hij表示初始训练集中的第i个样本中第j个文本的文本特征值，Kij表示初始训练集中的第i个样本中第j个文本出现的次数，Mi表示初始训练集中的第i个样本中所有文本的总数，log表示以10为底的对数操作，Lj表示第j个文本在初始训练集的所有样本中出现的次数，N表示初始训练集所有样本中的文本总数。
第二步，将初始训练集的每个样本中所有文本的文本特征值组成一个向量。
第三步，将初始训练集中所有样本向量，按照样本在初始训练集中的先后顺序依次排列，组成文本信息矩阵。
所述的归一化公式如下：
其中，Xij表示归一化后的图像或文本信息矩阵中第i行、第j列元素，Xij表示归一化前的图像或文本信息矩阵中第i行、第j列元素,Ximin表示归一化前的图像或文本信息矩阵中第i行中最小的一个元素，Ximax表示归一化前的图像或文本信息矩阵中第i行中最大的一个元素。
(2b)在信息检索系统中创建一个大小为50的缓冲区。
(2c)从数据集中任选一个未选过的图像或文本样本加入到缓冲区中。
(2d)判断缓冲区中的图像或文本样本的总数是否大于50，若是，则删除缓冲区中的第一个图像或文本样本后执行步骤(2e)，否则，执行步骤(2c)。
(2e)按照下式，确定由图像或文本样本的标签信息构造的相似度矩阵中的每个元素值：
其中，wpq表示相似度矩阵中第p行第q列的元素值，xs表示归一化后的图像或文本信息矩阵中的第s个样本，xf表示归一化后的图像或文本信息矩阵中的第f个样本，p和s的取值相等，q和f的取值相等。
(3)利用图正则化非负矩阵分解构造信息损失函数：
(3a)按照下式，将标签信息添加到非负矩阵分解的分解过程中，计算图正则化损失值：
F1＝Tr(VLVT)
其中，F1表示图正则化损失值，Tr表示矩阵迹操作，V表示分解矩阵，L表示由相似度矩阵减去相似度矩阵的对角矩阵得到的对角相似度矩阵，T表示对矩阵做转置操作。
(3b)按照下式，将图正则化添加到非负矩阵分解的分解过程中，构造基于图正则化非负矩阵分解损失函数：
其中，F2表示基于图正则化非负矩阵分解损失函数，||||F表示F范数操作，X表示归一化后的图像或文本信息矩阵，U表示基矩阵，V表示分解矩阵，λ表示偏置参数，λ的取值为10，Tr表示矩阵迹操作，L表示由相似度矩阵减去相似度矩阵的对角矩阵得到的对角相似度矩阵，T表示对矩阵做转置操作。
(3c)随机生成三个矩阵其中，U表示潜在语义矩阵，∈表示属于符号，R表示实数集，d1和d2分别表示取值为图像或文本信息矩阵的列数的潜在语义矩阵和投影矩阵的行数，d1和d2的取值对应相等，k1、k2和k3表示取值相等的哈希编码长度，其数值由用户从8bit，16bit，24bit，32bit，64bit，128bit的编码长度中随机选取的一个值，P表示投影矩阵，V表示哈希编码矩阵，T表示转置操作，d3表示取值为50的哈希编码矩阵的行数。
(3d)按照下式，构造包含潜在语义矩阵、哈希编码矩阵和投影矩阵的信息损失函数：
其中，F表示包含潜在语义矩阵、哈希编码矩阵和投影矩阵的信息损失函数，||||F表示F范数操作，X表示归一化后的信息矩阵，L表示对角相似度矩阵，λ、μ、γ表示用于平衡矩阵分解与矩阵映射之间权重关系的参数，λ的取值为10，μ的取值为0.1，γ的取值为0.001。
(4)获得最优投影矩阵和哈希编码：
(4a)分别对当前的投影矩阵、潜在语义矩阵和哈希编码矩阵求一阶偏导，并令求导得到的一阶导数等于零，得到更新后的哈希编码矩阵、更新后的投影矩阵和更新后的潜在语义矩阵。
(4b)将更新后的哈希编码矩阵、更新后的投影矩阵和更新后的潜在语义矩阵分别带入到信息损失函数中，得到更新后的信息损失函数值。
(4c)判断更新后的信息损失函数值是否小于更新前的信息损失函数值，若是，则执行步骤(4d)，否则，分别将更新后的哈希编码矩阵、投影矩阵和潜在语义矩阵作为当前的投影矩阵、潜在语义矩阵和哈希编码矩阵后执行步骤(4a)。
(4d)判断更新后的信息损失函数值减去更新前的信息损失函数值的差值是否小于0.001,若是，得到最优的投影矩阵、潜在语义矩阵和哈希编码矩阵后执行步骤(4e)，否则，分别将更新后的哈希编码矩阵、投影矩阵和潜在语义矩阵作为当前的投影矩阵、潜在语义矩阵和哈希编码矩阵后执行步骤(4a)。
(4e)将最优的哈希编码矩阵中数值大于零的元素值设置为1，其余设置为0，得到哈希编码。
(5)生成待检索的图像或文本样本的哈希编码：
(5a)利用样本转化方法，将待检索的图像或文本样本转化成图像或文本信息矩阵。
所述的样本转化方法如下：
若初始训练集中的样本为图像样本，则将每张图像中每行的所有像素灰度值首尾相接相连，然后将所有行依次排列，组成一个图像信息矩阵。
若初始训练集中的样本为文本样本，则按照下述步骤，生成文本信息矩阵：
第一步，按照下式，计算初始训练集中的每个样本中同一文本的文本特征值。
其中，Hij表示初始训练集中的第i个样本中第j个文本的文本特征值，Kij表示初始训练集中的第i个样本中第j个文本出现的次数，Mi表示初始训练集中的第i个样本中所有文本的总数，log表示以10为底的对数操作，Lj表示第j个文本在初始训练集的所有样本中出现的次数，N表示初始训练集所有样本中的文本总数。
第二步，将初始训练集的每个样本中所有文本的文本特征值组成一个向量。
第三步，将初始训练集中所有样本向量，按照样本在初始训练集中的先后顺序依次排列，组成文本信息矩阵。
(5b)利用归一化公式，将图像或文本信息矩阵中的所有元素进行归一化处理，得到归一化后的图像或文本信息矩阵。
所述的归一化公式如下：
其中，Xij表示归一化后的图像或文本信息矩阵中第i行、第j列元素，Xij表示归一化前的图像或文本信息矩阵中第i行、第j列元素,Ximin表示归一化前的图像或文本信息矩阵中第i行中最小的一个元素，Ximax表示归一化前的图像或文本信息矩阵中第i行中最大的一个元素。
(5c)用待检索样本的图像或文本信息矩阵与最优投影矩阵相乘，得到待检索图像或文本样本的哈希编码矩阵。
(5d)将待检索图像或文本样本的哈希编码矩阵中数值大于零的元素值设置为1，其余设置为0，得到待检索的图像或文本样本的哈希编码。
(6)获取检索结果：
(6a)对待检索图像或文本样本的哈希编码与已有的图像或文本样本的哈希编码进行异或操作，得到汉明距离。
(6b)将数据库中存储的样本按照汉明距离的大小从小到大进行排序，将排序后的前50个样本作为检索结果。
本发明与现有技术相比有以下优点：
第一，由于本发明根据信息检索系统实时获取的新数据更新模型，克服了现有技术存储大量历史数据并离线进行模型训练，造成的模型对实时数据特征的拟合效果差的缺点，使得本发明具有更高的实用性，提高了信息检索系统的检索效率。
第二，本发明利用图正则化非负矩阵分解构造信息损失函数，克服了现有技术单模态在线哈希检索方法无法利用数据标签的问题，使得本发明与传统的单模态在线哈希检索方法相比检索精度更高。
第三，本发明在线有监督训练单模态哈希检索模型，在迭代优化的过程中无须存储大量历史数据，克服了现有技术消耗过多存储资源的问题，使得本发明具有速度快，占用存储资源更少的优点。
附图说明
图1为本发明的流程图；
图2为本发明仿真图。
具体实施方式
下面结合附图对本发明做进一步描述。
参照附图1，对本发明的具体步骤做进一步描述。
步骤1，生成初始训练集：
采集不少于50个图像样本或文本样本组成初始训练集，每个图像样本包含图像和其标签，每个文本样本包含文本和其标签。
利用样本转化方法，将初始训练集中的每个图像样本或文本样本转化成图像或文本信息矩阵。
所述的样本转化方法如下：
若初始训练集中的样本为图像样本，则将每张图像中每行的所有像素灰度值首尾相接相连，然后将所有行依次排列，组成一个图像信息矩阵。
若初始训练集中的样本为文本样本，则按照下述步骤，生成文本信息矩阵：
第1步，按照下式，计算初始训练集中的每个样本中同一文本的文本特征值。
其中，Hij表示初始训练集中的第i个样本中第j个文本的文本特征值，Kij表示初始训练集中的第i个样本中第j个文本出现的次数，Mi表示初始训练集中的第i个样本中所有文本的总数，log表示以10为底的对数操作，Lj表示第j个文本在初始训练集的所有样本中出现的次数，N表示初始训练集所有样本中的文本总数。
第2步，将初始训练集的每个样本中所有文本的文本特征值组成一个向量。
第3步，将初始训练集中所有样本向量，按照样本在初始训练集中的先后顺序依次排列，组成文本信息矩阵。
利用归一化公式，将图像或文本信息矩阵中的所有元素进行归一化处理，得到归一化后的图像或文本信息矩阵。
所述的归一化公式如下：
其中，Xij表示归一化后的图像或文本信息矩阵中第i行、第j列元素，Xij表示归一化前的图像或文本信息矩阵中第i行、第j列元素,Ximin表示归一化前的图像或文本信息矩阵中第i行中最小的一个元素，Ximax表示归一化前的图像或文本信息矩阵中第i行中最大的一个元素。
将归一化后的图像或文本信息矩阵存入到信息检索系统中。
步骤2，构建并在线有监督训练单模态哈希检索模型：
(2.1)信息检索系统在线实时获取不少于50个带标签的图像或文本样本，组成数据集，依次利用样本转化方法和归一化公式，对每个带标签的图像或文本样本进行预处理，得到归一化后的图像或文本信息矩阵。
所述的样本转化方法如下：
若初始训练集中的样本为图像样本，则将每张图像中每行的所有像素灰度值首尾相接相连，然后将所有行依次排列，组成一个图像信息矩阵。
若初始训练集中的样本为文本样本，则按照下述步骤，生成文本信息矩阵：
第1步，按照下式，计算初始训练集中的每个样本中同一文本的文本特征值。
其中，Hij表示初始训练集中的第i个样本中第j个文本的文本特征值，Kij表示初始训练集中的第i个样本中第j个文本出现的次数，Mi表示初始训练集中的第i个样本中所有文本的总数，log表示以10为底的对数操作，Lj表示第j个文本在初始训练集的所有样本中出现的次数，N表示初始训练集所有样本中的文本总数。
第2步，将初始训练集的每个样本中所有文本的文本特征值组成一个向量。
第3步，将初始训练集中所有样本向量，按照样本在初始训练集中的先后顺序依次排列，组成文本信息矩阵。
所述的归一化公式如下：
其中，Xij表示归一化后的图像或文本信息矩阵中第i行、第j列元素，Xij表示归一化前的图像或文本信息矩阵中第i行、第j列元素,Ximin表示归一化前的图像或文本信息矩阵中第i行中最小的一个元素，Ximax表示归一化前的图像或文本信息矩阵中第i行中最大的一个元素。
(2.2)在信息检索系统中创建一个大小为50的缓冲区。
(2.3)从数据集中任选一个未选过的图像或文本样本加入到缓冲区中。
(2.4)判断缓冲区中的图像或文本样本的总数是否大于50，若是，则删除缓冲区中的第一个图像或文本样本后执行本步骤的(2.5)，否则，执行本步骤的(2.3)。
(2.5)按照下式，确定由图像或文本样本的标签信息构造的相似度矩阵中的每个元素值：
其中，wpq表示相似度矩阵中第p行第q列的元素值，xs表示归一化后的图像或文本信息矩阵中的第s个样本，xf表示归一化后的图像或文本信息矩阵中的第f个样本，p和s的取值相等，q和f的取值相等。
步骤3，利用图正则化非负矩阵分解构造信息损失函数：
按照下式，将标签信息添加到非负矩阵分解的分解过程中，计算图正则化损失值：
F1＝Tr(VLVT)
其中，F1表示图正则化损失值，Tr表示矩阵迹操作，V表示分解矩阵，L表示由相似度矩阵减去相似度矩阵的对角矩阵得到的对角相似度矩阵，T表示对矩阵做转置操作。
按照下式，将图正则化添加到非负矩阵分解的分解过程中，构造基于图正则化非负矩阵分解损失函数：
其中，F2表示基于图正则化非负矩阵分解损失函数，||||F表示F范数操作，X表示归一化后的图像或文本信息矩阵，U表示基矩阵，V表示分解矩阵，λ表示偏置参数，λ的取值为10，Tr表示矩阵迹操作，L表示由相似度矩阵减去相似度矩阵的对角矩阵得到的对角相似度矩阵，T表示对矩阵做转置操作。
随机生成三个矩阵其中，U表示潜在语义矩阵，∈表示属于符号，R表示实数集，d1和d2分别表示取值为图像或文本信息矩阵的列数的潜在语义矩阵和投影矩阵的行数，d1和d2的取值对应相等，k1、k2和k3表示取值相等的哈希编码长度，其数值由用户从8bit，16bit，24bit，32bit，64bit，128bit的编码长度中随机选取的一个值，P表示投影矩阵，V表示哈希编码矩阵，T表示转置操作，d3表示取值为50的哈希编码矩阵的行数。
按照下式，构造包含潜在语义矩阵、哈希编码矩阵和投影矩阵的信息损失函数：
其中，F表示包含潜在语义矩阵、哈希编码矩阵和投影矩阵的信息损失函数，||||F表示F范数操作，X表示归一化后的信息矩阵，L表示对角相似度矩阵，λ、μ、γ表示用于平衡矩阵分解与矩阵映射之间权重关系的参数，λ的取值为10，μ的取值为0.1，γ的取值为0.001。
步骤4，获得最优投影矩阵和哈希编码：
(4.1)分别对当前的投影矩阵、潜在语义矩阵和哈希编码矩阵求一阶偏导，并令求导得到的一阶导数等于零，得到更新后的哈希编码矩阵、更新后的投影矩阵和更新后的潜在语义矩阵。
(4.2)将更新后的哈希编码矩阵、更新后的投影矩阵和更新后的潜在语义矩阵分别带入到信息损失函数中，得到更新后的信息损失函数值。
(4.3)判断更新后的信息损失函数值是否小于更新前的信息损失函数值，若是，则执行本步骤的(4.4)，否则，分别将更新后的哈希编码矩阵、投影矩阵和潜在语义矩阵作为当前的投影矩阵、潜在语义矩阵和哈希编码矩阵后执行本步骤的(4.1)。
(4.4)判断更新后的信息损失函数值减去更新前的信息损失函数值的差值是否小于0.001,若是，得到最优的投影矩阵、潜在语义矩阵和哈希编码矩阵后执行本步骤的(4.5)，否则，分别将更新后的哈希编码矩阵、投影矩阵和潜在语义矩阵作为当前的投影矩阵、潜在语义矩阵和哈希编码矩阵后执行本步骤的(4.1)。
(4.5)将最优的哈希编码矩阵中数值大于零的元素值设置为1，其余设置为0，得到哈希编码。
步骤5，生成待检索的图像或文本样本的哈希编码：
利用样本转化方法，将待检索的图像或文本样本转化成图像或文本信息矩阵。
所述的样本转化方法如下：
若初始训练集中的样本为图像样本，则将每张图像中每行的所有像素灰度值首尾相接相连，然后将所有行依次排列，组成一个图像信息矩阵。
若初始训练集中的样本为文本样本，则按照下述步骤，生成文本信息矩阵：
第1步，按照下式，计算初始训练集中的每个样本中同一文本的文本特征值。
其中，Hij表示初始训练集中的第i个样本中第j个文本的文本特征值，Kij表示初始训练集中的第i个样本中第j个文本出现的次数，Mi表示初始训练集中的第i个样本中所有文本的总数，log表示以10为底的对数操作，Lj表示第j个文本在初始训练集的所有样本中出现的次数，N表示初始训练集所有样本中的文本总数。
第2步，将初始训练集的每个样本中所有文本的文本特征值组成一个向量。
第3步，将初始训练集中所有样本向量，按照样本在初始训练集中的先后顺序依次排列，组成文本信息矩阵。
利用归一化公式，将图像或文本信息矩阵中的所有元素进行归一化处理，得到归一化后的图像或文本信息矩阵。
所述的归一化公式如下：
其中，Xij表示归一化后的图像或文本信息矩阵中第i行、第j列元素，Xij表示归一化前的图像或文本信息矩阵中第i行、第j列元素,Ximin表示归一化前的图像或文本信息矩阵中第i行中最小的一个元素，Ximax表示归一化前的图像或文本信息矩阵中第i行中最大的一个元素。
用待检索样本的图像或文本信息矩阵与最优投影矩阵相乘，得到待检索图像或文本样本的哈希编码矩阵。
将待检索图像或文本样本的哈希编码矩阵中数值大于零的元素值设置为1，其余设置为0，得到待检索的图像或文本样本的哈希编码。
步骤6，获取检索结果：
对待检索图像或文本样本的哈希编码与已有的图像或文本样本的哈希编码进行异或操作，得到汉明距离。
将数据库中存储的样本按照汉明距离的大小从小到大进行排序，将排序后的前50个样本作为检索结果。
本发明的效果可以通过以下仿真实验进一步说明：
1,仿真条件：
本发明仿真实验使用Matlab 2016b仿真软件，基于图正则化非负矩阵分解的在线单模态哈希检索方法的参数λ设为10，μ设为0.1，γ设为0.001，每次实验均重复独立运行4次，求其平均值作为最终结果,哈希编码长度k设置为16bit，32bit，64bit，128bit分别进行实验。
2,仿真内容与结果分析：
本发明的仿真实验是将CIFAR10数据库(Alex Krizhevsky、Vinod Nair和Geoffreff Hinton收集的一个用于图像识别的数据集，加拿大高级研究所，2009)中的图像数据集划分为训练数据集和测试数据集，然后分别采用本发明方法和现有技术监督在线单模态哈希检索方法OSH(Cong Leng,Jiaxiang Wu,Jian Cheng,Xiao Bai,Hanqing Lufa在其发表的论文“Online Sketching Hashing”国际计算机视觉和模式识别会议，2015)利用训练数据集训练其各自构建的哈希检索模型，再将测试数据集作为待检索样本测试训练好的模型的性能。
为了验证本发明的仿真实验的效果，分别计算了当哈希编码长度为16bit、32bit、64bit、128bit时，采用本发明方法和现有技术中监督在线单模态哈希检索方法OSH建立的信息检索模型进行检索的平均精度均值，将计算出的平均精度均值用折线连接，得到平均精度均值曲线，如图2所示。其中，图2中的横坐标表示哈希编码长度，纵坐标表示检索的平均精度均值。
图(2)为由图像信息检索图像信息所得到结果的平均精度均值曲线图。图(2)中以空心圆形标示的曲线表示采用本发明方法进行检索计算得到的平均精度均值曲线，以空心正方形标示是采用传统监督在线单模态哈希检索方法OSH进行检索得到的平均精度均值曲线。
由图(2)的仿真结果可见，采用本发明方法建立的信息检索模型进行检索得到的平均精度均值曲线，高于采用传统无监督在线单模态哈希检索方法OSH进行检索得到的平均精度均值曲线。由此可见，采用本发明方法进行信息检索准确性显著优于传统监督在线单模态哈希检索方法OSH。所以，与现有技术相比，本发明能有效对在线实时有标签数据进行模型的建立和更新，显著提高了信息检索系统的检索准确性。

Claims (3)

1.一种基于图正则化非负矩阵分解的在线单模态哈希检索方法，其特征在于，在线实时获取有标签图像或文本数据，利用图正则化非负矩阵分解构造信息损失函数，在线有监督训练单模态哈希检索模型，该方法的具体步骤包括如下：
(1)生成初始训练集：
(1a)采集不少于50个图像样本或文本样本组成初始训练集，每个图像样本包含图像和其标签，每个文本样本包含文本和其标签；
(1b)利用样本转化方法，将初始训练集中的每个图像样本或文本样本转化成图像或文本信息矩阵；
(1c)利用归一化公式，将图像或文本信息矩阵中的所有元素进行归一化处理，得到归一化后的图像或文本信息矩阵；
(1d)将归一化后的图像或文本信息矩阵存入到信息检索系统中；
(2)在线有监督训练单模态哈希检索模型：
(2a)信息检索系统在线实时获取不少于50个带标签的图像或文本样本，组成数据集，依次利用样本转化方法和归一化公式，对每个带标签的图像或文本样本进行预处理，得到归一化后的图像或文本信息矩阵；
(2b)在信息检索系统中创建一个大小为50的缓冲区；
(2c)从数据集中任选一个未选过的图像或文本样本加入到缓冲区中；
(2d)判断缓冲区中的图像或文本样本的总数是否大于50，若是，则删除缓冲区中的第一个图像或文本样本后执行步骤(2e)，否则，执行步骤(2c)；
(2e)按照下式，确定由图像或文本样本的标签信息构造的相似度矩阵中的每个元素值：
其中，wpq表示相似度矩阵中第p行第q列的元素值，xs表示归一化后的图像或文本信息矩阵中的第s个样本，xf表示归一化后的图像或文本信息矩阵中的第f个样本，p和s的取值相等，q和f的取值相等；
(3)利用图正则化非负矩阵分解构造信息损失函数：
(3a)按照下式，将标签信息添加到非负矩阵分解的分解过程中，计算图正则化损失值：
F1＝Tr(VLVT)
其中，F1表示图正则化损失值，Tr表示矩阵迹操作，V表示分解矩阵，L表示由相似度矩阵减去相似度矩阵的对角矩阵得到的对角相似度矩阵，T表示对矩阵做转置操作；
(3b)按照下式，将图正则化添加到非负矩阵分解的分解过程中，构造基于图正则化非负矩阵分解损失函数：
其中，F2表示基于图正则化非负矩阵分解损失函数，|| ||F表示F范数操作，X表示归一化后的图像或文本信息矩阵，U表示基矩阵，V表示分解矩阵，λ表示偏置参数，λ的取值为10，Tr表示矩阵迹操作，L表示由相似度矩阵减去相似度矩阵的对角矩阵得到的对角相似度矩阵，T表示对矩阵做转置操作；
(3c)随机生成三个矩阵其中，U表示潜在语义矩阵，∈表示属于符号，R表示实数集，d1和d2分别表示取值为图像或文本信息矩阵的列数的潜在语义矩阵和投影矩阵的行数，d1和d2的取值对应相等，k1、k2和k3表示取值相等的哈希编码长度，其数值由用户从8bit，16bit，24bit，32bit，64bit，128bit的编码长度中随机选取的一个值，P表示投影矩阵，V表示哈希编码矩阵，T表示转置操作，d3表示取值为50的哈希编码矩阵的行数；
(3d)按照下式，构造包含潜在语义矩阵、哈希编码矩阵和投影矩阵的信息损失函数：
其中，F表示包含潜在语义矩阵、哈希编码矩阵和投影矩阵的信息损失函数，|| ||F表示F范数操作，X表示归一化后的信息矩阵，L表示对角相似度矩阵，λ、μ、γ表示用于平衡矩阵分解与矩阵映射之间权重关系的参数，λ的取值为10，μ的取值为0.1，γ的取值为0.001；
(4)获得最优投影矩阵和哈希编码：
(4a)分别对当前的投影矩阵、潜在语义矩阵和哈希编码矩阵求一阶偏导，并令求导得到的一阶导数等于零，得到更新后的哈希编码矩阵、更新后的投影矩阵和更新后的潜在语义矩阵；
(4b)将更新后的哈希编码矩阵、更新后的投影矩阵和更新后的潜在语义矩阵分别带入到信息损失函数中，得到更新后的信息损失函数值；
(4c)判断更新后的信息损失函数值是否小于更新前的信息损失函数值，若是，则执行步骤(4d)，否则，分别将更新后的哈希编码矩阵、投影矩阵和潜在语义矩阵作为当前的投影矩阵、潜在语义矩阵和哈希编码矩阵后执行步骤(4a)；
(4d)判断更新后的信息损失函数值减去更新前的信息损失函数值的差值是否小于0.001,若是，得到最优的投影矩阵、潜在语义矩阵和哈希编码矩阵后执行步骤(4e)，否则，分别将更新后的哈希编码矩阵、投影矩阵和潜在语义矩阵作为当前的投影矩阵、潜在语义矩阵和哈希编码矩阵后执行步骤(4a)；
(4e)将最优的哈希编码矩阵中数值大于零的元素值设置为1，其余设置为0，得到哈希编码；
(5)生成待检索的图像或文本样本的哈希编码：
(5a)利用样本转化方法，将待检索的图像或文本样本转化成图像或文本信息矩阵；
(5b)利用归一化公式，将图像或文本信息矩阵中的所有元素进行归一化处理，得到归一化后的图像或文本信息矩阵；
(5c)用待检索样本的图像或文本信息矩阵与最优投影矩阵相乘，得到待检索图像或文本样本的哈希编码矩阵；
(5d)将待检索图像或文本样本的哈希编码矩阵中数值大于零的元素值设置为1，其余设置为0，得到待检索的图像或文本样本的哈希编码；
(6)获取检索结果：
(6a)对待检索图像或文本样本的哈希编码与已有的图像或文本样本的哈希编码进行异或操作，得到汉明距离；
(6b)将数据库中存储的样本按照汉明距离的大小从小到大进行排序，将排序后的前50个样本作为检索结果。
2.根据权利要求1所述的基于图正则化非负矩阵分解的在线单模态哈希检索方法，其特征在于：步骤(1b)、步骤(2a)、步骤(5a)中所述的样本转化方法如下：
若初始训练集中的样本为图像样本，则将每张图像中每行的所有像素灰度值首尾相接相连，然后将所有行依次排列，组成一个图像信息矩阵；
若初始训练集中的样本为文本样本，则按照下述步骤，生成文本信息矩阵：
第一步，按照下式，计算初始训练集中的每个样本中同一文本的文本特征值；
其中，Hij表示初始训练集中的第i个样本中第j个文本的文本特征值，Kij表示初始训练集中的第i个样本中第j个文本出现的次数，Mi表示初始训练集中的第i个样本中所有文本的总数，log表示以10为底的对数操作，Lj表示第j个文本在初始训练集的所有样本中出现的次数，N表示初始训练集所有样本中的文本总数；
第二步，将初始训练集的每个样本中所有文本的文本特征值组成一个向量；
第三步，将初始训练集中所有样本向量，按照样本在初始训练集中的先后顺序依次排列，组成文本信息矩阵。
3.根据权利要求1所述的基于图正则化非负矩阵分解的在线单模态哈希检索方法，其特征在于：步骤(1c)、步骤(2a)、步骤(5b)中所述的归一化公式如下：
其中，Xij表示归一化后的图像或文本信息矩阵中第i行、第j列元素，Xij表示归一化前的图像或文本信息矩阵中第i行、第j列元素,Ximin表示归一化前的图像或文本信息矩阵中第i行中最小的一个元素，Ximax表示归一化前的图像或文本信息矩阵中第i行中最大的一个元素。
CN201910635330.0A 2019-07-15 2019-07-15 基于图正则化非负矩阵分解的在线单模态哈希检索方法 Pending CN110516026A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910635330.0A CN110516026A (zh) 2019-07-15 2019-07-15 基于图正则化非负矩阵分解的在线单模态哈希检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910635330.0A CN110516026A (zh) 2019-07-15 2019-07-15 基于图正则化非负矩阵分解的在线单模态哈希检索方法

Publications (1)

Publication Number Publication Date
CN110516026A true CN110516026A (zh) 2019-11-29

Family

ID=68623214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910635330.0A Pending CN110516026A (zh) 2019-07-15 2019-07-15 基于图正则化非负矩阵分解的在线单模态哈希检索方法

Country Status (1)

Country Link
CN (1) CN110516026A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126169A (zh) * 2019-12-03 2020-05-08 重庆邮电大学 基于正交化的图正则非负矩阵分解的人脸识别方法及系统
CN111144463A (zh) * 2019-12-17 2020-05-12 中国地质大学（武汉） 一种基于残差子空间聚类网络的高光谱图像聚类方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106202413A (zh) * 2016-07-11 2016-12-07 北京大学深圳研究生院 一种跨媒体检索方法
CN106777318A (zh) * 2017-01-05 2017-05-31 西安电子科技大学 基于协同训练的矩阵分解跨模态哈希检索方法
CN108334574A (zh) * 2018-01-23 2018-07-27 南京邮电大学 一种基于协同矩阵分解的跨模态检索方法
CN109766481A (zh) * 2019-01-11 2019-05-17 西安电子科技大学 基于协同矩阵分解的在线哈希跨模态信息检索方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106202413A (zh) * 2016-07-11 2016-12-07 北京大学深圳研究生院 一种跨媒体检索方法
CN106777318A (zh) * 2017-01-05 2017-05-31 西安电子科技大学 基于协同训练的矩阵分解跨模态哈希检索方法
CN108334574A (zh) * 2018-01-23 2018-07-27 南京邮电大学 一种基于协同矩阵分解的跨模态检索方法
CN109766481A (zh) * 2019-01-11 2019-05-17 西安电子科技大学 基于协同矩阵分解的在线哈希跨模态信息检索方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DI WANG ET AL.: "label consistent matrix factorizarion hashing for large-scale cross-modal similarity search", 《IEEE》 *
HONG LIU ET AL.: "Supervised Matrix Factorization for Cross-Modality Hashing", 《PROCEEDINGS OF THE TWENTY-FIFTH INTERNATIONAL JOINT CONFERENCE ON ARTIFICIAL INTELLIGENCE》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126169A (zh) * 2019-12-03 2020-05-08 重庆邮电大学 基于正交化的图正则非负矩阵分解的人脸识别方法及系统
CN111126169B (zh) * 2019-12-03 2022-08-30 重庆邮电大学 基于正交化的图正则非负矩阵分解的人脸识别方法及系统
CN111144463A (zh) * 2019-12-17 2020-05-12 中国地质大学（武汉） 一种基于残差子空间聚类网络的高光谱图像聚类方法
CN111144463B (zh) * 2019-12-17 2024-02-02 中国地质大学（武汉） 一种基于残差子空间聚类网络的高光谱图像聚类方法

Similar Documents

Publication Publication Date Title
CN110298037B (zh) 基于增强注意力机制的卷积神经网络匹配的文本识别方法
CN107122375B (zh) 基于图像特征的图像主体的识别方法
CN109918491B (zh) 一种基于知识库自学习的智能客服问句匹配方法
CN111666427B (zh) 一种实体关系联合抽取方法、装置、设备及介质
CN112231447B (zh) 一种中文文档事件抽取的方法和系统
CN111753189A (zh) 一种少样本跨模态哈希检索共同表征学习方法
CN113312501A (zh) 基于知识图谱的安全知识自助查询系统的构建方法及装置
CN112199532B (zh) 一种基于哈希编码和图注意力机制的零样本图像检索方法及装置
CN110941734B (zh) 基于稀疏图结构的深度无监督图像检索方法
CN112732864B (zh) 一种基于稠密伪查询向量表示的文档检索方法
CN111078847A (zh) 电力用户意图识别方法、装置、计算机设备和存储介质
CN110134946A (zh) 一种针对复杂数据的机器阅读理解方法
CN109376796A (zh) 基于主动半监督学习的图像分类方法
CN109766481A (zh) 基于协同矩阵分解的在线哈希跨模态信息检索方法
CN112052684A (zh) 电力计量的命名实体识别方法、装置、设备和存储介质
CN110046356B (zh) 标签嵌入的微博文本情绪多标签分类方法
CN111125411A (zh) 一种深度强相关哈希学习的大规模图像检索方法
CN110909881B (zh) 一种面向跨媒体知识推理任务的知识表示方法
CN115344693B (zh) 一种基于传统算法和神经网络算法融合的聚类方法
CN115563314A (zh) 多源信息融合增强的知识图谱表示学习方法
CN110516026A (zh) 基于图正则化非负矩阵分解的在线单模态哈希检索方法
CN115130538A (zh) 文本分类模型的训练方法、文本处理的方法、设备及介质
CN115147849A (zh) 字符编码模型的训练方法、字符匹配方法和装置
CN116127065A (zh) 一种简单易用的增量学习文本分类方法及系统
CN112632406B (zh) 查询方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191129

RJ01 Rejection of invention patent application after publication