CN112528065B - 一种流形相似度保持自编码器的医学超声图像检索方法 - Google Patents

一种流形相似度保持自编码器的医学超声图像检索方法 Download PDF

Info

Publication number
CN112528065B
CN112528065B CN202011496971.1A CN202011496971A CN112528065B CN 112528065 B CN112528065 B CN 112528065B CN 202011496971 A CN202011496971 A CN 202011496971A CN 112528065 B CN112528065 B CN 112528065B
Authority
CN
China
Prior art keywords
encoder
hash code
decoder
similarity
manifold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011496971.1A
Other languages
English (en)
Other versions
CN112528065A (zh
Inventor
曾宪华
唐红梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Kangyitong Technology Co ltd
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202011496971.1A priority Critical patent/CN112528065B/zh
Publication of CN112528065A publication Critical patent/CN112528065A/zh
Application granted granted Critical
Publication of CN112528065B publication Critical patent/CN112528065B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明请求保护一种流形相似度保持自编码器的医学超声图像检索方法，包括：首先，遵循局部不变性思想，利用基于监督信息的拉普拉斯特征映射算法获得原始数据的最优低维嵌入，使得其类内差异小于类间差异，并将其阈值化生成保持同样特性的二进制编码；再通过约束该编码与自编码器生成的哈希编码的汉明相似度，使得自编码器模型在提供强大表征能力的同时保持局部结构相似性不变，由此学习到泛化能力强的哈希函数。本方法的实现，能够使得模型生成的哈希编码最大程度保持原始数据的局部流形结构相似信息，从而大大提高大规模图像检索的速度及准确度，辅助医疗诊断，提升医生的工作效率，降低医疗成本。

Description

一种流形相似度保持自编码器的医学超声图像检索方法
技术领域
本发明属于医学图像处理领域，具体为结合基于监督信息的拉普拉斯特征映射算法和自编码器模型实现医学超声图像哈希检索。
背景技术
近些年来，随着互联网的迅速发展，各种pc端和移动终端个性化，造成数据存储媒体及存储形式多种多样，每天所产生的数据高达数百万。人们的需求也日益多样化，如何从大规模的数据中快速高效地提取有效信息，这是目前急需解决的问题。哈希学习方法在处理大规模数据时非常高效，且占用的存储空间相对较小，因此近年来成为了众多学者的研究热点。哈希学习旨在将原始空间高维的数据转换成低维二进制编码，使得原始空间相似的数据在映射到汉明空间后仍然相似，从而大大提高检索效率。
基于自编码器的哈希算法被应用于图像检索、文本检索、视频检索、跨模态检索等领域。自编码器哈希模型将哈希编码重构回输入空间，通过最小化重构损失，使得哈希编码尽可能保留原始输入的重要信息。然而，仅考虑重构误差往往不能达到好的效果，不能保证映射到汉明空间的哈希编码保持了原始输入的局部几何结构分布，这不利于学习到泛化能力强的哈希函数。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种能使得学习到的哈希编码保持局部流形结构信息，从而提高检索准确度及速度的图像检索方法。本发明的技术方案如下：
1)、提取超声图像训练集中每一幅图像的SIFT特征，按照标签相同的图像对之间距离小于标签不同图像对之间的距离，构造标签约束的欧氏距离矩阵。
2)、通过转换后求得的距离求解样本邻域，计算流形相似度，将其作为边的权重矩阵构造最近邻图，计算拉普拉斯矩阵。
3)、通过拉普拉斯特征值映射并对低维嵌入阈值化，获得样本的最优初始哈希编码，该哈希编码能够很好地保持原始数据的局部流形结构相似信息。
4)、利用局部不变性思想，在自编码器生成的哈希编码与上述生成的最优初始哈希编码间构建流形相似度保持的损失，以及在原输入与解码器对原输入的重构间构建重构损失。
5)、引入编码器生成的哈希编码作为中间变量，采用交替优化策略，将自编码器模型的训练过程分为三个独立的子步骤：优化编码器，重复直到达到预设的编码长度；求解线性回归函数优化解码器；优化每个样本对应的哈希编码。
本发明的优点及有益效果如下：
本发明创新点：1)拉普拉斯特征映射算法与监督信息相结合。原始的拉普拉斯特征映射算法在求解样本邻域，计算流形相似度时利用原始欧式距离求解近邻域，没有考虑标签信息，然而这些类标签信息对于提取到鉴别性好的特征是很重要的。本发明利用标签对原始欧式距离进行转换，使得样本类内差异小于类间差异，获得原始输入的最优低维表示，将其阈值化得到保持局部流形结构相似信息的哈希编码。2)将局部不变性约束实现到自编码器中。原始的自编码器只考虑了重构误差，不能保证映射到汉明空间的哈希编码保持原始输入的局部流形结构信息，不利于学习高质量的哈希函数。本发明通过约束自编码器生成的哈希编码与1)中所述哈希编码的汉明距离，使得自编码器生成的哈希编码同样尽可能保持局部邻域结构不变，以学习到泛化能力更强的哈希函数。
附图说明
图1是本发明提供优选实施例的算法框架图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
取若干医学超声图像，对其提取特征作为模型的输入。将拉普拉斯特征映射算法与监督信息相结合，利用标签对原始欧式距离进行转换，使得类内差异小于类间差异。通过转换后的距离求解样本邻域，计算流形相似度，将其作为边的权重构造最近邻图，求得图拉普拉斯矩阵。进行广义特征值分解获得原始输入的最优低维表示，将其阈值化得到保持局部流形结构相似信息的二进制编码。构建模型损失函数，模型总损失由流形相似度保持的损失及重构损失构成。引入编码器生成的哈希编码作为中间变量，采用交替优化策略交替优化编码器、解码器以及中间变量哈希编码。保存学习到的哈希函数及映射得到的图像数据库对应的哈希编码库。当用户输入一幅新的图像时，返回与之对应最近的k幅图像给用户。
下面将详细说明本发明的技术方案：
一种流形相似度保持自编码器的医学超声图像检索方法，包括：
提取超声图像训练集中每一幅图像的SIFT特征，按照标签相同的图像对之间距离小于标签不同图像对之间的距离，构造标签约束的欧氏距离矩阵。
通过转换后求得的距离求解样本邻域，计算流形相似度，将其作为边的权重矩阵构造最近邻图，计算拉普拉斯矩阵。
通过拉普拉斯特征值映射并对低维嵌入阈值化，获得样本的最优初始哈希编码，该哈希编码能够很好地保持原始数据的局部流形结构相似信息。
利用局部不变性思想，在自编码器生成的哈希编码与上述生成的哈希编码间构建流形相似度保持的损失，以及在原输入与解码器对原输入的重构间构建重构损失；
引入编码器生成的哈希编码作为中间变量，采用交替优化策略，将自编码器模型的训练过程分为三个独立的子步骤：优化编码器，重复直到达到预设的编码长度；求解线性回归函数优化解码器；优化每个样本对应的哈希编码。
进一步的，所述利用标签对欧式距离进行转换，试图最大化类间距离，使得类内差异小于类间差异，公式如下：
Figure BDA0002842464040000031
其中，yi＝yj，yi≠yj分别为标签相同、标签不同两种情况，
Figure BDA0002842464040000032
为医学超声图像的特征数据集，
Figure BDA0002842464040000033
表示X里每个数据点的取值是常数，M表示每个数据点的维度，N为数据样本个数，dist(xi,xj)代表数据样本xi和xj之间的欧式距离，λ和η为常量，η用于避免因dist(xi,xj)较大导致Dist(xi,xj)增长过快，λ使得不同类别的数据样本也可能相似。
进一步的，其所述通过高斯核函数对最近邻图中任意两点间的权重Sij赋值。原始拉普拉斯特征映射算法通过欧式距离求解邻域，该步骤通过转换后的距离Dist来求解邻域。求解样本邻域，计算权重矩阵S及图拉普拉斯矩阵L的公式分别为：
Figure BDA0002842464040000034
其中，Np(xj)、Np(xi)分别代表数据样本xi和xj的邻域，τ是热核带宽参数。Sij代表最近邻图中数据样本xi和xj间的权重，也就是流形相似度S矩阵中每个元素值的求解方式。
L＝D-S
其中，
Figure BDA0002842464040000035
为对角矩阵，
Figure BDA0002842464040000036
D是一个只有主对角线元素大于0的矩阵，
Figure BDA0002842464040000037
代表矩阵D对角线上的第n个元素，即将矩阵S的第n行所有列相加。
进一步的，其所述通过广义特征值分解，获得样本的最优低维嵌入F及最优哈希编码F'，该编码能够很好地保持原始数据的流形结构相似信息。
为使得低维嵌入保持原始输入的局部相似性关系，通过最小化以下目标函数来实现：
Figure BDA0002842464040000038
其中，
Figure BDA0002842464040000039
为X的低维表示，C为编码长度。
通过一定的公式推导，可将上式转换为广义特征值分解问题：
Figure BDA00028424640400000310
其中，Fc.(c＝1,2,...,C)为特征值λc对应的特征向量。
通过对D-1L进行特征分解，取C个非零最小特征值对应的特征向量作为降维后的F，并通过阈值化将其转换为哈希编码F'。
进一步的，其所述利用局部不变性思想，在自编码器生成的哈希编码与上述哈希编码F'间构建流形相似度保持的损失，以及在原输入与解码器对原输入的重构间构建重构损失。因此模型损失函数为：
Figure BDA0002842464040000041
其中，Lresco为重构误差，Lmsp为编码器e(·)对X编码输出的哈希编码矩阵e(X)的流形相似度保持的误差，用来约束汉明空间哈希编码的空间结构，e(·)代表编码器，d(·)代表解码器，α为权重因子。
然而，上式是一个嵌套函数，导致模型的优化过程较为复杂。
因此，采用辅助变量法和交替优化策略训练模型。引入哈希编码Z＝(z1,z2,...,zN)∈{0,1}C×N作为辅助变量，将其作为编码器的编码标签，将该嵌套函数问题转化为三个独立的子问题：交替优化编码器e(x)、解码器d(z)和哈希编码Z。改进后模型的损失函数定义为L(e,d,X,Z,F；α,β)：
Figure BDA0002842464040000042
其中，Lcoding为编码误差，同样地，L'resco为重构误差，L'msp为Z的流形相似度保持的误差，α，β为权重因子。
进一步的，其所述引入编码器生成的哈希编码作为中间变量，将模型的训练过程简化为三个子步骤。
首先，固定哈希编码Z和解码器d，优化编码器e。
编码器e(x)将高维输入
Figure BDA0002842464040000043
映射成低维的C维哈希编码向量ex＝{0,1}C。编码器e(x)以ex＝z为训练目标，也即实现：
Figure BDA0002842464040000044
由于zn和e(xn)是二进制编码，因此||·||2计算的是汉明距离。编码器e(x)对每一个数据样本xn(n＝1,2,...,N)编码得到exn，对于exn每一位的编码，都为一个二分类(取值0,1)问题。因此该步骤计算的是错误分类的比特数。将辅助变量Zc.＝(zc1,...,zcn,...,zcN)(c＝1,2,...,C)作为分类标签，通过线性SVM分类器来拟合(X,Zc.)，学习到线性分类器ec(c＝1,2,...,C)，即所需的哈希函数。
其次，固定哈希编码Z和编码器e，优化解码器d。
解码器d的求解是一个简单的线性回归问题：
d(z)＝WZ+b
其中，
Figure BDA0002842464040000047
为解码器参数，
Figure BDA0002842464040000046
代表b是一个M维的向量，C为编码长度。
解码器对哈希编码zn进行重构，得到原始输入xn的重构向量x'n。优化解码器过程中，通过最小化重构误差，使得重构向量x'n趋于xn，从而得到最优的解码器。
Figure BDA0002842464040000051
在解码器的求解过程中，忽略解码器的偏差b。解码器的最优解W可通过以下矩阵变换求得：
W＝XZT(ZZT)-1
最后，固定编码器e和解码器d，优化哈希编码Z。
在优化哈希编码Z这一步骤，可将整个优化过程分为N个独立的问题，即求得N个数据样本xn(n＝1,2,...,N)对应的最优哈希编码zn(n＝1,2,...,N)。前面已经提到，在模型训练开始通过ITQ初始化哈希编码Z，因此最初哈希编码Z与编码器e(X)的输出并不相等。在为N个样本求得最优哈希编码时，其优化目标为(简单起见，此处省略下标)：
l(e,d,x,z,f；ω)＝lresco+lcoding+lmsp＝||x-d(z)||2+α||z-e(x)||2+β||z-sgn(f)||2
重复上述三个子步骤直到模型收敛，保存学习到的哈希函数，并将图像数据库中的图像映射为哈希编码，即所需的哈希编码库。当用户输入一幅新的图像时，通过编码器映射得到对应的哈希编码，通过汉明距离排序检索得到与之最近的k个哈希编码，并将对应最近的k幅图像返回给用户。
步骤一：利用标签转换原始欧式距离
按照标签相同的图像对之间距离小于标签不同图像对之间的距离，构造标签约束的欧氏距离矩阵，公式为
Figure BDA0002842464040000052
其中，
Figure BDA0002842464040000053
为医学超声图像的特征数据集，N为数据样本个数，M代表每个数据点的维度，
Figure BDA0002842464040000054
代表X里面每个数据样本的取值是常数，dist(xi,xj)代表数据样本xi和数据样本xj之间的欧式距离，η用于避免因dist(xi,xj)较大导致Dist(xi,xj)增长过快，λ使得不同类别的数据样本也可能相似。
步骤二：构造近邻图，求解图拉普拉斯矩阵
通过高斯核函数对最近邻图中任意两点间的权重Sij赋值。原始拉普拉斯特征映射算法通过欧式距离求解邻域，该步骤通过转换后的距离Dist来求解邻域。求解样本邻域，计算权重矩阵S及图拉普拉斯矩阵L的公式分别为：
Figure BDA0002842464040000055
其中，Np(xj)、Np(xi)分别代表数据样本xi和xj的邻域，τ是热核带宽参数。
L＝D-S
其中，
Figure BDA0002842464040000061
为对角矩阵，
Figure BDA0002842464040000062
步骤三：进行广义特征值分解，获得初始哈希编码
通过广义特征值分解，获得样本的最优低维嵌入F及最优哈希编码F'，该编码能够很好地保持原始数据的流形结构相似信息。
为使得低维嵌入保持原始输入的局部相似性关系，通过最小化以下目标函数来实现：
Figure BDA0002842464040000063
其中，
Figure BDA0002842464040000064
为X的低维表示，C为编码长度。
通过一定的公式推导，可将上式转换为广义特征值分解问题：
Figure BDA0002842464040000065
其中，Fc.(c＝1,2,C)为特征值λc对应的特征向量。
通过对D-1L进行特征分解，取C个非零最小特征值对应的特征向量作为降维后的F，并通过阈值化将其转换为哈希编码F'。
步骤四：构建模型损失函数
利用局部不变性思想，在自编码器生成的哈希编码与步骤三中所生成的哈希编码F'间构建流形相似度保持的损失，以及在原输入与解码器对原输入的重构间构建重构损失。因此模型损失函数为：
Figure BDA0002842464040000066
其中，Lresco为重构误差，Lmsp为编码器e(·)对X编码输出的哈希编码矩阵e(X)的流形相似度保持的误差，用来约束汉明空间哈希编码的空间结构，e(x)代表编码器，d(z)代表解码器，α为权重因子，代表着流形相似度保持的误差在总损失中所占的权重。
然而，上式是一个嵌套函数，导致模型的优化过程较为复杂。
因此，采用辅助变量法和交替优化策略训练模型。引入哈希编码Z＝(z1,z2,...,zN)∈{0,1}C×N作为辅助变量，将其作为编码器的编码标签，将该嵌套函数问题转化为三个独立的子问题：交替优化编码器e(x)、解码器d(z)和哈希编码Z。改进后模型的损失函数定义为L(e,d,X,Z,F；α,β)：
Figure BDA0002842464040000067
其中，Lcoding为编码误差，同样地，L'resco为重构误差，L'msp为Z的流形相似度保持的误差，α，β为权重因子，代表着编码误差和流形相似度保持的误差在总损失中所占的权重。
步骤五：交替优化编码器、解码器、哈希编码
引入编码器生成的哈希编码作为中间变量，将模型的训练过程简化为三个步骤。
首先，固定哈希编码Z和解码器d，优化编码器e。
编码器e(x)将高维输入
Figure BDA0002842464040000071
映射成低维的C维哈希编码向量ex＝{0，1}C。编码器e(x)以ex＝z为训练目标，也即实现：
Figure BDA0002842464040000072
由于zn和e(xn)是二进制编码，因此||·||2计算的是汉明距离。编码器e(x)对每一个数据样本xn(n＝1,2,...,N)编码得到exn，对于exn每一位的编码，都为一个二分类(取值0,1)问题。因此该步骤计算的是错误分类的比特数。将辅助变量Zc.＝(zc1,...,zcn,...,zcN)(c＝1,2,...,C)作为分类标签，通过线性SVM分类器来拟合(X,Zc.)，学习到线性分类器ec(c＝1,2,...,C)，即所需的哈希函数。
其次，固定哈希编码Z和编码器e，优化解码器d。
解码器d的求解是一个简单的线性回归问题：
d(z)＝WZ+b
其中，
Figure BDA0002842464040000073
为解码器参数。
解码器对哈希编码zn进行重构，得到原始输入xn的重构向量x'n。优化解码器过程中，通过最小化重构误差，使得重构向量x'n趋于xn，从而得到最优的解码器。
Figure BDA0002842464040000074
在解码器的求解过程中，忽略解码器的偏差b。解码器的最优解W可通过以下矩阵变换求得：
W＝XZT(ZZT)-1
最后，固定编码器e和解码器d，优化哈希编码Z。
在优化哈希编码Z这一步骤，可将整个优化过程分为N个独立的问题，即求得N个数据样本xn(n＝1,2,...,N)对应的最优哈希编码zn(n＝1,2,...,N)。前面已经提到，在模型训练开始通过ITQ初始化哈希编码Z，因此最初哈希编码Z与编码器e(X)的输出并不相等。在为N个样本求得最优哈希编码时，其优化目标为(简单起见，此处省略下标)：
l(e,d,x,z,f；ω)＝lresco+lcoding+lmsp＝||x-d(z)||2+α||z-e(x)||2+β||z-sgn(f)||2
步骤六：保存模型，构建哈希编码库
保存学习到的哈希函数，并将图像数据库中的图像映射为哈希编码，即所需的哈希编码库。
步骤七：检索图像
当用户输入一幅新的图像时，通过编码器映射得到对应的哈希编码，通过汉明距离排序检索得到与之最近的k个哈希编码，并将对应最近的k幅图像返回给用户。
综上所述，本发明的创新和优势：
本发明提出的一种流形相似度保持自编码器的医学超声图像检索方法，将拉普拉斯特征映射算法与标签信息相结合，生成保持流形相似度信息的哈希编码；
本发明提出的一种流形相似度保持自编码器的医学超声图像检索方法，通过约束编码器生成哈希编码与上述监督拉普拉斯特征映射生成的哈希编码间的汉明距离，将局部不变性约束实现到自编码器模型中；
本发明提出的一种流形相似度保持自编码器的医学超声图像检索方法，步骤简单，便于操作；
本发明提出的一种流形相似度保持自编码器的医学超声图像检索方法，能够提升检索精度与速度，具有重要的实际意义。
显然，以上所述为本发明的较佳实例，并不用于限定本发明的保护范围。凡在本发明的原则之内，任何熟悉本领域的技术人员作出的修改、同等替换和改进，都应视为包含在本发明的保护范围内。
[1]Carreira-Perpinán M A,Raziperchikolaei R.Hashing with binaryautoencoders[C]//Proceedings of the IEEE Conference on Computer Vision andPattern Recognition.Boston,MA,USA 2015:557-566.
[2]Liu W,Wang J,Ji R,et al.Supervised hashing with kernels[C]//2012IEEE Conference on Computer Vision and Pattern Recognition.Providence,Rhode Island,USA,2012:2074-2081.
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (8)

1.一种流形相似度保持自编码器的医学超声图像检索方法，其特征在于，包括以下步骤：
1)、提取超声图像训练集中每一幅图像的SIFT特征，按照标签相同的图像对之间距离小于标签不同图像对之间的距离，构造标签约束的欧氏距离矩阵，利用标签对欧式距离进行转换，以最大化类间距离，使得类内差异小于类间差异；具体公式为
Figure FDA0003834922620000011
其中，
Figure FDA0003834922620000012
为医学超声图像的特征数据集，N为数据样本个数，dist(xi,xj)代表数据样本xi和数据样本xj之间的欧式距离，λ和η为常量；
2)、通过步骤1)转换后的距离求解样本邻域，计算流形相似度，将其作为边的权重矩阵构造最近邻图，计算拉普拉斯矩阵；
3)、通过拉普拉斯特征值映射并对低维嵌入阈值化，获得样本的最优初始哈希编码，该哈希编码能够很好地保持原始数据的局部流形结构相似信息；
4)、利用局部不变性思想，在自编码器生成的哈希编码与步骤3)中生成的最优初始哈希编码间构建流形相似度保持的损失，以及在原输入与解码器对原输入的重构间构建重构损失；
5)、引入编码器生成的哈希编码作为中间变量，采用交替优化策略，将自编码器模型的训练过程分为三个独立的子步骤：优化编码器，重复直到达到预设的编码长度；求解线性回归函数优化解码器；优化每个样本对应的哈希编码。
2.根据权利要求1所述一种流形相似度保持自编码器的医学超声图像检索方法，其特征在于：所述步骤2)中通过高斯核函数对最近邻图中任意两点间的权重赋值，采用步骤1)转换后的距离Dist来求解邻域，计算权重矩阵S及图拉普拉斯矩阵L的公式分别为：
Figure FDA0003834922620000013
其中，Np(xj)、Np(xi)分别代表数据样本xi和xj的邻域，τ是热核带宽参数；L＝D-S
其中，
Figure FDA0003834922620000014
为对角矩阵，
Figure FDA0003834922620000015
3.根据权利要求1所述一种流形相似度保持自编码器的医学超声图像检索方法，其特征在于：所述步骤3)中为使得低维嵌入保持原始输入的局部相似性关系，通过最小化以下目标函数来实现：
Figure FDA0003834922620000016
其中，
Figure FDA0003834922620000021
为X的低维表示，C为编码长度，I为单位矩阵。
4.根据权利要求3所述一种流形相似度保持自编码器的医学超声图像检索方法，其特征在于：将最小化目标函数转换为广义特征值分解问题：
Figure FDA0003834922620000022
其中，Fc.(c＝1,2,C)为特征值λc对应的特征向量；
通过对D-1L进行特征分解，取C个非零最小特征值对应的特征向量作为降维后的F，并通过阈值化将其转换为最优初始哈希编码F'。
5.根据权利要求1所述一种流形相似度保持自编码器的医学超声图像检索方法，其特征在于：步骤4)所述根据流形相似度保持的损失和重构损失构建的模型损失函数为：
Figure FDA0003834922620000023
其中，Lresco为重构误差，Lmsp为编码器e(·)对X编码输出的哈希编码矩阵e(X)的流形相似度保持的误差，用来约束汉明空间哈希编码的空间结构，e(·)代表编码器，d(·)代表解码器，α为权重因子。
6.根据权利要求5所述一种流形相似度保持自编码器的医学超声图像检索方法，其特征在于：引入哈希编码Z＝(z1,z2,...,zN)∈{0,1}C×N作为辅助变量，将其作为编码器的编码标签，将所述模型损失函数转化为三个独立的子问题：交替优化编码器e(x)、解码器d(z)和哈希编码Z，改进后模型的损失函数定义为L(e,d,X,Z,F；α,β)：
Figure FDA0003834922620000024
其中，Lcoding为编码误差，同样地，L'resco为重构误差，L'msp为Z的流形相似度保持的误差，α，β为权重因子。
7.根据权利要求1所述一种流形相似度保持自编码器的医学超声图像检索方法，其特征在于：步骤5)所述优化编码器，重复直到达到预设的编码长度；求解线性回归函数优化解码器；优化每个样本对应的哈希编码；这三个步骤具体为：
(1)固定哈希编码Z和解码器d，优化编码器e，编码器e(x)将高维输入
Figure FDA0003834922620000025
映射成低维的C维哈希编码向量ex＝{0,1}C， 编码器e(x)以ex＝z为训练目标，也即实现：
Figure FDA0003834922620000026
编码器e(x)对每一个数据样本xn(n＝1,2,...,N)编码得到exn，对于exn每一位的编码，都为一个二分类问题，将辅助变量Zc.＝(zc1,...,zcn,...,zcN)(c＝1,2,...,C)作为分类标签，通过线性SVM分类器来拟合(X,Zc.)，学习到线性分类器；
(2)固定哈希编码Z和编码器e，优化解码器d，解码器对哈希编码zn进行重构，得到原始输入xn的重构向量x'n，优化解码器过程中，通过最小化重构误差，使得重构向量x'n趋于xn，从而得到最优的解码器，
Figure FDA0003834922620000031
在解码器的求解过程中，忽略解码器的偏差b，解码器的最优解W可通过以下矩阵变换求得：
W＝XZT(ZZT)-1
(3)固定编码器e和解码器d，优化哈希编码Z,在为N个数据样本求得最优哈希编码时，其优化目标为：
l(e,d,x,z,f；ω)＝lresco+lcoding+lmsp＝||x-d(z)||2+α||z-e(x)||2+β||z-sgn(f)||2。
8.根据权利要求1-7任一项所述一种流形相似度保持自编码器的医学超声图像检索方法，其特征在于：当用户输入一幅新的图像时，通过编码器映射得到对应的哈希编码，通过汉明距离排序检索得到与之最近的k个哈希编码，并将对应最近的k幅图像返回给用户。
CN202011496971.1A 2020-12-17 2020-12-17 一种流形相似度保持自编码器的医学超声图像检索方法 Active CN112528065B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011496971.1A CN112528065B (zh) 2020-12-17 2020-12-17 一种流形相似度保持自编码器的医学超声图像检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011496971.1A CN112528065B (zh) 2020-12-17 2020-12-17 一种流形相似度保持自编码器的医学超声图像检索方法

Publications (2)

Publication Number Publication Date
CN112528065A CN112528065A (zh) 2021-03-19
CN112528065B true CN112528065B (zh) 2022-12-27

Family

ID=75001054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011496971.1A Active CN112528065B (zh) 2020-12-17 2020-12-17 一种流形相似度保持自编码器的医学超声图像检索方法

Country Status (1)

Country Link
CN (1) CN112528065B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449849B (zh) * 2021-06-29 2022-05-27 桂林电子科技大学 基于自编码器的学习型文本哈希方法
CN114022701B (zh) * 2021-10-21 2022-06-24 南京审计大学 基于近邻监督离散判别哈希的图像分类方法
CN116610927B (zh) * 2023-07-21 2023-10-13 傲拓科技股份有限公司 基于fpga的风机齿轮箱轴承故障诊断方法及诊断模块

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104820696A (zh) * 2015-04-29 2015-08-05 山东大学 一种基于多标签最小二乘哈希算法的大规模图像检索方法
CN105069173A (zh) * 2015-09-10 2015-11-18 天津中科智能识别产业技术研究院有限公司 基于有监督的拓扑保持哈希的快速图像检索方法
CN106126585A (zh) * 2016-06-20 2016-11-16 北京航空航天大学 基于质量分级与感知哈希特征组合的无人机图像检索方法
CN106780639A (zh) * 2017-01-20 2017-05-31 中国海洋大学 基于显著性特征稀疏嵌入和极限学习机的哈希编码方法
CN108182256A (zh) * 2017-12-31 2018-06-19 厦门大学 一种基于离散局部线性嵌入哈希的高效图像检索方法
CN109166615A (zh) * 2018-07-11 2019-01-08 重庆邮电大学 一种随机森林哈希的医学ct图像存储与检索方法
CN109783682A (zh) * 2019-01-19 2019-05-21 北京工业大学 一种基于点对相似度的深度非松弛哈希图像检索方法
CN110069644A (zh) * 2019-04-24 2019-07-30 南京邮电大学 一种基于深度学习的压缩域大规模图像检索方法
CN110083734A (zh) * 2019-04-15 2019-08-02 中南大学 基于自编码网络和鲁棒核哈希的半监督图像检索方法
CN110516095A (zh) * 2019-08-12 2019-11-29 山东师范大学 基于语义迁移的弱监督深度哈希社交图像检索方法和系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150169682A1 (en) * 2013-10-18 2015-06-18 Google Inc. Hash Learning
CN104298791A (zh) * 2014-11-19 2015-01-21 中国石油大学(华东) 一种基于集成哈希编码的快速图像检索方法
US20170293838A1 (en) * 2016-04-06 2017-10-12 Nec Laboratories America, Inc. Deep high-order exemplar learning for hashing and fast information retrieval
CN106777038B (zh) * 2016-12-09 2019-06-14 厦门大学 一种基于序列保留哈希的超低复杂度图像检索方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104820696A (zh) * 2015-04-29 2015-08-05 山东大学 一种基于多标签最小二乘哈希算法的大规模图像检索方法
CN105069173A (zh) * 2015-09-10 2015-11-18 天津中科智能识别产业技术研究院有限公司 基于有监督的拓扑保持哈希的快速图像检索方法
CN106126585A (zh) * 2016-06-20 2016-11-16 北京航空航天大学 基于质量分级与感知哈希特征组合的无人机图像检索方法
CN106780639A (zh) * 2017-01-20 2017-05-31 中国海洋大学 基于显著性特征稀疏嵌入和极限学习机的哈希编码方法
CN108182256A (zh) * 2017-12-31 2018-06-19 厦门大学 一种基于离散局部线性嵌入哈希的高效图像检索方法
CN109166615A (zh) * 2018-07-11 2019-01-08 重庆邮电大学 一种随机森林哈希的医学ct图像存储与检索方法
CN109783682A (zh) * 2019-01-19 2019-05-21 北京工业大学 一种基于点对相似度的深度非松弛哈希图像检索方法
CN110083734A (zh) * 2019-04-15 2019-08-02 中南大学 基于自编码网络和鲁棒核哈希的半监督图像检索方法
CN110069644A (zh) * 2019-04-24 2019-07-30 南京邮电大学 一种基于深度学习的压缩域大规模图像检索方法
CN110516095A (zh) * 2019-08-12 2019-11-29 山东师范大学 基于语义迁移的弱监督深度哈希社交图像检索方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hashing with Non-Linear Manifold Learning;Yanzhen Liu等;《IEEE》;20161226;第1-8页 *
基于PCA的哈希图像检索算法;马绍覃;《计算机工程与设计》;20200216;第483-487页 *

Also Published As

Publication number Publication date
CN112528065A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
Chen et al. SCRATCH: A scalable discrete matrix factorization hashing framework for cross-modal retrieval
Deng et al. Unsupervised semantic-preserving adversarial hashing for image search
Li et al. Reciprocal multi-layer subspace learning for multi-view clustering
Wang et al. Robust and flexible discrete hashing for cross-modal similarity search
CN112528065B (zh) 一种流形相似度保持自编码器的医学超声图像检索方法
Shi et al. Asymmetric discrete graph hashing
Shen et al. {\cal U} Boost: Boosting with the Universum
Seng et al. Big feature data analytics: Split and combine linear discriminant analysis (SC-LDA) for integration towards decision making analytics
CN102508910A (zh) 基于多哈希表映射误差最小化的图像检索方法
Yao et al. Efficient discrete supervised hashing for large-scale cross-modal retrieval
Sumbul et al. Deep learning for image search and retrieval in large remote sensing archives
Yang et al. Supervised learning of semantics-preserving hashing via deep neural networks for large-scale image search
Passalis et al. Learning neural bag-of-features for large-scale image retrieval
CN109960732B (zh) 一种基于鲁棒监督的深度离散哈希跨模态检索方法及系统
CN115880556B (zh) 一种多模态数据融合处理方法、装置、设备及存储介质
Zhang et al. Deep supervised hashing using symmetric relative entropy
Huang et al. Two-stage asymmetric similarity preserving hashing for cross-modal retrieval
CN117171393A (zh) 一种面向多模态检索的自适应半配对询问哈希方法
Tang et al. Deep semantic ranking hashing based on self-attention for medical image retrieval
Dai et al. A Bayesian Hashing approach and its application to face recognition
Ma et al. Discrete cross-modal hashing for efficient multimedia retrieval
CN111984800B (zh) 基于字典对学习的哈希跨模态信息检索方法
Ling et al. Balanced Deep Supervised Hashing.
Yi et al. Unsupervised feature selection with graph regularized nonnegative self-representation
Fang et al. Angular quantization online hashing for image retrieval

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240119

Address after: Room 801, 85 Kefeng Road, Huangpu District, Guangzhou City, Guangdong Province

Patentee after: Guangzhou Dayu Chuangfu Technology Co.,Ltd.

Address before: 400065 Chongwen Road, Nanshan Street, Nanan District, Chongqing

Patentee before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240403

Address after: Room 1101-1103, Building 2, No. 18 Qingjiang South Road, Gulou District, Nanjing City, Jiangsu Province, 210009

Patentee after: Jiangsu kangyitong Technology Co.,Ltd.

Country or region after: China

Address before: Room 801, 85 Kefeng Road, Huangpu District, Guangzhou City, Guangdong Province

Patentee before: Guangzhou Dayu Chuangfu Technology Co.,Ltd.

Country or region before: China