CN107220373B - 一种基于医学征象和卷积神经网络的肺结节ct图像哈希检索方法 - Google Patents

一种基于医学征象和卷积神经网络的肺结节ct图像哈希检索方法 Download PDF

Info

Publication number
CN107220373B
CN107220373B CN201710463788.3A CN201710463788A CN107220373B CN 107220373 B CN107220373 B CN 107220373B CN 201710463788 A CN201710463788 A CN 201710463788A CN 107220373 B CN107220373 B CN 107220373B
Authority
CN
China
Prior art keywords
lung neoplasm
image
hash
sign
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710463788.3A
Other languages
English (en)
Other versions
CN107220373A (zh
Inventor
强彦
杨晓兰
崔强
赵涓涓
强薇
路景贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN201710463788.3A priority Critical patent/CN107220373B/zh
Publication of CN107220373A publication Critical patent/CN107220373A/zh
Application granted granted Critical
Publication of CN107220373B publication Critical patent/CN107220373B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour

Abstract

本发明公开了一种基于医学征象和卷积神经网络的肺结节CT图像哈希检索方法。首先,依据专家对肺结节九种征象取值的标注,构造训练集准确的二值码;其次,利用卷积神经网络和主成分分析法提取肺结节的重要语义特征,并结合训练集准确的哈希码反向求解哈希函数;最后,提出一种基于自适应比特位的检索方法,实现待查询肺结节图像的快速检出。本发明的肺结节图像哈希检索方法基于肺结节的医学征象特征和卷积神经网络,有效缩短了图像底层特征和高级语义特征之间的不一致性,实现肺结节图像的快速检出,从而为医师诊断肺部病灶提供决策支持。

Description

一种基于医学征象和卷积神经网络的肺结节CT图像哈希检索 方法
技术领域
本发明涉及图像识别与机器学习领域,特别涉及一种基于卷积神经网络的肺结节图像编码与检索方法。
背景技术
基于内容相似性的肺部医学图像检索在肺癌的计算机辅助诊断过程中扮演着重要的角色,近年来二进制哈希由于其存储空间小和匹配速度快的优势而引起广泛关注。但是传统的哈希方法往往依据基于手工设计的图像底层特征,然后再学习哈希函数。基于手工设计的特征与医师描述的肺结节高级诊断语义之间存在很大的差别,不能够很好地描述肺结节图像含有的征象信息。此外,数据库中存在大量与查询图像汉明距离相等的图像,使用传统的汉明距离无法对返回图像进行排序。因此,依据肺结节的九种医学征象,利用卷积神经网络提取肺结节图像包含的征象特征,并对其进行哈希编码,在数据库中快速找到具有相同征象特征的肺部CT图像,从而为医师诊断结节的良恶性提供决策支持。可见,基于医学征象和卷积神经网络的肺结节CT图像哈希检索方法具有广阔的应用前景。
发明内容
本发明的目的是提出一种基于医学征象和卷积神经网络的肺结节CT图像哈希检索方法。基于卷积神经网络的肺结节图像特征提取方法来学习肺结节图像含有的高层语义特征。其通过训练卷积神经网络分类模型来调整特征提取框架,并利用主成分分析方法提取肺结节的重要语义特征。基于医学征象的肺结节CT图像哈希检索方法依据专家对肺结节征象取值的标注,构造训练集准确的哈希码。同时,结合肺结节的重要语义特征反向求解哈希函数。使用加权汉明距离来解决传统汉明距离度量学习过程中离散取值无法排序的问题。
一种基于医学征象和卷积神经网络的肺结节CT图像哈希检索方法,该方法包括以下步骤:
步骤1:将专家标注的肺结节征象图像集作为训练集,依据九种征象取值构造训练集准确的哈希码;
步骤2:使用训练好的卷积神经网络提取表达肺结节征象信息的重要语义特征;
步骤3:利用步骤1得到的训练集准确的哈希码和所述步骤2提取到的肺结节图像的重要语义特征,进行哈希函数的学习;
步骤4:利用步骤3学习得到的哈希函数对待查询肺结节图像进行编码,得到待查询肺结节图像的哈希码;
步骤5:计算待查询肺结节图像的哈希码与训练集中每一幅图像哈希码间的加权汉明距离,根据汉明距离对检索结果进行排序。
所述的方法,所述步骤1肺结节训练集为LIDC数据库,其中包含专家对九种肺结节征象的详细标注信息;利用二进制描述子在存储空间和匹配速度上的优势,将十进制整型的征象取值转换成紧凑的哈希码。
所述的方法,采用步骤2所述的卷积神经网络进行多层次的特征提取时,卷积神经网络包含由多个卷积层和全连接层组成的特征提取层,以及对九种征象进行分类的softmax分类器层;所述步骤2进一步包括以下步骤:
步骤2.1:卷积神经网络框架的损失函数为:
其中,{x1,x2,...,xn}为肺结节征象训练集,y(i)∈{1,2,...,k},k=9为肺结节征象别,{(x(1),y(1)),...,(x(n),y(n))}为全连接层输出的肺结节高维表示,p(y=j|x)为肺结节高维表示与征象类别之间的概率分布;
通过softmax分类器建立肺结节高维特征表示与征象类别之间的条件概率分布,因为一张肺结节图像可能包含多种征象,所以对多种征象的可能值进行累加;同时引入权值衰减项避免参数过拟合;
步骤2.2:卷积神经网络特征提取模型为:
通过随机梯度下降算法和反向传播算法优化损失函数,选择最优的参数组合θ来调整所述卷积神经网络模型;去掉调整好网络中的softmax分类器层,作为图像特征提取模型来提取肺结节图像的多层次语义特征;
步骤2.3:所述的肺结节图像的重要语义特征为:
对于卷积神经网络提取的高维特征,通过主成分分析(PCA)压缩算法,在不损失特征质量的前提下从中挑选d个子集,同时保留肺结节征象的重要语义特征Y=[x1,x2,...,xm]。
所述的方法,所述步骤3进一步包括以下步骤:
步骤3.1:所述哈希函数的定义如下:
h(x;w)=sign(wTx+b) (2)
其中,sign(·)为符号函数,x为肺结节图像的重要语义特征,w为系数向量,T表示转置;b为偏置,对样本集中所有图像特征零均值化预处理,所以b的取值为0,哈希函数可简化为:
h(x;w)=sign(wTx) (3)
步骤3.2:如果哈希码的长度为k,则需要设计一组包含k个哈希函数的函数簇;所述的哈希函数簇的定义如下:
[h1,h2,...,hk]T=[sign(Wx)]T (4)
步骤3.3:为了求解系数向量W=[w1,w2,...,wk]T,在目标函数的优化设计中,同时考虑哈希函数的约束条件和量化误差损失,目标函数可表示为:
subject to:hi={-1,1}k
其中,hi=sign(WTxi)∈Rk为哈希码的预测值,Y=[y1,y2,...,yn]为训练集准确的哈希码;条件要求哈希码均匀分布,要求不同的哈希码之间相互独立;
步骤3.4、通过最小化目标函数(5)求解系数矩阵W=[w1,w2,...,wk]T,保证了不同哈希函数之间的独立性,从而学习到最优的哈希函数h(x;w)=sign(wTx)。
所述的方法,所述步骤5中,利用哈希码比特位在汉明距离中的重要程度,自适应地为每一位哈希码分配不同权值,进一步包括以下步骤:
步骤5.1、根据公式(6)-(7)计算待查询肺结节图像xq与数据集图像间的汉明距离,选择汉明距离最小的前ρ个图像得到肺结节候选集I;
I={x1,x2,...,xρ}←sort(DH,'descend') (7)
步骤5.2、更新待查询肺结节图像的每一位哈希码的权值其中表示第i位哈希码的权值:
①初始化待查询肺结节图像的权值向量
②采用迭代法确定每一位哈希码的权值,迭代次数等于肺结节候选集I中的图像数目ρ;
③比较第j幅图像的第k位哈希码和待查询肺结节图像的第k位哈希码值,如果两者相等即hjk=hqk,则待查询肺结节图像的权值为否则,待查询肺结节图像的权值更新为
步骤5.3、根据公式(8)计算待查询结节图像与肺结节图像候选集I之间的加权汉明距离:
步骤5.4、选择加权汉明距离最小的数据项作为最近似的肺结节检索结果。
本发明的有益效果:
本发明方法利用专家标注的肺结节征象取值来构造训练集准确的哈希码,能够准确表示肺结节医学征象语义等级;基于卷积神经网络的肺结节高层语义特征缩短了图像底层特征和高级诊断语义之间的语义鸿沟;利用专家标注的征象取值来学习哈希函数能够有效地保留图像的语义信息,避免了编码过程中的信息损失。肺结节图像检索检索的核心在于提取准确表示图像的语义特征,以及对检索返回的图像进行排序。因此,提取肺结节图像的征象特征,并利用加权汉明距离来解决传统汉明距离无法排序的问题,对肺部医学图像检索具体重要的研究意义。可见,基于医学征象和卷积神经网络的肺结节CT图像哈希检索方法具有广阔的应用前景。
附图说明
图1是本发明基于医学征象和卷积神经网络的肺结节CT图像哈希检索方法流程图。
图2是本发明中构造哈希函数的示意图。
图3是本发明与其他哈希方法的检索效果对比图;(a)12bits,(b)24bits,(c)32bits,(d)48bits,(e)64bits,(f)72bits。
图4是本发明中基于比特位加权汉明距离的肺结节图像检索示例,其中第一列是查询图像,其他列是相应的检索结果。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
考虑到肺结节的医学征象和高级语义特征是医师诊断肺部病灶的重要前提,因此本发明提出了一种基于医学征象和卷积神经网络的肺结节CT图像哈希检索方法。该方法的核心是利用卷积神经网络提取肺结节图像的高层语义特征,同时利用主成分分析压缩方法去除冗余信息保留重要语义特征,以专家对肺结节征象取值的标注为目标来构造哈希函数。在此基础上,提出一种自适应比特位的检索方法来解决检索过程中单纯使用汉明距离度量图像的相似性不够准确的问题。
图1是本发明基于医学征象和卷积神经网络的肺结节CT图像哈希检索方法流程图,如图1所示,本发明提出的基于医学征象和卷积神经网络的肺结节CT图像哈希检索方法包括以下步骤:
步骤1,构造训练集准确的哈希码;
构造训练集准确哈希码的目的是从另一种角度出发(利用学习到的哈希码,反向求解哈希函数),利用肺结节的语义征象来构造训练集准确的哈希码,以此来学习更好的表示肺结节相似性的哈希函数。肺结节训练集为LIDC数据库,其中包含专家对九种肺结节征象的详细标注信息,九种CT医学征象,有毛刺征(Spiculation)、分叶征(Lobulation)、钙化(Calcification)、精细度(Subtlety)、内部结构(Internal structure)、边缘(Margin)、球形度(Sphericity)、纹理(Texture)以及结节的恶性度(Malignancy);利用二进制描述子在存储空间和匹配速度上的优势,将十进制整型的征象取值转换成紧凑的哈希码。
步骤2,提取肺结节图像的重要语义特征;
肺结节图像的语义特征是图像的高层语义属性,是医师诊断肺部病灶时的主要参考标准。利用卷积神经网络(CNNs)逐层地提取图像的多层次特征,以此来学习全面、细节的图像特征;同时利用主成分分析(PCA)压缩方法去除冗余信息对主要内容的影响,保留图像的高层语义相似性,是进一步构造保相似性哈希函数的重要基础。
所述步骤2进一步包括以下步骤:
步骤2.1:本方法中训练卷积神经网络框架时的损失函数可表示为:
其中,{x1,x2,...,xn}为肺结节征象训练集,y(i)∈{1,2,...,k},k=9为肺结节征象类别,{(x(1),y(1)),...,(x(n),y(n))}为全连接层输出的肺结节高维表示,p(y=j|x)为肺结节高维表示与征象类别之间的概率分布。
通过softmax分类器建立肺结节高维特征表示与征象类别之间的条件概率分布,因为一张肺结节图像可能包含多种征象,所以对多种征象的可能值进行累加;同时引入权值衰减项避免参数过拟合。
步骤2.2:本方法中提出的卷积神经网络特征提取模型为:
通过随机梯度下降算法和反向传播算法优化损失函数,选择最优的参数组合θ来调整所述卷积神经网络模型;去掉调整好网络中的softmax分类器层,作为图像特征提取模型来提取肺结节图像的多层次语义特征。
步骤2.3:本方法中所述的肺结节图像的重要语义特征为:
对于卷积神经网络提取的高维特征,通过主成分分析(PCA)压缩算法,在不损失特征质量的前提下从中挑选d个子集,同时保留肺结节征象的重要语义特征Y=[x1,x2,...,xm]。
步骤3,学习保相似性哈希函数;
所述步骤3具体为:对于所述步骤1得到的训练集准确的哈希码和所述步骤2提取到的肺结节图像的重要语义特征,进行哈希函数的学习。相应地,提出的哈希函数h(x;w)的定义如下:
h(x;w)=sign(wTx+b) (2)
其中,sign(·)为符号函数,x为肺结节图像的重要语义特征,w为系数向量,T表示转置;b为偏置,我们对样本集中所有图像特征零均值化预处理,所以b的取值为0,哈希函数可简化为:
h(x;w)=sign(wTx) (3)
同样,如果哈希码的长度为k,则需要设计一组包含k个哈希函数的函数簇。所述的哈希函数簇的定义如下:
[h1,h2,...,hk]T=[sign(Wx)]T (4)
其中,hk为第k个哈希函数,W=[w1,w2,...,wk]T是一组哈希函数的系数;
在学习保相似性哈希函数的过程中,在目标函数的设计中加入衡量哈希函数的性能的约束条件和实际值与期望值之间的量化误差。基于汉明距离的目标函数O表示如下:
subject to:hi={-1,1}k
其中,hi=sign(WTxi)∈Rk为哈希码的映射值,Y=[y1,y2,...,yn]为训练集准确的哈希码,条件要求哈希码均匀分布,要求不同的哈希码之间相互独立。
公式(4)是通过最小化目标函数求解系数矩阵W=[w1,w2,...,wk]T,约束条件保证了不同哈希函数之间的独立性,从而能够学习到最优的哈希函数。
步骤4,用步骤3学习到的哈希函数对待查询肺结节图像进行编码,得到待查询肺结节图像的哈希码;
如图2所示,待查询肺结节图像首先被截取其中各个单一征象区域,并缩放至尺寸固定的48*48,然后经过卷积神经网络逐层抽取多层次、细节性的信息得到高层语义特征,最后根据步骤3学习到的哈希函数得到对应的哈希码H=[h1,h2,...,hn]。
步骤5,计算待查询肺结节图像哈希码与训练集哈希码间的加权汉明距离,根据汉明距离对检索结果进行排序;
所述步骤5进一步包括以下步骤:
步骤5.1:根据公式(6-7)计算查询肺结节图像xq与数据集图像间的汉明距离,选择汉明距离最小的前ρ个图像得到肺结节候选集I;
I={x1,x2,...,xρ}←sort(DH,'descend') (7)
步骤5.2:更新待查询肺结节图像的每一位哈希码的权值其中表示第i位哈希码的权值;
①初始化待查询肺结节图像的权值向量
②采用迭代法确定每一位哈希码的权值,迭代次数等于肺结节候选集I中的图像数目ρ;
③比较第j幅图像的第k位哈希码和待查询肺结节图像的第k位哈希码值,如果两者相等即hjk=hqk,则待查询肺结节图像的权值为否则,将待查询肺结节图像的权值更新为
步骤5.3:根据公式(8)计算待查询结节图像与肺结节图像候选集I之间的加权汉明距离:
步骤5.4:对步骤5.3得到的加权汉明距离进行排序,得到与所述查询对象相关的图像列表。
其中,xq为待查询结节图像,hq表示查询图像对应的哈希码,H=[h1,h2,...,hn]为对应的图像库哈希码,ρ表示阈值,λ为参数因子。
在该步骤中,首先分别计算待查询肺结节图像和数据集图像的哈希码,然后计算基于传统汉明距离的肺结节图像候选集I;更新待查询肺结节图像的比特位权值,之后在候选图像集I={x1,x2,...,xρ}中进行检索,计算加权汉明距离,返回与所述查询图像相关的图像列表。其中,加权汉明距离越小表示两个图像越相似。
为了详细说明本发明的具体实施方法,下面以LIDC数据库九种征象标签数据集为例对于本发明方法进行进一步的说明。所述图像数据集包含2669个肺结节图像,共9种专家标注的医学征象取值,包括精细度、内部结构、钙化、球形度、边缘、分叶、毛刺、纹理特征和恶性程度。在使用本发明方法进行肺结节CT图像检索时,按照以下步骤进行:
步骤1:将含有多种医学征象取值的肺结节图像集作为训练集,来自合作医院的图像作为测试集,用于训练和检索;
步骤2:依据专家对LIDC数据库中肺结节征象取值的标注,构建训练集准确的哈希码;
步骤3:使用训练好的卷积神经网络(CNN)来学习肺结节图像的多层次、细节性的语义特征;
步骤4:利用主成分分析方法(PCA)提取肺结节含有的重要语义特征;
步骤5:以步骤2得到的训练集准确哈希码为实际的优化目标函数,使用随机梯度下降算法,通过最小化目标函数来优化哈希函数;
步骤6:利用步骤5学习到的保相似性哈希函数对所有待查询肺结节图像进行编码,得到待查询肺结节图像的哈希码;
步骤7:通过计算待查询肺结节图像哈希码与训练集中每一幅图像哈希码间的汉明距离,来确定相似肺结节图像候选集;
步骤8:更新待查询肺结节图像哈希码逐位权值,计算待查询肺结节图像与候选集I之间的加权汉明距离,并根据加权汉明距离来排序,得到与所述查询图像相似的图像列表。
哈希性能的比较
(1)为了评估图像检索的性能,将利用平均查准率MAP(Mean AveragePrecision),查准率P@K,召回率R@K三个标准对本文提出的算法进行评价。相关公式的定义如下:
其中,q为查询图像集,mj为与第j个查询图像相似的图像总数,Rjk为在第j个查询图像检索出的结果中第k个查询相似图像在检索结果中的排名,precision(Rjk)为当检索到第k个相似图像时,前Rjk个结果的准确率。MAP衡量在全部相似图像上的检索性能,相似图像在检索结果中的排名越靠前,MAP就越高。
P@K反映的是在查询图像检索出的前K个结果中,和查询相似的图像出现的概率,衡量的是检索准确率。R@K反映的是在查询图像检索出的前K个结果中,相似图像与所有相似图像的比值,衡量的是检索召回率。
(2)参数设置哈希码位数
为了比较不同编码长度对检索效果的影响,我们使用了准确率-召回率曲线来衡量本文方法的性能。对于哈希码长度r,在参考大量文献的基础上,选取编码长度为12、24、32、48、64、72六组值。其他六种哈希方法,包括CNNH、KSH、ITQ、PCAH、SH、LSH。
图3所示本发明在检索结果的排序质量上优于其他的哈希方法。分别展示了12位、24位、32位、48位、64位、72位共计6组不同的编码长度下,P-R曲线的比较结果,可以看出本文方法在汉明空间中的性能始终优于其他的哈希方法。此外,也和基于深度学习模型的CNNH方法进行了比较。随着哈希码位数的增加,图像检索的性能也随之提高,当哈希码位数r=64时,趋于稳定。一方面是因为在深度学习模型能够提取肺结节深层次的特征,肺结节图像特征越全面,图像检索的准确性越高。另一方面,肺部图像是灰度图像,用较短的哈希码就可以表示,大幅减少了存储空间,加快了检索速度。
实验过程中,在哈希码位数为32位、48位、64位时,使用指标P@5和R@5对检索结果进行分析。
表7.不同哈希码长度下查询结节图像分别使用七种不同算法的检索结果
为了可视化检索返回的前5个结果的检索质量,表7中展示了不同哈希码长度下查询结节图像分别使用七种不同算法的检索结果。其中左边第一个框内(P@5)表示的是在不同哈希码位数下前5个结果中的检索准确率,第二个框内(R@5)表示的是对应的前5个结果中的检索召回率。可以看出本文方法和CNNH在前5个查询结果中都获得了较高的精度,分别为82.6%和79.3%,与CNNH方法相比,性能最高提高了3.3%。主要是因为本文方法编码得到的哈希码对肺结节的表达能力更强,检索效果更好。
图4给出了一些检索示例,其中第一列是查询图像,其他列是相应的检索结果。可以看出,检索结果中,排序靠前的图像与待查询图像有着更多相同的标签。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换等,均应包含在本发明所附权利要求的保护范围之内。

Claims (4)

1.一种基于医学征象和卷积神经网络的肺结节CT图像哈希检索方法,其特征在于,该方法包括以下步骤:
步骤1:将专家标注的肺结节征象图像集作为训练集,依据九种征象取值构造训练集准确的哈希码;
步骤2:使用训练好的卷积神经网络提取表达肺结节征象信息的重要语义特征;
采用步骤2所述的卷积神经网络进行多层次的特征提取时,卷积神经网络包含由多个卷积层和全连接层组成的特征提取层,以及对九种征象进行分类的softmax分类器层;所述步骤2进一步包括以下步骤:
步骤2.1:卷积神经网络框架的损失函数为:
其中,{x1,x2,...,xn}为肺结节征象训练集,y(i)∈{1,2,...,k},k=9为肺结节征象类别,{(x(1),y(1)),...,(x(n),y(n))}为全连接层输出的肺结节高维表示,p(y=j|x)为肺结节高维表示与征象类别之间的概率分布;
通过softmax分类器建立肺结节高维特征表示与征象类别之间的条件概率分布,因为一张肺结节图像可能包含多种征象,所以对多种征象的可能值进行累加;同时引入权值衰减项避免参数过拟合;
步骤2.2:卷积神经网络特征提取模型为:
通过随机梯度下降算法和反向传播算法优化损失函数,选择最优的参数组合θ来调整所述卷积神经网络模型;去掉调整好网络中的softmax分类器层,作为图像特征提取模型来提取肺结节图像的多层次语义特征;
步骤2.3:所述的肺结节图像的重要语义特征为:
对于卷积神经网络提取的高维特征,通过主成分分析压缩算法,在不损失特征质量的前提下从中挑选d个子集,同时保留肺结节征象的重要语义特征Y=[x1,x2,...,xm];
步骤3:利用步骤1得到的训练集准确的哈希码和所述步骤2提取到的肺结节图像的重要语义特征,进行哈希函数的学习;
步骤4:利用步骤3学习得到的哈希函数对待查询肺结节图像进行编码,得到待查询肺结节图像的哈希码;
步骤5:计算待查询肺结节图像的哈希码与训练集中每一幅图像哈希码间的加权汉明距离,根据汉明距离对检索结果进行排序。
2.根据权利要求1所述的方法,其特征在于,所述步骤1肺结节训练集为LIDC数据库,其中包含专家对九种肺结节征象的详细标注信息;利用二进制描述子在存储空间和匹配速度上的优势,将十进制整型的征象取值转换成紧凑的哈希码。
3.根据权利要求1所述的方法,其特征在于,所述步骤3进一步包括以下步骤:
步骤3.1:所述哈希函数的定义如下:
h(x;w)=sign(wTx+b) (2)
其中,sign(·)为符号函数,x为肺结节图像的重要语义特征,w为系数向量,T表示转置;b为偏置,对样本集中所有图像特征零均值化预处理,所以b的取值为0,哈希函数可简化为:
h(x;w)=sign(wTx) (3)
步骤3.2:如果哈希码的长度为k,则需要设计一组包含k个哈希函数的函数簇;所述的哈希函数簇的定义如下:
[h1,h2,...,hk]T=[sign(Wx)]T (4)
步骤3.3:为了求解系数向量W=[w1,w2,...,wk]T,在目标函数的优化设计中,同时考虑哈希函数的约束条件和量化误差损失,目标函数可表示为:
subject to:hi={-1,1}k
其中,hi=sign(WTxi)∈Rk为哈希码的预测值,Y=[y1,y2,...,yn]为训练集准确的哈希码;条件要求哈希码均匀分布,要求不同的哈希码之间相互独立;
步骤3.4、通过最小化目标函数(5)求解系数矩阵W=[w1,w2,...,wk]T,保证了不同哈希函数之间的独立性,从而学习到最优的哈希函数h(x;w)=sign(wTx)。
4.根据权利要求1所述的方法,其特征在于,所述步骤5中,利用哈希码比特位在汉明距离中的重要程度,自适应地为每一位哈希码分配不同权值,进一步包括以下步骤:
步骤5.1、根据公式(6)-(7)计算待查询肺结节图像xq与数据集图像间的汉明距离,选择汉明距离最小的前ρ个图像得到肺结节候选集I;
I={x1,x2,...,xρ}←sort(DH,'descend') (7)
步骤5.2、更新待查询肺结节图像的每一位哈希码的权值其中表示第i位哈希码的权值:
①初始化待查询肺结节图像的权值向量
②采用迭代法确定每一位哈希码的权值,迭代次数等于肺结节候选集I中的图像数目ρ;
③比较第j幅图像的第k位哈希码和待查询肺结节图像的第k位哈希码值,如果两者相等即hjk=hqk,则待查询肺结节图像的权值为否则,待查询肺结节图像的权值更新为
步骤5.3、根据公式(8)计算待查询结节图像与肺结节图像候选集I之间的加权汉明距离:
步骤5.4、选择加权汉明距离最小的数据项作为最近似的肺结节检索结果。
CN201710463788.3A 2017-06-19 2017-06-19 一种基于医学征象和卷积神经网络的肺结节ct图像哈希检索方法 Active CN107220373B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710463788.3A CN107220373B (zh) 2017-06-19 2017-06-19 一种基于医学征象和卷积神经网络的肺结节ct图像哈希检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710463788.3A CN107220373B (zh) 2017-06-19 2017-06-19 一种基于医学征象和卷积神经网络的肺结节ct图像哈希检索方法

Publications (2)

Publication Number Publication Date
CN107220373A CN107220373A (zh) 2017-09-29
CN107220373B true CN107220373B (zh) 2019-09-17

Family

ID=59949793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710463788.3A Active CN107220373B (zh) 2017-06-19 2017-06-19 一种基于医学征象和卷积神经网络的肺结节ct图像哈希检索方法

Country Status (1)

Country Link
CN (1) CN107220373B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108121805B (zh) * 2017-12-25 2021-09-14 广东三维家信息科技有限公司 基于深度学习实现快速珠宝图片检索的方法
CN108648179A (zh) * 2018-04-17 2018-10-12 杭州依图医疗技术有限公司 一种分析肺结节的方法及装置
CN108549915B (zh) * 2018-04-27 2021-06-15 成都考拉悠然科技有限公司 基于二值权重的图像哈希码训练模型算法及分类学习方法
CN108875814B (zh) * 2018-06-04 2022-07-26 联想(北京)有限公司 图片检索方法、装置及电子设备
CN109933682B (zh) * 2019-01-11 2022-01-04 上海交通大学 一种基于语义与内容信息结合的图像哈希检索方法及系统
CN109805924A (zh) * 2019-02-15 2019-05-28 济南大学 基于cnn的心电信号处理方法及心律不齐检测系统
CN110633385B (zh) * 2019-09-24 2023-05-12 天津医科大学 一种医学影像的检索与压缩方法
CN110795591B (zh) * 2019-10-14 2022-07-22 中山大学 一种基于离散梯度反向传播的图像检索方法
CN112365436B (zh) * 2020-01-09 2023-04-07 西安邮电大学 一种针对ct影像的肺结节恶性度分级系统
CN111415356B (zh) * 2020-03-17 2020-12-29 推想医疗科技股份有限公司 肺炎征象的分割方法、装置、介质及电子设备
CN111767952B (zh) * 2020-06-30 2024-03-29 重庆大学 一种可解释的肺结节良恶性分类方法
CN112419396B (zh) * 2020-12-03 2024-04-26 前线智能科技(南京)有限公司 一种甲状腺超声视频自动分析方法与系统
CN113407756B (zh) * 2021-05-28 2022-10-11 山西云时代智慧城市技术发展有限公司 一种基于自适应权重的肺结节ct图像重排序方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700118A (zh) * 2015-03-18 2015-06-10 中国科学院自动化研究所 基于卷积神经网络的肺结节良恶性预测方法
CN106650830A (zh) * 2017-01-06 2017-05-10 西北工业大学 基于深层模型和浅层模型决策融合的肺结节ct图像自动分类方法
CN106780460A (zh) * 2016-12-13 2017-05-31 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700118A (zh) * 2015-03-18 2015-06-10 中国科学院自动化研究所 基于卷积神经网络的肺结节良恶性预测方法
CN106780460A (zh) * 2016-12-13 2017-05-31 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测系统
CN106650830A (zh) * 2017-01-06 2017-05-10 西北工业大学 基于深层模型和浅层模型决策融合的肺结节ct图像自动分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LIU J et al."Scalable mammogram retrieval using composite anchor graph hashing with iterative quantization".《IEEE transactions on circuits and systems for video technology》.2016, *
YANG X ET AL."Local difference binary for ultrafast and distinctive feature description".《IEEE transactions on pattern analysis and machine intelligence》.2014, *
Zhao JJ ET AL."Medical Sign Recognition of Lung Nodules Based on Image Retrieval with Semantic Features and Supervised Hashing".《JOURNAL OF COMPUTER SCIENCE AND TECHNOLOGY》.2017, *

Also Published As

Publication number Publication date
CN107220373A (zh) 2017-09-29

Similar Documents

Publication Publication Date Title
CN107220373B (zh) 一种基于医学征象和卷积神经网络的肺结节ct图像哈希检索方法
WO2017084408A1 (zh) 检查货物的方法和系统
CN111125411B (zh) 一种深度强相关哈希学习的大规模图像检索方法
CN105184298B (zh) 一种快速局部约束低秩编码的图像分类方法
CN108108657A (zh) 一种基于多任务深度学习的修正局部敏感哈希车辆检索方法
CN107895028B (zh) 采用深度学习的草图检索方法
CN110647904B (zh) 一种基于无标记数据迁移的跨模态检索方法及系统
CN108197538A (zh) 一种基于局部特征和深度学习的卡口车辆检索系统及方法
CN108537240A (zh) 基于领域本体的商品图像语义标注方法
CN109615014A (zh) 一种基于kl散度优化的数据分类系统与方法
CN110059206A (zh) 一种基于深度表征学习的大规模哈希图像检索方法
CN106202256A (zh) 基于语义传播及混合多示例学习的Web图像检索方法
CN103186538A (zh) 一种图像分类方法和装置、图像检索方法和装置
Yang et al. Dynamic match kernel with deep convolutional features for image retrieval
Sezavar et al. A modified grasshopper optimization algorithm combined with cnn for content based image retrieval
CN108491430A (zh) 一种基于对特征方向进行聚类的无监督哈希检索方法
CN110647907A (zh) 利用多层分类和字典学习的多标签图像分类算法
Islam et al. InceptB: a CNN based classification approach for recognizing traditional bengali games
CN109902714A (zh) 一种基于多图正则化深度哈希的多模态医学图像检索方法
CN110516098A (zh) 基于卷积神经网络及二进制编码特征的图像标注方法
CN110046660A (zh) 一种基于半监督学习的乘积量化方法
CN109933682A (zh) 一种基于语义与内容信息结合的图像哈希检索方法及系统
CN113836896A (zh) 一种基于深度学习的专利文本摘要生成方法和装置
KR20230163983A (ko) 신경망 모델을 활용한 유사 특허 문헌 추출 방법 및 이를 제공하는 장치
CN113032613A (zh) 一种基于交互注意力卷积神经网络的三维模型检索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant