CN107092918B - 一种基于语义特征和有监督哈希的图像检索方法 - Google Patents

Abstract

本发明公开了一种基于语义特征和有监督哈希的图像检索实现肺结节医学征象识别的方法，包括以下步骤：步骤A，提取肺部CT图像中的肺结节混合征象区域，并截取其中各个单一征象区域；步骤B，采用基于参数共享的卷积神经网络(CNN)提取表达肺结节征象信息的语义特征；步骤C，用于实现相似的肺结节图像检索；步骤D，用于识别肺结节征象。本发明的方法基于语义特征和有监督哈希的肺结节图像检索，进而识别肺结节图像所表现的征象类别，便于医师判断肺结节的良恶性程度，减少了医师对诊断经验的过度依赖。

Description

一种基于语义特征和有监督哈希的图像检索方法

技术领域

本发明涉及肺结节征象识别，具体涉及一种基于语义特征和有监督哈希的图像检索方法。

背景技术

肺结节所表现的医学征象是医师诊断肺部疾病的基础，通过分析肺CT图像的各种医学征象，便于医师判断结节的良恶性程度并做出相应的诊断决策。但是医师主要根据经验诊断疾病，诊断结果具有一定主观性，常常出现误诊、漏诊的情况。基于内容的医学图像检索能够帮助医师从医学数据库中快速寻找相似的病灶图像，这些已确诊病例的诊断方案和病灶特征等可以为查询病灶的诊断提供参考，从而辅助医师做出可靠的诊断决策。

发明内容

本发明针对现有技术的不足提供一种基于语义特征和有监督哈希的图像检索用于肺结节征象识别的方法，既能检索得到相似的肺结节图像，又能有效识别肺结节的医学征象，为医师对查询病灶的诊断提供决策支持，从客观方面起到辅助诊断的作用。

本发明采用的技术方案为：

一种基于语义特征和有监督哈希的图像检索实现肺结节医学征象识别的方法，包括以下步骤：

步骤A，提取肺部CT图像中的肺结节混合征象区域，并截取其中各个单一征象区域，为之后提取表达肺结节征象信息的语义特征以及检索相似的肺结节图像，进而识别查询图像所表现的医学征象做准备；

步骤B，采用基于参数共享的卷积神经网络(CNN)提取表达肺结节征象信息的语义特征；首先使用第一个CNN训练单一征象数据，通过调整网络参数使其有效识别各个单一征象；然后将网络参数传递到第二个CNN，训练混合征象数据，并通过损失函数和误差反向传播机制来微调网络参数，从而获得表达结节征象信息的高维的语义特征；

步骤C，用于实现相似的肺结节图像检索；利用监督信息构造有效的哈希函数，将步骤B得到的高维的语义特征映射为简洁的哈希码，并为查询图像设计自适应权重向量，通过加权汉明距离的相似度衡量，从肺结节图像库中检索出具有相似征象的肺结节图像

所述的方法，所述步骤B中网络参数调整过程如下：

B1、对于第一个CNN，使用单一征象数据集进行训练；

第一个CNN网络共有7层，输入层、包含2个卷积层和2个降采样层的隐含层、全连接层和输出层；使用线性插值方法将单一征象数据集中的图像统一大小为48×48，并减去图像均值进行预处理，将其作为卷积神经网络输入层的输入；使用多项逻辑回归模型中的softmax函数作为损失函数，输出层产生一个在各单一征象类上的概率分布；在隐含层使用rectified linear units(ReLU)作为激励函数，以便缩短学习周期的同时提高学习精度；在整个训练过程中使用梯度下降法进行优化，使得损失函数能够快速收敛；通过第一个CNN的训练，得到能够有效识别不同单一征象的网络参数；

B2、对于第二个CNN，使用混合征象数据集进行训练；

将B1中训练单一征象的网络参数转移到第二个CNN网络中，并将含有混合征象的整个肺结节图像作为网络输入，每张肺结节图像的大小同样被统一为48×48，通过微调网络参数，经过训练的网络能有效地识别肺结节图像含有的混合征象；网络训练过程与第一个CNN的训练过程相同，在输出层同样会产生对6个单一征象类的概率分布，以确定肺结节所含有的混合征象，但是由于混合征象的类别数不等于单一征象数，因此，损失函数的设计也有所不同；损失函数的定义为：

其中，n表示肺结节混合征象数据集中的图像数，c表示单一征象的类别数，p_i＝[p_i1,p_i2,…,p_ic]表示网络输出的概率分布向量，

表示基于事实的概率分布向量，l_i＝[l_i1,l_i2,…,l_ic]表示第i个肺结节图像的标签向量，如果结节图像表现出第j类征象，则l_ij＝1(j＝1,2,…,c)，否则l_ij＝0；最后，利用调整好的网络获取肺结节图像所含有的征象特征。

所述的方法，所述步骤C具体过程如下：

C1、利用监督信息构造有效的哈希函数；

①使用主成分分析(PCA)算法对肺结节的图像特征进行预处理，将结节特征投影到可以最小化投影误差的线性子空间中，减少冗余信息，确保哈希映射后的哈希码含有原始图像的主要信息；

②哈希函数的一般形式为：

w表示系数向量，b表示偏差，一般取值为所有图像特征的期望值，在PCA映射时已进行了零均值化处理，因此b的取值为0，用PCA映射后的语义特征v_i代替x_i，从而简化公式为：

③利用监督信息解决哈希函数中的w，所述的监督信息是指肺结节图像中所含混合征象的类型标签；

C2、为查询图像设计自适应权重向量，并检索相似的肺结节图像；

①设计各混合征象类型对应的权重向量；经哈希函数映射后，得到由肺结节图像的哈希码所构成的r维空间的集合Y＝{y₁,y₂,…,y_n}，

表示第i类混合征象的哈希码集合；权重向量的设计要求同类混合征象中肺结节图像的汉明距离最小：

符号“。”表示Hadamard积，c^(j)表示第j类的哈希码中心，n_j表示第j类的图像个数；还要求保留各类混合征象在原始特征空间的关系：

s_ij表示第i类与第j类的相似程度，若两类混合征象表现的差异性较大，即s_ij越小，相应的加权汉明距离应该越大；根据上述两个要求，目标函数可以设计为：

β表示平衡这两个要求的参数，设置β＝1；求解上式即可得到不同混合征象类型的权重向量；

②计算查询图像的自适应权重向量；

③根据查询图像的自适应权重向量a_q计算查询图像的哈希码y_q与各候选混合征象类型中的哈希码{Y₁,…,Y_m}之间的加权汉明距离：

y_i∈{Y₁,...,Y_m}，并从这m个混合征象类型的图像库中检索出具有相似征象的肺结节图像。

所述的方法，利用监督信息即肺结节图像中所含混合征象的类型标签的标签信息解决哈希函数中的w，详细步骤如下：

第1步，使用标签信息表示样本间的语义相似性，并利用l个标签样本建立标签矩阵S∈R^l×l，若样本x_i与x_j相似，则S_ij＝1，否则S_ij＝-1；

第2步，性能好的哈希函数使得相似样本的汉明距离最小为0，反之最大；根据哈希码内积与汉明距离之间的关系，可以得出相似样本(S_ij＝1)的哈希码内积最大(为r)，不相似样本(S_ij＝-1)的哈希码内积最小(为-r)；

第3步，根据第2步所述关系，以及标签样本构成的内积矩阵H_lH_l ^T和标签矩阵S，定义目标函数为：

第4步，求解目标函数，完成哈希函数的构造，然后使用构造的哈希函数将肺结节的图像特征映射为哈希码。

所述的方法，计算查询图像的自适应权重向量，其具体步骤如下：

第1步，分别计算查询图像与各个征象类的余弦距离：

sim(x_q,μ_i)＝cos＜x_q,μ_i＞(i＝1,...,k)(μ_i是各征象类的类中心)；

第2步，降序排序sim并选择前m个混合征象类作为候选混合征象类；

第3步，使用构造的哈希函数将查询图像映射为哈希码y_q；

第4步，计算查询图像的自适应权重向量

所述的方法，所述C1中①使用(PCA)算法对肺结节的图像特征进行预处理，基本步骤如下：

第1步，每一个肺结节图像都减去所有肺结节图像的特征均值，进行特征中心化；

第2步，计算协方差矩阵

第3步，根据SVD求取协方差矩阵C的特征值λ_i以及相应的特征向量e_i；

第4步，降序排序特征值λ_i，在贡献率的基础上选取其k个特征值对应的特征向量，构成线性子空间T＝[e₁,e₂,…,e_k]；

第5步，将肺结节图像的语义特征投射到线性子空间：V＝TX'。

与现有技术相比，本发明的有益效果为：

1、本发明的方法基于语义特征和有监督哈希的肺结节图像检索，进而识别肺结节图像所表现的征象类别，便于医师判断肺结节的良恶性程度，减少了医师对诊断经验的过度依赖；

2、通过使用本发明的技术，能够从语义层面高效地检索出相似的肺结节图像，最大程度保证了肺结节征象的识别效果；

3、通过本发明检索出相似的肺结节图像，这些图像的病灶特征和诊断方案等可以为医师对肺部疾病的分析提供参考，起到辅助诊断的作用。

附图说明

图1是本发明对肺结节征象识别方法的框架图。

图2是本发明提取表达肺结节征象信息的肺结节特征的总体实现框图。

图3是利用肺结节图像的标签信息构造的标签矩阵。

图4是说明汉明距离相等的肺结节图像并不都相似于查询图像。

图5是基于加权汉明距离的肺结节图像检索过程。

图6是加权汉明排序与传统汉明排序在48比特哈希码时的检索结果。

图7是不同分类方法在8种混合征象类型上的正确识别率。

具体实施方式

以下结合具体实施例，对本发明进行详细说明。

参照图1、2、3、5，本发明方法的实现流程如下：

一种基于语义特征和有监督哈希的图像检索实现肺结节医学征象识别的方法，包括以下步骤：

步骤A，提取肺部CT图像中的肺结节混合征象区域，并截取其中各个单一征象区域，为之后提取表达肺结节征象信息的语义特征以及检索相似的肺结节图像，进而识别查询图像所表现的医学征象做准备；

步骤B，采用基于参数共享的卷积神经网络(CNN)提取表达肺结节征象信息的语义特征；首先使用第一个CNN训练单一征象数据，通过调整网络参数使其有效识别各个单一征象；然后将网络参数传递到第二个CNN，训练混合征象数据，并通过损失函数和误差反向传播机制来微调网络参数，从而获得表达结节征象信息的高维的语义特征；

步骤C，用于实现相似的肺结节图像检索；利用监督信息构造有效的哈希函数，将步骤B得到的高维的语义特征映射为简洁的哈希码，并为查询图像设计自适应权重向量，通过加权汉明距离的相似度衡量，从肺结节图像库中检索出具有相似征象的肺结节图像；

步骤D，用于识别肺结节征象；利用k近邻算法，从检索出的相似肺结节图像中判断查询图像含有的医学征象。

优选的，所述步骤B中网络参数调整过程如下：

B1、对于第一个CNN，使用单一征象数据集进行训练；

第一个CNN网络共有7层，输入层、包含2个卷积层和2个降采样层的隐含层、全连接层和输出层；使用线性插值方法将单一征象数据集中的图像统一大小为48×48，并减去图像均值进行预处理，将其作为卷积神经网络输入层的输入；使用多项逻辑回归模型中的softmax函数作为损失函数，输出层产生一个在各单一征象类上的概率分布；在隐含层使用rectified linear units(ReLU)作为激励函数，以便缩短学习周期的同时提高学习精度；在整个训练过程中使用梯度下降法进行优化，使得损失函数能够快速收敛；通过第一个CNN的训练，得到能够有效识别不同单一征象的网络参数；

B2、对于第二个CNN，使用混合征象数据集进行训练；

将B1中训练单一征象的网络参数转移到第二个CNN网络中，并将含有混合征象的整个肺结节图像作为网络输入，每张肺结节图像的大小同样被统一为48×48，通过微调网络参数，经过训练的网络能有效地识别肺结节图像含有的混合征象；网络训练过程与第一个CNN的训练过程相同，在输出层同样会产生对6个单一征象类的概率分布，以确定肺结节所含有的混合征象，但是由于混合征象的类别数不等于单一征象数，因此，损失函数的设计也有所不同；损失函数的定义为：

其中，n表示肺结节混合征象数据集中的图像数，c表示单一征象的类别数，p_i＝[p_i1,p_i2,…,p_ic]表示网络输出的概率分布向量，

表示基于事实的概率分布向量，l_i＝[l_i1,l_i2,…,l_ic]表示第i个肺结节图像的标签向量，如果结节图像表现出第j类征象，则l_ij＝1(j＝1,2,…,c)，否则l_ij＝0；最后，利用调整好的网络获取肺结节图像所含有的征象特征。

优选的，所述步骤C具体过程如下：

C1、利用监督信息构造有效的哈希函数；

①使用主成分分析(PCA)算法对肺结节的图像特征进行预处理，将结节特征投影到可以最小化投影误差的线性子空间中，减少冗余信息，确保哈希映射后的哈希码含有原始图像的主要信息；

②哈希函数的一般形式为：

w表示系数向量，b表示偏差，一般取值为所有图像特征的期望值，在PCA映射时已进行了零均值化处理，因此b的取值为0，用PCA映射后的语义特征v_i代替x_i，从而简化公式为：

③利用监督信息解决哈希函数中的w，所述的监督信息是指肺结节图像中所含混合征象的类型标签；

C2、为查询图像设计自适应权重向量，并检索相似的肺结节图像；

①设计各混合征象类型对应的权重向量；经哈希函数映射后，得到由肺结节图像的哈希码所构成的r维空间的集合Y＝{y₁,y₂,…,y_n}，

表示第i类混合征象的哈希码集合；权重向量的设计要求同类混合征象中肺结节图像的汉明距离最小：

符号“。”表示Hadamard积，c^(j)表示第j类的哈希码中心，n_j表示第j类的图像个数；还要求保留各类混合征象在原始特征空间的关系：

s_ij表示第i类与第j类的相似程度，若两类混合征象表现的差异性较大，即s_ij越小，相应的加权汉明距离应该越大；根据上述两个要求，目标函数可以设计为：

β表示平衡这两个要求的参数，设置β＝1；求解上式即可得到不同混合征象类型的权重向量；

②计算查询图像的自适应权重向量；

③根据查询图像的自适应权重向量a_q计算查询图像的哈希码y_q与各候选混合征象类型中的哈希码{Y₁,…,Y_m}之间的加权汉明距离：

y_i∈{Y₁,...,Y_m}，并从这m个混合征象类型的图像库中检索出具有相似征象的肺结节图像。

优选的，利用监督信息即肺结节图像中所含混合征象的类型标签的标签信息解决哈希函数中的w，详细步骤如下：

第1步，使用标签信息表示样本间的语义相似性，并利用l个标签样本建立标签矩阵S∈R^l×l，若样本x_i与x_j相似，则S_ij＝1，否则S_ij＝-1；

第2步，性能好的哈希函数使得相似样本的汉明距离最小为0，反之最大；根据哈希码内积与汉明距离之间的关系，可以得出相似样本(S_ij＝1)的哈希码内积最大(为r)，不相似样本(S_ij＝-1)的哈希码内积最小(为-r)；

第3步，根据第2步所述关系，以及标签样本构成的内积矩阵H_lH_l ^T和标签矩阵S，定义目标函数为：

第4步，求解目标函数，完成哈希函数的构造，然后使用构造的哈希函数将肺结节的图像特征映射为哈希码。

优选的，计算查询图像的自适应权重向量，其具体步骤如下：

第1步，分别计算查询图像与各个征象类的余弦距离：

sim(x_q,μ_i)＝cos＜x_q,μ_i＞(i＝1,...,k)(μ_i是各征象类的类中心)；

第2步，降序排序sim并选择前m个混合征象类作为候选混合征象类；

第3步，使用构造的哈希函数将查询图像映射为哈希码y_q；

第4步，计算查询图像的自适应权重向量

优选的，所述C1中①使用(PCA)算法对肺结节的图像特征进行预处理，基本步骤如下：

第1步，每一个肺结节图像都减去所有肺结节图像的特征均值，进行特征中心化；

第2步，计算协方差矩阵

第3步，根据SVD求取协方差矩阵C的特征值λ_i以及相应的特征向量e_i；

第4步，降序排序特征值λ_i，在贡献率的基础上选取其k个特征值对应的特征向量，构成线性子空间T＝[e₁,e₂,…,e_k]；

第5步，将肺结节图像的语义特征投射到线性子空间：V＝TX'。

优选的，所述步骤D具体步骤如下：

第1步，分别计算查询图像和检索到的相似肺结节图像之间的欧氏距离；

第2步，升序排序欧氏距离并选择前k个肺结节图像；

第3步，统计这k个肺结节图像中各个混合征象类所出现的频率；

第4步，出现频率最高的混合征象即为查询图像所表现的医学征象

图4说明了汉明距离相等的肺结节图像并不都相似于查询图像，因此，本发明为查询图像设计了自适应权重向量，通过计算加权汉明距离衡量肺结节图像间的相似度，以解决图4说明的问题。

图6对比了加权汉明排序与传统汉明排序在48比特哈希码时的检索结果。对于不同混合征象类型的肺结节图像，第一行为传统汉明距离的检索结果，第二行为对应查询图像的加权汉明距离的检索结果，黑色粗线框标记了返回图像中的错误图像。相比较传统汉明距离的检索，在返回的前5张相似结节图像中，基于加权汉明距离检索得到的正确图像数有所增加，准确率也有所提升。

图7对比了本发明与支持向量机(SVM)和极限学习机(ELM)方法在数据集中的8种混合征象上的正确识别率，即返回的正确图像数占返回图像数的比例。SVM算法是一种有监督的学习模型，采用监督信息弥补语义鸿沟，通过最小结构化风险来提高学习机泛化能力，是肺结节诊断中的常用方法。ELM是一种单隐层前馈神经网络的学习算法，相对于传统神经网络，ELM方法随机选取隐含层节点的参数，不需要通过迭代反复调整参数。SVM和ELM均使用径向基核函数，从中可以很直观地发现本发明的识别效果更好。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (4)

1.一种基于语义特征和有监督哈希的图像检索方法，其特征在于，包括以下步骤：

步骤A，提取肺部CT图像中的肺结节混合征象区域，并截取其中各个单一征象区域，为之后提取表达肺结节征象信息的语义特征以及检索相似的肺结节图像，进而识别查询图像所表现的医学征象做准备；

步骤B，采用基于参数共享的卷积神经网络提取表达肺结节征象信息的语义特征；首先使用第一个卷积神经网络训练单一征象数据，通过调整网络参数使其有效识别各个单一征象；然后将网络参数传递到第二个卷积神经网络，训练混合征象数据，并通过损失函数和误差反向传播机制来微调网络参数，从而获得表达结节征象信息的高维的语义特征；

步骤C，用于实现相似的肺结节图像检索；利用监督信息构造有效的哈希函数，将步骤B得到的高维的语义特征映射为简洁的哈希码，并为查询图像设计自适应权重向量，通过加权汉明距离的相似度衡量，从肺结节图像库中检索出具有相似征象的肺结节图像；

所述步骤B中网络参数调整过程如下：

B1、对于第一个卷积神经网络，使用单一征象数据集进行训练；

第一个卷积神经网络共有7层，输入层、包含2个卷积层和2个降采样层的隐含层、全连接层和输出层；使用线性插值方法将单一征象数据集中的图像统一大小为48×48，并减去图像均值进行预处理，将其作为卷积神经网络输入层的输入；使用多项逻辑回归模型中的softmax函数作为损失函数，输出层产生一个在各单一征象类上的概率分布；在隐含层使用rectified linear units(ReLU)作为激励函数，以便缩短学习周期的同时提高学习精度；在整个训练过程中使用梯度下降法进行优化，使得损失函数能够快速收敛；通过第一个卷积神经网络网络的训练，得到能够有效识别不同单一征象的网络参数；

B2、对于第二个卷积神经网络网络，使用混合征象数据集进行训练；

将B1中训练单一征象的网络参数转移到第二个卷积神经网络网络中，并将含有混合征象的整个肺结节图像作为网络输入，每张肺结节图像的大小同样被统一为48×48，通过微调网络参数，经过训练的网络能有效地识别肺结节图像含有的混合征象；网络训练过程与第一个卷积神经网络网络的训练过程相同，在输出层同样会产生对6个单一征象类的概率分布，以确定肺结节所含有的混合征象，但是由于混合征象的类别数不等于单一征象数，因此，损失函数的设计也有所不同；损失函数的定义为：

如果结节图像表现出第j类征象，则l_ij＝1，j＝1,2,…,c，否则l_ij＝0；最后，利用调整好的网络获取肺结节图像所含有的征象特征；

所述步骤C具体过程如下：

C1、利用监督信息构造有效的哈希函数；

①使用PCA算法对肺结节的图像特征进行预处理，将结节特征投影到可以最小化投影误差的线性子空间中，减少冗余信息，确保哈希映射后的哈希码含有原始图像的主要信息；

②哈希函数的一般形式为：

b_k的取值为0，用PCA映射后的语义特征v_i代替x_i，从而简化公式为：

③利用监督信息解决哈希函数中的w，所述的监督信息是指肺结节图像中所含混合征象的类型标签；

C2、为查询图像设计自适应权重向量，并检索相似的肺结节图像；

①设计各混合征象类型对应的权重向量；经哈希函数映射后，得到由肺结节图像的哈希码所构成的r维空间的集合Y＝{y₁,y₂,…,y_n}；权重向量的设计要求一：同类混合征象中肺结节图像的汉明距离最小：

符号“。”表示Hadamard积,i＝1,2,...,k；权重向量的设计要求二：保留各类混合征象在原始特征空间的关系：

s_ij表示第i类与第j类的相似程度，若两类混合征象表现的差异性较大，即s_ij越小，相应的加权汉明距离应该越大；根据上述两个要求，目标函数可以设计为：

a_i＞0,(a_i)^T*1＝1,i＝1,2,...,k；

β表示平衡这两个要求的参数，设置β＝1；求解上式即可得到不同混合征象类型的权重向量；

②计算查询图像的自适应权重向量；

③根据查询图像的自适应权重向量a_q计算查询图像的哈希码y_q与各候选混合征象类型中的哈希码{Y₁,…,Y_m}之间的加权汉明距离：

并从这m个候选混合征象类型的图像库中检索出具有相似征象的肺结节图像。

2.根据权利要求1所述的方法，其特征在于，利用监督信息即肺结节图像中所含混合征象的类型标签的标签信息解决哈希函数中的w，详细步骤如下：

第1步，使用标签信息表示样本间的语义相似性，并利用l个标签样本建立标签矩阵S∈R^l×l，若样本x_i与x_j相似，则S_ij＝1，否则S_ij＝-1；

第2步，性能好的哈希函数使得相似样本的汉明距离最小为0，反之最大；根据哈希码内积与汉明距离之间的关系，可以得出相似样本S_ij＝1的哈希码内积最大为r，不相似样本S_ij＝-1的哈希码内积最小为-r；

第3步，根据第2步所述关系，以及标签样本构成的内积矩阵H_lH_l ^T和标签矩阵S，定义目标函数为：

第4步，求解目标函数，完成哈希函数的构造，然后使用构造的哈希函数将肺结节的图像特征映射为哈希码。

3.根据权利要求1所述的方法，其特征在于，计算查询图像的自适应权重向量，其具体步骤如下：

第1步，分别计算查询图像与各个征象类的余弦距离：

sim(x_q,μ_i)＝cos＜x_q,μ_i＞；i＝1,...,k，μ_i是各征象类的类中心；

第2步，降序排序sim并选择前m个混合征象类作为候选混合征象类；

第3步，使用构造的哈希函数将查询图像映射为哈希码y_q；

第4步，计算查询图像的自适应权重向量

4.根据权利要求1所述的方法，其特征在于，所述C1中①使用PCA算法对肺结节的图像特征进行预处理，基本步骤如下：

第1步，每一个肺结节图像都减去所有肺结节图像的特征均值，进行特征中心化；

第2步，计算协方差矩阵C：

第3步，根据SVD求取协方差矩阵C的特征值λ_i以及相应的特征向量e_i；

第4步，降序排序特征值λ_i，在贡献率的基础上选取其d个特征值对应的特征向量，构成线性子空间T＝[e₁,e₂,...,e_d]；

第5步，将肺结节图像的语义特征投射到线性子空间：V＝TX'。

Images