CN107291936B - 一种基于视觉特征和征象标签的超图哈希图像检索实现肺结节征象识别的方法 - Google Patents

Abstract

本发明公开了一种基于视觉特征和征象标签的超图哈希图像检索实现肺结节征象识别的方法，使用两层结构提高肺结节图像的检索精度。在第一层，本发明将肺结节影像视觉信息和标签信息分别构建概率超图，最优划分概率超图得到哈希码。在第二层，使用结节图像的视觉特征、标签特征和第一层得到的哈希码来训练哈希函数。在检索时，对待检图像通过训练好的哈希函数进行0，1编码，与数据集中图像比较汉明距离，返回相似结节图像。本发明的方法基于视觉特征和征象标签的超图哈希图像检索，进而识别待检索肺结节图像所表现的征象类别，便于医师判断肺结节的良恶性程度，减少医师对诊断经验的过度依赖。

Description

一种基于视觉特征和征象标签的超图哈希图像检索实现肺结 节征象识别的方法

技术领域

本发明涉及肺结节征象识别，具体涉及一种基于视觉特征和征象标签的超图哈希图像检索实现肺结节征象识别的方法。

背景技术

随着肺部CT影像的爆炸式增长，需要有大量有经验的、不知疲倦的、状态持续稳定的医生完成诊断。否则必然发生误诊和漏诊情况。然而，目前人工诊断力量严重不足，亟需计算机强大的计算能力帮助医师进行辅助诊断。医学图像检索不仅减轻了医生的工作负担，提高了效率；另一方面，使得医学图像的诊断更加客观化，增加了诊断的准确性。

发明内容

本发明针对现有技术的不足提供一种基于视觉特征和征象标签的超图哈希图像检索实现肺结节征象识别的方法，既能检索得到相似的肺结节图像，同时对于区分不同病灶征象的肺结节图像具有良好的识别和检索效果，为医师对查询病灶的诊断提供决策支持，从客观方面起到辅助诊断的作用。

本发明采用的技术方案为：

一种基于视觉特征和征象标签的超图哈希图像检索实现肺结节征象识别的方法，包括以下步骤：

步骤A，提取肺结节感兴趣区域，截取以ROI为中心的最小外接矩形区域，为之后提取表达肺结节征象信息的视觉特征以及检索相似的肺结节图像，进而识别查询图像所表现的医学征象做准备；

步骤B，多视觉特征集合的构造，从形状、灰度、纹理3个方面对结节提取共199维可靠视觉特征；

步骤C，用于实现相似的肺结节图像检索；利用视觉信息与征象标签构造双概率超图，利用超图学习哈希函数，将步骤B得到的视觉特征映射为简洁的哈希码；

步骤D，通过汉明距离的相似度衡量，从肺结节图像库中检索出具有相似征象的肺结节图像并对待检索结节进行征象识别；

所述的方法，所述步骤B中视觉特征提取过程如下：

B1、提取ROI的128维sift局部边缘特征，标记为f1-f128；

B2、提取灰度均值、灰度熵、灰度方差3维特征f129-f131；

B3、提取7Hu不变矩特征f132-f138；

B4、提取2维几何形态特征f139-f140；

B5、提取59维LBP特征f141-f199；

所述的方法，所述步骤C具体过程如下：

C1、双概率超图的构建；

①构建视觉特征概率超图：通过以下步骤来构建肺结节视觉特征概率超图noduleHp：

Step1确定顶点集Vnodule＝{v₁,v₂,...,v_n}：将LIDC、LISS数据库中的每张肺结节图像的视觉特征视为一个顶点，得到顶点集Vnodule＝{v₁,v₂,...,v_n}，v_i代表顶点。

Step2确定概率超边集Enodule＝{e₁,e₂,...,e_m}及关联矩阵H。

Step2.1令顶点v_i和顶点v_j之间的亲和度为A_ij，通过

计算A_ij。

Step2.2根据计算的顶点集Vnodule的|V|×|V|亲和度矩阵A，构造概率超边：依次视每个顶点为质心顶点并由质心顶点和其m-1个较亲和的顶点一起形成一条包含m个顶点的概率超边e，最终得到概率超边集Enodule＝{e₁,e₂,...,e_m}，e_i代表超边。

Step2.3确定各顶点从属于超边的概率h(v_i,e_j)。当

时，h(v_i,e_j)＝p(v_i|e_j)＝0。得到关联矩阵H。

至此肺结节概率超图noduleHp构建完毕。

②构建征象标签概率超图：肺结节征象标签概率超图noduleTg的构建过程如下：对每一张属于征象超边e_j的肺结节图像v_i均赋予0.75的值，如果某张肺结节图像包含全部9种征象标签(GGO，Spiculation，Lobulation，Cavity&Vacuolus，Calcification，PleuralDragging，Bronchial Mucus Plugs，Obstructive pneumonia，Air bronchogram)，就将其A(i,j)赋值为1，以表示较高的亲和度。

C2、权重平衡方法设计：

为每条超边赋予了权重：

将视觉特征概率超图与征象标签概率超图结合起来需要考虑二者的平衡问题，因为二者都是对肺结节图像特征的充分描述，所以加入了平衡参数λ∈[0,1]。权重参数可通过公式进行更新：

所述的方法，利用双概率超图即肺结节图像中所含征象的类型标签的标签信息与视觉信息解决哈希函数的构造问题，详细步骤如下：

第1步，k位光谱哈希的构造问题，可以转化为在超图中通过最小化损失函数，获得k个独立区域的问题。F表示n个顶点的二值码，它是一个n×k矩阵，具体形式为：

每个行向量对应一个顶点的k位哈希码，第i个f_i是一个n维列向量，包含n个顶点的第i位哈希码值。从公式

中的标准化的损失函数，可获得此哈希算法的最优目标函数，具体形式为：

第2步，由于这是一个NP问题，但通过删除约束条件F(i,j)∈{-1,1}，可转化为超图分割问题，其解为Δ的k个最小非零特征值所对应的k个特征向量。通过为这些特征向量赋阈值可以获得二值码1和-1。

第3步，使用在F中生成的二值码来训练k个二元分类器。f_i的第i个列向量看作第i个二元分类器lⁱ(x)的标签向量，x是肺结节图像的视觉特征与标签特征。通过输入肺结节图像的特征进行有监督学习后，可以获得k个二元分类器l¹(x),l²(x),…,l^k(x)。将它们连接起来构成最终的哈希函数L(x)，用来生成k位哈希码；

第4步，完成哈希函数的构造，然后使用构造的哈希函数将肺结节的图像特征映射为哈希码。

所述方法，其特征在于，所述步骤D具体步骤如下：

第1步，分别计算查询图像和检索到的相似肺结节图像之间的汉明距离；

第2步，升序排序汉明距离并选择前k个肺结节图像；

第3步，统计这k个肺结节图像中各个混合征象类所出现的频率；

第4步，出现频率最高的混合征象即为查询图像所表现的医学征象。

与现有技术相比，本发明的有益效果为：

1、本发明的方法基于视觉特征和征象标签的超图哈希图像检索，进而识别待检索肺结节图像所表现的征象类别，便于医师判断肺结节的良恶性程度，减少医师对诊断经验的过度依赖；

2、通过使用本发明的技术，能够从语义层面高效地检索出相似的肺结节图像，最大程度保证了肺结节征象的识别效果；

3、通过本发明检索出相似的肺结节图像，这些图像的病灶特征和诊断方案等可以为医师对肺部疾病的分析提供参考，起到辅助诊断的作用。

附图说明

图1是本发明对肺结节征象识别方法的框架图。

图2是本发明提取表达肺结节征象信息的肺结节特征的总体实现框图。

图3是多视觉特征提取与标签码本构造过程图。

图4是不同码位下返回图像张数分别为10张(a),20张(b),25张(c),30张(d)的检索精度。

图5是不同的近邻数量下哈希码位数分别为8位(a),16位(b),32位(c),64位(d)的检索精度。

图6是λ的不同取值对本发明算法精度的影响情况。

具体实施方式

以下结合具体实施例，对本发明进行详细说明。

参照图1、2、3，本发明方法的实现流程如下：

一种基于视觉特征和征象标签的超图哈希图像检索实现肺结节征象识别的方法，包括以下步骤：

步骤A，提取肺结节感兴趣区域，截取以ROI为中心的最小外接矩形区域，为之后提取表达肺结节征象信息的视觉特征以及检索相似的肺结节图像，进而识别查询图像所表现的医学征象做准备；

步骤B，多视觉特征集合的构造，从形状、灰度、纹理3个方面对结节提取共199维可靠视觉特征；

步骤C，用于实现相似的肺结节图像检索；利用视觉信息与征象标签构造双概率超图，利用超图学习哈希函数，将步骤B得到的视觉特征映射为简洁的哈希码；

步骤D，通过汉明距离的相似度衡量，从肺结节图像库中检索出具有相似征象的肺结节图像并对待检索结节进行征象识别；

优选的，所述步骤B中多视觉特征构造如下：

B1、提取ROI的128维sift局部边缘特征，标记为f1-f128；

B2、提取灰度均值、灰度熵、灰度方差3维特征f129-f131；

B3、提取7Hu不变矩特征f132-f138；

B4、提取2维几何形态特征f139-f140；

B5、提取59维LBP特征f141-f199；

优选的方法，所述步骤C具体过程如下：

C1、双概率超图的构建；

①构建视觉特征概率超图：通过以下步骤来构建肺结节视觉特征概率超图noduleHp：

Step1确定顶点集Vnodule＝{v₁,v₂,...,v_n}：将LIDC、LISS数据库中的每张肺结节图像的视觉特征视为一个顶点，得到顶点集Vnodule＝{v₁,v₂,...,v_n}，v_i代表顶点。

Step2确定概率超边集Enodule＝{e₁,e₂,...,e_m}及关联矩阵H。

Step2.1令顶点v_i和顶点v_j之间的亲和度为A_ij，通过

计算A_ij。

Step2.2根据计算的顶点集Vnodule的|V|×|V|亲和度矩阵A，构造概率超边：依次视每个顶点为质心顶点并由质心顶点和其m-1个较亲和的顶点一起形成一条包含m个顶点的概率超边e，最终得到概率超边集Enodule＝{e₁,e₂,...,e_m}，e_i代表超边。

Step2.3确定各顶点从属于超边的概率h(v_i,e_j)。当

时，h(v_i,e_j)＝p(v_i|e_j)＝0。得到关联矩阵H。

至此肺结节概率超图noduleHp构建完毕。

②构建征象标签概率超图：肺结节征象标签概率超图noduleTg的构建过程如下：对每一张属于征象超边e_j的肺结节图像v_i均赋予0.75的值，如果某张肺结节图像包含全部9种征象标签(GGO，Spiculation，Lobulation，Cavity&Vacuolus，Calcification，PleuralDragging，Bronchial Mucus Plugs，Obstructive pneumonia，Air bronchogram)，就将其A(i,j)赋值为1，以表示较高的亲和度。

C2、权重平衡方法设计：

为每条超边赋予了权重：

将视觉特征概率超图与征象标签概率超图结合起来需要考虑二者的平衡问题，因为二者都是对肺结节图像特征的充分描述，所以本发明加入了平衡参数λ∈[0,1]。权重参数可通过公式进行更新：

所述的方法，利用双概率超图即肺结节图像中所含征象的类型标签的标签信息与视觉信息解决哈希函数的构造问题，详细步骤如下：

第1步，k位光谱哈希的构造问题，可以转化为在超图中通过最小化损失函数，获得k个独立区域的问题。F表示n个顶点的二值码，它是一个n×k矩阵，具体形式为：

每个行向量对应一个顶点的k位哈希码，第i个f_i是一个n维列向量，包含n个顶点的第i位哈希码值。从公式

中的标准化的损失函数，可获得此哈希算法的最优目标函数，具体形式为：

st.F(i,j)∈{-1,1},F^T1＝0,F^TF＝I.

第2步，由于这是一个NP问题，但通过删除约束条件F(i,j)∈{-1,1}，可转化为超图分割问题，其解为Δ的k个最小非零特征值所对应的k个特征向量。通过为这些特征向量赋阈值可以获得二值码1和-1。

第3步，使用在F中生成的二值码来训练k个二元分类器。f_i的第i个列向量看作第i个二元分类器lⁱ(x)的标签向量，x是肺结节图像的视觉特征与标签特征。通过输入肺结节图像的特征进行有监督学习后，可以获得k个二元分类器l¹(x),l²(x),…,l^k(x)。将它们连接起来构成最终的哈希函数L(x)，用来生成k位哈希码；

第4步，完成哈希函数的构造，然后使用构造的哈希函数将肺结节的图像特征映射为哈希码。

优选的，所述步骤D具体步骤如下：

第1步，分别计算查询图像和检索到的相似肺结节图像之间的汉明距离；

第2步，升序排序汉明距离并选择前k个肺结节图像；

第3步，统计这k个肺结节图像中各个混合征象类所出现的频率；

第4步，出现频率最高的混合征象即为查询图像所表现的医学征象。

图4对比了不同哈希方法的最近邻检索精度。哈希码位长r分别选取8，16，32，48，64，返回图像张数m分别为10，20，25，30。评价标准为查准率

很明显，LSH与其他算法相比精度较低，并且随着哈希码位数的增加，收敛速率也表现较差。SH比LSH精度高，因为它是一种数据识别方法。HSH利用了超图结构，因此比SH的精度更高。PHH在检索精度上较高，证明了本发明概率超图模型的有效性。DPHH比PHH的精度更高是由于加入了平衡系数λ＝0.1，更新了超边权重，被更新的超边比标签信息更敏感。

图5对比了不同近邻数量下各方法的精度曲线。很明显,DPHH和PHH仍然比其他方法表现更优，主要原因为在构建超图时，同时考虑了顶点之间和超边之间的亲和关系。在哈希码长为32位并且检索近邻数量为10时，可以达到最高精度90.18％。

图6展示了通过对参数λ进行不同取值，进一步探索其对精度的影响。总体来说，随着λ的增加，精度呈现先上升后下降的趋势，在λ＝0.1时达到最大值。这是由于noduleTg中的超边包含很多语义信息，却只用一个稀疏标签码本来表示，因此想要取得高精度的检索性能就需要对此类超边重新赋予更高的权重。但是，当λ＝0.05时，检索精度比λ＝0.1时低，这是由于忽略了过多的视觉信息。当λ＝0.5时，DPHH退化为PHH。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (2)

1.一种基于视觉特征和征象标签的超图哈希图像检索实现肺结节征象识别的方法，其特征在于，包括以下步骤：

步骤A，提取肺结节感兴趣区域，截取以ROI为中心的最小外接矩形区域，为之后提取表达肺结节征象信息的视觉特征以及检索相似的肺结节图像，进而识别查询图像所表现的医学征象做准备；

步骤B，多视觉特征集合的构造，从形状、灰度、纹理3个方面对结节提取共199维可靠视觉特征；

步骤C，用于实现相似的肺结节图像检索；利用视觉特征与征象标签构造双概率超图，利用超图学习构造哈希函数，将步骤B得到的视觉特征映射为简洁的哈希码；

步骤D，通过汉明距离的相似度衡量，从肺结节图像库中检索出具有相似征象的肺结节图像并对待检索结节进行征象识别；

所述步骤C具体过程如下：

C1、双概率超图的构建；

①构建视觉特征概率超图：通过以下步骤来构建肺结节视觉特征概率超图noduleHp：

Step1确定顶点集Vnodule＝{v₁,v₂,...,v_n}：将LIDC、LISS数据库中的每张肺结节图像的视觉特征视为一个顶点，得到顶点集Vnodule＝{v₁,v₂,...,v_n}，v_i代表顶点；

Step2确定概率超边集Enodule＝{e₁,e₂,...,e_m}及关联矩阵H：

Step2.1令顶点v_i和顶点v_j之间的亲和度为A(i,j)，通过

计算A(i,j)；

Step2.2根据计算的顶点集Vnodule的|V|×|V|亲和度矩阵A，构造概率超边：依次视每个顶点为质心顶点并由质心顶点和其m-1个较亲和的顶点一起形成一条包含m个顶点的概率超边e，最终得到概率超边集Enodule＝{e₁,e₂,...,e_m}，e_i代表超边；

Step2.3确定各顶点从属于超边的概率h(v_i,e_j)；当

时，h(v_i,e_j)＝p(v_i|e_j)＝0；得到关联矩阵H；

至此肺结节概率超图noduleHp构建完毕；

②构建征象标签概率超图：肺结节征象标签概率超图noduleTg的构建过程如下：对每一张属于征象超边e_j的肺结节图像v_i均赋予0.75的值，如果某张肺结节图像包含全部9种征象标签即GGO、Spiculation、Lobulation、Cavity&Vacuolus、Calcification、PleuralDragging、Bronchial Mucus Plugs、Obstructive pneumonia、Air bronchogram，就将其A(i,j)赋值为1，以表示较高的亲和度；

C2、权重平衡方法设计：

为每条超边赋予了权重：

将视觉特征概率超图与征象标签概率超图结合起来需要考虑二者的平衡问题，因为二者都是对肺结节图像特征的充分描述，所以加入了平衡参数λ∈[0,1]；权重参数通过公式进行更新：

步骤C中，利用双概率超图即肺结节图像中所含征象的类型标签的标签信息与视觉信息解决哈希函数的构造问题，详细步骤如下：

第1步，k位光谱哈希的构造问题，能够转化为在超图中通过最小化损失函数，获得k个独立区域的问题；F表示n个顶点的二值码，它是一个n×k矩阵，具体形式为：

每个行向量对应一个顶点的k位哈希码，第i个f_i是一个n维列向量，包含n个顶点的第i位哈希码值；从公式：

中的标准化的损失函数，获得此哈希算法的最优目标函数，具体形式为：

st.F(i,j)∈{-1,1},F^T1＝0,F^TF＝I

第2步，通过删除约束条件F(i,j)∈{-1,1}，转化为超图分割问题，其解为Δ的k个最小非零特征值所对应的k个特征向量；通过为这些特征向量赋阈值获得二值码1和-1；

第3步，使用在F中生成的二值码来训练k个二元分类器；f_i的第i个列向量看作第i个二元分类器lⁱ(x)的标签向量，x是肺结节图像的视觉特征与标签特征；通过输入肺结节图像的特征进行有监督学习后，获得k个二元分类器l¹(x),l²(x),…,l^k(x)；将它们连接起来构成最终的哈希函数L(x)，用来生成k位哈希码；

第4步，完成哈希函数的构造，然后使用构造的哈希函数将肺结节的图像特征映射为哈希码；

所述步骤D具体步骤如下：

第1步，分别计算检索图像和数据库图像的哈希码，然后计算两者的汉明距离；

第2步，升序排序汉明距离并选择前k个肺结节图像；

第3步，统计这k个肺结节图像中各个混合征象类所出现的频率，混合征象类指同时出现两种及以上所述的9种征象标签；

第4步，出现频率最高的混合征象即为查询图像所表现的医学征象。

2.根据权利要求1所述的方法，其特征在于，所述步骤B中视觉特征提取过程如下：

B1、提取ROI的128维sift局部边缘特征，标记为f1-f128；

B2、提取灰度均值、灰度熵、灰度方差3维特征f129-f131；

B3、提取7Hu不变矩特征f132-f138；

B4、提取2维几何形态特征f139-f140；

B5、提取59维LBP特征f141-f199。

Images