CN107291936A - 一种基于视觉特征和征象标签的超图哈希图像检索实现肺结节征象识别的方法 - Google Patents
一种基于视觉特征和征象标签的超图哈希图像检索实现肺结节征象识别的方法 Download PDFInfo
- Publication number
- CN107291936A CN107291936A CN201710536096.7A CN201710536096A CN107291936A CN 107291936 A CN107291936 A CN 107291936A CN 201710536096 A CN201710536096 A CN 201710536096A CN 107291936 A CN107291936 A CN 107291936A
- Authority
- CN
- China
- Prior art keywords
- mrow
- sign
- lung neoplasm
- image
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于视觉特征和征象标签的超图哈希图像检索实现肺结节征象识别的方法，使用两层结构提高肺结节图像的检索精度。在第一层，本发明将肺结节影像视觉信息和标签信息分别构建概率超图，最优划分概率超图得到哈希码。在第二层，使用结节图像的视觉特征、标签特征和第一层得到的哈希码来训练哈希函数。在检索时，对待检图像通过训练好的哈希函数进行0，1编码，与数据集中图像比较汉明距离，返回相似结节图像。本发明的方法基于视觉特征和征象标签的超图哈希图像检索，进而识别待检索肺结节图像所表现的征象类别，便于医师判断肺结节的良恶性程度，减少医师对诊断经验的过度依赖。
Description
技术领域
本发明涉及肺结节征象识别，具体涉及一种基于视觉特征和征象标签的超图哈希图像检索实现肺结节征象识别的方法。
背景技术
随着肺部CT影像的爆炸式增长，需要有大量有经验的、不知疲倦的、状态持续稳定的医生完成诊断。否则必然发生误诊和漏诊情况。然而，目前人工诊断力量严重不足，亟需计算机强大的计算能力帮助医师进行辅助诊断。医学图像检索不仅减轻了医生的工作负担，提高了效率；另一方面，使得医学图像的诊断更加客观化，增加了诊断的准确性。
发明内容
本发明针对现有技术的不足提供一种基于视觉特征和征象标签的超图哈希图像检索实现肺结节征象识别的方法，既能检索得到相似的肺结节图像，同时对于区分不同病灶征象的肺结节图像具有良好的识别和检索效果，为医师对查询病灶的诊断提供决策支持，从客观方面起到辅助诊断的作用。
本发明采用的技术方案为：
一种基于视觉特征和征象标签的超图哈希图像检索实现肺结节征象识别的方法，包括以下步骤：
步骤A，提取肺结节感兴趣区域，截取以ROI为中心的最小外接矩形区域，为之后提取表达肺结节征象信息的视觉特征以及检索相似的肺结节图像，进而识别查询图像所表现的医学征象做准备；
步骤B，多视觉特征集合的构造，从形状、灰度、纹理3个方面对结节提取共199维可靠视觉特征；
步骤C，用于实现相似的肺结节图像检索；利用视觉信息与征象标签构造双概率超图，利用超图学习哈希函数，将步骤B得到的视觉特征映射为简洁的哈希码；
步骤D，通过汉明距离的相似度衡量，从肺结节图像库中检索出具有相似征象的肺结节图像并对待检索结节进行征象识别；
所述的方法，所述步骤B中视觉特征提取过程如下：
B1、提取ROI的128维sift局部边缘特征，标记为f1-f128；
B2、提取灰度均值、灰度熵、灰度方差3维特征f129-f131；
B3、提取7Hu不变矩特征f132-f138；
B4、提取2维几何形态特征f139-f140；
B5、提取59维LBP特征f141-f199；
所述的方法，所述步骤C具体过程如下：
C1、双概率超图的构建；
①构建视觉特征概率超图：通过以下步骤来构建肺结节视觉特征概率超图noduleHp：
Step1确定顶点集Vnodule＝{v1,v2,...,vn}：将LIDC、LISS数据库中的每张肺结节图像的视觉特征视为一个顶点，得到顶点集Vnodule＝{v1,v2,...,vn}，vi代表顶点。
Step2确定概率超边集Enodule＝{e1,e2,...,em}及关联矩阵H。
Step2.1令顶点vi和顶点vj之间的亲和度为Aij，通过计算Aij。
Step2.2根据计算的顶点集Vnodule的|V|×|V|亲和度矩阵A，构造概率超边：依次视每个顶点为质心顶点并由质心顶点和其m-1个较亲和的顶点一起形成一条包含m个顶点的概率超边e，最终得到概率超边集Enodule＝{e1,e2,...,em}，ei代表超边。
Step2.3确定各顶点从属于超边的概率h(vi,ej)。当时，h(vi,ej)＝p(vi|ej)＝0。得到关联矩阵H。
至此肺结节概率超图noduleHp构建完毕。
②构建征象标签概率超图：肺结节征象标签概率超图noduleTg的构建过程如下：对每一张属于征象超边ej的肺结节图像vi均赋予0.75的值，如果某张肺结节图像包含全部9种征象标签(GGO，Spiculation，Lobulation，Cavity&Vacuolus，Calcification，PleuralDragging，Bronchial Mucus Plugs，Obstructive pneumonia，Air bronchogram)，就将其A(i,j)赋值为1，以表示较高的亲和度。
C2、权重平衡方法设计：
为每条超边赋予了权重：
将视觉特征概率超图与征象标签概率超图结合起来需要考虑二者的平衡问题，因为二者都是对肺结节图像特征的充分描述，所以加入了平衡参数λ∈[0,1]。权重参数可通过公式进行更新：
所述的方法，利用双概率超图即肺结节图像中所含征象的类型标签的标签信息与视觉信息解决哈希函数的构造问题，详细步骤如下：
第1步，k位光谱哈希的构造问题，可以转化为在超图中通过最小化损失函数，获得k个独立区域的问题。F表示n个顶点的二值码，它是一个n×k矩阵，具体形式为：每个行向量对应一个顶点的k位哈希码，第i个fi是一个n维列向量，包含n个顶点的第i位哈希码值。从公式中的标准化的损失函数，可获得此哈希算法的最优目标函数，具体形式为：
第2步，由于这是一个NP问题，但通过删除约束条件F(i,j)∈{-1,1}，可转化为超图分割问题，其解为Δ的k个最小非零特征值所对应的k个特征向量。通过为这些特征向量赋阈值可以获得二值码1和-1。
第3步，使用在F中生成的二值码来训练k个二元分类器。fi的第i个列向量看作第i个二元分类器li(x)的标签向量，x是肺结节图像的视觉特征与标签特征。通过输入肺结节图像的特征进行有监督学习后，可以获得k个二元分类器l1(x),l2(x),…,lk(x)。将它们连接起来构成最终的哈希函数L(x)，用来生成k位哈希码；
第4步，完成哈希函数的构造，然后使用构造的哈希函数将肺结节的图像特征映射为哈希码。
所述方法，其特征在于，所述步骤D具体步骤如下：
第1步，分别计算查询图像和检索到的相似肺结节图像之间的汉明距离；
第2步，升序排序汉明距离并选择前k个肺结节图像；
第3步，统计这k个肺结节图像中各个混合征象类所出现的频率；
第4步，出现频率最高的混合征象即为查询图像所表现的医学征象。
与现有技术相比，本发明的有益效果为：
1、本发明的方法基于视觉特征和征象标签的超图哈希图像检索，进而识别待检索肺结节图像所表现的征象类别，便于医师判断肺结节的良恶性程度，减少医师对诊断经验的过度依赖；
2、通过使用本发明的技术，能够从语义层面高效地检索出相似的肺结节图像，最大程度保证了肺结节征象的识别效果；
3、通过本发明检索出相似的肺结节图像，这些图像的病灶特征和诊断方案等可以为医师对肺部疾病的分析提供参考，起到辅助诊断的作用。
附图说明
图1是本发明对肺结节征象识别方法的框架图。
图2是本发明提取表达肺结节征象信息的肺结节特征的总体实现框图。
图3是多视觉特征提取与标签码本构造过程图。
图4是不同码位下返回图像张数分别为10张(a),20张(b),25张(c),30张(d)的检索精度。
图5是不同的近邻数量下哈希码位数分别为8位(a),16位(b),32位(c),64位(d)的检索精度。
图6是λ的不同取值对本发明算法精度的影响情况。
具体实施方式
以下结合具体实施例，对本发明进行详细说明。
参照图1、2、3，本发明方法的实现流程如下：
一种基于视觉特征和征象标签的超图哈希图像检索实现肺结节征象识别的方法，包括以下步骤：
步骤A，提取肺结节感兴趣区域，截取以ROI为中心的最小外接矩形区域，为之后提取表达肺结节征象信息的视觉特征以及检索相似的肺结节图像，进而识别查询图像所表现的医学征象做准备；
步骤B，多视觉特征集合的构造，从形状、灰度、纹理3个方面对结节提取共199维可靠视觉特征；
步骤C，用于实现相似的肺结节图像检索；利用视觉信息与征象标签构造双概率超图，利用超图学习哈希函数，将步骤B得到的视觉特征映射为简洁的哈希码；
步骤D，通过汉明距离的相似度衡量，从肺结节图像库中检索出具有相似征象的肺结节图像并对待检索结节进行征象识别；
优选的，所述步骤B中多视觉特征构造如下：
B1、提取ROI的128维sift局部边缘特征，标记为f1-f128；
B2、提取灰度均值、灰度熵、灰度方差3维特征f129-f131；
B3、提取7Hu不变矩特征f132-f138；
B4、提取2维几何形态特征f139-f140；
B5、提取59维LBP特征f141-f199；
优选的方法，所述步骤C具体过程如下：
C1、双概率超图的构建；
①构建视觉特征概率超图：通过以下步骤来构建肺结节视觉特征概率超图noduleHp：
Step1确定顶点集Vnodule＝{v1,v2,...,vn}：将LIDC、LISS数据库中的每张肺结节图像的视觉特征视为一个顶点，得到顶点集Vnodule＝{v1,v2,...,vn}，vi代表顶点。
Step2确定概率超边集Enodule＝{e1,e2,...,em}及关联矩阵H。
Step2.1令顶点vi和顶点vj之间的亲和度为Aij，通过计算Aij。
Step2.2根据计算的顶点集Vnodule的|V|×|V|亲和度矩阵A，构造概率超边：依次视每个顶点为质心顶点并由质心顶点和其m-1个较亲和的顶点一起形成一条包含m个顶点的概率超边e，最终得到概率超边集Enodule＝{e1,e2,...,em}，ei代表超边。
Step2.3确定各顶点从属于超边的概率h(vi,ej)。当时，h(vi,ej)＝p(vi|ej)＝0。得到关联矩阵H。
至此肺结节概率超图noduleHp构建完毕。
②构建征象标签概率超图：肺结节征象标签概率超图noduleTg的构建过程如下：对每一张属于征象超边ej的肺结节图像vi均赋予0.75的值，如果某张肺结节图像包含全部9种征象标签(GGO，Spiculation，Lobulation，Cavity&Vacuolus，Calcification，PleuralDragging，Bronchial Mucus Plugs，Obstructive pneumonia，Air bronchogram)，就将其A(i,j)赋值为1，以表示较高的亲和度。
C2、权重平衡方法设计：
为每条超边赋予了权重：
将视觉特征概率超图与征象标签概率超图结合起来需要考虑二者的平衡问题，因为二者都是对肺结节图像特征的充分描述，所以本发明加入了平衡参数λ∈[0,1]。权重参数可通过公式进行更新：
所述的方法，利用双概率超图即肺结节图像中所含征象的类型标签的标签信息与视觉信息解决哈希函数的构造问题，详细步骤如下：
第1步，k位光谱哈希的构造问题，可以转化为在超图中通过最小化损失函数，获得k个独立区域的问题。F表示n个顶点的二值码，它是一个n×k矩阵，具体形式为：每个行向量对应一个顶点的k位哈希码，第i个fi是一个n维列向量，包含n个顶点的第i位哈希码值。从公式中的标准化的损失函数，可获得此哈希算法的最优目标函数，具体形式为：
st.F(i,j)∈{-1,1},FT1＝0,FTF＝I.
第2步，由于这是一个NP问题，但通过删除约束条件F(i,j)∈{-1,1}，可转化为超图分割问题，其解为Δ的k个最小非零特征值所对应的k个特征向量。通过为这些特征向量赋阈值可以获得二值码1和-1。
第3步，使用在F中生成的二值码来训练k个二元分类器。fi的第i个列向量看作第i个二元分类器li(x)的标签向量，x是肺结节图像的视觉特征与标签特征。通过输入肺结节图像的特征进行有监督学习后，可以获得k个二元分类器l1(x),l2(x),…,lk(x)。将它们连接起来构成最终的哈希函数L(x)，用来生成k位哈希码；
第4步，完成哈希函数的构造，然后使用构造的哈希函数将肺结节的图像特征映射为哈希码。
优选的，所述步骤D具体步骤如下：
第1步，分别计算查询图像和检索到的相似肺结节图像之间的汉明距离；
第2步，升序排序汉明距离并选择前k个肺结节图像；
第3步，统计这k个肺结节图像中各个混合征象类所出现的频率；
第4步，出现频率最高的混合征象即为查询图像所表现的医学征象。
图4对比了不同哈希方法的最近邻检索精度。哈希码位长r分别选取8，16，32，48，64，返回图像张数m分别为10，20，25，30。评价标准为查准率很明显，LSH与其他算法相比精度较低，并且随着哈希码位数的增加，收敛速率也表现较差。SH比LSH精度高，因为它是一种数据识别方法。HSH利用了超图结构，因此比SH的精度更高。PHH在检索精度上较高，证明了本发明概率超图模型的有效性。DPHH比PHH的精度更高是由于加入了平衡系数λ＝0.1，更新了超边权重，被更新的超边比标签信息更敏感。
图5对比了不同近邻数量下各方法的精度曲线。很明显,DPHH和PHH仍然比其他方法表现更优，主要原因为在构建超图时，同时考虑了顶点之间和超边之间的亲和关系。在哈希码长为32位并且检索近邻数量为10时，可以达到最高精度90.18％。
图6展示了通过对参数λ进行不同取值，进一步探索其对精度的影响。总体来说，随着λ的增加，精度呈现先上升后下降的趋势，在λ＝0.1时达到最大值。这是由于noduleTg中的超边包含很多语义信息，却只用一个稀疏标签码本来表示，因此想要取得高精度的检索性能就需要对此类超边重新赋予更高的权重。但是，当λ＝0.05时，检索精度比λ＝0.1时低，这是由于忽略了过多的视觉信息。当λ＝0.5时，DPHH退化为PHH。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (5)
1.一种基于视觉特征和征象标签的超图哈希图像检索实现肺结节征象识别的方法，其特征在于，包括以下步骤：
步骤A，提取肺结节感兴趣区域，截取以ROI为中心的最小外接矩形区域，为之后提取表达肺结节征象信息的视觉特征以及检索相似的肺结节图像，进而识别查询图像所表现的医学征象做准备；
步骤B，多视觉特征集合的构造，从形状、灰度、纹理3个方面对结节提取共199维可靠视觉特征；
步骤C，用于实现相似的肺结节图像检索；利用视觉特征与征象标签构造双概率超图，利用超图学习构造哈希函数，将步骤B得到的视觉特征映射为简洁的哈希码；
步骤D，通过汉明距离的相似度衡量，从肺结节图像库中检索出具有相似征象的肺结节图像并对待检索结节进行征象识别。
2.根据权利要求1所述的方法，其特征在于，所述步骤B中视觉特征提取过程如下：
B1、提取ROI的128维sift局部边缘特征，标记为f1-f128；
B2、提取灰度均值、灰度熵、灰度方差3维特征f129-f131；
B3、提取7Hu不变矩特征f132-f138；
B4、提取2维几何形态特征f139-f140；
B5、提取59维LBP特征f141-f199。
3.根据权利要求1所述的方法，其特征在于，所述步骤C具体过程如下：
C1、双概率超图的构建；
①构建视觉特征概率超图：通过以下步骤来构建肺结节视觉特征概率超图noduleHp：
Step1确定顶点集Vnodule＝{v1,v2,...,vn}：将LIDC、LISS数据库中的每张肺结节图像的视觉特征视为一个顶点，得到顶点集Vnodule＝{v1,v2,...,vn}，vi代表顶点；
Step2确定概率超边集Enodule＝{e1,e2,...,em}及关联矩阵H：
Step2.1令顶点vi和顶点vj之间的亲和度为Aij，通过计算Aij；
Step2.2根据计算的顶点集Vnodule的|V|×|V|亲和度矩阵A，构造概率超边：依次视每个顶点为质心顶点并由质心顶点和其m-1个较亲和的顶点一起形成一条包含m个顶点的概率超边e，最终得到概率超边集Enodule＝{e1,e2,...,em}，ei代表超边；
Step2.3确定各顶点从属于超边的概率h(vi,ej)；当时，h(vi,ej)＝p(vi|ej)＝0；得到关联矩阵H；
至此肺结节概率超图noduleHp构建完毕；
②构建征象标签概率超图：肺结节征象标签概率超图noduleTg的构建过程如下：对每一张属于征象超边ej的肺结节图像vi均赋予0.75的值，如果某张肺结节图像包含全部9种征象标签即GGO、Spiculation、Lobulation、Cavity&Vacuolus、Calcification、PleuralDragging、Bronchial Mucus Plugs、Obstructive pneumonia、Air bronchogram，就将其A(i,j)赋值为1，以表示较高的亲和度；
C2、权重平衡方法设计：
为每条超边赋予了权重：
<mrow>
<mi>w</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>e</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>&Sigma;</mi>
<mrow>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>&Element;</mo>
<msub>
<mi>e</mi>
<mi>j</mi>
</msub>
</mrow>
</msub>
<mi>A</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>&Sigma;</mi>
<mrow>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>&Element;</mo>
<mi>V</mi>
</mrow>
</msub>
<mi>A</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
将视觉特征概率超图与征象标签概率超图结合起来需要考虑二者的平衡问题，因为二者都是对肺结节图像特征的充分描述，所以加入了平衡参数λ∈[0,1]；权重参数可通过公式进行更新：
<mrow>
<msup>
<mi>w</mi>
<mo>&prime;</mo>
</msup>
<mrow>
<mo>(</mo>
<msub>
<mi>e</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>&lambda;</mi>
<mo>&CenterDot;</mo>
<mi>w</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>e</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>e</mi>
<mi>j</mi>
</msub>
<mi>i</mi>
<mi>s</mi>
<mi> </mi>
<mi>n</mi>
<mi>o</mi>
<mi>d</mi>
<mi>u</mi>
<mi>l</mi>
<mi>e</mi>
<mi>H</mi>
<mi>p</mi>
<mi> </mi>
<mi>h</mi>
<mi>y</mi>
<mi>p</mi>
<mi>e</mi>
<mi>r</mi>
<mi>e</mi>
<mi>d</mi>
<mi>g</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mi>&lambda;</mi>
<mo>)</mo>
<mo>&CenterDot;</mo>
<mi>w</mi>
<mo>(</mo>
<msub>
<mi>e</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>e</mi>
<mi>j</mi>
</msub>
<mi>i</mi>
<mi>s</mi>
<mi> </mi>
<mi>n</mi>
<mi>o</mi>
<mi>d</mi>
<mi>u</mi>
<mi>l</mi>
<mi>e</mi>
<mi>T</mi>
<mi>g</mi>
<mi> </mi>
<mi>h</mi>
<mi>y</mi>
<mi>p</mi>
<mi>e</mi>
<mi>r</mi>
<mi>e</mi>
<mi>d</mi>
<mi>g</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>.</mo>
</mrow>
4.根据权利要求1所述的方法，其特征在于，步骤C中，利用双概率超图即肺结节图像中所含征象的类型标签的标签信息与视觉信息解决哈希函数的构造问题，详细步骤如下：
第1步，k位光谱哈希的构造问题，可以转化为在超图中通过最小化损失函数，获得k个独立区域的问题；F表示n个顶点的二值码，它是一个n×k矩阵，具体形式为：每个行向量对应一个顶点的k位哈希码，第i个fi是一个n维列向量，包含n个顶点的第i位哈希码值；从公式：
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>&Omega;</mi>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>e</mi>
<mo>&Element;</mo>
<mi>E</mi>
</mrow>
</munder>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mo>{</mo>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
<mo>}</mo>
<mo>&Element;</mo>
<mi>e</mi>
</mrow>
</munder>
<mfrac>
<mrow>
<mi>w</mi>
<mrow>
<mo>(</mo>
<mi>e</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>&delta;</mi>
<mrow>
<mo>(</mo>
<mi>e</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>)</mo>
</mrow>
</mrow>
<msqrt>
<mrow>
<mi>d</mi>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>)</mo>
</mrow>
</mrow>
</msqrt>
</mfrac>
<mo>-</mo>
<mfrac>
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
</mrow>
<msqrt>
<mrow>
<mi>d</mi>
<mrow>
<mo>(</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
</mrow>
</msqrt>
</mfrac>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>u</mi>
<mo>&Element;</mo>
<mi>V</mi>
</mrow>
</munder>
<msup>
<mi>f</mi>
<mn>2</mn>
</msup>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>)</mo>
</mrow>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>e</mi>
<mo>&Element;</mo>
<mi>E</mi>
<mo>,</mo>
<mi>v</mi>
<mo>&Element;</mo>
<mi>V</mi>
</mrow>
</munder>
<mfrac>
<mrow>
<mi>w</mi>
<mrow>
<mo>(</mo>
<mi>e</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>&delta;</mi>
<mrow>
<mo>(</mo>
<mi>e</mi>
<mo>)</mo>
</mrow>
<mi>d</mi>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>-</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>e</mi>
<mo>&Element;</mo>
<mi>E</mi>
</mrow>
</munder>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mo>{</mo>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
<mo>}</mo>
<mo>&Element;</mo>
<mi>e</mi>
</mrow>
</munder>
<mfrac>
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>)</mo>
</mrow>
<mi>w</mi>
<mrow>
<mo>(</mo>
<mi>e</mi>
<mo>)</mo>
</mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msqrt>
<mrow>
<mi>d</mi>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>)</mo>
</mrow>
<mi>d</mi>
<mrow>
<mo>(</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
</mrow>
</msqrt>
<mi>&delta;</mi>
<mrow>
<mo>(</mo>
<mi>e</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>=</mo>
<msup>
<mi>f</mi>
<mi>T</mi>
</msup>
<mrow>
<mo>(</mo>
<mi>I</mi>
<mo>-</mo>
<mi>&Theta;</mi>
<mo>)</mo>
</mrow>
<mi>f</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>=</mo>
<msup>
<mi>f</mi>
<mi>T</mi>
</msup>
<mi>&Delta;</mi>
<mi>f</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
中的标准化的损失函数，可获得此哈希算法的最优目标函数，具体形式为：
<mrow>
<mi>min</mi>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>k</mi>
</munderover>
<msubsup>
<mi>f</mi>
<mi>i</mi>
<mi>T</mi>
</msubsup>
<msub>
<mi>&Delta;f</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mi>t</mi>
<mi>r</mi>
<mrow>
<mo>(</mo>
<msup>
<mi>F</mi>
<mi>T</mi>
</msup>
<mi>&Delta;</mi>
<mi>F</mi>
<mo>)</mo>
</mrow>
</mrow>
st.F(i,j)∈{-1,1},FT1＝0,FTF＝I.
第2步，由于这是一个NP问题，但通过删除约束条件F(i,j)∈{-1,1}，可转化为超图分割问题，其解为Δ的k个最小非零特征值所对应的k个特征向量；通过为这些特征向量赋阈值可以获得二值码1和-1；
第3步，使用在F中生成的二值码来训练k个二元分类器；fi的第i个列向量看作第i个二元分类器li(x)的标签向量，x是肺结节图像的视觉特征与标签特征；通过输入肺结节图像的特征进行有监督学习后，可以获得k个二元分类器l1(x),l2(x),…,lk(x)；将它们连接起来构成最终的哈希函数L(x)，用来生成k位哈希码；
第4步，完成哈希函数的构造，然后使用构造的哈希函数将肺结节的图像特征映射为哈希码。
5.根据权利要求1所述方法，其特征在于，所述步骤D具体步骤如下：
第1步，分别计算查询图像和检索到的相似肺结节图像之间的汉明距离；
第2步，升序排序汉明距离并选择前k个肺结节图像；
第3步，统计这k个肺结节图像中各个混合征象类所出现的频率，混合征象类指同时出现两种及以上所述的9种征象类型；
第4步，出现频率最高的混合征象即为查询图像所表现的医学征象。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710536096.7A CN107291936B (zh) | 2017-07-04 | 2017-07-04 | 一种基于视觉特征和征象标签的超图哈希图像检索实现肺结节征象识别的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710536096.7A CN107291936B (zh) | 2017-07-04 | 2017-07-04 | 一种基于视觉特征和征象标签的超图哈希图像检索实现肺结节征象识别的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107291936A true CN107291936A (zh) | 2017-10-24 |
| CN107291936B CN107291936B (zh) | 2020-03-31 |
Family
ID=60099983
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710536096.7A Active CN107291936B (zh) | 2017-07-04 | 2017-07-04 | 一种基于视觉特征和征象标签的超图哈希图像检索实现肺结节征象识别的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107291936B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108036746A (zh) * | 2017-12-26 | 2018-05-15 | 太原理工大学 | 一种基于频谱法的Gabor变换实现碳纤维复合材料表面纹理分析方法 |
| CN109166615A (zh) * | 2018-07-11 | 2019-01-08 | 重庆邮电大学 | 一种随机森林哈希的医学ct图像存储与检索方法 |
| CN109273073A (zh) * | 2018-08-28 | 2019-01-25 | 上海联影医疗科技有限公司 | 医学图像的存储方法及装置、计算机可读存储介质 |
| CN109885712A (zh) * | 2019-02-12 | 2019-06-14 | 山东中医药大学 | 基于内容的肺结节图像检索方法及系统 |
| CN110198473A (zh) * | 2019-06-10 | 2019-09-03 | 北京字节跳动网络技术有限公司 | 视频处理方法、装置、电子设备及计算机可读存储介质 |
| CN110516095A (zh) * | 2019-08-12 | 2019-11-29 | 山东师范大学 | 基于语义迁移的弱监督深度哈希社交图像检索方法和系统 |
| CN112132818A (zh) * | 2020-09-29 | 2020-12-25 | 北京航空航天大学 | 基于图卷积神经网络构建三阶段的图像处理方法 |
| CN113407756A (zh) * | 2021-05-28 | 2021-09-17 | 山西云时代智慧城市技术发展有限公司 | 一种基于自适应权重的肺结节ct图像重排序方法 |
| US11348247B2 (en) | 2017-11-02 | 2022-05-31 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for generating semantic information for scanning image |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5748850A (en) * | 1994-06-08 | 1998-05-05 | Hitachi, Ltd. | Knowledge base system and recognition system |
| CN105069173A (zh) * | 2015-09-10 | 2015-11-18 | 天津中科智能识别产业技术研究院有限公司 | 基于有监督的拓扑保持哈希的快速图像检索方法 |
| CN105512289A (zh) * | 2015-12-07 | 2016-04-20 | 郑州金惠计算机系统工程有限公司 | 基于深度学习和哈希的图像检索方法 |
| CN105913086A (zh) * | 2016-04-12 | 2016-08-31 | 福州大学 | 一种应用特征权重自适应选择的计算机辅助诊断乳腺的方法 |
| CN106874489A (zh) * | 2017-02-21 | 2017-06-20 | 烟台中科网络技术研究所 | 一种基于卷积神经网络的肺结节图像块检索方法及装置 |
-
2017
- 2017-07-04 CN CN201710536096.7A patent/CN107291936B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5748850A (en) * | 1994-06-08 | 1998-05-05 | Hitachi, Ltd. | Knowledge base system and recognition system |
| CN105069173A (zh) * | 2015-09-10 | 2015-11-18 | 天津中科智能识别产业技术研究院有限公司 | 基于有监督的拓扑保持哈希的快速图像检索方法 |
| CN105512289A (zh) * | 2015-12-07 | 2016-04-20 | 郑州金惠计算机系统工程有限公司 | 基于深度学习和哈希的图像检索方法 |
| CN105913086A (zh) * | 2016-04-12 | 2016-08-31 | 福州大学 | 一种应用特征权重自适应选择的计算机辅助诊断乳腺的方法 |
| CN106874489A (zh) * | 2017-02-21 | 2017-06-20 | 烟台中科网络技术研究所 | 一种基于卷积神经网络的肺结节图像块检索方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 纪国华 等: "基于改进自生成神经网络的孤立性肺结节分类", 《太原理工大学学报》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11348247B2 (en) | 2017-11-02 | 2022-05-31 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for generating semantic information for scanning image |
| CN108036746A (zh) * | 2017-12-26 | 2018-05-15 | 太原理工大学 | 一种基于频谱法的Gabor变换实现碳纤维复合材料表面纹理分析方法 |
| CN109166615A (zh) * | 2018-07-11 | 2019-01-08 | 重庆邮电大学 | 一种随机森林哈希的医学ct图像存储与检索方法 |
| CN109273073A (zh) * | 2018-08-28 | 2019-01-25 | 上海联影医疗科技有限公司 | 医学图像的存储方法及装置、计算机可读存储介质 |
| CN109885712B (zh) * | 2019-02-12 | 2020-09-29 | 山东中医药大学 | 基于内容的肺结节图像检索方法及系统 |
| CN109885712A (zh) * | 2019-02-12 | 2019-06-14 | 山东中医药大学 | 基于内容的肺结节图像检索方法及系统 |
| CN110198473B (zh) * | 2019-06-10 | 2021-07-20 | 北京字节跳动网络技术有限公司 | 视频处理方法、装置、电子设备及计算机可读存储介质 |
| CN110198473A (zh) * | 2019-06-10 | 2019-09-03 | 北京字节跳动网络技术有限公司 | 视频处理方法、装置、电子设备及计算机可读存储介质 |
| CN110516095B (zh) * | 2019-08-12 | 2020-06-26 | 山东师范大学 | 基于语义迁移的弱监督深度哈希社交图像检索方法和系统 |
| CN110516095A (zh) * | 2019-08-12 | 2019-11-29 | 山东师范大学 | 基于语义迁移的弱监督深度哈希社交图像检索方法和系统 |
| CN112132818A (zh) * | 2020-09-29 | 2020-12-25 | 北京航空航天大学 | 基于图卷积神经网络构建三阶段的图像处理方法 |
| CN112132818B (zh) * | 2020-09-29 | 2023-04-07 | 北京航空航天大学 | 基于图卷积神经网络构建的肺结节检测和临床分析方法 |
| CN113407756A (zh) * | 2021-05-28 | 2021-09-17 | 山西云时代智慧城市技术发展有限公司 | 一种基于自适应权重的肺结节ct图像重排序方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107291936B (zh) | 2020-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107291936A (zh) | 一种基于视觉特征和征象标签的超图哈希图像检索实现肺结节征象识别的方法 | |
| Wang et al. | Enhancing sketch-based image retrieval by cnn semantic re-ranking | |
| Song et al. | Region-based quality estimation network for large-scale person re-identification | |
| CN106126581B (zh) | 基于深度学习的手绘草图图像检索方法 | |
| CN110837836B (zh) | 基于最大化置信度的半监督语义分割方法 | |
| Moosmann et al. | Randomized clustering forests for image classification | |
| JP5673540B2 (ja) | 物体検出方法 | |
| CN109871803B (zh) | 机器人回环检测方法和装置 | |
| CN106682233A (zh) | 一种基于深度学习与局部特征融合的哈希图像检索方法 | |
| CN109063649B (zh) | 基于孪生行人对齐残差网络的行人重识别方法 | |
| CN108897791B (zh) | 一种基于深度卷积特征和语义相似度量的图像检索方法 | |
| CN106815362B (zh) | 一种基于kpca多表索引图像哈希检索方法 | |
| CN109063719B (zh) | 一种联合结构相似性和类信息的图像分类方法 | |
| CN107122712B (zh) | 基于cnn和双向vlad的掌纹图像识别方法 | |
| CN107424161B (zh) | 一种由粗至精的室内场景图像布局估计方法 | |
| CN104850822B (zh) | 基于多特征融合的简单背景下的叶片识别方法 | |
| CN104966090B (zh) | 实现面向图像理解的视觉单词生成和评价的系统及方法 | |
| CN109492589A (zh) | 通过二进制特征与联合层叠结构融合的人脸识别工作方法以及智能芯片 | |
| CN112507778B (zh) | 一种基于线特征的改进词袋模型的回环检测方法 | |
| CN113032613B (zh) | 一种基于交互注意力卷积神经网络的三维模型检索方法 | |
| CN110647907A (zh) | 利用多层分类和字典学习的多标签图像分类算法 | |
| CN110442618A (zh) | 融合专家信息关联关系的卷积神经网络评审专家推荐方法 | |
| CN110334704B (zh) | 基于分层学习的三维模型兴趣点提取方法及系统 | |
| Zhao et al. | Medical sign recognition of lung nodules based on image retrieval with semantic features and supervised hashing | |
| Ahmad et al. | SSH: Salient structures histogram for content based image retrieval |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |