CN106874489B - 一种基于卷积神经网络的肺结节图像块检索方法及装置 - Google Patents

一种基于卷积神经网络的肺结节图像块检索方法及装置 Download PDF

Info

Publication number
CN106874489B
CN106874489B CN201710092869.7A CN201710092869A CN106874489B CN 106874489 B CN106874489 B CN 106874489B CN 201710092869 A CN201710092869 A CN 201710092869A CN 106874489 B CN106874489 B CN 106874489B
Authority
CN
China
Prior art keywords
lung nodule
lung
neural network
nodule
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710092869.7A
Other languages
English (en)
Other versions
CN106874489A (zh
Inventor
王海洋
廖华明
盛玉娇
刘衍琦
程学旗
刘玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yantai Branch Institute Of Computing Technology Chinese Academy Of Science
Institute of Computing Technology of CAS
Original Assignee
Yantai Branch Institute Of Computing Technology Chinese Academy Of Science
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yantai Branch Institute Of Computing Technology Chinese Academy Of Science, Institute of Computing Technology of CAS filed Critical Yantai Branch Institute Of Computing Technology Chinese Academy Of Science
Priority to CN201710092869.7A priority Critical patent/CN106874489B/zh
Publication of CN106874489A publication Critical patent/CN106874489A/zh
Application granted granted Critical
Publication of CN106874489B publication Critical patent/CN106874489B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Abstract

本发明涉及一种基于卷积神经网络的肺结节图像块检索方法及装置，通过对获取的肺结节图像块进行切片处理，得到至少两张肺结节切片扫描图，通过构造卷积神经网络提取肺结节切片扫描图的图像特征，得到肺结节的局部特征集合，获取数据库中所有肺结节的局部特征集合，对所有肺结节的局部特征集合进行聚类构建视觉词典，基于视觉词典获取肺结节带权特征向量，通过倒排索引的方式对肺结节带权特征向量构建索引库，根据输入的查询信息对索引库执行检索，得到符合查询条件的肺结节图像块。本发明能够快速、准确的检索出与待检索肺结节最相似的肺结节图像序列。

Description

一种基于卷积神经网络的肺结节图像块检索方法及装置
技术领域
本发明涉及医学图像处理技术领域，尤其涉及一种基于卷积神经网络的肺结节图像块检索方法及装置。
背景技术
肺部结节是临床上常见的一种疾病，是胸外科常见的又较难难确诊的疾病,早期及时发现是提高患者生存率的关键，随着影像学尤其是螺旋CT的发展和日益完善普及，肺部微小结节性病变的发现率明显提高，但是对肺部微小结节性病变的定性诊断仍较困难。在此背景下，医疗检索系统的作用就凸显出来了，医疗检索系统利用肺结节图像信息进行检索，从而匹配同类型的肺结节图像，参考以往的专家诊疗数据，为临床提供更多的诊断信息和依据。
与本发明相关的现有技术：图像检索技术由早期的基于文本的图像检索逐渐发展为基于内容的图像检索，其主要思想是通过提取图像视觉底层特征来实现图像内容表达，检索方法主要基于图像的多维特征进行相似性查询。
其中，目前常用于描述图像的特征主要有SIFT、LBP、Gabor、BOW和CNN特征等。其中SIFT特征是最常用的矢量特征，它对图像的光照、尺度、位移等变化都具有较好的容忍性。然而该特征计算量较大，纬度较高，计算较复杂。BOW特征也是图像检索领域中广泛使用的特征，每幅图像都可以描述为一个局部区域特征的无序集合。使用聚类方法将局部特征进行聚类，每个聚类中心被看作是视觉词典中的一个词汇，视觉词汇由聚类中心对应特征形成码字来表示。图像中的每个特征都将被映射到视觉词典的某个词上，这种映射可以通过计算特征间的距离去实现，然后统计每个视觉词的出现次数，从而得到每个图像的直方图向量，即BOW特征。CNN特征，是通过自主学习训练数据的特征，避免人工设计特征，近几年，在图像分类、检测、分割等学习任务上都得到了惊人的表现，可以看出，CNN特征更能表达图像深层的特征。
现有相似技术：一种基于相似度的乳腺图像检索方法，该方法通过提取乳腺图像的SIFT特征和HOG特征建立图像特征库，结合分层聚类树，通过比对待检索图像与数据库中图像特征的相似度进行检索。该方法采取传统的人工设计特征SIFT和HOG特征提取图像底层特征，表达能力不强，检索准确率有待进一步提高。
发明内容
本发明所要解决的技术问题是：现有的技术大多是采用人工设计特征提取图像的底层特征描述，从而导致表达能力不强、检索精度低；其次现有技术采用单个图像的内容检索，没有将图像的立体深层信息结合起来。从而提供了一种基于卷积神经网络的肺结节图像块检索方法及装置。
本发明解决上述技术问题的技术方案如下：一种基于卷积神经网络的肺结节图像块检索方法，包括：
步骤1：获取肺结节图像块；
步骤2：对肺结节图像块进行切片处理，得到至少两张肺结节切片扫描图；
步骤3：通过构造卷积神经网络提取肺结节切片扫描图的图像特征；
步骤4：将任意一张肺结节切片扫描图的图像特征作为肺结节的一个局部特征，得到肺结节的局部特征集合；
步骤5：重复步骤1-4，获取数据库中所有肺结节的局部特征集合；
步骤6：对所有肺结节的局部特征集合进行聚类、构建视觉词典；
步骤7：基于视觉词典获取肺结节带权特征向量，通过倒排索引的方式对肺结节带权特征向量构建索引库；
步骤8：根据输入的查询信息对索引库执行检索，得到符合查询条件的肺结节图像块。
本发明的有益效果是：本发明利用卷积神经网络模型，能够对整个肺结节肿瘤块进行分析，挖掘肺结节切片CT图像序列的深层特征，结合倒排索引技术，构建肺结节的图像特征库，检索时，能够快速、准确的检索出与待检索肺结节最相似的肺结节图像序列，从而为专家确诊肺结节病变提供更加可靠准确的判断依据。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步地，所述步骤1包括：从图像数据库中，获取大小为64*64*64像素的肺结节图像块。
进一步地，所述步骤2包括：
步骤2.1：肺结节图像块的几何中心对应肺结节的中心位置；
步骤2.2：通过切片处理得到64张大小为64*64像素的肺结节切片扫描图，且对肺结节切片扫描图进行灰度化处理。
采用上述进一步方案的有益效果是卷积神经网络通过64*64的像素肺结节切片扫描图所提取的图像特征在准确度和复杂度的平衡中达到最佳效果，在复杂度不高的情况下，准确度达到极高水平，灰度化处理有利于图像特征的提取。
进一步地，所述步骤3中，构造卷积神经网络包括卷积层、池化层及全连接层，卷积神经网络的卷积层采用线性修正单元激活函数，通过公式y＝max(0,∑xi*wi+b)计算得到，其中，xi表示上一层的特征图，wi和b代表可以学习的网络参数；卷积神经网络的池化层采用最大池化，区域大小为2*2，步长为2；卷积神经网络的全连接层采用全连接结构，输出得到64*256维的图像特征。
采用上述进一步方案的有益效果是通过输出高维特征来准确描述肺结节切片扫描图的图像特征，准确度高。
进一步地，所述步骤6包括：
步骤6.1：结合直方图向量的方式对所有肺结节的局部特征集合采用K-means聚类的方式进行聚类，生成关键特征；
步骤6.2：由生成的关键特征组成视觉词典。
采用上述进一步方案的有益效果是通过对关键特征生成的视觉词典，映射对应前面提取的切片扫描图的图像特征。
进一步地，所述步骤7包括：
步骤7.1：对每个肺结节，依次将特征向量分别分配给最近邻的关键特征，表示关键特征的频数；
步骤7.2：基于视觉词典，对每个肺结节生成一个频率特征向量；
步骤7.3：统计出每个关键特征出现的图像数，得到关键特征的IDF值，作为关键特征的权重；
步骤7.4：将每个肺结节得到的频率特征向量的每个分量乘以对应的关键特征权重，得到带权特征向量；
步骤7.5：采用倒排索引的方式对得到的带权特征向量构建索引库。
进一步地，所述步骤8包括：
步骤8.1：根据输入的查询信息，在该患者的全肺CT扫描图像序列中，截取大小为64*64*64像素的肺结节的图像块；
步骤8.2：提取该肺结节的图像序列的特征，得到肺结节局部特征集合，再对应到所述视觉词典中，得到带权特征向量；
步骤8.3：通过计算查询肺结节与数据库中所有的肺结节的带权特征向量之间的距离来度量对应图像之间的相似性；
步骤8.4：按照相似性从高到低的顺序进行排序，得到符合查询条件的肺结节图像块。
采用上述进一步方案的有益效果是通过肺结节带权特征向量之间的对比来判断肺结节的相似性，是的检索过程更加准确与快速。
进一步地，步骤3中，所述卷积神经网络还包括输出层，所述卷积神经网络的网络参数通过训练得到，经过学习得到卷积层和全连接层的卷积核参数，采用随机数对所述卷积核参数进行初始化，所述输出层采用softmax损失函数进行训练。
本发明提供的另一种技术方案如下：一种基于卷积神经网络的肺结节图像块检索装置，包括：切片处理模块、特征提取模块、特征集合生成模块、视觉词典生成模块、索引库构建模块和检索模块；
所述切片处理模块用于对获取的肺结节图像块进行切片处理，得到至少两张肺结节切片扫描图；
所述特征提取模块用于通过构造卷积神经网络提取肺结节切片扫描图的图像特征；
所述特征集合生成模块用于将任意一张肺结节切片扫描图的图像特征作为肺结节的一个局部特征，得到肺结节的局部特征集合、并获取数据库中所有肺结节的局部特征集合；
所述视觉词典生成模块用于结合直方向量图的方式对所有肺结节的局部特征集合进行聚类构建视觉词典；
所述索引库构建模块用于基于视觉词典获取肺结节带权特征向量，通过倒排索引的方式对肺结节带权特征向量构建索引库；
所述检索模块用于根据输入的查询信息对索引库执行检索，得到符合查询条件的肺结节图像块。
进一步地，所述检索模块包括查询模块、特征向量生成模块、计算模块和结果生成模块；
所述查询模块用于根据用户的查询信息，在患者的全肺CT扫描图像序列中，截取大小为64*64*64像素的肺结节的图像块；
所述特征向量生成模块用于提取该肺结节的图像序列的特征，得到肺结节局部特征集合，再对应到所述视觉词典中，得到带权特征向量；
所述计算模块用于通过计算查询肺结节与数据库中所有的肺结节的带权特征向量之间的距离来度量对应图像之间的相似性；
所述结果生成模块用于按照所述相似性从高到低的顺序进行排序，得到符合查询条件的肺结节图像块。
附图说明
图1为本发明一种基于卷积神经网络的肺结节图像块检索方法流程示意图；
图2为本发明一种基于卷积神经网络的肺结节图像块检索装置结构示意图。
图3为本发明一种基于卷积神经网络的肺结节图像块检索装置具体模块结构示意图；
图4为本发明一种基于卷积神经网络的肺结节图像块检索方法中卷积神经网络结构示意图。
附图中，各标号所代表的部件列表如下：
1、切片处理模块，2、特征提取模块，3、特征集合生成模块，4、视觉词典生成模块，5、索引库构建模块，6、检索模块，601、查询模块，602、特征向量生成模块，603、计算模块，604、结果生成模块。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，为本发明实施例给出的一种基于卷积神经网络的肺结节图像块检索方法，包括：
步骤1：获取肺结节图像块；
步骤2：对肺结节图像块进行切片处理，得到至少两张肺结节切片扫描图；
步骤3：通过构造卷积神经网络提取肺结节切片扫描图的图像特征；
步骤4：将任意一张肺结节切片扫描图的图像特征作为肺结节的一个局部特征，得到肺结节的局部特征集合；
步骤5：重复步骤1-4，获取数据库中所有肺结节的局部特征集合；
步骤6：对所有肺结节的局部特征集合进行聚类、构建视觉词典；
步骤7：基于视觉词典获取肺结节带权特征向量，通过倒排索引的方式对肺结节带权特征向量构建索引库；
步骤8：根据输入的查询信息对索引库执行检索，得到符合查询条件的肺结节图像块。
其中，步骤1包括：从图像数据库中，获取大小为32*32*32、52*52*52和64*64*64像素的肺结节图像块。
提取肺结节图像块之前，首先需要将CT图像重采样到0.5mm/pixel的分辨率，从而解决不同CT图像之间分辨率不一致的问题。
其中，步骤2包括：
步骤2.1：肺结节图像块的几何中心对应肺结节的中心位置；
步骤2.2：通过切片处理得到32张大小为32*32像素、52张大小为52*52像素和64张大小为64*64像素的肺结节切片扫描图，且对肺结节切片扫描图进行灰度化处理。
其中，步骤3中，构造卷积神经网络包括卷积层、池化层及全连接层，卷积神经网络的卷积层采用线性修正单元激活函数，通过公式y＝max(0,∑xi*wi+b)计算得到，其中，xi表示上一层的特征图，wi和b代表可以学习的网络参数；卷积神经网络的池化层采用最大池化，区域大小为2*2，步长为2；卷积神经网络的全连接层采用全连接结构，输出得到64*256维的图像特征。
其中，步骤6包括：
步骤6.1：结合直方图向量的方式对所有肺结节的局部特征集合采用K-means聚类的方式进行聚类，生成关键特征；
步骤6.2：由生成的关键特征组成视觉词典。
其中，步骤7包括：
步骤7.1：对每个肺结节，依次将特征向量分别分配给最近邻的关键特征，表示关键特征的频数；
步骤7.2：基于视觉词典，对每个肺结节生成一个频率特征向量；
步骤7.3：统计出每个关键特征出现的图像数，得到关键特征的IDF值，作为关键特征的权重；
步骤7.4：将每个肺结节得到的频率特征向量的每个分量乘以对应的关键特征权重，得到带权特征向量；
步骤7.5：采用倒排索引的方式对得到的带权特征向量构建索引库。
其中，步骤8包括：
步骤8.1：根据输入的查询信息，在该患者的全肺CT扫描图像序列中，截取大小为32*32*32、52*52*52和64*64*64像素的肺结节的图像块；
步骤8.2：提取该肺结节的图像序列的特征，得到肺结节局部特征集合，再对应到所述视觉词典中，得到带权特征向量；
步骤8.3：通过计算查询肺结节与数据库中所有的肺结节的带权特征向量之间的距离来度量对应图像之间的相似性；
步骤8.4：按照相似性从高到低的顺序进行排序，得到符合查询条件的肺结节图像块。
其中，步骤3中，卷积神经网络还包括输出层，卷积神经网络的网络参数通过训练得到，经过学习得到卷积层和全连接层的卷积核参数，采用随机数对所述卷积核参数进行初始化，输出层采用softmax损失函数进行训练。
如图2所示为本发明实施例给出的一种基于卷积神经网络的肺结节图像块检索装置，包括：切片处理模块1、特征提取模块2、特征集合生成模块3、视觉词典生成模块4、索引库构建模块5和检索模块6；
切片处理模块1用于对获取的肺结节图像块进行切片处理，得到至少两张肺结节切片扫描图；
特征提取模块2用于通过构造卷积神经网络提取肺结节切片扫描图的图像特征；
特征集合生成模块3用于将任意一张肺结节切片扫描图的图像特征作为肺结节的一个局部特征，得到肺结节的局部特征集合、并获取数据库中所有肺结节的局部特征集合；
视觉词典生成模块4用于结合直方向量图的方式对所有肺结节的局部特征集合进行聚类构建视觉词典；
索引库构建模块5用于基于视觉词典获取肺结节带权特征向量，通过倒排索引的方式对肺结节带权特征向量构建索引库；
检索模块6用于根据输入的查询信息对索引库执行检索，得到符合查询条件的肺结节图像块。
其中，检索模块包括查询模块601、特征向量生成模块602、计算模块603和结果生成模块604；
如图3所示为本实施例中检索模块所包含的各个模块，其中，查询模块601用于根据用户的查询信息，在患者的全肺CT扫描图像序列中，截取大小为32*32*32、52*52*52和64*64*64像素的肺结节图像块；
特征向量生成模块602用于提取该肺结节的图像序列的特征，得到肺结节局部特征集合，再对应到所述视觉词典中，得到带权特征向量；
计算模块603用于通过计算查询肺结节与数据库中所有的肺结节的带权特征向量之间的距离来度量对应图像之间的相似性；
结果生成模块604用于按照所述相似性从高到低的顺序进行排序，得到符合查询条件的肺结节图像块。
如图4所示为本实施例中卷积神经网络模型，其中卷积层C1包含64个5*5像素大小的卷积核，卷积层C3包含128个5*5像素大小的卷积核，其中卷积层和全连接层的卷积核参数是经过学习得到的，采用随机数进行初始化，最后的输出层采用softmax损失函数进行训练，全连接层对带权特征向量进行降维，得到最终数据，由输出层输出两类结果。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内，例如本发明可以移植到其他医学肿瘤、腺体的相似性检索；本发明的卷积神经网络可以用其他的经典的CNN模型替换；在本发明的基础上结合其他人工特征例如SIFT特征，进行二次检索排序，来进一步提高检索准确率。

Claims (10)

1.一种基于卷积神经网络的肺结节图像块检索方法，其特征在于，包括以下步骤：
步骤1：获取肺结节图像块；
步骤2：对肺结节图像块进行切片处理，得到至少两张肺结节切片扫描图；
步骤3：通过构造卷积神经网络提取肺结节切片扫描图的图像特征；
步骤4：将任意一张肺结节切片扫描图的图像特征作为肺结节的一个局部特征，得到肺结节的局部特征集合；
步骤5：重复步骤1-4，获取数据库中所有肺结节的局部特征集合；
步骤6：对所有肺结节的局部特征集合进行聚类、构建视觉词典；
步骤7：基于视觉词典获取肺结节带权特征向量，通过倒排索引的方式对肺结节带权特征向量构建索引库；
步骤8：根据输入的查询信息对索引库执行检索，得到符合查询条件的肺结节图像块。
2.根据权利要求1所述的一种基于卷积神经网络的肺结节图像块检索方法，其特征在于，所述步骤1包括：从图像数据库中，获取大小为64*64*64像素的肺结节图像块。
3.根据权利要求2所述的一种基于卷积神经网络的肺结节图像块检索方法，其特征在于，所述步骤2包括：
步骤2.1：肺结节图像块的几何中心对应肺结节的中心位置；
步骤2.2：通过切片处理得到64张大小为64*64像素的肺结节切片扫描图，且对肺结节切片扫描图进行灰度化处理。
4.根据权利要求1所述的一种基于卷积神经网络的肺结节图像块检索方法，其特征在于，所述步骤3中，构造卷积神经网络包括卷积层、池化层及全连接层，卷积神经网络的卷积层采用线性修正单元激活函数，通过公式y＝max(0,∑xi*wi+b)计算得到，其中，xi表示上一层的特征图，wi和b代表可以学习的网络参数；卷积神经网络的池化层采用最大池化，区域大小为2*2，步长为2；卷积神经网络的全连接层采用全连接结构，输出得到64*256维的图像特征。
5.根据权利要求1所述的一种基于卷积神经网络的肺结节图像块检索方法，其特征在于，所述步骤6包括：
步骤6.1：结合直方图向量的方式对所有肺结节的局部特征集合采用K-means聚类的方式进行聚类，生成关键特征；
步骤6.2：由生成的关键特征组成视觉词典。
6.根据权利要求1所述的一种基于卷积神经网络的肺结节图像块检索方法，其特征在于，所述步骤7包括：
步骤7.1：对每个肺结节，依次将特征向量分别分配给最近邻的关键特征，表示关键特征的频数；
步骤7.2：基于视觉词典，对每个肺结节生成一个频率特征向量；
步骤7.3：统计出每个关键特征出现的图像数，得到关键特征的IDF值，作为关键特征的权重；
步骤7.4：将每个肺结节得到的频率特征向量的每个分量乘以对应的关键特征权重，得到带权特征向量；
步骤7.5：采用倒排索引的方式对得到的带权特征向量构建索引库。
7.根据权利要求1-6任一项所述的一种基于卷积神经网络的肺结节图像块检索方法，其特征在于，所述步骤8包括：
步骤8.1：根据输入的查询信息，在患者的全肺CT扫描图像序列中，截取大小为64*64*64像素的肺结节的图像块；
步骤8.2：提取该肺结节的图像序列的特征，得到肺结节局部特征集合，再对应到所述视觉词典中，得到带权特征向量；
步骤8.3：通过计算查询肺结节与数据库中所有的肺结节的带权特征向量之间的距离来度量对应图像之间的相似性；
步骤8.4：按照相似性从高到低的顺序进行排序，得到符合查询条件的肺结节图像块。
8.根据权利要求4所述的一种基于卷积神经网络的肺结节图像块检索方法，其特征在于，步骤3中，所述卷积神经网络还包括输出层，所述卷积神经网络的网络参数通过训练得到，经过学习得到卷积层和全连接层的卷积核参数，采用随机数对所述卷积核参数进行初始化，所述输出层采用softmax损失函数进行训练。
9.一种基于卷积神经网络的肺结节图像块检索装置，其特征在于，包括：切片处理模块、特征提取模块、特征集合生成模块、视觉词典生成模块、索引库构建模块和检索模块；
所述切片处理模块用于对获取的肺结节图像块进行切片处理，得到至少两张肺结节切片扫描图；
所述特征提取模块用于通过构造卷积神经网络提取肺结节切片扫描图的图像特征；
所述特征集合生成模块用于将任意一张肺结节切片扫描图的图像特征作为肺结节的一个局部特征，得到肺结节的局部特征集合、并获取数据库中所有肺结节的局部特征集合；
所述视觉词典生成模块用于结合直方向量图的方式对所有肺结节的局部特征集合进行聚类构建视觉词典；
所述索引库构建模块用于基于视觉词典获取肺结节带权特征向量，通过倒排索引的方式对肺结节带权特征向量构建索引库；
所述检索模块用于根据输入的查询信息对索引库执行检索，得到符合查询条件的肺结节图像块。
10.根据权利要求9所述的一种基于卷积神经网络的肺结节图像块检索装置，其特征在于，所述检索模块包括查询模块、特征向量生成模块、计算模块和结果生成模块；
所述查询模块用于根据用户的查询信息，在患者的全肺CT扫描图像序列中，截取大小为64*64*64像素的肺结节的图像块；
所述特征向量生成模块用于提取该肺结节的图像序列的特征，得到肺结节局部特征集合，再对应到所述视觉词典中，得到带权特征向量；
所述计算模块用于通过计算查询肺结节与数据库中所有的肺结节的带权特征向量之间的距离来度量对应图像之间的相似性；
所述结果生成模块用于按照所述相似性从高到低的顺序进行排序，得到符合查询条件的肺结节图像块。
CN201710092869.7A 2017-02-21 2017-02-21 一种基于卷积神经网络的肺结节图像块检索方法及装置 Active CN106874489B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710092869.7A CN106874489B (zh) 2017-02-21 2017-02-21 一种基于卷积神经网络的肺结节图像块检索方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710092869.7A CN106874489B (zh) 2017-02-21 2017-02-21 一种基于卷积神经网络的肺结节图像块检索方法及装置

Publications (2)

Publication Number Publication Date
CN106874489A CN106874489A (zh) 2017-06-20
CN106874489B true CN106874489B (zh) 2020-05-12

Family

ID=59167278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710092869.7A Active CN106874489B (zh) 2017-02-21 2017-02-21 一种基于卷积神经网络的肺结节图像块检索方法及装置

Country Status (1)

Country Link
CN (1) CN106874489B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291936B (zh) * 2017-07-04 2020-03-31 太原理工大学 一种基于视觉特征和征象标签的超图哈希图像检索实现肺结节征象识别的方法
CN107516110B (zh) * 2017-08-22 2020-02-18 华南理工大学 一种基于集成卷积编码的医疗问答语义聚类方法
CN107832335B (zh) * 2017-10-10 2019-12-17 西安电子科技大学 一种基于上下文深度语义信息的图像检索方法
CN107909572A (zh) * 2017-11-17 2018-04-13 合肥工业大学 基于图像增强的肺结节检测方法及系统
CN109377522B (zh) * 2018-10-19 2019-10-25 北京青燕祥云科技有限公司 一种肺结节医学影像配准方法及其装置
CN109753578A (zh) * 2019-01-25 2019-05-14 浙江理工大学 一种基于掩膜选择卷积特征的图像检索方法
CN110727819B (zh) * 2019-10-10 2020-05-29 北京航空航天大学 一种尺度自适应病理全切片图像数据库检索方法
CN112669314B (zh) * 2021-01-18 2022-02-11 四川大学 肺癌全周期智能管理影像数据平台
CN115115855A (zh) * 2022-05-16 2022-09-27 腾讯科技（深圳）有限公司 图像编码器的训练方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700118A (zh) * 2015-03-18 2015-06-10 中国科学院自动化研究所 基于卷积神经网络的肺结节良恶性预测方法
WO2015177268A1 (en) * 2014-05-23 2015-11-26 Ventana Medical Systems, Inc. Systems and methods for detection of biological structures and/or patterns in images
CN105160361A (zh) * 2015-09-30 2015-12-16 东软集团股份有限公司 一种图像识别方法及装置
CN105912611A (zh) * 2016-04-05 2016-08-31 中国科学技术大学 一种基于cnn的快速图像检索方法
CN106227851A (zh) * 2016-07-29 2016-12-14 汤平 基于深度卷积神经网络端对端的通过分层深度搜索的图像检索方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015177268A1 (en) * 2014-05-23 2015-11-26 Ventana Medical Systems, Inc. Systems and methods for detection of biological structures and/or patterns in images
CN104700118A (zh) * 2015-03-18 2015-06-10 中国科学院自动化研究所 基于卷积神经网络的肺结节良恶性预测方法
CN105160361A (zh) * 2015-09-30 2015-12-16 东软集团股份有限公司 一种图像识别方法及装置
CN105912611A (zh) * 2016-04-05 2016-08-31 中国科学技术大学 一种基于cnn的快速图像检索方法
CN106227851A (zh) * 2016-07-29 2016-12-14 汤平 基于深度卷积神经网络端对端的通过分层深度搜索的图像检索方法

Also Published As

Publication number Publication date
CN106874489A (zh) 2017-06-20

Similar Documents

Publication Publication Date Title
CN106874489B (zh) 一种基于卷积神经网络的肺结节图像块检索方法及装置
Qayyum et al. Medical image retrieval using deep convolutional neural network
Ali et al. Image retrieval by addition of spatial information based on histograms of triangular regions
Tipaldi et al. Geometrical flirt phrases for large scale place recognition in 2d range data
WO2008105962A2 (en) Real-time computerized annotation of pictures
JP2006252559A (ja) 画像において対象物の位置を特定する方法および対象物の画像を相異なる画像カテゴリに分類する方法
CN106844524B (zh) 一种基于深度学习和Radon变换的医学图像检索方法
CN108304573A (zh) 基于卷积神经网络和监督核哈希的目标检索方法
Kashif et al. An efficient content-based image retrieval system for the diagnosis of lung diseases
CN111984817A (zh) 一种基于自注意力机制加权的细粒度图像检索方法
Rastogi et al. Deep learning and big datatechnologies in medical image analysis
CN116129141A (zh) 医学数据处理方法、装置、设备、介质和计算机程序产品
Aman et al. Content-based image retrieval on CT colonography using rotation and scale invariant features and bag-of-words model
CN114093507A (zh) 边缘计算网络中基于对比学习的皮肤病智能分类方法
Srinivas et al. Classification of medical images using edge-based features and sparse representation
Fayez et al. Comparative study of clustering medical images
Meng et al. Merged region based image retrieval
Yang et al. Weakly supervised class-agnostic image similarity search based on convolutional neural network
CN116188435A (zh) 一种基于模糊逻辑的医学图像深度分割方法
CN116128846A (zh) 一种面向肺部X-ray图像检索的视觉Transformer哈希方法
Rashad et al. Content-based medical image retrieval based on deep features expansion
Tang et al. Medical image retrieval using multi-texton assignment
Sood A hybrid approach of semantic weight based re-propagation for convolutional neural networks in content based medical image retrieval
Nayef et al. Efficient symbol retrieval by building a symbol index from a collection of line drawings
Zhu et al. A novel image retrieval model based on semantic information and probability rough set analysis method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant