CN108171692B - 一种肺部影像检索方法及装置 - Google Patents

一种肺部影像检索方法及装置 Download PDF

Info

Publication number
CN108171692B
CN108171692B CN201711436017.1A CN201711436017A CN108171692B CN 108171692 B CN108171692 B CN 108171692B CN 201711436017 A CN201711436017 A CN 201711436017A CN 108171692 B CN108171692 B CN 108171692B
Authority
CN
China
Prior art keywords
lung
image
sample
feature vector
retrieved
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711436017.1A
Other languages
English (en)
Other versions
CN108171692A (zh
Inventor
魏岩
殷保才
胡群威
辛一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iflytek Medical Technology Co ltd
Original Assignee
Anhui Iflytek Medical Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Iflytek Medical Information Technology Co ltd filed Critical Anhui Iflytek Medical Information Technology Co ltd
Priority to CN201711436017.1A priority Critical patent/CN108171692B/zh
Publication of CN108171692A publication Critical patent/CN108171692A/zh
Application granted granted Critical
Publication of CN108171692B publication Critical patent/CN108171692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明提供一种肺部影像检索方法及装置，所述方法包括：获取待检索肺部影像中包含病灶的类型，根据病灶的类型从待检索肺部影像中获取对应的检索特征向量；在与病灶的类型对应的样本图像库中，根据检索特征向量获取与待检索肺部影像相似度最高的至少一个样本肺部影像；其中，所述样本图像库包括属于同一病灶类型的各样本肺部影像和根据所述同一病灶类型从各样本肺部影像获取的对应样本特征向量。所述方法根据待检索影像中包含病灶类型的不同，获取相应的检索特征向量，基于检索特征向量进行相似样本肺部影像的检索，从而进一步提高了肺部影像检索的准确度。

Description

一种肺部影像检索方法及装置
技术领域
本发明涉及图像检索、医疗卫生等技术领域，更具体地，涉及一种肺部影像检索方法及装置。
背景技术
随着社会的不断发展和生活水平的不断提高，人民对健康的重视程度越来越高，如何利用相对匮乏的医疗资源满足广大人民对健康的需求是迫切需要解决的问题。肺部疾病是当前社会高发的疾病，每年肺癌的死亡率最高，肺癌的筛查越来越被人重视，但专业医生的缺乏是导致看病难的一个重要原因。当病人的肺部组织发生病变时，医生需要借助专业的CT成像设备，获得病人肺部的影像信息，并根据肺部影像信息作出诊断。但肺部CT影像一般都有数百层，医生想准确找出病灶需耗费大量的精力；进一步，由于医生人工根据肺部病灶的属性作出判断、浏览影像的效率低下，同时各个医生的水平存在高低差距，部分医生在不能判断的情况下需要咨询有经验医生的意见。
为此，现有技术中，为了提高肺部影像判断的准确性，医生可以通过参考类似病灶病例的肺部影像快速作出诊断结论，而现有技术中医生通过人工方式查找类似病灶病例的肺部影像，从大量的历史肺部影像中获得最相似肺部影像是往往具有效率、准确率低的缺点。
综上所述，现有技术中亟待提供一种更高效、准确的肺部影像检索方案。
发明内容
为了解决上述问题，本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的肺部影像检索方法及装置。
根据本发明实施例的第一方面，提供了一种肺部影像检索方法，该方法包括：
获取待检索肺部影像中包含病灶的类型，根据病灶的类型从待检索肺部影像中获取对应的检索特征向量；
在与病灶的类型对应的样本图像库中，根据检索特征向量获取与待检索肺部影像相似度最高的至少一个样本肺部影像；其中，所述样本图像库包括属于同一病灶类型的各样本肺部影像和根据所述同一病灶类型从各样本肺部影像获取的对应样本特征向量。
根据本发明实施例的第二方面，提供了一种肺部影像检索装置，该装置包括：
获取模块，用于获取待检索肺部影像中包含病灶的类型，根据病灶的类型从待检索肺部影像中获取对应的检索特征向量；
检索模块，用于在与病灶的类型对应的样本图像库中，根据检索特征向量获取与待检索肺部影像相似度最高的至少一个样本肺部影像；其中，所述样本图像库包括属于同一病灶类型的各样本肺部影像和根据所述同一病灶类型从各样本肺部影像获取的对应样本特征向量。
根据本发明实施例的第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与处理器通信连接的至少一个存储器，其中：
存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的肺部影像检索方法。
根据本发明的第四方面，提供了一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的肺部影像检索方法。
本发明上述实施例提供一种肺部影像检索方法及装置，所述方法大大提升了医生用户查找近似肺部影像的同时，根据待检索影像中包含病灶类型的不同，获取相应的检索特征向量，基于检索特征向量进行相似样本肺部影像的检索，从而进一步提高了肺部影像检索的准确度。
附图说明
图1为本发明实施例的一种肺部影像检索方法的流程示意图；
图2为本发明实施例的一种肺部影像检索方法的3D-CNN网络模型示意图；
图3为本发明实施例的一种肺部影像检索方法的肺部影像切片示意图；
图4为本发明实施例的一种肺部影像检索装置的框图；
图5为本发明实施例的一种电子设备的框图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
为了查找最接近肺部影像，现有技术通过医生人工识别进行影像浏览，通常需要两位医生共同判断，会占用医生的工作时间，特别是在当今医疗资源还相对匮乏的大环境下，提高医生的工作效率尤为重要；且医生在浏览肺部影像书写诊断报告时，需要重新书写整个报告内容，花费时间较长，而自动提供相似肺部影像的诊断报告能够节省医生编写报告的时间；当医生对于患者肺部影像无法准确诊断的情况下，可以参考其他病人肺部影像的报告给出判断。
因此，本发明提出了一种肺部影像检索方法及系统，该发明预先基于肺部病灶(病灶：机体上发生病变的部分。如肺的某一部分被结核菌破坏，这部分就是肺结核病灶)的类型与每种病灶类型相应的特征，建立检索数据库，解决了现有影像系统中无法参考相似病人信息的问题，提高医生的诊断的正确性与效率。
如图1，示出本发明实施例一种肺部影像检索方法的整体流程示意图。总体上，包括：
S1，获取待检索肺部影像中包含病灶的类型，根据病灶的类型从待检索肺部影像中获取对应的检索特征向量。
首先获取待检索肺部影像信息，其中所述待检索肺部影像多为肺部CT影像信息。所述肺部CT影像信息指需要去检索的包含肺部病灶区域的CT影像，所述肺部CT影像可通过医生在阅片过程中进行选择，也可以利用人工智能识别算法检出病灶后获得对应的CT影像(如训练神经网络，将CT影像作为输入，输出为CT影像中包含病灶的检出结果)，抑或采用人机结合的方法，对此本发明实施例不做具体限定。
然后，根据不同类型提取各病灶相应的检索特征。识别出待检索肺部CT影像中所包含病灶的类型后，根据所属病灶的类型对应获取待检索肺部CT影像中相应的各项检索特征向量。
S2，在与病灶的类型对应的样本图像库中，根据检索特征向量获取与待检索肺部影像相似度最高的至少一个样本肺部影像；其中，所述样本图像库包括属于同一病灶类型的各样本肺部影像和根据所述同一病灶类型从各样本肺部影像获取的对应样本特征向量。
在本发明上述实施例的基础上，提供一种肺部影像检索方法，所述获取待检索肺部影像中包含病灶的类型，包括：将待检索肺部影像输入预先构建的病灶类型识别模型，获取待检索肺部影像中包含病灶属于对应病灶的类型的识别结果；具体地，所述预先构建的病灶类型识别模型包括输入层、卷积层、降采样层、全连接层和输出层；病灶类型识别模型的输入为待检索肺部影像，输出为待检索肺部影像中包含病灶属于对应病灶的类型的识别结果。
具体的，先裁剪出包含病灶的待检索肺部影像，将所述待检索肺部影像输入预先构建的3D-CNN网络模型中，输出获得待检索肺部影像中所包含病灶属于各病灶类型的概率值或待检索肺部影像中包含病灶属于对应病灶的类型的识别结果；当输出为获得待检索肺部影像中所包含病灶属于各病灶类型的概率值时，选择概率值最高的作为待检索肺部影像中所包含病灶的类型；如图2所示，所述3D-CNN网络模型包含多层卷积层、激活函数等，最后一层softmax。其中，病灶类型包括肺结节、肺气肿、肺炎、支气管扩张、肺气肿、肺结核等。
在本发明上述实施例的基础上，提供一种肺部影像检索方法，所述样本图像库中的每种样本特征向量各对应一个维度，所述各维度有相应的权重值；
相应的，在与病灶的类型对应的样本图像库中，根据检索特征向量获取与待检索肺部影像相似度最高的至少一个样本肺部影像包括：
根据病灶的类型，获取与病灶的类型对应的样本图像库；
计算所述检索特征向量分别与所述样本图像库中各样本肺部影像相应各维度的样本特征向量的相似度，相似度对应乘以各维度的权重值并求和，获得求和值最高的至少一个样本肺部影像。
其中，所述样本图像库为预先构建，所述样本图像库的构建过程可以采用各种现有技术，本发明实施例在此不做特殊限定。
具体地，能够利用建立搜索树kd-tree的方式，构建二级索引，用于存储各病灶类型和对应基于各病灶类型从对应样本肺部影像获取的对应样本特征向量，以供检索时寻找最接近样本肺部影像。本发明实施例在此不做限定。下面，以利用N维向量建立搜索树(kd-tree)的方式建立所述样本图像库的构建过程为例进行如下介绍。首先，获取各包含各病灶的样本肺部CT影像，获取各样本肺部CT影像对应的病灶的类型；获得各样本肺部CT影像中与其对应病灶类型相对应包含的各检索特征向量(具体获取各检索特征向量的方法下面实施例会详细介绍，本发明实施例在此不作赘述)，基于各样本肺部CT影像对应的病灶的类型建立第一维度空间检索条件，在每一个病灶的类型所对应检索空间内部，根据不同病灶的类型所对应的不同检索特征向量进行细分，每种检索特征向量都代表一个维度，且各维度都有对应的权重值。在进行样本肺部影像检索时，计算待检索肺部影像所对应的检索特征向量与检索空间内部的各肺部影像的对应样本特征向量的相似度，对应各相似度乘以各维度所对应的权重值，并求和，获得求和值最高的至少一个样本肺部影像。
在本发明上述实施例的基础上，提供一种肺部影像检索方法，所述病灶的类型包括以下至少一种：肺结节、肺炎、支气管扩展、肺气肿和肺结核；
相应的，所述肺结节对应的检索特征向量和样本特征向量包括以下至少一种：良恶性特征向量、毛刺征特征向量、钙化特征向量、空泡征特征向量和边缘清晰程度特征向量；
所述肺炎对应的检索特征向量和样本特征向量包括以下至少一种：肺部纹理特征向量、肺血管增厚程度特征向量和支气管增厚程度特征向量；
所述支气管扩展对应的检索特征向量和样本特征向量包括以下至少一种：支气管形状变化特征向量和是否有葡萄状特征向量；
所述肺气肿对应的检索特征向量和样本特征向量包括以下至少一种：肺区中低密度的阴影特征向量和肺结构破坏程度特征向量；
所述肺结核对应的检索特征向量和样本特征向量包括以下至少一种：斑状阴影特征向量、结核球特征向量、胸膜炎特征向量和胸内淋巴结结核特征向量。
接下来，进一步对各种病灶类型所包含的对应的检索特征向量和样本特征向量及各项特征向量的获取方法进行说明。
肺结节，提取肺部CT影像中结节的多维特征向量，包含良恶性、毛刺征、钙化、空泡征、边缘清晰程度，肺结节的特征提取采用卷积神经网络CNN进行提取，因为属性较多，采用Multi-Task多任务学习方式，训练网络模型；根据所述待检索肺部影像或样本肺部影像，基于预先构建的特征向量提取多任务模型，获得肺结节对应的各检索特征向量或样本特征向量。
肺炎，提取肺部CT影像中肺部纹理、肺血管增厚程度和支气管增厚程度特征。肺部纹理：在得到肺部分割结果之后，采用现有的纹理特征获取方法，得到肺部纹理特征；肺血管增厚程度：指血管粗度大于设定阈值的个数及超出的数值；支气管增厚程度：指支气管粗度大于设定阈值的个数及超出的数值。
支气管扩展，提取支气管形状变化、是否有葡萄状的特征向量。支气管形状变化指与设定的正常支气管相比，支气管的体积和直径的变化。是否有葡萄状指是否存在多个支气管紧邻。
肺气肿，肺区中低密度的阴影(病变组织与正常组织吸收射线的程序不同，成像上(HU值)有较大的区别，往往低于正常HU值得连通区域，提取该区域)特征向量、肺结构破坏程度特征向量。其中，肺区中低密度的阴影特征指HU值小于设定阈值的区域的数量及各自体积大小；肺结构破坏程度是指病灶区域在整个肺部的占比。
肺结核：肺结核的特征相对较多，医生诊断常采用的几种特征向量，如斑状阴影、结核球、胸膜炎、胸内淋巴结结核等，具体采用哪些特征可根据实际应用情况确定。将待检索肺部影像或样本肺部影像输入预先构建的肺结核特征向量提取模型中，输出获得肺结核对应的各检索特征向量或样本特征向量；其中，预先构建的肺结核特征向量提取模型可以通过但不限于现有技术中的VGGnet网络训练：提取大量包含肺结核的样本肺部CT影像，建立N分类深度神经网络(N为选取样本特征向量的种类)，训练完成后，提取倒数第二层的M维(经验值180维)向量特征作为样本肺部CT影像肺结核对应的各样本特征向量；同理，将待检索肺部影像输入训练好的N分类深度神经网络提取倒数第二层的M维(经验值180维)向量特征，作为待检索肺部影像肺结核对应的各检索特征向量。
在本发明上述实施例的基础上，提供一种肺部影像检索方法，所述根据病灶的类型从待检索肺部影像中获取对应的检索特征向量前还包括：对待检索肺部影像进行分析，分割出待检索肺部影像中的气管、支气管、肺部和血管。
在本发明上述实施例的基础上，提供一种肺部影像检索方法，对待检索肺部影像进行分析，分割出待检索肺部影像中的气管包括：选取待检索肺部影像中最靠近喉咙的m层影像切片中的任意一层作为第一肺部影像切片，利用区域生长法去除第一肺部影像切片中的黑色背景区域，获得模板影像；根据气管上下层连通性及气管位于人体中心的特点，在所述模板影像中找到最佳气管分割种子点，迭代循环分割寻找最佳气管分割阈值，最后分割出待检索肺部影像中各层影像切片中的气管区域；其中m≥1，m为整数。
在本发明上述实施例的基础上，提供一种肺部影像检索方法，对待检索肺部影像进行分析，分割出待检索肺部影像中的肺部包括：选取待检索肺部影像中最远离喉咙的n层影像切片，从n层影像切片的气管区域中找到HU值最小的点对应的影像切片，将所述HU值最小的点作为肺部种子点，利用OTSU算法得到肺分割的最佳阈值，基于肺部种子点和肺分割的最佳阈值利用区域生长法分割出肺部区域；其中n≥1，n为整数。
在本发明上述实施例的基础上，提供一种肺部影像检索方法，对待检索肺部影像进行分析，分割出待检索肺部影像中的血管和支气管包括：以HU值最小的点对应的影像切片为基准，根据血管和支气管具有上下层连续的特性，获取待检索肺部影像中各层影像切片中的血管和支气管区域。
下面进一步举例对本实施例上述分割出待检索肺部影像中的气管、支气管、肺部和血管的步骤进行说明。首先，选取待检索肺部影像中上层影像切片(例如第25层；在拍摄肺部CT影像时，一般由人体喉咙部分开始向人体下半身逐层获取影像切片)，利用区域生长法去除第25层影像切片中黑色背景区域(如图3所示)，即从第25层影像切片边缘区域选取HU值小于-800的一个像素点为种子点，然后区域生长，满足生长的点为HU值大于-5000小于-800，最后将分割出来的背景区域HU值设置为-10000，生成模板图像；然后对去除背景后图像，根据气管上下层连通性及气管位于人体中心的特点，找到最佳气管分割种子点，迭代循环分割寻找最佳气管分割阈值，最后分割出待检索肺部影像中各层影像切片中的气管区域；再从下层切片(如25层之后到最后层(一般选取300-400层))中，从气管区域中找到HU值最小的点对应影像切片作为分析对象图像，将上述HU值最小的点作为肺部种子点，利用OTSU算法(因为用迭代的方法得到的气管分割精度较高，所以这里不需要用循环，以减小计算量)得到肺分割的最佳阈值，据此利用区域生长法分割出肺部区域；最后，以肺部分割分析切片为基准，连续分析多张切片，根据血管与支气管具有上下层连续的特性，即HU值在预设范围内，且连续多张切片均连续，被认为是血管区域或者支气管区域。
在本发明上述实施例的基础上，提供一种肺部影像检索方法，所述肺结核对应的检索特征向量和样本特征向量通过以下步骤获取：
将待检索肺部影像或样本肺部影像输入预先构建的肺结核特征向量提取模型中，输出获得肺结节对应的各检索特征向量或样本特征向量。
在本发明上述实施例的基础上，提供一种肺部影像检索方法，所述样本图像库中还包括与各样本肺部影像关联存储的历史诊断报告；
相应的，所述方法还包括：获取与待检索肺部影像相似度最高的至少一个样本肺部影像关联存储的历史诊断报告。
在诊断过程中，可将各CT影像与相应的报告内容对应，在辅助诊疗过程中，可将病人的影像和报告推送给当前医生，便于医生参考，并复用报告中的内容。
如图4，示出本发明实施例一种肺部影像检索装置整体框架示意图。总体上，所述装置包括：获取模块A1，用于获取待检索肺部影像中包含病灶的类型，根据病灶的类型从待检索肺部影像中获取对应的检索特征向量。
推荐模块A2，用于在与病灶的类型对应的样本图像库中，根据检索特征向量获取与待检索肺部影像相似度最高的至少一个样本肺部影像；其中，所述样本图像库包括属于同一病灶类型的各样本肺部影像和根据所述同一病灶类型从各样本肺部影像获取的对应样本特征向量。
在本发明上述实施例的基础上，提供一种肺部影像检索装置，所述获取模块A1还用于：将待检索肺部影像输入预先构建的病灶类型识别模型，获取待检索肺部影像中包含病灶属于对应病灶的类型的识别结果；具体地，所述预先构建的病灶类型识别模型包括输入层、卷积层、降采样层、全连接层和输出层；病灶类型识别模型的输入为待检索肺部影像，输出为待检索肺部影像中包含病灶属于对应病灶的类型的识别结果。
在本发明上述实施例的基础上，提供一种肺部影像检索装置，所述样本图像库中的每种样本特征向量各对应一个维度，所述各维度有相应的权重值；
相应的，所述检索模块A2进一步用于：
根据病灶的类型，获取与病灶的类型对应的样本图像库；
计算所述检索特征向量分别与所述样本图像库中各样本肺部影像相应各维度的样本特征向量的相似度，相似度对应乘以各维度的权重值并求和，获得求和值最高的至少一个样本肺部影像。
其中，所述样本图像库为预先构建，所述样本图像库的构建过程可以采用各种现有技术，本发明实施例在此不做特殊限定。
具体地，能够利用建立搜索树kd-tree或邻近算法knn的方式，构建二级索引，用于存储属于同一病灶类型的各样本肺部影像和根据所述同一病灶类型从各样本肺部影像获取的对应样本特征向量，以供检索时寻找最接近样本肺部影像。本发明实施例在此不做限定。下面，以利用N维向量建立搜索树(kd-tree)的方式建立所述样本图像库的构建过程为例进行如下介绍。首先，获取各包含各病灶的样本肺部CT影像，获得各样本肺部CT影像所包含的各检索特征向量(具体获取各检索特征向量的方法下面实施例会详细介绍，本发明实施例在此不作赘述)，将病灶的类型建立第一维度空间检索条件，在每一个病灶的类型所对应检索空间内部，根据不同病灶的类型所对应的不同检索特征向量进行细分，每种检索特征向量都代表一个维度，且各维度都有对应的权重值。当检索模块A2进行样本肺部影像检索时，计算待检索肺部影像所对应的检索特征向量与检索空间内部的各肺部影像的对应样本特征向量的相似度，对应各相似度乘以各维度所对应的权重值，并求和，获得求和值最高的至少一个样本肺部影像。
在本发明上述实施例的基础上，提供一种肺部影像检索装置，所述病灶的类型包括以下至少一种：肺结节、肺炎、支气管扩展、肺气肿和肺结核；
相应的，所述肺结节对应的检索特征向量和样本特征向量包括以下至少一种：良恶性特征向量、毛刺征特征向量、钙化特征向量、空泡征特征向量和边缘清晰程度特征向量；
所述肺炎对应的检索特征向量和样本特征向量包括以下至少一种：肺部纹理特征向量、肺血管增厚程度特征向量和支气管增厚程度特征向量；
所述支气管扩展对应的检索特征向量和样本特征向量包括以下至少一种：支气管形状变化特征向量和是否有葡萄状特征向量；
所述肺气肿对应的检索特征向量和样本特征向量包括以下至少一种：肺区中低密度的阴影特征向量和肺结构破坏程度特征向量；
所述肺结核对应的检索特征向量和样本特征向量包括以下至少一种：斑状阴影特征向量、结核球特征向量、胸膜炎特征向量和胸内淋巴结结核特征向量。
接下来，进一步对各种病灶类型所包含的对应的检索特征向量和样本特征向量及各项特征向量的获取方法进行说明。
肺结节，提取肺部CT影像中结节的多维特征向量，包含良恶性、毛刺征、钙化、空泡征、边缘清晰程度，肺结节的特征提取采用卷积神经网络CNN进行提取，因为属性较多，采用Multi-Task多任务学习方式，训练网络模型；根据所述待检索肺部影像或样本肺部影像，基于预先构建的特征向量提取多任务模型，获得肺结节对应的各检索特征向量或样本特征向量。
肺炎，提取肺部CT影像中肺部纹理、肺血管增厚程度和支气管增厚程度特征。肺部纹理：在得到肺部分割结果之后，采用现有的纹理特征获取方法，得到肺部纹理特征；肺血管增厚程度：指血管粗度大于设定阈值的个数及超出的数值；支气管增厚程度：指支气管粗度大于设定阈值的个数及超出的数值。
支气管扩展，提取支气管形状变化、是否有葡萄状的特征向量。支气管形状变化指与设定的正常支气管相比，支气管的体积和直径的变化。是否有葡萄状指是否存在多个支气管紧邻。
肺气肿，肺区中低密度的阴影(病变组织与正常组织吸收射线的程序不同，成像上(HU值)有较大的区别，往往低于正常HU值得连通区域，提取该区域)特征向量、肺结构破坏程度特征向量。其中，肺区中低密度的阴影特征指HU值小于设定阈值的区域的数量及各自体积大小；肺结构破坏程度是指病灶区域在整个肺部的占比。
肺结核：肺结核的特征相对较多，医生诊断常采用的常用特征向量，如斑状阴影、结核球、胸膜炎、胸内淋巴结结核等，具体采用哪些特征可根据实际应用情况确定。将待检索肺部影像或样本肺部影像输入预先构建的肺结核特征向量提取模型中，输出获得肺结节对应的各检索特征向量或样本特征向量。
在本发明上述实施例的基础上，提供一种肺部影像检索装置，还包括特征向量提取模块A3，用于：
根据所述待检索肺部影像或样本肺部影像，基于预先构建的特征向量提取多任务模型，获得肺结节对应的各检索特征向量或样本特征向量。其中，所述预先构建的特征向量提取多任务模型为卷积神经网络CNN；所述预先构建的特征向量提取多任务模型采用多任务学习方式Multi-task learning训练获得。
在本发明上述实施例的基础上，提供一种肺部影像检索装置，还包括预处理模块A0，用于：对待检索肺部影像进行分析，分割出待检索肺部影像中的气管、支气管、肺部和血管。
在本发明上述实施例的基础上，提供一种肺部影像检索装置，还包括预处理模块A0，用于：选取待检索肺部影像中最靠近喉咙的m层影像切片中的任意一层作为第一肺部影像切片，利用区域生长法去除第一肺部影像切片中的黑色背景区域，获得模板影像；根据气管上下层连通性及气管位于人体中心的特点，在所述模板影像中找到最佳气管分割种子点，迭代循环分割寻找最佳气管分割阈值，最后分割出待检索肺部影像中各层影像切片中的气管区域；其中m≥1，m为整数。
在本发明上述实施例的基础上，提供一种肺部影像检索装置，还包括预处理模块A0，用于：选取待检索肺部影像中最远离喉咙的n层影像切片，从n层影像切片的气管区域中找到HU值最小的点对应的影像切片，将所述HU值最小的点作为肺部种子点，利用OTSU算法得到肺分割的最佳阈值，基于肺部种子点和肺分割的最佳阈值利用区域生长法分割出肺部区域；其中n≥1，n为整数。
在本发明上述实施例的基础上，提供一种肺部影像检索装置，还包括预处理模块A0，用于：以HU值最小的点对应的影像切片为基准，根据血管和支气管具有上下层连续的特性，获取待检索肺部影像中各层影像切片中的血管和支气管区域。
在本发明上述实施例的基础上，提供一种肺部影像检索装置，还包括特征向量提取模块A3，用于：将待检索肺部影像或样本肺部影像输入预先构建的肺结核特征向量提取模型中，输出获得肺结节对应的各检索特征向量或样本特征向量。
在本发明上述实施例的基础上，提供一种肺部影像检索装置，所述样本图像库中还包括与各样本肺部影像关联存储的历史诊断报告；
相应的，所述检索模块A2还用于：获取与待检索肺部影像相似度最高的至少一个样本肺部影像关联存储的历史诊断报告。
在诊断过程中，可将各CT影像与相应的报告内容对应，在辅助诊疗过程中，可将病人的影像和报告推送给当前医生，便于医生参考，并复用报告中的内容。
基于上述具体实施例，提供一种电子设备。参见图5，该电子设备包括：处理器(processor)501、存储器(memory)502和总线503；
其中，处理器501及存储器502分别通过总线503完成相互间的通信；
处理器501用于调用存储器502中的程序指令，以执行上述实施例所提供的肺部影像检索方法，例如包括：获取待检索肺部影像中包含病灶的类型，根据病灶的类型从待检索肺部影像中获取对应的检索特征向量；在与病灶的类型对应的样本图像库中，根据检索特征向量获取与待检索肺部影像相似度最高的至少一个样本肺部影像；其中，所述样本图像库包括属于同一病灶类型的各样本肺部影像和根据所述同一病灶类型从各样本肺部影像获取的对应样本特征向量。
本发明实施例提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令使计算机执行上述实施例所提供的肺部影像检索方法，例如包括：获取待检索肺部影像中包含病灶的类型，根据病灶的类型从待检索肺部影像中获取对应的检索特征向量；在与病灶的类型对应的样本图像库中，根据检索特征向量获取与待检索肺部影像相似度最高的至少一个样本肺部影像；其中，所述样本图像库包括属于同一病灶类型的各样本肺部影像和根据所述同一病灶类型从各样本肺部影像获取的对应样本特征向量。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的信息交互设备等实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分方法。
最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明实施例的保护范围。凡在本发明实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (10)

1.一种肺部影像检索方法，其特征在于，包括：
获取待检索肺部影像中包含病灶的类型，根据病灶的类型从待检索肺部影像中获取对应的检索特征向量，每种检索特征向量都代表一个维度，且各维度都有对应的权重值；
在与病灶的类型对应的样本图像库中，根据检索特征向量获取与待检索肺部影像相似度最高的至少一个样本肺部影像；其中，所述样本图像库包括属于同一病灶类型的各样本肺部影像和根据所述同一病灶类型从各样本肺部影像获取的对应样本特征向量；
所述样本图像库中的每种样本特征向量各对应一个维度，所述各维度有相应的权重值；
相应的，在与病灶的类型对应的样本图像库中，根据检索特征向量获取与待检索肺部影像相似度最高的至少一个样本肺部影像包括：
根据病灶的类型，获取与病灶的类型对应的样本图像库；
计算所述检索特征向量分别与所述样本图像库中各样本肺部影像相应各维度的样本特征向量的相似度，相似度对应乘以各维度的权重值并求和，获得求和值最高的至少一个样本肺部影像；
所述根据病灶的类型从待检索肺部影像中获取对应的检索特征向量前还包括：
对待检索肺部影像进行分析，分割出待检索肺部影像中的气管、支气管、肺部和血管；
所述病灶的类型包括以下至少一种：肺结节、肺炎、支气管扩展、肺气肿和肺结核；
相应的，所述肺结节对应的检索特征向量和样本特征向量包括以下至少一种：良恶性特征向量、毛刺征特征向量、钙化特征向量、空泡征特征向量和边缘清晰程度特征向量；
所述肺炎对应的检索特征向量和样本特征向量包括以下至少一种：肺部纹理特征向量、肺血管增厚程度特征向量和支气管增厚程度特征向量；
所述支气管扩展对应的检索特征向量和样本特征向量包括以下至少一种：支气管形状变化特征向量和是否有葡萄状特征向量；
所述肺气肿对应的检索特征向量和样本特征向量包括以下至少一种：肺区中低密度的阴影特征特征向量和肺结构破坏程度特征向量；
所述肺结核对应的检索特征向量和样本特征向量包括以下至少一种：斑状阴影特征向量、结核球特征向量、胸膜炎特征向量和胸内淋巴结结核特征向量。
2.根据权利要求1所述的方法，其特征在于，所述获取待检索肺部影像中包含病灶的类型，包括：
将待检索肺部影像输入预先构建的病灶类型识别模型，获取待检索肺部影像中包含病灶属于对应病灶的类型的识别结果；
具体地，所述预先构建的病灶类型识别模型包括输入层、卷积层、降采样层、全连接层和输出层；病灶类型识别模型的输入为待检索肺部影像，输出为待检索肺部影像中包含病灶属于对应病灶的类型的识别结果。
3.根据权利要求1所述的方法，其特征在于，所述肺结节对应的检索特征向量和样本特征向量通过以下步骤获取：
根据所述待检索肺部影像或样本肺部影像，基于预先构建的特征向量提取多任务模型，获得肺结节对应的各检索特征向量或样本特征向量；
其中，所述预先构建的特征向量提取多任务模型为卷积神经网络CNN；所述预先构建的特征向量提取多任务模型采用多任务学习方式Multi-task learning训练获得。
4.根据权利要求1所述的方法，其特征在于，对待检索肺部影像进行分析，分割出待检索肺部影像中的气管包括：
选取待检索肺部影像中最靠近喉咙的m层影像切片中的任意一层作为第一肺部影像切片，利用区域生长法去除第一肺部影像切片中的黑色背景区域，获得模板影像；根据气管上下层连通性及气管位于人体中心的特点，在所述模板影像中找到最佳气管分割种子点，迭代循环分割寻找最佳气管分割阈值，最后分割出待检索肺部影像中各层影像切片中的气管区域；其中m≥1，m为整数。
5.根据权利要求1所述的方法，其特征在于，对待检索肺部影像进行分析，分割出待检索肺部影像中的肺部包括：
选取待检索肺部影像中最远离喉咙的n层影像切片，从n层影像切片的气管区域中找到HU值最小的点对应的影像切片，将所述HU值最小的点作为肺部种子点，利用OTSU算法得到肺分割的最佳阈值，基于肺部种子点和肺分割的最佳阈值利用区域生长法分割出肺部区域；其中n≥1，n为整数。
6.根据权利要求5所述的方法，其特征在于，对待检索肺部影像进行分析，分割出待检索肺部影像中的血管和支气管包括：
以HU值最小的点对应的影像切片为基准，根据血管和支气管具有上下层连续的特性，获取待检索肺部影像中各层影像切片中的血管和支气管区域。
7.根据权利要求1所述的方法，其特征在于，所述样本图像库中还包括与各样本肺部影像关联存储的历史诊断报告；
相应的，所述方法还包括：获取与待检索肺部影像相似度最高的至少一个样本肺部影像关联存储的历史诊断报告。
8.一种肺部影像检索装置，其特征在于，包括：
获取模块，用于获取待检索肺部影像中包含病灶的类型，根据病灶的类型从待检索肺部影像中获取对应的检索特征向量，每种检索特征向量都代表一个维度，且各维度都有对应的权重值；
检索模块，用于在与病灶的类型对应的样本图像库中，根据检索特征向量获取与待检索肺部影像相似度最高的至少一个样本肺部影像；其中，所述样本图像库包括属于同一病灶类型的各样本肺部影像和根据所述同一病灶类型从各样本肺部影像获取的对应样本特征向量；
所述样本图像库中的每种样本特征向量各对应一个维度，所述各维度有相应的权重值；
相应的，在与病灶的类型对应的样本图像库中，根据检索特征向量获取与待检索肺部影像相似度最高的至少一个样本肺部影像包括：
根据病灶的类型，获取与病灶的类型对应的样本图像库；
计算所述检索特征向量分别与所述样本图像库中各样本肺部影像相应各维度的样本特征向量的相似度，相似度对应乘以各维度的权重值并求和，获得求和值最高的至少一个样本肺部影像；
预处理模块，用于对待检索肺部影像进行分析，分割出待检索肺部影像中的气管、支气管、肺部和血管；
所述病灶的类型包括以下至少一种：肺结节、肺炎、支气管扩展、肺气肿和肺结核；
相应的，所述肺结节对应的检索特征向量和样本特征向量包括以下至少一种：良恶性特征向量、毛刺征特征向量、钙化特征向量、空泡征特征向量和边缘清晰程度特征向量；
所述肺炎对应的检索特征向量和样本特征向量包括以下至少一种：肺部纹理特征向量、肺血管增厚程度特征向量和支气管增厚程度特征向量；
所述支气管扩展对应的检索特征向量和样本特征向量包括以下至少一种：支气管形状变化特征向量和是否有葡萄状特征向量；
所述肺气肿对应的检索特征向量和样本特征向量包括以下至少一种：肺区中低密度的阴影特征特征向量和肺结构破坏程度特征向量；
所述肺结核对应的检索特征向量和样本特征向量包括以下至少一种：斑状阴影特征向量、结核球特征向量、胸膜炎特征向量和胸内淋巴结结核特征向量。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行根据权利要求1至7任一所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行根据权利要求1至7任一所述的方法。
CN201711436017.1A 2017-12-26 2017-12-26 一种肺部影像检索方法及装置 Active CN108171692B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711436017.1A CN108171692B (zh) 2017-12-26 2017-12-26 一种肺部影像检索方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711436017.1A CN108171692B (zh) 2017-12-26 2017-12-26 一种肺部影像检索方法及装置

Publications (2)

Publication Number Publication Date
CN108171692A CN108171692A (zh) 2018-06-15
CN108171692B true CN108171692B (zh) 2021-03-26

Family

ID=62521701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711436017.1A Active CN108171692B (zh) 2017-12-26 2017-12-26 一种肺部影像检索方法及装置

Country Status (1)

Country Link
CN (1) CN108171692B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255782A (zh) * 2018-09-03 2019-01-22 图兮深维医疗科技（苏州）有限公司 一种肺结节图像的处理方法、装置、设备及存储介质
CN109448822A (zh) * 2018-09-21 2019-03-08 沈阳医学院附属中心医院 基于影像报告的ct图像肺气肿自动标注方法
CN109523532B (zh) * 2018-11-13 2022-05-03 腾讯医疗健康(深圳)有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN109584223A (zh) * 2018-11-20 2019-04-05 北京中科研究院 Ct图像中肺部血管分割方法
CN110837572B (zh) * 2019-11-15 2020-10-13 北京推想科技有限公司 图像检索方法、装置、可读存储介质及电子设备
CN111428070A (zh) * 2020-03-25 2020-07-17 南方科技大学 眼科案例的检索方法、装置、服务器及存储介质
CN111710437A (zh) * 2020-05-25 2020-09-25 广东百慧科技有限公司 一种基于图像处理的智能问诊方法、系统及存储介质
CN111544026B (zh) * 2020-06-02 2023-04-07 陈强 一种肺炎指数计算装置
CN111738992B (zh) * 2020-06-04 2023-12-22 讯飞医疗科技股份有限公司 肺部病灶区域提取方法、装置、电子设备和存储介质
CN111932495B (zh) * 2020-06-30 2021-09-07 数坤(北京)网络科技股份有限公司 一种医学图像检测方法、装置及存储介质
CN112381798A (zh) * 2020-11-16 2021-02-19 广东电网有限责任公司肇庆供电局 一种输电线路缺陷识别方法和终端
CN112633405A (zh) * 2020-12-30 2021-04-09 上海联影智能医疗科技有限公司 模型训练方法、医学影像分析方法及装置、设备、介质
CN113808137A (zh) * 2021-11-19 2021-12-17 武汉楚精灵医疗科技有限公司 上消化道内镜影像图的筛选方法、装置、设备及存储介质
CN114445334B (zh) * 2021-12-22 2024-06-25 新瑞鹏宠物医疗集团有限公司 图像分析的方法、装置、设备及存储介质
CN114782712A (zh) * 2022-04-29 2022-07-22 沈阳东软智能医疗科技研究院有限公司 基于医学影像的特征处理方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104143184A (zh) * 2013-05-10 2014-11-12 上海联影医疗科技有限公司 一种肺部分割的方法
CN106780460A (zh) * 2016-12-13 2017-05-31 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测系统
CN106815566A (zh) * 2016-12-29 2017-06-09 天津中科智能识别产业技术研究院有限公司 一种基于多任务卷积神经网络的人脸检索方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6795521B2 (en) * 2001-08-17 2004-09-21 Deus Technologies Llc Computer-aided diagnosis system for thoracic computer tomography images
EP1811401A4 (en) * 2004-09-16 2009-04-15 Fujitsu Ltd IMAGE-SCREENING, IMAGE-SEARCHING, PICTURE-GENERATING DEVICE, PICTURE-PRODUCING PROCESS AND PROGRAM
CN103200861B (zh) * 2011-11-04 2015-10-14 松下电器产业株式会社 类似病例检索装置以及类似病例检索方法
CN106777953A (zh) * 2016-12-09 2017-05-31 江西中科九峰智慧医疗科技有限公司 医学影像数据的分析方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104143184A (zh) * 2013-05-10 2014-11-12 上海联影医疗科技有限公司 一种肺部分割的方法
CN106780460A (zh) * 2016-12-13 2017-05-31 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测系统
CN106815566A (zh) * 2016-12-29 2017-06-09 天津中科智能识别产业技术研究院有限公司 一种基于多任务卷积神经网络的人脸检索方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于CT影像的肺组织分割及其功能定量分析;耿欢，覃文军，杨金柱，边子健，赵大哲;《小型微型计算机系统》;20160315;第37卷(第3期);第582页第8段-第585页第4段 *
基于内容的多模态医学图像的检索系统研究;张丽君;《中国优秀硕士学位论文全文数据库信息科技辑》;20070915;第2-3章 *
基于灰度共生矩阵的腹部图像分类与检索;高园园,傅蓉,邝勇,吕庆文;《医疗卫生装备》;20120315;第33卷(第3期);第4页4段-第5页9段 *

Also Published As

Publication number Publication date
CN108171692A (zh) 2018-06-15

Similar Documents

Publication Publication Date Title
CN108171692B (zh) 一种肺部影像检索方法及装置
EP3770850B1 (en) Medical image identifying method, model training method, and computer device
CN110232383B (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统
US10706333B2 (en) Medical image analysis method, medical image analysis system and storage medium
Kumar et al. Lung nodule classification using deep features in CT images
CN105931226A (zh) 基于深度学习的自适应椭圆拟合细胞自动检测分割方法
El-Regaily et al. Lung nodule segmentation and detection in computed tomography
CN111584046B (zh) 一种医学影像数据ai处理方法
JP7346553B2 (ja) 深層学習を使用する３ｄデータセット内のオブジェクトの成長率の決定
Maiora et al. Abdominal CTA image analisys through active learning and decision random forests: Aplication to AAA segmentation
CN112508884A (zh) 一种癌变区域综合检测装置及方法
CN114092450A (zh) 一种基于胃镜检查视频的实时图像分割方法、系统、装置
KR101625955B1 (ko) 장기의 동맥 및 정맥의 구분 방법
CN115471512A (zh) 一种基于自监督对比学习的医学影像分割方法
CN111784713A (zh) 一种引入注意力机制的u形心脏分割方法
Pham et al. Chest x-rays abnormalities localization and classification using an ensemble framework of deep convolutional neural networks
Wang et al. Deep learning based nodule detection from pulmonary CT images
Chen et al. Pulmonary nodule segmentation in computed tomography with an encoder-decoder architecture
CN108875814A (zh) 图片检索方法、装置及电子设备
CN112766333B (zh) 医学影像处理模型训练方法、医学影像处理方法及装置
Mansoor et al. Near-optimal keypoint sampling for fast pathological lung segmentation
Medina et al. Left ventricle myocardium segmentation in multi-slice computerized tomography
Ivanov et al. Automatic calculation of left ventricular volume in magnetic resonance imaging using an image-based clustering approach
Prakash et al. Stage Identification and Classification of Lung Cancer using Deep Convolutional Neural Network
Li et al. Pulmonary nodules detection algorithm based on robust cascade classifier for CT images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 230088 floor 23-24, building A5, No. 666, Wangjiang West Road, high tech Zone, Hefei, Anhui Province

Patentee after: Anhui Xunfei Medical Co.,Ltd.

Address before: 230088 room 288, building H2, phase II, innovation industrial park, 2800 innovation Avenue, high tech Zone, Hefei City, Anhui Province

Patentee before: ANHUI IFLYTEK MEDICAL INFORMATION TECHNOLOGY CO.,LTD.

CP03 Change of name, title or address
CP01 Change in the name or title of a patent holder

Address after: 230088 floor 23-24, building A5, No. 666, Wangjiang West Road, high tech Zone, Hefei, Anhui Province

Patentee after: IFLYTEK Medical Technology Co.,Ltd.

Address before: 230088 floor 23-24, building A5, No. 666, Wangjiang West Road, high tech Zone, Hefei, Anhui Province

Patentee before: Anhui Xunfei Medical Co.,Ltd.

CP01 Change in the name or title of a patent holder