CN113782181A - 一种基于ct图像的肺结节良恶性诊断方法及装置 - Google Patents

一种基于ct图像的肺结节良恶性诊断方法及装置 Download PDF

Info

Publication number
CN113782181A
CN113782181A CN202110843392.8A CN202110843392A CN113782181A CN 113782181 A CN113782181 A CN 113782181A CN 202110843392 A CN202110843392 A CN 202110843392A CN 113782181 A CN113782181 A CN 113782181A
Authority
CN
China
Prior art keywords
feature
lung
image
self
lung nodule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110843392.8A
Other languages
English (en)
Inventor
张番栋
俞益洲
李一鸣
乔昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Original Assignee
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenrui Bolian Technology Co Ltd, Shenzhen Deepwise Bolian Technology Co Ltd filed Critical Beijing Shenrui Bolian Technology Co Ltd
Priority to CN202110843392.8A priority Critical patent/CN113782181A/zh
Publication of CN113782181A publication Critical patent/CN113782181A/zh
Priority to PCT/CN2022/104347 priority patent/WO2023005634A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明提供一种基于CT图像的肺结节良恶性诊断方法及装置。所述方法包括：从输入CT图像中检测出所有肺结节的位置及尺寸，并分割出包含每个肺结节的图像区域；从分割出的肺结节图像中提取肺结节的周围特征图，并对其进行感兴趣区域池化得到肺结节的自身征象特征表示；利用一个基于注意力机制的上下文征象提取模块，得到肺结节的上下文征象特征表示；对自身征象特征表示和上下文征象特征表示进行融合，并基于融合后的特征进行肺结节良恶性诊断。本发明通过基于注意力机制提取肺结节的上下文征象，并进一步对肺结节的自身征象和上下文征象进行融合，相对现有技术主要根据自身征象进行诊断，可有效提高肺结节良恶性检测的准确度。

Description

一种基于CT图像的肺结节良恶性诊断方法及装置
技术领域
本发明属于医学影像技术领域，具体涉及一种基于CT图像的肺结节良恶性诊断方法及装置。
背景技术
肺癌是世界上发病率最高的癌症之一。肺结节是导致肺癌的最主要病变，电子计算机断层扫描(Computed Tomography，CT)是筛查肺结节良恶性的最常见手段，设计CT中肺结节良恶性的计算机辅助诊断(Computer-AidedDiagno sis，CAD)系统对于缓解医生阅片强度、提高恶性肺结节筛查准确性非常重要。
在临床诊断中，除了肺结节的自身特征(如纹理、形状)，肺结节周围的上下文特征(如胸膜牵拉、血管变形)也能为良恶性诊断提供重要线索。但现有CAD系统一般只是根据肺结节自身特征判断其良恶性，没能充分利用肺结节周围的上下文特征，因此，现有的肺结节良恶性诊断方法存在诊断准确度不高等问题。
发明内容
为了解决现有技术中存在的上述问题，本发明提供一种基于CT图像的肺结节良恶性诊断方法及装置。
为了实现上述目的，本发明采用以下技术方案。
第一方面，本发明提供一种基于CT图像的肺结节良恶性诊断方法，包括以下步骤：
基于一个肺结节检测网络，从输入CT图像中检测出所有肺结节的位置及尺寸，并分割出包含每个肺结节的图像区域；
基于一个特征提取网络，从分割出的肺结节图像中提取肺结节的周围特征图，并对其进行感兴趣区域池化得到肺结节的自身征象特征表示；
将肺结节的周围特征图和自身征象特征表示，输入到一个基于注意力机制的上下文征象提取模块，得到肺结节的上下文征象特征表示；
对自身征象特征表示和上下文征象特征表示进行融合，并将融合后的特征输入到一个逻辑回归层得到肺结节良恶性概率。
进一步地，所述方法还包括对输入CT图像进行的预处理步骤：
对输入CT图像按照1mm×1mm×1mm的像素大小采用最近邻方法进行重采样；
按照肺窗中心HU值-600、窗宽HU值1600进行窗宽窗位调整；
生成肺部分割所需要的掩膜：以HU值＝-320为阈值对于重采样的图像进行二值化；对二值化图像进行连通区域计算，保留最大的连通区域作为肺部掩膜；将肺部掩膜与CT图像逐像素相乘，得到分割出肺部的CT图像，其余区域统一填充像素灰度值170。
进一步地，所述特征提取网络为卷积神经网络3D U-Net或3D ResNet。
进一步地，所述基于注意力机制的上下文征象提取模块包括一个自注意力模块和一个互注意力模块；自注意力模块以肺结节的周围特征图为输入，通过一个周围特征编码模块产生与特征图通道数相同大小的自注意力向量，输出周围特征图的融合特征至互注意力模块的互注意力编码模块；互注意力模块以肺结节的自身征象特征表示为输入，通过互注意力编码模块产生与特征图通道数相同大小的互注意力向量，输出肺结节的上下文征象特征表示。
进一步地，对自身征象特征表示和上下文征象特征表示进行融合的方法包括：
以自身征象特征表示和上下文征象特征表示为输入，利用两个不同的全连接层和一个Softmax层产生一组特征融合系数；
将所述特征融合系数分别与自身征象特征表示和上下文征象特征表示相乘，再将相乘后的自身征象特征表示和上下文征象特征表示拼接在一起。
第二方面，本发明提供一种基于CT图像的肺结节良恶性诊断装置，包括：
肺结节分割模块，用于基于一个肺结节检测网络，从输入CT图像中检测出所有肺结节的位置及尺寸，并分割出包含每个肺结节的图像区域；
自身征象提取模块，用于基于一个特征提取网络，从分割出的肺结节图像中提取肺结节的周围特征图，并对其进行感兴趣区域池化得到肺结节的自身征象特征表示；
上下文征象提取模块，用于将肺结节的周围特征图和自身征象特征表示，输入到一个基于注意力机制的上下文征象提取模块，得到肺结节的上下文征象特征表示；
特征融合与诊断模块，用于对自身征象特征表示和上下文征象特征表示进行融合，并将融合后的特征输入到一个逻辑回归层得到肺结节良恶性概率。
进一步地，所述装置还包括预处理模块，用于对输入CT图像进行以下操作：
对输入CT图像按照1mm×1mm×1mm的像素大小采用最近邻方法进行重采样；
按照肺窗中心HU值-600、窗宽HU值1600进行窗宽窗位调整；
生成肺部分割所需要的掩膜：以HU值＝-320为阈值对于重采样的图像进行二值化；对二值化图像进行连通区域计算，保留最大的连通区域作为肺部掩膜；将肺部掩膜与CT图像逐像素相乘，得到分割出肺部的CT图像，其余区域统一填充像素灰度值170。
进一步地，所述特征提取网络为卷积神经网络3D U-Net或3D ResNet。
进一步地，所述基于注意力机制的上下文征象提取模块包括一个自注意力模块和一个互注意力模块；自注意力模块以肺结节的周围特征图为输入，通过一个周围特征编码模块产生与特征图通道数相同大小的自注意力向量，输出周围特征图的融合特征至互注意力模块的互注意力编码模块；互注意力模块以肺结节的自身征象特征表示为输入，通过互注意力编码模块产生与特征图通道数相同大小的互注意力向量，输出肺结节的上下文征象特征表示。
进一步地，对自身征象特征表示和上下文征象特征表示进行融合的方法包括：
以自身征象特征表示和上下文征象特征表示为输入，利用两个不同的全连接层和一个Softmax层产生一组特征融合系数；
将所述特征融合系数分别与自身征象特征表示和上下文征象特征表示相乘，再将相乘后的自身征象特征表示和上下文征象特征表示拼接在一起。
与现有技术相比，本发明具有以下有益效果。
本发明通过构建一个基于注意力机制的上下文征象提取模块，可以更好地得到肺结节的上下文征象；通过进一步对肺结节的自身征象特征表示和上下文征象特征表示进行融合，使融合后的特征既包含肺结节自身征象信息，又包含上下文征象信息，相对现有肺结节良恶性诊断系统主要根据自身征象判断，可有效提高肺结节良恶性检测的准确度。
附图说明
图1为本发明实施例一种基于CT图像的肺结节良恶性诊断方法的流程图。
图2为本发明实施例一种基于CT图像的肺结节良恶性诊断装置的方框图。
具体实施式
为使本发明的目的、技术方案及优点更加清楚、明白，以下结合附图及具体实施方式对本发明作进一步说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例一种基于CT图像的肺结节良恶性诊断方法的流程图，包括以下步骤：
步骤101，基于一个肺结节检测网络，从输入CT图像中检测出所有肺结节的位置及尺寸，并分割出包含每个肺结节的图像区域；
步骤102，基于一个特征提取网络，从分割出的肺结节图像中提取肺结节的周围特征图，并对其进行感兴趣区域池化得到肺结节的自身征象特征表示；
步骤103，将肺结节的周围特征图和自身征象特征表示，输入到一个基于注意力机制的上下文征象提取模块，得到肺结节的上下文征象特征表示；
步骤104，对自身征象特征表示和上下文征象特征表示进行融合，并将融合后的特征输入到一个逻辑回归层得到肺结节良恶性概率。
本实施例中，步骤101主要用于检测并分割肺结节图像区域。本实施例利用一个已训练的肺结节检测网络，检测出输入CT图像中所有肺结节的位置及尺寸；然后根据检测到的肺结节的位置和尺寸，将输入CT图像中所有肺结节图片块剪切出来。为保留存在于肺结节周围的上下文征象，剪切时大小设置为一个大于肺结节实际尺寸的固定尺寸，如96mm×96mm×96mm。
本实施例中，步骤102主要用于得到肺结节的自身征象特征表示。本实施例利用一个特征提取网络，从分割出的每个肺结节图像中提取包含肺结节周围特征的深度特征图(简称肺结节的周围特征图)，并对肺结节的周围特征图进行感兴趣区域池化(Region ofinterest pooling，也称为RoI pooling)操作(最大值池化)，得到肺结节的自身征象特征表示。感兴趣区域池化是使用卷积神经网络在目标检测任务中广泛使用的操作。例如，在单个图像中检测多个汽车和行人。
本实施例中，步骤103主要用于得到肺结节的上下文征象特征表示。本实施例通过构建一个基于注意力机制的上下文征象获取模块，获取肺结节的上下文征象特征表示。由于肺结节的周围特征图包含了不同肺结节之间的关联信息即上下文征象，因此，对上一步得到的肺结节的周围特征图和自身征象特征表示进行注意力机制运算，就可以得到肺结节的上下文征象特征表示。
本实施例中，步骤104主要用于对自身征象特征表示和上下文征象特征表示进行融合，并基于融合后的特征得到肺结节良恶性概率。现有的肺结节检测系统一般只基于提取的肺结节自身征象信息进行良恶性判断，没有考虑到不同肺结节之间的关联，因此检测精度不高。为此，本实施例既获得肺结节的自身征象特征表示，又获得肺结节的上下文征象特征表示，并对两种征象特征表示进行融合(加权求和后拼接在一起)，使融合后的特征既包含肺结节自身征象信息，又包含上下文征象信息，然后将融合特征输入到一个逻辑回归层得到肺结节良恶性概率，相对现有技术可有效提高肺结节良恶性检测的准确度。
作为一可选实施例，所述方法还包括对输入CT图像进行的预处理步骤：
对输入CT图像按照1mm×1mm×1mm的像素大小采用最近邻方法进行重采样；
按照肺窗中心HU值-600、窗宽HU值1600进行窗宽窗位调整；
生成肺部分割所需要的掩膜：以HU值＝-320为阈值对于重采样的图像进行二值化；对二值化图像进行连通区域计算，保留最大的连通区域作为肺部掩膜；将肺部掩膜与CT图像逐像素相乘，得到分割出肺部的CT图像，其余区域统一填充像素灰度值170。
本实施例给出了图像预处理的一种技术方案。为了有效地进行基于CT图像的肺结节良恶性检测，需要先对输入的CT图像进行预处理。所述预处理主要包括三部分内容：一是对输入CT图像按照设定的像素大小(如1mm×1mm×1mm)采用最近邻方法进行重采样，以提高分辨率；二是对肺窗进行窗宽窗位调整，调整后中心HU值为-600、窗宽HU值为1600，对正肺部以便准确地分割肺部CT图像；三是利用生成的肺部掩膜分割肺部的CT图像。肺部掩膜可通过以设定的HU值阈值(如-320)对重采样的图像进行二值化，对二值化图像进行连通区域计算并保留最大的连通区域得到。有了肺部掩膜，用肺部掩膜与CT图像逐像素相乘就可分割出肺部的CT图像。
作为一可选实施例，所述特征提取网络为卷积神经网络3D U-Net或3D ResNet。
本实施例给出了特征提取网络的网络结构。从原理上讲，特征提取网络可以采用任意神经网络模型，但考虑到本实施例涉及的CT图像为三维图像，因此为了更有效地进行特征提取，本实施例采用3D U-Net或3D ResNet作为特征提取网络。值得说明的是，本实施例只是给出了特征提取网络的一种或两种较佳的实施方式，并不否定和排斥其它可行的实施方式。
作为一可选实施例，所述基于注意力机制的上下文征象提取模块包括一个自注意力模块和一个互注意力模块；自注意力模块以肺结节的周围特征图为输入，通过一个周围特征编码模块产生与特征图通道数相同大小的自注意力向量，输出周围特征图的融合特征至互注意力模块的互注意力编码模块；互注意力模块以肺结节的自身征象特征表示为输入，通过互注意力编码模块产生与特征图通道数相同大小的互注意力向量，输出肺结节的上下文征象特征表示。
本实施例给出了上下文征象提取模块的一种技术方案。本实施例上下文征象提取模块主要由一个自注意力模块和一个互注意力模块组成。所述互注意力模块就是通常的注意力模块。设置自注意力模块的主要目的是优化模型对于与良恶性相关的上下文征象的学习。自注意力模块以肺结节的周围特征图为输入，通过一个周围特征编码模块产生与特征图通道数相同大小的自注意力向量，从而输出周围特征图的融合特征。周围特征编码模块可以使用任何对全局特征有较强的表示能力的编码模块。互注意力模块的目的是以结节自身征象为指导，促进模型对于上下文特征的学习。设置互注意力模块以肺结节自身征象特征表示为输入，通过一个互注意力编码模块产生与特征图通道数相同大小的互注意力向量。自注意力模块输出的周围特征图的融合特征包含了上下文征象信息，以它作为互注意力编码模块的一个输入生成的互注意力向量，可使互注意力模块输出肺结节的上下文征象特征表示。
作为一可选实施例，对自身征象特征表示和上下文征象特征表示进行融合的方法包括：
以自身征象特征表示和上下文征象特征表示为输入，利用两个不同的全连接层和一个Softmax层产生一组特征融合系数；
将所述特征融合系数分别与自身征象特征表示和上下文征象特征表示相乘，再将相乘后的自身征象特征表示和上下文征象特征表示拼接在一起。
本实施例给出了对自身征象特征表示和上下文征象特征表示进行融合的一种技术方案。特征融合的方法很多，本实施例首先利用两个不同的全连接层和一个Softmax层产生一组特征融合系数，所述融合系数就是上下文征象和自身征象的加权系数，其大小与不同肺结节存在的上下文征象信息的丰富程度有关间。softmax函数一般用于多分类器输出多个类别的概率，所有类别概率的和为1，所以softmax函数又称归一化指数函数。因此，本实施例利用Softmax层产生的特征融合系数的和也为1。然后用所述融合系数分别与自身征象特征表示和上下文征象特征表示相乘，将相乘结果拼接在一起就得到了自身征象特征表示和上下文征象特征表示融合后的特征。
图2为本发明实施例一种基于CT图像的肺结节良恶性诊断装置的组成示意图，所述装置包括：
肺结节分割模块11，用于基于一个肺结节检测网络，从输入CT图像中检测出所有肺结节的位置及尺寸，并分割出包含每个肺结节的图像区域；
自身征象提取模块12，用于基于一个特征提取网络，从分割出的肺结节图像中提取肺结节的周围特征图，并对其进行感兴趣区域池化得到肺结节的自身征象特征表示；
上下文征象提取模块13，用于将肺结节的周围特征图和自身征象特征表示，输入到一个基于注意力机制的上下文征象提取模块，得到肺结节的上下文征象特征表示；
特征融合与诊断模块14，用于对自身征象特征表示和上下文征象特征表示进行融合，并将融合后的特征输入到一个逻辑回归层得到肺结节良恶性概率。
本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。后面的实施例也是如此，均不再展开说明。
作为一可选实施例，所述装置还包括预处理模块，用于对输入CT图像进行以下操作：
对输入CT图像按照1mm×1mm×1mm的像素大小采用最近邻方法进行重采样；
按照肺窗中心HU值-600、窗宽HU值1600进行窗宽窗位调整；
生成肺部分割所需要的掩膜：以HU值＝-320为阈值对于重采样的图像进行二值化；对二值化图像进行连通区域计算，保留最大的连通区域作为肺部掩膜；将肺部掩膜与CT图像逐像素相乘，得到分割出肺部的CT图像，其余区域统一填充像素灰度值170。
作为一可选实施例，所述特征提取网络为卷积神经网络3D U-Net或3DResNet。
作为一可选实施例，所述基于注意力机制的上下文征象提取模块包括一个自注意力模块和一个互注意力模块；自注意力模块以肺结节的周围特征图为输入，通过一个周围特征编码模块产生与特征图通道数相同大小的自注意力向量，输出周围特征图的融合特征至互注意力模块的互注意力编码模块；互注意力模块以肺结节的自身征象特征表示为输入，通过互注意力编码模块产生与特征图通道数相同大小的互注意力向量，输出肺结节的上下文征象特征表示。
作为一可选实施例，对自身征象特征表示和上下文征象特征表示进行融合的方法包括：
以自身征象特征表示和上下文征象特征表示为输入，利用两个不同的全连接层和一个Softmax层产生一组特征融合系数；
将所述特征融合系数分别与自身征象特征表示和上下文征象特征表示相乘，再将相乘后的自身征象特征表示和上下文征象特征表示拼接在一起。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于CT图像的肺结节良恶性诊断方法，其特征在于，包括以下步骤：
基于一个肺结节检测网络，从输入CT图像中检测出所有肺结节的位置及尺寸，并分割出包含每个肺结节的图像区域；
基于一个特征提取网络，从分割出的肺结节图像中提取肺结节的周围特征图，并对其进行感兴趣区域池化得到肺结节的自身征象特征表示；
将肺结节的周围特征图和自身征象特征表示，输入到一个基于注意力机制的上下文征象提取模块，得到肺结节的上下文征象特征表示；
对自身征象特征表示和上下文征象特征表示进行融合，并将融合后的特征输入到一个逻辑回归层得到肺结节良恶性概率。
2.根据权利要求1所述的基于CT图像的肺结节良恶性诊断方法，其特征在于，所述方法还包括对输入CT图像进行的预处理步骤：
对输入CT图像按照1mm×1mm×1mm的像素大小采用最近邻方法进行重采样；
按照肺窗中心HU值-600、窗宽HU值1600进行窗宽窗位调整；
生成肺部分割所需要的掩膜：以HU值＝-320为阈值对于重采样的图像进行二值化；对二值化图像进行连通区域计算，保留最大的连通区域作为肺部掩膜；将肺部掩膜与CT图像逐像素相乘，得到分割出肺部的CT图像，其余区域统一填充像素灰度值170。
3.根据权利要求1所述的基于CT图像的肺结节良恶性诊断方法，其特征在于，所述特征提取网络为卷积神经网络3D U-Net或3D ResNet。
4.根据权利要求1所述的基于CT图像的肺结节良恶性诊断方法，其特征在于，所述基于注意力机制的上下文征象提取模块包括一个自注意力模块和一个互注意力模块；自注意力模块以肺结节的周围特征图为输入，通过一个周围特征编码模块产生与特征图通道数相同大小的自注意力向量，输出周围特征图的融合特征至互注意力模块的互注意力编码模块；互注意力模块以肺结节的自身征象特征表示为输入，通过互注意力编码模块产生与特征图通道数相同大小的互注意力向量，输出肺结节的上下文征象特征表示。
5.根据权利要求1所述的基于CT图像的肺结节良恶性诊断方法，其特征在于，对自身征象特征表示和上下文征象特征表示进行融合的方法包括：
以自身征象特征表示和上下文征象特征表示为输入，利用两个不同的全连接层和一个Softmax层产生一组特征融合系数；
将所述特征融合系数分别与自身征象特征表示和上下文征象特征表示相乘，再将相乘后的自身征象特征表示和上下文征象特征表示拼接在一起。
6.一种基于CT图像的肺结节良恶性诊断装置，其特征在于，包括：
肺结节分割模块，用于基于一个肺结节检测网络，从输入CT图像中检测出所有肺结节的位置及尺寸，并分割出包含每个肺结节的图像区域；
自身征象提取模块，用于基于一个特征提取网络，从分割出的肺结节图像中提取肺结节的周围特征图，并对其进行感兴趣区域池化得到肺结节的自身征象特征表示；
上下文征象提取模块，用于将肺结节的周围特征图和自身征象特征表示，输入到一个基于注意力机制的上下文征象提取模块，得到肺结节的上下文征象特征表示；
特征融合与诊断模块，用于对自身征象特征表示和上下文征象特征表示进行融合，并将融合后的特征输入到一个逻辑回归层得到肺结节良恶性概率。
7.根据权利要求6所述的基于CT图像的肺结节良恶性诊断装置，其特征在于，所述装置还包括预处理模块，用于对输入CT图像进行以下操作：
对输入CT图像按照1mm×1mm×1mm的像素大小采用最近邻方法进行重采样；
按照肺窗中心HU值-600、窗宽HU值1600进行窗宽窗位调整；
生成肺部分割所需要的掩膜：以HU值＝-320为阈值对于重采样的图像进行二值化；对二值化图像进行连通区域计算，保留最大的连通区域作为肺部掩膜；将肺部掩膜与CT图像逐像素相乘，得到分割出肺部的CT图像，其余区域统一填充像素灰度值170。
8.根据权利要求6所述的基于CT图像的肺结节良恶性诊断装置，其特征在于，所述特征提取网络为卷积神经网络3D U-Net或3D ResNet。
9.根据权利要求6所述的基于CT图像的肺结节良恶性诊断装置，其特征在于，所述基于注意力机制的上下文征象提取模块包括一个自注意力模块和一个互注意力模块；自注意力模块以肺结节的周围特征图为输入，通过一个周围特征编码模块产生与特征图通道数相同大小的自注意力向量，输出周围特征图的融合特征至互注意力模块的互注意力编码模块；互注意力模块以肺结节的自身征象特征表示为输入，通过互注意力编码模块产生与特征图通道数相同大小的互注意力向量，输出肺结节的上下文征象特征表示。
10.根据权利要求6所述的基于CT图像的肺结节良恶性诊断装置，其特征在于，对自身征象特征表示和上下文征象特征表示进行融合的方法包括：
以自身征象特征表示和上下文征象特征表示为输入，利用两个不同的全连接层和一个Softmax层产生一组特征融合系数；
将所述特征融合系数分别与自身征象特征表示和上下文征象特征表示相乘，再将相乘后的自身征象特征表示和上下文征象特征表示拼接在一起。
CN202110843392.8A 2021-07-26 2021-07-26 一种基于ct图像的肺结节良恶性诊断方法及装置 Pending CN113782181A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110843392.8A CN113782181A (zh) 2021-07-26 2021-07-26 一种基于ct图像的肺结节良恶性诊断方法及装置
PCT/CN2022/104347 WO2023005634A1 (zh) 2021-07-26 2022-07-07 一种基于ct图像的肺结节良恶性诊断方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110843392.8A CN113782181A (zh) 2021-07-26 2021-07-26 一种基于ct图像的肺结节良恶性诊断方法及装置

Publications (1)

Publication Number Publication Date
CN113782181A true CN113782181A (zh) 2021-12-10

Family

ID=78836373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110843392.8A Pending CN113782181A (zh) 2021-07-26 2021-07-26 一种基于ct图像的肺结节良恶性诊断方法及装置

Country Status (2)

Country Link
CN (1) CN113782181A (zh)
WO (1) WO2023005634A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115358976A (zh) * 2022-08-10 2022-11-18 北京医准智能科技有限公司 一种图像识别方法、装置、设备及存储介质
WO2023005634A1 (zh) * 2021-07-26 2023-02-02 杭州深睿博联科技有限公司 一种基于ct图像的肺结节良恶性诊断方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117542527B (zh) * 2024-01-09 2024-04-26 百洋智能科技集团股份有限公司 肺结节跟踪与变化趋势预测方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050207630A1 (en) * 2002-02-15 2005-09-22 The Regents Of The University Of Michigan Technology Management Office Lung nodule detection and classification
CN107220971A (zh) * 2017-06-02 2017-09-29 太原理工大学 一种基于卷积神经网络和主成分分析法的肺结节特征提取方法
CN109711315A (zh) * 2018-12-21 2019-05-03 四川大学华西医院 一种肺结节分析的方法及装置
CN110175979A (zh) * 2019-04-08 2019-08-27 杭州电子科技大学 一种基于协同注意力机制的肺结节分类方法
CN110534192A (zh) * 2019-07-24 2019-12-03 大连理工大学 一种基于深度学习的肺结节良恶性识别方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11730387B2 (en) * 2018-11-02 2023-08-22 University Of Central Florida Research Foundation, Inc. Method for detection and diagnosis of lung and pancreatic cancers from imaging scans
US11403493B2 (en) * 2020-01-17 2022-08-02 Ping An Technology (Shenzhen) Co., Ltd. Device and method for universal lesion detection in medical images
CN111415342B (zh) * 2020-03-18 2023-12-26 北京工业大学 一种融合注意力机制的三维卷积神经网络肺部结节图像自动检测方法
CN112232433B (zh) * 2020-10-27 2022-08-26 河北工业大学 一种基于双通路网络的肺结节良恶性分类方法
CN112419307A (zh) * 2020-12-11 2021-02-26 长春工业大学 一种基于注意力机制的肺结节良恶性识别方法
CN113782181A (zh) * 2021-07-26 2021-12-10 杭州深睿博联科技有限公司 一种基于ct图像的肺结节良恶性诊断方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050207630A1 (en) * 2002-02-15 2005-09-22 The Regents Of The University Of Michigan Technology Management Office Lung nodule detection and classification
CN107220971A (zh) * 2017-06-02 2017-09-29 太原理工大学 一种基于卷积神经网络和主成分分析法的肺结节特征提取方法
CN109711315A (zh) * 2018-12-21 2019-05-03 四川大学华西医院 一种肺结节分析的方法及装置
CN110175979A (zh) * 2019-04-08 2019-08-27 杭州电子科技大学 一种基于协同注意力机制的肺结节分类方法
CN110534192A (zh) * 2019-07-24 2019-12-03 大连理工大学 一种基于深度学习的肺结节良恶性识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何中市 等: "肺结节检测中特征提取方法研究", 《小型微型计算机系统》, no. 10, pages 2073 - 2077 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023005634A1 (zh) * 2021-07-26 2023-02-02 杭州深睿博联科技有限公司 一种基于ct图像的肺结节良恶性诊断方法及装置
CN115358976A (zh) * 2022-08-10 2022-11-18 北京医准智能科技有限公司 一种图像识别方法、装置、设备及存储介质
CN115358976B (zh) * 2022-08-10 2023-04-07 北京医准智能科技有限公司 一种图像识别方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2023005634A1 (zh) 2023-02-02

Similar Documents

Publication Publication Date Title
Shen et al. An automated lung segmentation approach using bidirectional chain codes to improve nodule detection accuracy
Tong et al. Improved U-NET network for pulmonary nodules segmentation
CN108537784B (zh) 一种基于深度学习的ct图肺结节检测方法
CN109685060B (zh) 图像处理方法和装置
CN111325739B (zh) 肺部病灶检测的方法及装置，和图像检测模型的训练方法
JP4999163B2 (ja) 画像処理方法および装置ならびにプログラム
CN113782181A (zh) 一种基于ct图像的肺结节良恶性诊断方法及装置
CN110807788A (zh) 医学图像处理方法、装置、电子设备及计算机存储介质
JP5279245B2 (ja) クラスタ変更グラフ・カットを使用する検出の方法および装置
CN111553892B (zh) 基于深度学习的肺结节分割计算方法、装置及系统
CN111428709A (zh) 图像处理方法、装置、计算机设备和存储介质
Ye et al. Automatic graph cut segmentation of lesions in CT using mean shift superpixels
KR102332088B1 (ko) 세부 업샘플링 인코더-디코더 네트워크를 이용한 대장 내시경 이미지에서의 폴립 바운더리 인식을 통한 폴립 세그먼테이션 장치 및 그 방법
CN112365973B (zh) 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统
CN112446892A (zh) 一种基于注意力学习的细胞核分割方法
US20230005140A1 (en) Automated detection of tumors based on image processing
CN115222713A (zh) 一种冠状动脉钙化积分的计算方法、装置及存储介质
CN113077419A (zh) 用于髋关节ct影像识别的信息处理方法及装置
CN107194933A (zh) 结合卷积神经网络和模糊推理的脑肿瘤分割方法和装置
Liu et al. Extracting lungs from CT images via deep convolutional neural network based segmentation and two-pass contour refinement
Zhang et al. LungSeek: 3D Selective Kernel residual network for pulmonary nodule diagnosis
Salih et al. The local ternary pattern encoder–decoder neural network for dental image segmentation
CN111401102A (zh) 深度学习模型训练方法及装置、电子设备及存储介质
CN113348485A (zh) 异常检测方法、异常检测程序、异常检测装置、服务器装置以及信息处理方法
CN113379691B (zh) 一种基于先验引导的乳腺病灶深度学习分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination