CN111768845B - 一种基于最优多尺度感知的肺结节辅助检测方法 - Google Patents

一种基于最优多尺度感知的肺结节辅助检测方法 Download PDF

Info

Publication number
CN111768845B
CN111768845B CN202010608483.9A CN202010608483A CN111768845B CN 111768845 B CN111768845 B CN 111768845B CN 202010608483 A CN202010608483 A CN 202010608483A CN 111768845 B CN111768845 B CN 111768845B
Authority
CN
China
Prior art keywords
scale
lung nodule
lung
optimal
nodule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010608483.9A
Other languages
English (en)
Other versions
CN111768845A (zh
Inventor
张小洪
张祥博
陈伟
刘晨
周宏�
杨露
李雨聪
温浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202010608483.9A priority Critical patent/CN111768845B/zh
Publication of CN111768845A publication Critical patent/CN111768845A/zh
Application granted granted Critical
Publication of CN111768845B publication Critical patent/CN111768845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于最优多尺度感知的肺结节辅助检测方法。包括如下步骤，获取同一病人的多张连续肺部CT图像，将CT图像进行拼接并输入到视觉感受野滤波器进行肺结节尺度特征提取，肺结节区域生成网络根据肺结节尺度特征对不同尺度的肺结节进行框选，最后使用基于定位的soft非极大值抑制方法将置信度最优的肺结节的候选框保留，从而得到一张框选出不同尺度下置信度最优的肺结节的图像。在本发明中，通过设计基于Gabor‑Unet的视觉感受野滤波器，以及设计肺结节区域生成网络，将多个不同尺度的肺结节中置信度最优的肺结节框选出，便于肺结节的检测诊断，补充现有肺结节辅助诊断系统中存在的不足，使得本发明提出的基于多尺度最优化感知肺结节辅助检测方法更加的精准。

Description

一种基于最优多尺度感知的肺结节辅助检测方法
技术领域
本发明涉及肺结节辅助检测方法的领域，尤其涉及一种基于最优多尺度感知的肺结节辅助检测方法。
背景技术
肺结节筛查用于肺癌早期防控的形势依然严峻。患肺癌人数多，发病率高，医疗花费大。按发病人数顺位排序，肺癌占所有癌症的20.3％，位居恶性肿瘤发病首位。据国家肿瘤质控中心发布的《2019年全国癌症报告》，恶性肿瘤死亡高达居民全部死因的23.91％，且近十几年来恶性肿瘤的发病死亡呈持续上升态势,每年恶性肿瘤所致的医疗花费超过2200亿。因此，无论是过去的发展期，还是现在的成熟期，肺结节辅助诊断推荐依然是一门热门的研究内容。
自深度学习技术应用于医学影像以来，在肺癌防控强烈需求驱动下，肺结节计算机辅助筛查技术表现出深度学习、数据驱动、特征自学习、处理端到端等新特征。围绕肺结节检测、分割、分类、属性特征学习，设计肺结节辅助诊断新型网络结构成为肺结节筛查技术的发展重点，涌现出U-Net、V-Net等适用于医学影像分析的新型神经网络结构。这些网络通过堆叠深度学习模型结构来获取图像的信息，最终达到不同的医学影像分析目的。但现有的辅助诊断系统检测尺度、形态、结构、纹理较为单一，对较大、单一形态、固定结构、相同纹理的结节具有较稳定的检测结果，对于不同尺度、多样形态、复杂结构、不同纹理结节检测能力弱。其原因在于现有的辅助诊断系统检测中存在视觉特征空间分辨率下降导致肺结节的边缘、纹理和细节信息的逐渐丢失的问题，传统肺结节网络在中、小肺结节检测在网络特征传递过程中，无法重用特征和特征可能消失的问题。
肺结节辅助检测的关键在能够对肺结节进行多尺度最优化感知，因为它的检测精准率依赖于辅助检测对肺结节不同尺度、多形态、多结构、多纹理的感知。肺结节视觉特征、空间分辨率、细节信息是重要的信息，相较于那些不同特点的肺部组织，能够轻易判断此肺部组织是否为肺结节。例如钙化型肺结节，因为这种结节其视觉特征、空间分辨率、细节信息异于周围的肺部组织使得其检测结果稳定。除了视觉特征、空间分辨率、细节信息这些特点。肺结节的尺度对于肺结节辅助检测来说是一项重要的特征，而且不同的尺度的肺结节之间存在着不同的诊断关系。例如，一些较大的疑似肺结节的肺部组织符合肺结节的视觉特征、空间分辨率、细节信息，但是因为它的尺寸不符合，就不会诊断为结节。
发明内容
针对现有技术存在的上述问题，本发明的要解决的技术问题是：发明一种能够对多尺度肺结节进行准确检测的辅助检测方法。
为解决上述技术问题，本发明采用如下技术方案：
一种基于最优多尺度感知的肺结节辅助检测方法，包括如下步骤：
S100：获取同一病人的多张连续肺部CT图像。
S200：将多张肺部CT图像进行拼接得到一张肺结节图像，所述肺结节图像包含S100中的所有肺部CT图像。
S300：将S200得到的肺结节图像输入到视觉感受野滤波器，视觉感受野滤波器分小、中、大三个尺度分支对所述肺结节图像中的肺结节的尺度特征进行提取，得到三组肺结节尺度特征。
所述三组肺结节尺度特征分别为小尺度肺结节尺度特征组、中尺度肺结节尺度特征组和大尺度肺结节尺度特征组，所述每个肺结节尺度特征组中均包含多个同一尺度的肺结节尺度特征。
S400：将提取的三组尺度特征输入到肺结节区域生成网络，并将S200得到的肺结节图像输入肺结节区域生成网络。
肺结节区域生成网络根据三组肺结节尺度特征对肺结节图像进行框选，根据小尺度肺结节尺度特征组对肺结节图像中的小尺度肺结节进行框选，根据中尺度肺结节尺度特征组对肺结节图像中的中尺度肺结节进行框选，根据大尺度肺结节尺度特征组对肺结节图像中的大尺度肺结节进行框选，确保不同尺度的肺结节均被框选中得到多个候选框，从而得到一张拥有多个候选框的肺结节图像，所述多个候选框包括多个小尺度肺结节候选框、多个中尺度肺结节候选框和多个大尺度肺结节候选框。
S500：对S400得到的拥有多个候选框的肺结节图像中的多个候选框进行选取保留处理，保留肺结节图像中小尺度下置信度最优的肺结节的候选框作为小尺度最优肺结节候选框，选取中尺度下置信度最优的肺结节的候选框作为中尺度最优肺结节候选框，选择大尺度下置信度最优的肺结节的候选框作为大尺度最优肺结节候选框，从而得到一张用于肺结节辅助检测的最终肺结节图像，所述最终肺结节图像同时包括小尺度最优肺结节候选框、一个中尺度最优肺结节候选框和一个大尺度最优肺结节候选框。
作为优选，所述S300中的视觉感受野滤波器首先利用Gabor-UNet中Conv1-4阶段用于肺结节尺度特征提取，在Conv1-4阶段中将S200得到的肺结节图像作为输入，Conv1-4阶段的输出为S200得到的肺结节图像中的多个肺结节尺度特征。
然后利用GaborConv5阶段用于对多个肺结节尺度特征进行统一化处理，得到三组肺结节尺度特征，所述三组肺结节尺度特征分别为小尺度肺结节尺度特征组、中尺度肺结节尺度特征组和大尺度肺结节尺度特征组，所述每个肺结节尺度特征组中均包含多个同一尺度的肺结节尺度特征。
通过设计基于Gabor-Unet的视觉感受野滤波器，通过分尺度对肺结节进行特征提取，可以有效保留肺结节视觉特征、空间分辨率以及细节信息，可以有效解决在现有肺结节辅助诊断系统在检测中存在因视觉特征空间分辨率下降导致肺结节的边缘、纹理和细节信息的逐渐丢失的问题。
作为优选，所述S300中利用GaborConv5阶段对多个肺结节尺度特征进行统一化处理的具体过程为：GaborConv5阶段预设小尺度阈值分支、中尺度阈值分支、大尺度阈值分支，将Gabor-UNet中unet模型中的卷积核换成Gabor核，对所述多个肺结节尺度特征通过空洞Gabor卷积和中心池化进行统一化处理，所述空洞Gabor卷积即Gabor卷积和空洞率相结合，所述小、中和大三个分支对应的空洞率分别是1、2和3，从而将满足同一尺度阈值的肺结节尺度特征划为一组。。
作为优选，所述小尺度阈值＝(0mm，10mm]，中尺度阈值＝(10mm，20mm]，大尺度阈值＝(20mm，30mm]。
通过将肺结节的尺度特征分为小、中、大三种尺度，可以有效解决传统肺结节网络在中、小肺结节检测在网络特征传递过程中，无法重用特征和特征可能消失的问题。
作为优选，所述S400步骤具体为，所述肺结节区域生成网络将小尺度肺结节的候选框尺寸定义为10×10mm，将中尺度肺结节候选框尺寸定义为20×20mm，将大尺度肺结节候选框尺寸定义为30×30mm，设计拥有9个锚点的滑窗对肺结节进行搜索，并通过Lcls函数判断锚点属于正面或者负面，再利用Lreg函数使候选框回归对锚点进行修正，获得精确的候选区域，从而得到一张拥有多个候选框的肺结节图像，所述多个候选框包括多个小尺度肺结节候选框、中尺度肺结节候选框、大尺度肺结节候选框。
所述Lcls函数和Lreg函数组成损失函数Lncs，即Lncs＝Lcls+Lreg。
所述
所述
所述
其中pi取值为0或1,取值为0-1，Nds表示尺度的分类个数，ti＝{tx,ty,tw,th}，(tx,ty)表示候选框中心点坐标，tw和th分别为候选框的宽和高的偏置，Nreg表示每个尺度下候选框的个数，λ为一个自定义参数。
通过设计肺结节区域生成网络将肺结节候选框定义为三种尺寸，然后根据三组肺结节的尺度特征对不同尺度的肺结节进行框选，确保每一个肺结节均被框选。
作为优选，所述S500中选取保留处理得到小尺度最优肺结节候选框，中尺度最优肺结节候选框和大尺度最优肺结节候选框的方法为：使用基于定位的soft非极大值抑制方法。
通过使用基于定位的soft非极大值抑制方法可以有效的去除大量肺结节置信度不够的肺结节的候选框，并保留置信度最优的肺结节的候选框，候选框使置信度最优的肺结节在肺结节图像中突出显示，从而方便对肺结节图像的检测诊断。
相对于现有技术，本发明至少具有如下优点：
1.本发明基于多尺度最优感知并通过深度学习与传统技术相组合，来补充现有辅助检测结构中存在的不足，使得肺结节辅助检测更加的精准。
2.通过设计基于Gabor-Unet的视觉感受野滤波器，通过分尺度对肺结节特征进行提取，可以有效保留肺结节视觉特征、空间分辨率以及细节信息，可以有效解决在现有肺结节辅助诊断系统在检测中存在因视觉特征空间分辨率下降导致肺结节的边缘、纹理和细节信息的逐渐丢失的问题。
3.通过将肺结节的尺度特征分为小、中、大三种尺度，可以有效解决传统肺结节网络在中、小肺结节检测在网络特征传递过程中，无法重用特征和特征可能消失的问题。
4.通过设计肺结节区域生成网络将肺结节候选框定义为三种尺寸，然后根据三组肺结节的尺度特征对不同尺度的肺结节进行框选，确保每一个肺结节均被框选。
5.通过使用基于定位的soft非极大值抑制方法可以有效的去除大量肺结节置信度不够的肺结节的候选框，并保留置信度最优的肺结节的候选框，候选框使置信度最优的肺结节在肺结节图像中突出显示，从而方便对肺结节图像的检测诊断。
附图说明
图1为本方法中对肺结节进行尺度特征提取的模型。
图2为本方法的整体结构模型。
图3为本方法中拥有9个锚点的滑窗的示意图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
参见图1-3，本发明提供的一种实施例。
实施例1：一种基于最优多尺度感知的肺结节辅助检测方法，包括如下步骤：
S100：获取同一病人的多张连续肺部CT图像。
S200：将多张肺部CT图像进行拼接得到一张肺结节图像，所述肺结节图像包含S100中的所有肺部CT图像。
S300：将S200得到的肺结节图像输入到视觉感受野滤波器，视觉感受野滤波器分小、中、大三个尺度分支对所述肺结节图像中的肺结节的尺度特征进行提取，得到三组肺结节尺度特征。
所述三组肺结节尺度特征分别为小尺度肺结节尺度特征组、中尺度肺结节尺度特征组和大尺度肺结节尺度特征组，所述每个肺结节尺度特征组中均包含多个同一尺度的肺结节尺度特征。
S400：将提取的三组尺度特征输入到肺结节区域生成网络，并将S200得到的肺结节图像输入肺结节区域生成网络。
肺结节区域生成网络根据三组肺结节尺度特征对肺结节图像进行框选，根据小尺度肺结节尺度特征组对肺结节图像中的小尺度肺结节进行框选，根据中尺度肺结节尺度特征组对肺结节图像中的中尺度肺结节进行框选，根据大尺度肺结节尺度特征组对肺结节图像中的大尺度肺结节进行框选，确保不同尺度的肺结节均被框选中得到多个候选框，从而得到一张拥有多个候选框的肺结节图像，所述多个候选框包括多个小尺度肺结节候选框、多个中尺度肺结节候选框和多个大尺度肺结节候选框。
S500：对S400得到的拥有多个候选框的肺结节图像中的多个候选框进行选取保留处理，保留肺结节图像中小尺度下置信度最优的肺结节的候选框作为小尺度最优肺结节候选框，选取中尺度下置信度最优的肺结节的候选框作为中尺度最优肺结节候选框，选择大尺度下置信度最优的肺结节的候选框作为大尺度最优肺结节候选框，从而得到一张用于肺结节辅助检测的最终肺结节图像，所述最终肺结节图像同时包括小尺度最优肺结节候选框、一个中尺度最优肺结节候选框和一个大尺度最优肺结节候选框。
所述S300中的视觉感受野滤波器首先利用Gabor-UNet中Conv1-4阶段用于肺结节尺度特征提取，在Conv1-4阶段中将S200得到的肺结节图像作为输入，Conv1-4阶段的输出为S200得到的肺结节图像中的多个肺结节尺度特征。
然后利用GaborConv5阶段用于对多个肺结节尺度特征进行统一化处理，得到三组肺结节尺度特征，所述三组肺结节尺度特征分别为小尺度肺结节尺度特征组、中尺度肺结节尺度特征组和大尺度肺结节尺度特征组，所述每个肺结节尺度特征组中均包含多个同一尺度的肺结节尺度特征。
所述S300中利用GaborConv5阶段对多个肺结节尺度特征进行统一化处理的具体过程为：GaborConv5阶段预设小尺度阈值分支、中尺度阈值分支、大尺度阈值分支，将Gabor-UNet中unet模型中的卷积核换成Gabor核，对所述多个肺结节尺度特征通过空洞Gabor卷积和中心池化进行统一化处理，所述空洞Gabor卷积即Gabor卷积和空洞率相结合，所述小、中和大三个分支对应的空洞率分别是1、2和3，从而将满足同一尺度阈值的肺结节尺度特征划为一组。所述将Gabor-UNet中unet模型中的卷积核换成Gabor核，属于对神经网络卷积核的改进。
所述小尺度阈值＝(0mm，10mm]，中尺度阈值＝(10mm，20mm]，大尺度阈值＝(20mm，30mm]。
所述S400步骤具体为，所述肺结节区域生成网络将小尺度肺结节的候选框尺寸定义为10×10mm，将中尺度肺结节候选框尺寸定义为20×20mm，将大尺度肺结节候选框尺寸定义为30×30mm，设计拥有9个锚点的滑窗对肺结节进行搜索，并通过Lcls函数判断锚点属于正面或者负面，再利用Lreg函数使候选框回归对锚点进行修正，获得精确的候选区域，从而得到一张拥有多个候选框的肺结节图像，所述多个候选框包括多个小尺度肺结节候选框、中尺度肺结节候选框、大尺度肺结节候选框。
所述Lcls函数和Lreg函数组成损失函数Lncs，即Lncs＝Lcls+Lreg。
所述
所述
所述
其中pi取值为0或1,取值为0-1，Nds表示尺度的分类个数，ti＝{tx,ty,tw,th}，(tx,ty)表示候选框中心点坐标，tw和th分别为候选框的宽和高的偏置，Nreg表示每个尺度下候选框的个数，λ为一个自定义参数。具体实施时，所述肺结节区域生成网络(Nodule-RPN)根据一种公开医疗数据数据集和肺结节尺度范围已知的临床先验知识，对各个尺度的肺结节的候选框的尺寸进行定义，以确保该方法的可行性。
所述S500中选取保留处理得到小尺度最优肺结节候选框，中尺度最优肺结节候选框和大尺度最优肺结节候选框的方法为：使用基于定位的soft非极大值抑制方法。
本发明限定的一种基于最优多尺度感知的肺结节辅助检测方法的工作原理如下：
1、获取同一病人的多张连续肺部CT图像。
2、将多张肺部CT图像进行拼接得到一张肺结节图像，所述肺结节图像包含S100中的所有肺部CT图像。
3、将S200得到的肺结节图像输入到视觉感受野滤波器，视觉感受野滤波器分小、中、大三个尺度分支对所述肺结节图像中的肺结节的尺度特征进行提取，得到三组肺结节尺度特征。所述三组肺结节尺度特征分别为小尺度肺结节尺度特征组、中尺度肺结节尺度特征组和大尺度肺结节尺度特征组，所述每个肺结节尺度特征组中均包含多个同一尺度的肺结节尺度特征。
4、将提取的三组尺度特征输入到肺结节区域生成网络，并将S200得到的肺结节图像输入肺结节区域生成网络。肺结节区域生成网络根据三组肺结节尺度特征对肺结节图像进行框选，根据小尺度肺结节尺度特征组对肺结节图像中的小尺度肺结节进行框选，根据中尺度肺结节尺度特征组对肺结节图像中的中尺度肺结节进行框选，根据大尺度肺结节尺度特征组对肺结节图像中的大尺度肺结节进行框选，确保不同尺度的肺结节均被框选中得到多个候选框，从而得到一张拥有多个候选框的肺结节图像，所述多个候选框包括多个小尺度肺结节候选框、多个中尺度肺结节候选框和多个大尺度肺结节候选框。
5、对S400得到的拥有多个候选框的肺结节图像中的多个候选框进行选取保留处理，保留肺结节图像中小尺度下置信度最优的肺结节的候选框作为小尺度最优肺结节候选框，选取中尺度下置信度最优的肺结节的候选框作为中尺度最优肺结节候选框，选择大尺度下置信度最优的肺结节的候选框作为大尺度最优肺结节候选框，从而得到一张用于肺结节辅助检测的最终肺结节图像，所述最终肺结节图像同时包括小尺度最优肺结节候选框、一个中尺度最优肺结节候选框和一个大尺度最优肺结节候选框。
该发明首先对肺结节辅助诊断检测中存在视觉特征空间分辨率下降导致肺结节的边缘、纹理和细节信息的逐渐丢失的问题，设计肺结节检测网络视觉感受野最优滤波器模型，有效保留肺结节视觉特征、空间分辨率以及细节信息。其次针对传统肺结节网络在中、小肺结节检测在网络特征传递过程中，无法重用特征和特征可能消失的问题，构建肺结节多尺度特征提取模型。在本发明(MSANet)的肺结节辅助检测是使用多尺度最优感知来弥补现有辅助检测中存在的不足，使得肺结节辅助检测更加的精准，根据肺结节医学图像，通过深度学习与传统技术相组合，其性能优于目前热门主流的检测算法，可以运用至实际的生活场景。
对比实验：
为了进一步验证本发明的有效性，将其与热门主流的检测算法进行了对比，它们分别如下：
SVM：一种经典的传统图像检测算法，旨在通过将低维的数据进行高维的映射，从而找到分类的边界。
3D convolution：一种基于神经网络的3D检测算法。
multi-resolution analysis:一种传统的多分辨率检测算法。
Multi-Resolution CNN:一种基于神经网络的多特征图的检测算法，旨在利用不同的尺寸的特征图来抽取不同的特征进行融合。
本发明提出的基于多尺度最优化感知肺结节辅助检测方法称作MSANet。
实验数据源为LIDC-IDRI，该数据集由胸部医学图像文件，如CT和X光片，和对应的诊断结果病变标注组成。该数据是由美国国家癌症研究所(National Cancer Institute)发起收集的，目的是为了研究高危人群早期癌症检测。该数据集中，共收录了1018个研究实例。对于每个实例中的图像，都由4位经验丰富的胸部放射科医师进行两阶段的诊断标注。在第一阶段，每位医师分别独立诊断并标注病患位置，在随后的第二阶段中，各位医师都分别独立的复审其他三位医师的标注，并给出自己最终的诊断结果。这样的两阶段标注可以在避免各位医师相互影响的前提下，尽可能完整的标注所有结果。
先对CT数据进行窗位的调整，处理之后生成512*512大小的图片作为数据集，数据集中共计2616张结节图片用于模型训练和测试。随机选取数据集中70％为训练集，30％为测试集。评价指标为accuracy和IoU，其中accuracy指找到结节的准确率，IOU指检测结果与标注结果的重复率。
其中Ypre为网络预测出来的结果，Ygt为数据的真实标签。
其中TP为真阳性的数量，TN为真阴性的数量，FP为假阳性的数量，FN为假阴性的数量。
为了使得本发明的性能达到最优，首先对其自身的参数学习率(lr)、优化器(optimizer)和迭代次数(epoch)进行优化和选择。学习率表示网络在学习的时候更新参数的幅度，优化器表示网络在学习到差异之后如何进行最小化差异，迭代次数表示网络需要多少次次对训练集的遍历。通过对所有的参数组合进行实验，找到了最优的参数值选择。最优的参数值是lr＝0.00003,optimizer＝Adam,epoch＝50。
实验结果如下：
方法名称 accuracy(％)
SVM 87
3Dconvolution 67
multi-resolution analysis 81.21
Multi-Resolution CNN 97.33
MSANet 98.5
本方法IoU分数达到99.2且accuracy明显高于其他主流方法。
实验结果显示，无论是accuracy还是IoU，本发明都明显优于其他的检测算法，这表明本文提出基于多尺度最优化感知是有效的。SVM算法性能的优劣主要取决于核函数的选取,所以对于一个实际问题而言,如何根据实际的数据模型选择合适的核函数从而构造SVM算法。3D convolution是一种基于深度学习的3D检测方法，但是其参数量过于庞大，导致推理时间增加，并且其准确率较低。multi-resolution analysis使用对多分辨率对图像进行检测，但是对于特异性结节检测率不高。Multi-Resolution CNN使用多分辨率的图片进行检测，但是其预处理过程使得图片的原始信息大概率丢失。
简而言之，本发明提出了一种基于多尺度最优化感知的肺结节检测方法，一方面增强肺结节视觉特征、空间分辨率以及细节信息，另一方面针对传统肺结节网络在中、小肺结节检测在网络特征传递过程中，无法重用特征和特征可能消失的问题，构建多尺度最优化感知网络。本发明(MSANet)的性能优于目前热门主流的检测算法，可以运用至实际的生活场景。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于最优多尺度感知的肺结节辅助检测方法，其特征在于：包括如下步骤；
S100：获取同一病人的多张连续肺部CT图像；
S200：将多张肺部CT图像进行拼接得到一张肺结节图像，所述肺结节图像包含S100中的所有肺部CT图像；
S300：将S200得到的肺结节图像输入到视觉感受野滤波器，视觉感受野滤波器分小、中、大三个尺度分支对所述肺结节图像中的肺结节的尺度特征进行提取，得到三组肺结节尺度特征；
所述三组肺结节尺度特征分别为小尺度肺结节尺度特征组、中尺度肺结节尺度特征组和大尺度肺结节尺度特征组，每个肺结节尺度特征组中均包含多个同一尺度的肺结节尺度特征；
S400：将提取的三组尺度特征输入到肺结节区域生成网络，并将S200得到的肺结节图像输入肺结节区域生成网络；
肺结节区域生成网络根据三组肺结节尺度特征对肺结节图像进行框选，根据小尺度肺结节尺度特征组对肺结节图像中的小尺度肺结节进行框选，根据中尺度肺结节尺度特征组对肺结节图像中的中尺度肺结节进行框选，根据大尺度肺结节尺度特征组对肺结节图像中的大尺度肺结节进行框选，确保不同尺度的肺结节均被框选中得到多个候选框，从而得到一张拥有多个候选框的肺结节图像，所述多个候选框包括多个小尺度肺结节候选框、多个中尺度肺结节候选框和多个大尺度肺结节候选框；
S500：对S400得到的拥有多个候选框的肺结节图像中的多个候选框进行选取保留处理，保留肺结节图像中小尺度下置信度最优的肺结节的候选框作为小尺度最优肺结节候选框，选取中尺度下置信度最优的肺结节的候选框作为中尺度最优肺结节候选框，选择大尺度下置信度最优的肺结节的候选框作为大尺度最优肺结节候选框，从而得到一张用于肺结节辅助检测的最终肺结节图像，所述最终肺结节图像同时包括小尺度最优肺结节候选框、一个中尺度最优肺结节候选框和一个大尺度最优肺结节候选框。
2.如权利要求1所述的一种基于最优多尺度感知的肺结节辅助检测方法，其特征在于：所述S300中的视觉感受野滤波器首先利用Gabor-UNet中Conv1-4阶段用于肺结节尺度特征提取，在Conv1-4阶段中将S200得到的肺结节图像作为输入，Conv1-4阶段的输出为S200得到的肺结节图像中的多个肺结节尺度特征；
然后利用GaborConv5阶段用于对多个肺结节尺度特征进行统一化处理，得到三组肺结节尺度特征，所述三组肺结节尺度特征分别为小尺度肺结节尺度特征组、中尺度肺结节尺度特征组和大尺度肺结节尺度特征组，所述每个肺结节尺度特征组中均包含多个同一尺度的肺结节尺度特征。
3.如权利要求2所述的一种基于最优多尺度感知的肺结节辅助检测方法，其特征在于：所述S300中利用GaborConv5阶段对多个肺结节尺度特征进行统一化处理的具体过程为：GaborConv5阶段预设小尺度阈值分支、中尺度阈值分支、大尺度阈值分支，将Gabor-UNet中unet模型中的卷积核换成Gabor核，对所述多个肺结节尺度特征通过空洞Gabor卷积和中心池化进行统一化处理，所述空洞Gabor卷积即Gabor卷积和空洞率相结合，所述小、中和大三个分支对应的空洞率分别是1、2和3，从而将满足同一尺度阈值的肺结节尺度特征划为一组。
4.如权利要求3所述的一种基于最优多尺度感知的肺结节辅助检测方法，其特征在于：所述小尺度阈值＝(0mm，10mm]，中尺度阈值＝(10mm，20mm]，大尺度阈值＝(20mm，30mm]。
5.如权利要求4所述的一种基于最优多尺度感知的肺结节辅助检测方法，其特征在于：所述S400步骤具体为，所述肺结节区域生成网络将小尺度肺结节的候选框尺寸定义为10×10mm，将中尺度肺结节候选框尺寸定义为20×20mm，将大尺度肺结节候选框尺寸定义为30×30mm，设计拥有9个锚点的滑窗对肺结节进行搜索，并通过Lcls函数判断锚点属于正面或者负面，再利用Lreg函数使候选框回归对锚点进行修正，获得精确的候选区域，从而得到一张拥有多个候选框的肺结节图像，所述多个候选框包括多个小尺度肺结节候选框、中尺度肺结节候选框、大尺度肺结节候选框；
所述Lcls函数和Lreg函数组成损失函数Lncs，即Lncs＝Lcls+Lreg；
所述
所述
所述
其中pi取值为0或1,取值为0-1，Nds表示尺度的分类个数，ti＝{tx,ty,tw,th}，(tx,ty)表示候选框中心点坐标，tw和th分别为候选框的宽和高的偏置，Nreg表示每个尺度下候选框的个数，λ为一个自定义参数。
6.如权利要求5所述的一种基于最优多尺度感知的肺结节辅助检测方法，其特征在于：所述S500中选取保留处理得到小尺度最优肺结节候选框，中尺度最优肺结节候选框和大尺度最优肺结节候选框的方法为：使用基于定位的soft非极大值抑制方法。
CN202010608483.9A 2020-06-30 2020-06-30 一种基于最优多尺度感知的肺结节辅助检测方法 Active CN111768845B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010608483.9A CN111768845B (zh) 2020-06-30 2020-06-30 一种基于最优多尺度感知的肺结节辅助检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010608483.9A CN111768845B (zh) 2020-06-30 2020-06-30 一种基于最优多尺度感知的肺结节辅助检测方法

Publications (2)

Publication Number Publication Date
CN111768845A CN111768845A (zh) 2020-10-13
CN111768845B true CN111768845B (zh) 2023-08-11

Family

ID=72724767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010608483.9A Active CN111768845B (zh) 2020-06-30 2020-06-30 一种基于最优多尺度感知的肺结节辅助检测方法

Country Status (1)

Country Link
CN (1) CN111768845B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116934757B (zh) * 2023-09-18 2023-11-21 电子科技大学 一种用于肺结节假阳性删减的方法、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590797A (zh) * 2017-07-26 2018-01-16 浙江工业大学 一种基于三维残差神经网络的ct影像肺结节检测方法
CN108549912A (zh) * 2018-04-19 2018-09-18 北京工业大学 一种基于机器学习的医学图像肺结节检测方法
CN108648178A (zh) * 2018-04-17 2018-10-12 杭州依图医疗技术有限公司 一种影像结节检测的方法及装置
CN109492547A (zh) * 2018-10-24 2019-03-19 腾讯科技（深圳）有限公司 一种结节识别方法、装置和存储介质
CN110807764A (zh) * 2019-09-20 2020-02-18 成都智能迭迦科技合伙企业(有限合伙) 一种基于神经网络的肺癌筛查方法
CN110838114A (zh) * 2019-11-11 2020-02-25 苏州锐一仪器科技有限公司 肺结节检测方法、装置及计算机存储介质
CN110942446A (zh) * 2019-10-17 2020-03-31 付冲 一种基于ct影像的肺结节自动检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590797A (zh) * 2017-07-26 2018-01-16 浙江工业大学 一种基于三维残差神经网络的ct影像肺结节检测方法
CN108648178A (zh) * 2018-04-17 2018-10-12 杭州依图医疗技术有限公司 一种影像结节检测的方法及装置
CN108549912A (zh) * 2018-04-19 2018-09-18 北京工业大学 一种基于机器学习的医学图像肺结节检测方法
CN109492547A (zh) * 2018-10-24 2019-03-19 腾讯科技（深圳）有限公司 一种结节识别方法、装置和存储介质
CN110807764A (zh) * 2019-09-20 2020-02-18 成都智能迭迦科技合伙企业(有限合伙) 一种基于神经网络的肺癌筛查方法
CN110942446A (zh) * 2019-10-17 2020-03-31 付冲 一种基于ct影像的肺结节自动检测方法
CN110838114A (zh) * 2019-11-11 2020-02-25 苏州锐一仪器科技有限公司 肺结节检测方法、装置及计算机存储介质

Also Published As

Publication number Publication date
CN111768845A (zh) 2020-10-13

Similar Documents

Publication Publication Date Title
CN110599448B (zh) 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统
CN111476292B (zh) 医学图像分类处理人工智能的小样本元学习训练方法
CN108257135A (zh) 基于深度学习方法解读医学图像特征的辅助诊断系统
CN111429407B (zh) 基于双通道分离网络的胸部x光疾病检测装置及方法
CN101103924A (zh) 基于乳腺x线摄片的乳腺癌计算机辅助诊断方法及其系统
CN115082743B (zh) 考虑肿瘤微环境的全视野数字病理图像分类系统及构建方法
CN111723817B (zh) 一种肺结节辅助检测方法
Fan et al. Lung nodule detection based on 3D convolutional neural networks
Wang et al. A method of ultrasonic image recognition for thyroid papillary carcinoma based on deep convolution neural network
Wu et al. Coarse-to-fine lung nodule segmentation in CT images with image enhancement and dual-branch network
Yonekura et al. Improving the generalization of disease stage classification with deep CNN for glioma histopathological images
Chen et al. A spatio-temporal fully convolutional network for breast lesion segmentation in DCE-MRI
Ramkumar et al. Multi res U-Net based image segmentation of pulmonary tuberculosis using CT images
CN111080556A (zh) 一种强化ct图像气管壁增强方法、系统、设备及介质
CN111768845B (zh) 一种基于最优多尺度感知的肺结节辅助检测方法
CN110634132A (zh) 基于深度学习的3d ct影像自动生成肺结核量化诊断报告的方法
CN114255235A (zh) 用于自动定位三维图像中的器官分段的方法和布置
Xu et al. Identification of benign and malignant lung nodules in CT images based on ensemble learning method
Pavithra et al. An Overview of Convolutional Neural Network Architecture and Its Variants in Medical Diagnostics of Cancer and Covid-19
Tong et al. Computer-aided lung nodule detection based on CT images
Wen et al. A novel lesion segmentation algorithm based on U-net network for tuberculosis CT image
CN115409812A (zh) 一种基于融合时间注意机制的ct图像自动分类方法
Najeeb et al. Brain Tumor Segmentation Utilizing Generative Adversarial, Resnet And Unet Deep Learning
Sameer et al. Brain tumor segmentation and classification approach for MR images based on convolutional neural networks
CN109166108B (zh) 一种ct影像肺部异常组织的自动识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant