CN111768845A - 一种基于最优多尺度感知的肺结节辅助检测方法 - Google Patents
一种基于最优多尺度感知的肺结节辅助检测方法 Download PDFInfo
- Publication number
- CN111768845A CN111768845A CN202010608483.9A CN202010608483A CN111768845A CN 111768845 A CN111768845 A CN 111768845A CN 202010608483 A CN202010608483 A CN 202010608483A CN 111768845 A CN111768845 A CN 111768845A
- Authority
- CN
- China
- Prior art keywords
- scale
- nodule
- lung
- pulmonary
- lung nodule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002685 pulmonary effect Effects 0.000 title claims abstract description 118
- 238000001514 detection method Methods 0.000 title claims abstract description 65
- 230000008447 perception Effects 0.000 title claims abstract description 22
- 206010056342 Pulmonary mass Diseases 0.000 claims abstract description 253
- 230000000007 visual effect Effects 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 25
- 210000004072 lung Anatomy 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 5
- 230000001629 suppression Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 238000003745 diagnosis Methods 0.000 abstract description 13
- 230000007547 defect Effects 0.000 abstract description 3
- 238000005457 optimization Methods 0.000 abstract description 2
- 230000005764 inhibitory process Effects 0.000 abstract 1
- 201000011510 cancer Diseases 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 201000005202 lung cancer Diseases 0.000 description 4
- 208000020816 lung neoplasm Diseases 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于最优多尺度感知的肺结节辅助检测方法。包括如下步骤，获取同一病人的多张连续肺部CT图像，将CT图像进行拼接并输入到视觉感受野滤波器进行肺结节尺度特征提取，肺结节区域生成网络根据肺结节尺度特征对不同尺度的肺结节进行框选，最后使用基于定位的soft非极大值抑制方法将置信度最优的肺结节的候选框保留，从而得到一张框选出不同尺度下置信度最优的肺结节的图像。在本发明中，通过设计基于Gabor‑Unet的视觉感受野滤波器，以及设计肺结节区域生成网络，将多个不同尺度的肺结节中置信度最优的肺结节框选出，便于肺结节的检测诊断，补充现有肺结节辅助诊断系统中存在的不足，使得本发明提出的基于多尺度最优化感知肺结节辅助检测方法更加的精准。
Description
技术领域
本发明涉及肺结节辅助检测方法的领域，尤其涉及一种基于最优多尺度感知的肺结节辅 助检测方法。
背景技术
肺结节筛查用于肺癌早期防控的形势依然严峻。患肺癌人数多，发病率高，医疗花费大。 按发病人数顺位排序，肺癌占所有癌症的20.3％，位居恶性肿瘤发病首位。据国家肿瘤质控 中心发布的《2019年全国癌症报告》，恶性肿瘤死亡高达居民全部死因的23.91％，且近十几 年来恶性肿瘤的发病死亡呈持续上升态势,每年恶性肿瘤所致的医疗花费超过2200亿。因 此，无论是过去的发展期，还是现在的成熟期，肺结节辅助诊断推荐依然是一门热门的研究 内容。
自深度学习技术应用于医学影像以来，在肺癌防控强烈需求驱动下，肺结节计算机辅助 筛查技术表现出深度学习、数据驱动、特征自学习、处理端到端等新特征。围绕肺结节检测、 分割、分类、属性特征学习，设计肺结节辅助诊断新型网络结构成为肺结节筛查技术的发展 重点，涌现出U-Net、V-Net等适用于医学影像分析的新型神经网络结构。这些网络通过堆叠 深度学习模型结构来获取图像的信息，最终达到不同的医学影像分析目的。但现有的辅助诊 断系统检测尺度、形态、结构、纹理较为单一，对较大、单一形态、固定结构、相同纹理的 结节具有较稳定的检测结果，对于不同尺度、多样形态、复杂结构、不同纹理结节检测能力 弱。其原因在于现有的辅助诊断系统检测中存在视觉特征空间分辨率下降导致肺结节的边缘、 纹理和细节信息的逐渐丢失的问题，传统肺结节网络在中、小肺结节检测在网络特征传递过 程中，无法重用特征和特征可能消失的问题。
肺结节辅助检测的关键在能够对肺结节进行多尺度最优化感知，因为它的检测精准率依 赖于辅助检测对肺结节不同尺度、多形态、多结构、多纹理的感知。肺结节视觉特征、空间 分辨率、细节信息是重要的信息，相较于那些不同特点的肺部组织，能够轻易判断此肺部组 织是否为肺结节。例如钙化型肺结节，因为这种结节其视觉特征、空间分辨率、细节信息异 于周围的肺部组织使得其检测结果稳定。除了视觉特征、空间分辨率、细节信息这些特点。 肺结节的尺度对于肺结节辅助检测来说是一项重要的特征，而且不同的尺度的肺结节之间存 在着不同的诊断关系。例如，一些较大的疑似肺结节的肺部组织符合肺结节的视觉特征、空 间分辨率、细节信息，但是因为它的尺寸不符合，就不会诊断为结节。
发明内容
针对现有技术存在的上述问题，本发明的要解决的技术问题是：发明一种能够对多尺度 肺结节进行准确检测的辅助检测方法。
为解决上述技术问题，本发明采用如下技术方案：
一种基于最优多尺度感知的肺结节辅助检测方法，包括如下步骤：
S100：获取同一病人的多张连续肺部CT图像。
S200：将多张肺部CT图像进行拼接得到一张肺结节图像，所述肺结节图像包含S100中 的所有肺部CT图像。
S300：将S200得到的肺结节图像输入到视觉感受野滤波器，视觉感受野滤波器分小、中、 大三个尺度分支对所述肺结节图像中的肺结节的尺度特征进行提取，得到三组肺结节尺度特 征。
所述三组肺结节尺度特征分别为小尺度肺结节尺度特征组、中尺度肺结节尺度特征组和 大尺度肺结节尺度特征组，所述每个肺结节尺度特征组中均包含多个同一尺度的肺结节尺度 特征。
S400：将提取的三组尺度特征输入到肺结节区域生成网络，并将S200得到的肺结节图像 输入肺结节区域生成网络。
肺结节区域生成网络根据三组肺结节尺度特征对肺结节图像进行框选，根据小尺度肺结 节尺度特征组对肺结节图像中的小尺度肺结节进行框选，根据中尺度肺结节尺度特征组对肺 结节图像中的中尺度肺结节进行框选，根据大尺度肺结节尺度特征组对肺结节图像中的大尺 度肺结节进行框选，确保不同尺度的肺结节均被框选中得到多个候选框，从而得到一张拥有 多个候选框的肺结节图像，所述多个候选框包括多个小尺度肺结节候选框、多个中尺度肺结 节候选框和多个大尺度肺结节候选框。
S500：对S400得到的拥有多个候选框的肺结节图像中的多个候选框进行选取保留处理， 保留肺结节图像中小尺度下置信度最优的肺结节的候选框作为小尺度最优肺结节候选框，选 取中尺度下置信度最优的肺结节的候选框作为中尺度最优肺结节候选框，选择大尺度下置信 度最优的肺结节的候选框作为大尺度最优肺结节候选框，从而得到一张用于肺结节辅助检测 的最终肺结节图像，所述最终肺结节图像同时包括小尺度最优肺结节候选框、一个中尺度最 优肺结节候选框和一个大尺度最优肺结节候选框。
作为优选，所述S300中的视觉感受野滤波器首先利用Gabor-UNet中Conv1-4阶段用于 肺结节尺度特征提取，在Conv1-4阶段中将S200得到的肺结节图像作为输入，Conv1-4阶 段的输出为S200得到的肺结节图像中的多个肺结节尺度特征。
然后利用GaborConv5阶段用于对多个肺结节尺度特征进行统一化处理，得到三组肺结 节尺度特征，所述三组肺结节尺度特征分别为小尺度肺结节尺度特征组、中尺度肺结节尺度 特征组和大尺度肺结节尺度特征组，所述每个肺结节尺度特征组中均包含多个同一尺度的肺 结节尺度特征。
通过设计基于Gabor-Unet的视觉感受野滤波器，通过分尺度对肺结节进行特征提取，可 以有效保留肺结节视觉特征、空间分辨率以及细节信息，可以有效解决在现有肺结节辅助诊 断系统在检测中存在因视觉特征空间分辨率下降导致肺结节的边缘、纹理和细节信息的逐渐 丢失的问题。
作为优选，所述S300中利用GaborConv5阶段对多个肺结节尺度特征进行统一化处理的 具体过程为：GaborConv5阶段预设小尺度阈值分支、中尺度阈值分支、大尺度阈值分支， 将Gabor-UNet中unet模型中的卷积核换成Gabor核，对所述多个肺结节尺度特征通过空洞 Gabor卷积和中心池化进行统一化处理，所述空洞Gabor卷积即Gabor卷积和空洞率相结合， 所述小、中和大三个分支对应的空洞率分别是1、2和3，从而将满足同一尺度阈值的肺结节 尺度特征划为一组。。
作为优选，所述小尺度阈值＝(0mm，10mm]，中尺度阈值＝(10mm，20mm]，大尺度阈值 ＝(20mm，30mm]。
通过将肺结节的尺度特征分为小、中、大三种尺度，可以有效解决传统肺结节网络在中、 小肺结节检测在网络特征传递过程中，无法重用特征和特征可能消失的问题。
作为优选，所述S400步骤具体为，所述肺结节区域生成网络将小尺度肺结节的候选框尺 寸定义为10×10mm，将中尺度肺结节候选框尺寸定义为20×20mm，将大尺度肺结节候选框 尺寸定义为30×30mm，设计拥有9个锚点的滑窗对肺结节进行搜索，并通过Lcls函数判断锚 点属于正面或者负面，再利用Lreg函数使候选框回归对锚点进行修正，获得精确的候选区域， 从而得到一张拥有多个候选框的肺结节图像，所述多个候选框包括多个小尺度肺结节候选框、 中尺度肺结节候选框、大尺度肺结节候选框。
所述Lcls函数和Lreg函数组成损失函数Lncs，即Lncs＝Lcls+Lreg。
所述
所述
所述
其中pi取值为0或1,
取值为0-1，Nds表示尺度的分类个数，ti＝{tx,ty,tw,th}，(tx,ty) 表示候选框中心点坐标，tw和th分别为候选框的宽和高的偏置，Nreg表示每个尺度下候选框 的个数，λ为一个自定义参数。
通过设计肺结节区域生成网络将肺结节候选框定义为三种尺寸，然后根据三组肺结节的 尺度特征对不同尺度的肺结节进行框选，确保每一个肺结节均被框选。
作为优选，所述S500中选取保留处理得到小尺度最优肺结节候选框，中尺度最优肺结节 候选框和大尺度最优肺结节候选框的方法为：使用基于定位的soft非极大值抑制方法。
通过使用基于定位的soft非极大值抑制方法可以有效的去除大量肺结节置信度不够的肺 结节的候选框，并保留置信度最优的肺结节的候选框，候选框使置信度最优的肺结节在肺结 节图像中突出显示，从而方便对肺结节图像的检测诊断。
相对于现有技术，本发明至少具有如下优点：
1.本发明基于多尺度最优感知并通过深度学习与传统技术相组合，来补充现有辅助检测 结构中存在的不足，使得肺结节辅助检测更加的精准。
2.通过设计基于Gabor-Unet的视觉感受野滤波器，通过分尺度对肺结节特征进行提取， 可以有效保留肺结节视觉特征、空间分辨率以及细节信息，可以有效解决在现有肺结节辅助 诊断系统在检测中存在因视觉特征空间分辨率下降导致肺结节的边缘、纹理和细节信息的逐 渐丢失的问题。
3.通过将肺结节的尺度特征分为小、中、大三种尺度，可以有效解决传统肺结节网络在 中、小肺结节检测在网络特征传递过程中，无法重用特征和特征可能消失的问题。
4.通过设计肺结节区域生成网络将肺结节候选框定义为三种尺寸，然后根据三组肺结节 的尺度特征对不同尺度的肺结节进行框选，确保每一个肺结节均被框选。
5.通过使用基于定位的soft非极大值抑制方法可以有效的去除大量肺结节置信度不够 的肺结节的候选框，并保留置信度最优的肺结节的候选框，候选框使置信度最优的肺结节在 肺结节图像中突出显示，从而方便对肺结节图像的检测诊断。
附图说明
图1为本方法中对肺结节进行尺度特征提取的模型。
图2为本方法的整体结构模型。
图3为本方法中拥有9个锚点的滑窗的示意图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
参见图1-3，本发明提供的一种实施例。
实施例1：一种基于最优多尺度感知的肺结节辅助检测方法，包括如下步骤：
S100：获取同一病人的多张连续肺部CT图像。
S200：将多张肺部CT图像进行拼接得到一张肺结节图像，所述肺结节图像包含S100中 的所有肺部CT图像。
S300：将S200得到的肺结节图像输入到视觉感受野滤波器，视觉感受野滤波器分小、中、 大三个尺度分支对所述肺结节图像中的肺结节的尺度特征进行提取，得到三组肺结节尺度特 征。
所述三组肺结节尺度特征分别为小尺度肺结节尺度特征组、中尺度肺结节尺度特征组和 大尺度肺结节尺度特征组，所述每个肺结节尺度特征组中均包含多个同一尺度的肺结节尺度 特征。
S400：将提取的三组尺度特征输入到肺结节区域生成网络，并将S200得到的肺结节图像 输入肺结节区域生成网络。
肺结节区域生成网络根据三组肺结节尺度特征对肺结节图像进行框选，根据小尺度肺结 节尺度特征组对肺结节图像中的小尺度肺结节进行框选，根据中尺度肺结节尺度特征组对肺 结节图像中的中尺度肺结节进行框选，根据大尺度肺结节尺度特征组对肺结节图像中的大尺 度肺结节进行框选，确保不同尺度的肺结节均被框选中得到多个候选框，从而得到一张拥有 多个候选框的肺结节图像，所述多个候选框包括多个小尺度肺结节候选框、多个中尺度肺结 节候选框和多个大尺度肺结节候选框。
S500：对S400得到的拥有多个候选框的肺结节图像中的多个候选框进行选取保留处理， 保留肺结节图像中小尺度下置信度最优的肺结节的候选框作为小尺度最优肺结节候选框，选 取中尺度下置信度最优的肺结节的候选框作为中尺度最优肺结节候选框，选择大尺度下置信 度最优的肺结节的候选框作为大尺度最优肺结节候选框，从而得到一张用于肺结节辅助检测 的最终肺结节图像，所述最终肺结节图像同时包括小尺度最优肺结节候选框、一个中尺度最 优肺结节候选框和一个大尺度最优肺结节候选框。
所述S300中的视觉感受野滤波器首先利用Gabor-UNet中Conv1-4阶段用于肺结节尺度 特征提取，在Conv1-4阶段中将S200得到的肺结节图像作为输入，Conv1-4阶段的输出为 S200得到的肺结节图像中的多个肺结节尺度特征。
然后利用GaborConv5阶段用于对多个肺结节尺度特征进行统一化处理，得到三组肺结 节尺度特征，所述三组肺结节尺度特征分别为小尺度肺结节尺度特征组、中尺度肺结节尺度 特征组和大尺度肺结节尺度特征组，所述每个肺结节尺度特征组中均包含多个同一尺度的肺 结节尺度特征。
所述S300中利用GaborConv5阶段对多个肺结节尺度特征进行统一化处理的具体过程为： GaborConv5阶段预设小尺度阈值分支、中尺度阈值分支、大尺度阈值分支，将Gabor-UNet 中unet模型中的卷积核换成Gabor核，对所述多个肺结节尺度特征通过空洞Gabor卷积和中 心池化进行统一化处理，所述空洞Gabor卷积即Gabor卷积和空洞率相结合，所述小、中和 大三个分支对应的空洞率分别是1、2和3，从而将满足同一尺度阈值的肺结节尺度特征划为 一组。所述将Gabor-UNet中unet模型中的卷积核换成Gabor核，属于对神经网络卷积核的 改进。
所述小尺度阈值＝(0mm，10mm]，中尺度阈值＝(10mm，20mm]，大尺度阈值＝(20mm，30mm]。
所述S400步骤具体为，所述肺结节区域生成网络将小尺度肺结节的候选框尺寸定义为 10×10mm，将中尺度肺结节候选框尺寸定义为20×20mm，将大尺度肺结节候选框尺寸定义为 30×30mm，设计拥有9个锚点的滑窗对肺结节进行搜索，并通过Lcls函数判断锚点属于正面 或者负面，再利用Lreg函数使候选框回归对锚点进行修正，获得精确的候选区域，从而得到 一张拥有多个候选框的肺结节图像，所述多个候选框包括多个小尺度肺结节候选框、中尺度 肺结节候选框、大尺度肺结节候选框。
所述Lcls函数和Lreg函数组成损失函数Lncs，即Lncs＝Lcls+Lreg。
所述
所述
所述
其中pi取值为0或1,
取值为0-1，Nds表示尺度的分类个数，ti＝{tx,ty,tw,th}，(tx,ty) 表示候选框中心点坐标，tw和th分别为候选框的宽和高的偏置，Nreg表示每个尺度下候选框 的个数，λ为一个自定义参数。具体实施时，所述肺结节区域生成网络(Nodule-RPN)根据一种 公开医疗数据数据集和肺结节尺度范围已知的临床先验知识，对各个尺度的肺结节的候选框 的尺寸进行定义，以确保该方法的可行性。
所述S500中选取保留处理得到小尺度最优肺结节候选框，中尺度最优肺结节候选框和大 尺度最优肺结节候选框的方法为：使用基于定位的soft非极大值抑制方法。
本发明限定的一种基于最优多尺度感知的肺结节辅助检测方法的工作原理如下：
1、获取同一病人的多张连续肺部CT图像。
2、将多张肺部CT图像进行拼接得到一张肺结节图像，所述肺结节图像包含S100中的 所有肺部CT图像。
3、将S200得到的肺结节图像输入到视觉感受野滤波器，视觉感受野滤波器分小、中、 大三个尺度分支对所述肺结节图像中的肺结节的尺度特征进行提取，得到三组肺结节尺度特 征。所述三组肺结节尺度特征分别为小尺度肺结节尺度特征组、中尺度肺结节尺度特征组和 大尺度肺结节尺度特征组，所述每个肺结节尺度特征组中均包含多个同一尺度的肺结节尺度 特征。
4、将提取的三组尺度特征输入到肺结节区域生成网络，并将S200得到的肺结节图像输 入肺结节区域生成网络。肺结节区域生成网络根据三组肺结节尺度特征对肺结节图像进行框 选，根据小尺度肺结节尺度特征组对肺结节图像中的小尺度肺结节进行框选，根据中尺度肺 结节尺度特征组对肺结节图像中的中尺度肺结节进行框选，根据大尺度肺结节尺度特征组对 肺结节图像中的大尺度肺结节进行框选，确保不同尺度的肺结节均被框选中得到多个候选框， 从而得到一张拥有多个候选框的肺结节图像，所述多个候选框包括多个小尺度肺结节候选框、 多个中尺度肺结节候选框和多个大尺度肺结节候选框。
5、对S400得到的拥有多个候选框的肺结节图像中的多个候选框进行选取保留处理，保 留肺结节图像中小尺度下置信度最优的肺结节的候选框作为小尺度最优肺结节候选框，选取 中尺度下置信度最优的肺结节的候选框作为中尺度最优肺结节候选框，选择大尺度下置信度 最优的肺结节的候选框作为大尺度最优肺结节候选框，从而得到一张用于肺结节辅助检测的 最终肺结节图像，所述最终肺结节图像同时包括小尺度最优肺结节候选框、一个中尺度最优 肺结节候选框和一个大尺度最优肺结节候选框。
该发明首先对肺结节辅助诊断检测中存在视觉特征空间分辨率下降导致肺结节的边缘、 纹理和细节信息的逐渐丢失的问题，设计肺结节检测网络视觉感受野最优滤波器模型，有效 保留肺结节视觉特征、空间分辨率以及细节信息。其次针对传统肺结节网络在中、小肺结节 检测在网络特征传递过程中，无法重用特征和特征可能消失的问题，构建肺结节多尺度特征 提取模型。在本发明(MSANet)的肺结节辅助检测是使用多尺度最优感知来弥补现有辅助检 测中存在的不足，使得肺结节辅助检测更加的精准，根据肺结节医学图像，通过深度学习与 传统技术相组合，其性能优于目前热门主流的检测算法，可以运用至实际的生活场景。
对比实验：
为了进一步验证本发明的有效性，将其与热门主流的检测算法进行了对比，它们分别如 下：
SVM：一种经典的传统图像检测算法，旨在通过将低维的数据进行高维的映射，从而找 到分类的边界。
3D convolution：一种基于神经网络的3D检测算法。
multi-resolution analysis:一种传统的多分辨率检测算法。
Multi-Resolution CNN:一种基于神经网络的多特征图的检测算法，旨在利用不同的尺寸的 特征图来抽取不同的特征进行融合。
本发明提出的基于多尺度最优化感知肺结节辅助检测方法称作MSANet。
实验数据源为LIDC-IDRI，该数据集由胸部医学图像文件，如CT和X光片，和对应的诊断结果病变标注组成。该数据是由美国国家癌症研究所(National Cancer Institute)发起收集 的，目的是为了研究高危人群早期癌症检测。该数据集中，共收录了1018个研究实例。对于 每个实例中的图像，都由4位经验丰富的胸部放射科医师进行两阶段的诊断标注。在第一阶 段，每位医师分别独立诊断并标注病患位置，在随后的第二阶段中，各位医师都分别独立的 复审其他三位医师的标注，并给出自己最终的诊断结果。这样的两阶段标注可以在避免各位 医师相互影响的前提下，尽可能完整的标注所有结果。
先对CT数据进行窗位的调整，处理之后生成512*512大小的图片作为数据集，数据集 中共计2616张结节图片用于模型训练和测试。随机选取数据集中70％为训练集，30％为测试 集。评价指标为accuracy和IoU，其中accuracy指找到结节的准确率，IOU指检测结果与标 注结果的重复率。
为了使得本发明的性能达到最优，首先对其自身的参数学习率(lr)、优化器(optimizer)和 迭代次数(epoch)进行优化和选择。学习率表示网络在学习的时候更新参数的幅度，优化器表 示网络在学习到差异之后如何进行最小化差异，迭代次数表示网络需要多少次次对训练集的 遍历。通过对所有的参数组合进行实验，找到了最优的参数值选择。最优的参数值是lr＝0.00003, optimizer＝Adam,epoch＝50。
实验结果如下：
| 方法名称 | accuracy(％) |
| SVM | 87 |
| 3Dconvolution | 67 |
| multi-resolution analysis | 81.21 |
| Multi-Resolution CNN | 97.33 |
| MSANet | 98.5 |
本方法IoU分数达到99.2且accuracy明显高于其他主流方法。
实验结果显示，无论是accuracy还是IoU，本发明都明显优于其他的检测算法，这表明 本文提出基于多尺度最优化感知是有效的。SVM算法性能的优劣主要取决于核函数的选取, 所以对于一个实际问题而言,如何根据实际的数据模型选择合适的核函数从而构造SVM算法。 3D convolution是一种基于深度学习的3D检测方法，但是其参数量过于庞大，导致推理时间 增加，并且其准确率较低。multi-resolution analysis使用对多分辨率对图像进行检测，但是对 于特异性结节检测率不高。Multi-Resolution CNN使用多分辨率的图片进行检测，但是其预处 理过程使得图片的原始信息大概率丢失。
简而言之，本发明提出了一种基于多尺度最优化感知的肺结节检测方法，一方面增强肺 结节视觉特征、空间分辨率以及细节信息，另一方面针对传统肺结节网络在中、小肺结节检 测在网络特征传递过程中，无法重用特征和特征可能消失的问题，构建多尺度最优化感知网 络。本发明(MSANet)的性能优于目前热门主流的检测算法，可以运用至实际的生活场景。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施 例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进 行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利 要求范围当中。
Claims (6)
1.一种基于最优多尺度感知的肺结节辅助检测方法，其特征在于：包括如下步骤；
S100：获取同一病人的多张连续肺部CT图像；
S200：将多张肺部CT图像进行拼接得到一张肺结节图像，所述肺结节图像包含S100中的所有肺部CT图像；
S300：将S200得到的肺结节图像输入到视觉感受野滤波器，视觉感受野滤波器分小、中、大三个尺度分支对所述肺结节图像中的肺结节的尺度特征进行提取，得到三组肺结节尺度特征；
所述三组肺结节尺度特征分别为小尺度肺结节尺度特征组、中尺度肺结节尺度特征组和大尺度肺结节尺度特征组，所述每个肺结节尺度特征组中均包含多个同一尺度的肺结节尺度特征；
S400：将提取的三组尺度特征输入到肺结节区域生成网络，并将S200得到的肺结节图像输入肺结节区域生成网络；
肺结节区域生成网络根据三组肺结节尺度特征对肺结节图像进行框选，根据小尺度肺结节尺度特征组对肺结节图像中的小尺度肺结节进行框选，根据中尺度肺结节尺度特征组对肺结节图像中的中尺度肺结节进行框选，根据大尺度肺结节尺度特征组对肺结节图像中的大尺度肺结节进行框选，确保不同尺度的肺结节均被框选中得到多个候选框，从而得到一张拥有多个候选框的肺结节图像，所述多个候选框包括多个小尺度肺结节候选框、多个中尺度肺结节候选框和多个大尺度肺结节候选框；
S500：对S400得到的拥有多个候选框的肺结节图像中的多个候选框进行选取保留处理，保留肺结节图像中小尺度下置信度最优的肺结节的候选框作为小尺度最优肺结节候选框，选取中尺度下置信度最优的肺结节的候选框作为中尺度最优肺结节候选框，选择大尺度下置信度最优的肺结节的候选框作为大尺度最优肺结节候选框，从而得到一张用于肺结节辅助检测的最终肺结节图像，所述最终肺结节图像同时包括小尺度最优肺结节候选框、一个中尺度最优肺结节候选框和一个大尺度最优肺结节候选框。
2.如权利要求1所述的一种基于最优多尺度感知的肺结节辅助检测方法，其特征在于：所述S300中的视觉感受野滤波器首先利用Gabor-UNet中Conv1-4阶段用于肺结节尺度特征提取，在Conv1-4阶段中将S200得到的肺结节图像作为输入，Conv1-4阶段的输出为S200得到的肺结节图像中的多个肺结节尺度特征；
然后利用GaborConv5阶段用于对多个肺结节尺度特征进行统一化处理，得到三组肺结节尺度特征，所述三组肺结节尺度特征分别为小尺度肺结节尺度特征组、中尺度肺结节尺度特征组和大尺度肺结节尺度特征组，所述每个肺结节尺度特征组中均包含多个同一尺度的肺结节尺度特征。
3.如权利要求2所述的一种基于最优多尺度感知的肺结节辅助检测方法，其特征在于：所述S300中利用GaborConv5阶段对多个肺结节尺度特征进行统一化处理的具体过程为：GaborConv5阶段预设小尺度阈值分支、中尺度阈值分支、大尺度阈值分支，将Gabor-UNet中unet模型中的卷积核换成Gabor核，对所述多个肺结节尺度特征通过空洞Gabor卷积和中心池化进行统一化处理，所述空洞Gabor卷积即Gabor卷积和空洞率相结合，所述小、中和大三个分支对应的空洞率分别是1、2和3，从而将满足同一尺度阈值的肺结节尺度特征划为一组。
4.如权利要求3所述的一种基于最优多尺度感知的肺结节辅助检测方法，其特征在于：所述小尺度阈值＝(0mm，10mm]，中尺度阈值＝(10mm，20mm]，大尺度阈值＝(20mm，30mm]。
5.如权利要求4所述的一种基于最优多尺度感知的肺结节辅助检测方法，其特征在于：所述S400步骤具体为，所述肺结节区域生成网络将小尺度肺结节的候选框尺寸定义为10×10mm，将中尺度肺结节候选框尺寸定义为20×20mm，将大尺度肺结节候选框尺寸定义为30×30mm，设计拥有9个锚点的滑窗对肺结节进行搜索，并通过Lcls函数判断锚点属于正面或者负面，再利用Lreg函数使候选框回归对锚点进行修正，获得精确的候选区域，从而得到一张拥有多个候选框的肺结节图像，所述多个候选框包括多个小尺度肺结节候选框、中尺度肺结节候选框、大尺度肺结节候选框；
所述Lcls函数和Lreg函数组成损失函数Lncs，即Lncs＝Lcls+Lreg；
所述
所述
所述
其中pi取值为0或1,
取值为0-1，Nds表示尺度的分类个数，ti＝{tx,ty,tw,th}，(tx,ty)表示候选框中心点坐标，tw和th分别为候选框的宽和高的偏置，Nreg表示每个尺度下候选框的个数，λ为一个自定义参数。
6.如权利要求5所述的一种基于最优多尺度感知的肺结节辅助检测方法，其特征在于：所述S500中选取保留处理得到小尺度最优肺结节候选框，中尺度最优肺结节候选框和大尺度最优肺结节候选框的方法为：使用基于定位的soft非极大值抑制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010608483.9A CN111768845B (zh) | 2020-06-30 | 2020-06-30 | 一种基于最优多尺度感知的肺结节辅助检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010608483.9A CN111768845B (zh) | 2020-06-30 | 2020-06-30 | 一种基于最优多尺度感知的肺结节辅助检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111768845A true CN111768845A (zh) | 2020-10-13 |
| CN111768845B CN111768845B (zh) | 2023-08-11 |
Family
ID=72724767
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010608483.9A Active CN111768845B (zh) | 2020-06-30 | 2020-06-30 | 一种基于最优多尺度感知的肺结节辅助检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111768845B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116934757A (zh) * | 2023-09-18 | 2023-10-24 | 电子科技大学 | 一种用于肺结节假阳性删减的方法、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107590797A (zh) * | 2017-07-26 | 2018-01-16 | 浙江工业大学 | 一种基于三维残差神经网络的ct影像肺结节检测方法 |
| CN108549912A (zh) * | 2018-04-19 | 2018-09-18 | 北京工业大学 | 一种基于机器学习的医学图像肺结节检测方法 |
| CN108648178A (zh) * | 2018-04-17 | 2018-10-12 | 杭州依图医疗技术有限公司 | 一种影像结节检测的方法及装置 |
| CN109492547A (zh) * | 2018-10-24 | 2019-03-19 | 腾讯科技（深圳）有限公司 | 一种结节识别方法、装置和存储介质 |
| CN110807764A (zh) * | 2019-09-20 | 2020-02-18 | 成都智能迭迦科技合伙企业(有限合伙) | 一种基于神经网络的肺癌筛查方法 |
| CN110838114A (zh) * | 2019-11-11 | 2020-02-25 | 苏州锐一仪器科技有限公司 | 肺结节检测方法、装置及计算机存储介质 |
| CN110942446A (zh) * | 2019-10-17 | 2020-03-31 | 付冲 | 一种基于ct影像的肺结节自动检测方法 |
-
2020
- 2020-06-30 CN CN202010608483.9A patent/CN111768845B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107590797A (zh) * | 2017-07-26 | 2018-01-16 | 浙江工业大学 | 一种基于三维残差神经网络的ct影像肺结节检测方法 |
| CN108648178A (zh) * | 2018-04-17 | 2018-10-12 | 杭州依图医疗技术有限公司 | 一种影像结节检测的方法及装置 |
| CN108549912A (zh) * | 2018-04-19 | 2018-09-18 | 北京工业大学 | 一种基于机器学习的医学图像肺结节检测方法 |
| CN109492547A (zh) * | 2018-10-24 | 2019-03-19 | 腾讯科技（深圳）有限公司 | 一种结节识别方法、装置和存储介质 |
| CN110807764A (zh) * | 2019-09-20 | 2020-02-18 | 成都智能迭迦科技合伙企业(有限合伙) | 一种基于神经网络的肺癌筛查方法 |
| CN110942446A (zh) * | 2019-10-17 | 2020-03-31 | 付冲 | 一种基于ct影像的肺结节自动检测方法 |
| CN110838114A (zh) * | 2019-11-11 | 2020-02-25 | 苏州锐一仪器科技有限公司 | 肺结节检测方法、装置及计算机存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116934757A (zh) * | 2023-09-18 | 2023-10-24 | 电子科技大学 | 一种用于肺结节假阳性删减的方法、设备及存储介质 |
| CN116934757B (zh) * | 2023-09-18 | 2023-11-21 | 电子科技大学 | 一种用于肺结节假阳性删减的方法、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111768845B (zh) | 2023-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110232383B (zh) | 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统 | |
| CN110599448B (zh) | 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统 | |
| WO2020087960A1 (zh) | 一种影像识别的方法、装置、终端设备和医疗系统 | |
| CN109636805B (zh) | 一种基于分类先验的宫颈图像病变区域分割装置及方法 | |
| CN113902761B (zh) | 基于知识蒸馏的肺部疾病病灶无监督分割方法 | |
| CN113223005B (zh) | 一种甲状腺结节自动分割及分级的智能系统 | |
| CN113420826B (zh) | 一种肝脏病灶图像处理系统及图像处理方法 | |
| Wu et al. | Coarse-to-fine lung nodule segmentation in CT images with image enhancement and dual-branch network | |
| CN110767293B (zh) | 一种脑部辅助诊断系统 | |
| CN111784639A (zh) | 基于深度学习的口腔全景片龋齿深度识别方法 | |
| Wang et al. | A method of ultrasonic image recognition for thyroid papillary carcinoma based on deep convolution neural network | |
| CN115471512A (zh) | 一种基于自监督对比学习的医学影像分割方法 | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| CN111768845A (zh) | 一种基于最优多尺度感知的肺结节辅助检测方法 | |
| CN115409812A (zh) | 一种基于融合时间注意机制的ct图像自动分类方法 | |
| CN112862786B (zh) | Cta影像数据处理方法、装置及存储介质 | |
| CN112862787B (zh) | Cta影像数据处理方法、装置及存储介质 | |
| CN113486930A (zh) | 基于改进RetinaNet的小肠淋巴瘤分割模型建立、分割方法及装置 | |
| CN114330484A (zh) | 弱监督学习糖尿病视网膜病变分级与病灶识别方法及系统 | |
| CN112862785A (zh) | Cta影像数据识别方法、装置及存储介质 | |
| Paul et al. | Computer-Aided Diagnosis Using Hybrid Technique for Fastened and Accurate Analysis of Tuberculosis Detection with Adaboost and Learning Vector Quantization | |
| Obukhova et al. | Two-stage method for polyps segmentation in endoscopic images | |
| Liu et al. | A locating model for pulmonary tuberculosis diagnosis in radiographs | |
| CN115019110B (zh) | 一种基于胸部影像的病灶识别方法及装置 | |
| Li et al. | GL-FusionNet: Fusing global and local features to classify deep and superficial partial thickness burn |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |