CN112365973B - 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统 - Google Patents
基于对抗网络和Faster R-CNN的肺结节辅助诊断系统 Download PDFInfo
- Publication number
- CN112365973B CN112365973B CN202011205487.9A CN202011205487A CN112365973B CN 112365973 B CN112365973 B CN 112365973B CN 202011205487 A CN202011205487 A CN 202011205487A CN 112365973 B CN112365973 B CN 112365973B
- Authority
- CN
- China
- Prior art keywords
- lung
- network
- image
- nodule
- cnn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 57
- 230000002685 pulmonary effect Effects 0.000 title claims abstract description 43
- 210000004072 lung Anatomy 0.000 claims abstract description 85
- 230000011218 segmentation Effects 0.000 claims abstract description 51
- 238000001514 detection method Methods 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 38
- 206010056342 Pulmonary mass Diseases 0.000 claims abstract description 37
- 230000003042 antagnostic effect Effects 0.000 claims abstract description 10
- 238000004458 analytical method Methods 0.000 claims abstract description 7
- 238000013136 deep learning model Methods 0.000 claims abstract description 7
- 238000011176 pooling Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 14
- 230000003211 malignant effect Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 12
- 230000003902 lesion Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 206010054107 Nodule Diseases 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 238000012937 correction Methods 0.000 claims description 2
- 238000007405 data analysis Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 abstract description 8
- 201000005202 lung cancer Diseases 0.000 abstract description 8
- 208000020816 lung neoplasm Diseases 0.000 abstract description 8
- 238000003384 imaging method Methods 0.000 abstract description 3
- 238000013527 convolutional neural network Methods 0.000 description 22
- 238000012545 processing Methods 0.000 description 7
- 238000004195 computer-aided diagnosis Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013145 classification model Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Public Health (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Primary Health Care (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Computing Systems (AREA)
- Epidemiology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
基于对抗网络和Faster R‑CNN的肺结节辅助诊断系统,属于医疗仪器,技术领域，它包括：包括用于获取患者肺部CT影像数据的数据获取模块、用于分割得到完整肺实质的肺实质分割模块、基于深度学习模型构建肺结节检测网络，将所述肺实质分割图像输入所述肺结节检测网络进行结节检测识别；用于自动确定肺结节的定性定量数据并展示给用户，最后给出图文诊断报告，以辅助医生进行诊断的智能分析模块。本发明能进行微小肺结节的精确检测和诊断，为医生更加快速、精准、科学地解决阅片问题，对肺癌的临床辅助决策提供影像学支持。
Description
技术领域
本发明涉及医疗诊断技术领域，特别涉及一种基于对抗网络和Faster R-CNN的肺结节辅助诊断方法和系统。
背景技术
肺癌是世界范围内发病率和死亡率增长最快的恶性肿瘤之一，已经严重危害人类健康。在我国，肺癌临床诊断病例多已为晚期，错过了最好的治疗时机。因此，进行高危人群早期筛查早期诊断早期治疗是改善肺癌生存期，降低肺癌死亡率的重要措施。
早期肺癌主要表现为直径小于3cm的孤立性肺结节，低剂量CT(Low-dosecomputed tomography,LDCT)是早期肺癌的主要筛查手段，可以提前发现微小病灶，及时发现并切除恶性肺结节。由于肺结节形态复杂，依靠肉眼难以识别。影像数量增长迅速，专业影像科医生不足，人工阅片的压力大，既耗费时间又可能带来误诊漏诊，智能化水平不高。计算机辅助诊断系统能够帮助医生快速阅片，增加诊断准确度，为医生找到可疑的病灶，以便医生详细检查并作出最后的诊断决策。因此，自动的肺结节辅助诊断系统越发受到医生的关注。
现有的计算机辅助诊断(CAD)方法大致有两类：传统的机器学习方法，或者通过传统方法筛选候选结节并利用深度学习方法进行筛选。传统的机器学习方法使用人工设计的特征，而肺结节特征复杂，此类特征可能涉及到很多专业领域知识，难以适应新的数据和诊断场景，存在较高的假阳性率。此外，现有的部分采用深度学习的辅助诊断方法和CAD系统不是全自动的，处理速度较慢，难以实时获取诊断结果，具有很大的提升空间。
因此，借助深度学习方法处理海量医疗数据，并实现一种肺结节辅助诊断方法和系统，具有十分重要的临床应用价值。
发明内容
为解决上述问题，本发明提供一种基于深度学习的肺结节辅助诊断方法和系统，既能进行微小肺结节的精确检测和诊断，又能在实时性方面满足实际应用需求，为医生对肺癌的临床辅助决策提供影像学支持。
本发明采用以下技术方案：
一种基于对抗网络和Faster R-CNN的肺结节辅助诊断系统，包括：处理器，存储器和计算机程序，执行所述计算机程序以创建应用，所述应用对医学图像使用深度神经网络进行实时诊断并给出图文诊断报告。
基于对抗网络和Faster R-CNN的肺结节辅助诊断系统还包括用于获取患者肺部CT影像数据的数据获取模块、用于分割得到完整肺实质的肺实质分割模块、基于深度学习模型构建肺结节检测网络，将所述肺实质分割图像输入所述肺结节检测网络进行结节检测识别；用于自动确定肺结节的定性定量数据并展示给用户，最后给出图文诊断报告，以辅助医生进行诊断的智能分析模块。
另一方面，提供了一种基于对抗网络和Faster R-CNN的肺结节辅助诊断系统，包括数字处理设备，该数字处理设备包括：处理器，存储器和计算机程序，执行所述计算机程序以创建应用，所述应用对医学图像使用深度神经网络进行实时诊断并给出图文诊断报告。
数据获取模块，用于获取患者肺部CT影像；
肺实质分割模块，用于分割得到包含完整的肺部区域的分割图像；
肺结节检测模块，基于深度学习模型构建肺结节检测网络，用于将所述肺实质分割图像输入所述肺结节检测网络进行结节检测识别；
智能分析模块，自动确定肺结节的位置、体积、大小和良恶性提示等定性定量指标并展示给用户，最后给出图文诊断报告，以辅助医生进行诊断。
一种基于对抗网络和Faster R-CNN的肺结节辅助诊断系统的使用方法，包括以下步骤：
S1、获取肺部CT影像数据；
S2、利用预先训练的肺实质分割模型对所述肺部CT影像进行肺部区域分割，得到每个图像对应的肺实质分割图像；
S3、基于深度学习模型构建肺结节检测网络，将所述肺实质分割图像输入所述肺结节检测网络进行结节检测识别，得到肺结节位置和良恶性信息。
S4、病灶定量定性数据可视化分析，自动生成诊断结果，经医生审核最终生成图文诊断报告。
与现有技术相比，本发明的有益技术效果如下：
在上述技术方案中，获取肺部CT影像，对获取到的肺部CT影像进行肺部区域分割得到包含完整肺部区域的分割图像，并将所述分割图像输入至基于深度学习模型构建的肺结节检测网络进行结节检测，得到检测结果，也就是说，针对肺部CT图像各区域的不同特性，将肺结节检测任务分为多步进行，即先进行第一步肺实质分割，再以肺部区域为起始检测肺结节，有效地解决了微小肺结节检测效果不佳的问题。
所述肺结节辅助诊断方法和系统，针对肺部CT影像进行肺结节的辅助诊断，大大提高了恶性结节的诊断准确率和临床治疗决策能力，提高了医生的工作效率，降低了工作负担，同时降低了因工作疲劳、水平有限而造成的误诊漏诊情况。
附图说明
为了充分反映本发明实施例的技术特征，下面将对本发明实施例所用到的附图作简要的说明。
图1为本发明第一实施例提供的一种基于对抗网络和Faster R-CNN的肺结节辅助诊断方法的总体流程图。
图2为本发明第一实施例提供的一种基于对抗网络和Faster R-CNN的肺结节辅助诊断方法的一种实施方式的肺部CT影像预处理的流程图。
图3为本发明第一实施例提供的一种基于对抗网络和Faster R-CNN的肺结节辅助诊断方法的一种实施方式的肺实质分割方法的流程图。
图4为本发明第一实施例提供的一种基于对抗网络和Faster R-CNN的肺结节辅助诊断方法的一种实施方式的肺结节检测方法的流程图。
图5为本发明第二实施例提供的一种基于对抗网络和Faster R-CNN的肺结节辅助诊断系统的模块示意图。
图6为本发明第二实施例提供的一种基于对抗网络和Faster R-CNN的肺结节辅助诊断系统的详细模块图。
具体实施方式
下面结合本发明实施例附图，对本发明技术方案进行具体、详尽地描述，以使本发明的技术特征能够更容易被本领域的技术人员所理解。需要说明的是，此处所列举的具体实施方式仅仅是对本发明的示例性说明，而不是对本发明保护范围的限定。
作为本发明的第一个实施例，提供了一种基于对抗网络和Faster R-CNN的肺结节辅助诊断方法。图1提供的是一种基于对抗网络和Faster R-CNN的肺结节辅助诊断方法的流程图，主要包括以下几个步骤：
S1、获取肺部CT影像数据，进行预处理；
S2、利用预先训练的肺实质分割模型进行肺实质分割，得到每个图像对应的肺实质分割图像；
S3、基于所述肺实质分割图像，利用预先训练的肺结节检测模型进行结节检测识别；
S4、对病灶进行定量定性数据分析，得到肺结节位置和良恶性信息，自动生成诊断结果，经医生审核最终生成图文诊断报告。
优选地，图2示出了肺部CT影像预处理的流程图，所述预处理步骤为：
S101、对输入数据进行增强处理，以减少过拟合现象；
S102、对所述输入数据进行去噪处理，过滤噪声以使图像平滑。
肺结节一般存在于肺部CT影像中的肺部区域位置，肺部区域仅仅是CT影像的其中一部分，因此肺部区域的精准分割有利于后续肺结节的快速检测，减少计算复杂度。
在一些实施方式中，肺部CT影像是使用CT设备对患者肺部进行扫描生成的，可以是实时扫描的图像，也可以是存储在本地服务器或云端的图像，通过读取或网络传输的方式获取。
在一些实施方式中，数据增强处理采用缩放、镜像、随机旋转和加入随机噪声等方法扩增样本。
在一些实施方式中，输入图像去噪采用高斯平滑滤波方法使图像平滑。
优选地，步骤S2所述肺实质分割模型首先进行超像素分割并且合并超像素获得候选区域，然后将所述候选区域输入生成对抗网络进行分类，以获取精确的肺实质分割结果。图3示出了肺实质分割方法的流程图：
S201、对原始肺部CT影像进行超像素分割；
S202、合并超像素，获取候选区域；
S203、将包含候选区域的图像输入GAN网络进行候选区域分类，得到精准分割的肺实质区域。
在一些实施方式中，采用简单线性迭代算法对原始肺部CT影像进行超像素分割。
在一些实施方式中，所述合并超像素过程包括以下步骤：
a)提取每个超像素的视觉特征：3维LAB颜色特征、40维Gabor纹理特征、
256维HOG形状特征；
b)根据超像素之间的邻接关系计算区域邻接图；
c)根据不同特征计算超像素之间的距离，进而计算超像素间相似度：
其中，di,j分别表示超像素i和j的Lab颜色、gabor纹理、HOG形状距离。存储超像素之间的邻接关系：
d)合并最相似的超像素；
e)取合并超像素聚类中心的平均值作为新的聚类中心，更新超像素个数n；
f)重复上述过程，直到任意超像素之间相似度小于阈值T。
在一些实施方式中，所述候选区域是肺部区域、非肺部区域或者是其一部分。
在一些实施方式中，所述GAN分类网络采用的是BigBiGAN网络，该网络对候选区域以无监督方式进行分类，达到CT图像各区域语义分割的效果，然后提取出肺部区域。
已训练的肺实质分割模型包括候选区域生成模型、生成器模型、判别器模型和分类模型。其中，候选区域生成模型对预处理图像进行超像素分割和超像素合并，得到候选区域。生成器模型包含3个残差块(ResBlock)，每个ResBlock由2个BatchNorm层、2个ReLU和2个卷积层组成。判别器模型由三个模块组成：F、H和J。其中F只接收假图像和真图像，H只接受噪声和编码结果，其作用就是传统GAN中的判别器，F是卷积网络结构，判断输入图像是否为真；H是多层感知机结构，判断输入特征编码是否来自真实图像，模块J负责联合F和H的输出。分类模型中包含卷积层、平均池化层、残差块1、池化层1、ReLU1、残差块2、池化层2、ReLU2、残差块3、池化层3、全连接层。
具体地，步骤S3为肺结节检测流程，图4示出了肺结节检测方法的流程图：
S301、将获得的肺部区域分割图像作为输入；
S302、构建并训练肺结节检测模型；
S303、采用训练好的肺结节检测模型对CT图像中的肺结节进行检测，得到检测结果，同时对检测到的结节进行分类。
在一些实施方式中，步骤S303中所述肺结节检测模型为Faster R-CNN模型，搭建好网络模型之后，将训练集输入网络中进行训练，然后将测试集输入训练好的模型验证检测结果的准确度。
进一步地，所述Faster R-CNN模型包含卷积层、池化层、反卷积层和激活函数；所述卷积层是用3×3的卷积核与输入图像进行加权求和运算；所述池化层是采用平均池化操作；所述反卷积层是采用卷积操作将经过池化层后缩减的特征图尺寸扩大为原输入图像大小；激活函数采用ReLU线性修正单元。
进一步地，所述Faster R-CNN模型包含2个反卷积层、1个ROI池化层和3个全连接层，卷积核大小为3*3。反卷积和卷积的工作过程差不多，主要的区别在于反卷积输出图像的尺寸会大于输入图像的尺寸，反卷积能起到放大特征图的作用。对于反卷积，假设输入图像大小为i×i，卷积核尺寸为k×k，步长为s，像素填充大小为p，那么反卷积输出大小为
进一步地，所述Faster R-CNN模型包括特征提取网络、RPN网络和分类回归网络。对于肺结节检测模型，其中特征提取网络采用VGG16为了提高特征提取效果，使用两个反卷积层对特征图大小进行复原，并进行Concat连接，即对VGG16网络block3和block4最后一个卷积层分别与复原的同等大小的特征图进行Concat连接。Concat操作是Densenet网络中的密集连接，实现特征复用。分类回归网络采用模型融合的思想，将多个卷积网络的组合模型，通过投票表决真假结节分类和边框回归。所述卷积网络为几个不同的模型，包含卷积层、池化层和全连接层的数目不等。
在一些实施方式中，所述步骤S303中训练Faster R-CNN的方式包括训练方法和损失函数，所述训练方法采用Adam优化器，所述损失函数为：
pi表示Anchor[i]的预测概率；Anchor[i]是正样本时，
Anchor[i]是负样本时，
ti表示Anchor[i]预测的边界框的参数化坐标；
表示Anchor[i]的Ground Truth的边界框的参数化坐标；Ncls表示mini-batch size；Nreg表示Anchor Location的数量。其中，分类损失使用交叉熵损失函数计算，是三个类别的对数损失：
用于分类为正常、良性和恶性三类，故类别数量M＝3，pic表示Anchor[i]在类别c的预测概率。回归损失则使用平滑L1损失函数计算：
特别地，R是Smooth L1损失函数：
在一些实施方式中，对于分类任务来说，可以使用加权投票的方法：
其中，αi≥0；
各个分类器输出其预测的类别，取最高票对应的类别作为结果。若有多个类别都是最高票，那么随机选取一个。权重αi可以区分分类器的重要程度。使用类概率的投票称为软投票，类概率
即输出类别为cj的概率。对于回归任务来说，采用加权平均法：
同样的，αi≥0；；
在一些实施方式中，步骤S4所述病灶为检测得到的可疑病灶，包括结节、肿块等。
在一些实施方式中，所述定量定性数据包括病灶的数量、位置、体积、CT值和结节密度等定量评估数据，以及结节类型、良恶性等定性评价。
在一些实施方式中，所述自动生成的诊断结果为上述定量定性数据的文字展示。
在一些实施方式中，所述图文诊断报告包括影像所见、自动诊断结果、医生建议和随访建议。其中医生建议由审核医生审核自动诊断结果后手动填写，其余部分由计算机自动生成。
作为本发明的第二个实施例，提供了一种基于对抗网络和Faster R-CNN的肺结节辅助诊断系统，包括数字处理设备，该数字处理设备包括：处理器，存储器和计算机程序，执行所述计算机程序以创建应用，所述应用对医学图像应用深度神经网络进行实时诊断并给出图文诊断报告。
图5示出了系统的模块示意图，图6示出了系统详细模块图。所述系统包括以下模块：
数据获取模块，用于获取患者肺部CT影像数据；
肺实质分割模块，用于分割得到完整的肺实质；
肺结节检测模块，基于深度学习模型构建肺结节检测网络，将所述肺实质分割图像输入所述肺结节检测网络进行结节检测识别；
智能分析模块，自动确定肺结节的位置、体积、大小和良恶性提示等定性定量指标并展示，最后给出图文诊断报告，以辅助医生进行诊断。
优选地，所述数据获取模块401用于获取用户输入的肺部CT影像，并进行预处理。预处理包括对输入数据进行增强处理，以减少过拟合现象；对所述输入数据进行去噪处理，过滤噪声以使图像平滑。
在一些实施方式中，肺部CT影像是使用CT设备对患者肺部进行扫描生成的，可以是实时扫描的图像，也可以是存储在本地服务器或云端的图像，通过读取或网络传输的方式获取。
在一些实施方式中，数据增强处理采用缩放、镜像、随机旋转和加入随机噪声等方法扩增样本。
在一些实施方式中，输入图像去噪采用高斯平滑滤波方法使图像平滑。
优选地，所述肺实质分割模块402用于分割肺部区域，肺实质分割模型首先进行超像素分割并且合并超像素获得候选区域，然后将所述候选区域输入生成对抗网络进行分类，以获取精确的肺实质分割结果。
在一些实施方式中，采用简单线性迭代算法对原始肺部CT影像进行超像素分割，然后进行超像素合并得到候选区域。候选区域分类采用的是BigBiGAN网络，该网络对候选区域以无监督方式进行分类，达到CT图像各区域语义分割的效果，然后提取出肺部区域。
在一些实施方式中，所述候选区域是肺部区域、非肺部区域或者是其一部分。
优选地，所述肺结节检测模块403用于将肺实质分割图像输入构建好的肺结节检测模型得到检测识别结果，并将结果反馈给智能分析模块。
在一些实施方式中，所述肺结节检测模型为Faster R-CNN模型，搭建好网络模型之后，将训练集输入网络中进行训练，然后将测试集输入训练好的模型验证检测结果的准确度。
优选地，所述智能分析模块404用于接收诊断结果，并自动确定肺结节的位置、体积、大小和良恶性提示等定性定量指标并展示给用户，最后给出图文诊断报告。
在一些实施方式中，所述病灶为检测得到的可疑病灶，包括结节、肿块等。所述定量定性数据包括病灶的数量、位置、体积、CT值和结节密度等定量评估数据，以及结节类型、良恶性等定性评价。
在一些实施方式中，所述自动生成的诊断结果为上述定量定性数据的文字展示。
在一些实施方式中，系统以实时方式运行，自动实时地生成诊断结果。
在一些实施方式中，所述图文诊断报告包括影像所见、自动诊断结果、医生建议和随访建议。
在一些实施方式中，所述影像所见包括被颜色编码以指示检测到的病灶的一个或多个肺部CT图像。
在一些实施方式中，医生建议由审核医生审核自动诊断结果后手动填写，其余部分由计算机自动生成。
在一些实施方式中，随访建议包括根据自动诊断结果匹配的随访指南的内容。
由上，本申请的一种基于对抗网络和Faster R-CNN的肺结节辅助诊断系统的使用方法，首先将肺部CT影像数据输入肺实质分割模型进行肺实质分割处理以降低后续处理的复杂度，然后输入肺结节检测和分类模型进行诊断，有利于提高肺结节诊断的精度和效率以及临床决策的智能化水平。
Claims (5)
1.一种基于对抗网络和Faster R-CNN的肺结节辅助诊断系统，其特征在于，包括用于获取患者肺部CT影像数据的数据获取模块、用于分割得到完整肺实质的肺实质分割模块、基于深度学习模型构建肺结节检测网络，将肺实质分割图像输入肺结节检测网络进行结节检测识别；用于自动确定肺结节的定性定量数据并展示给用户，最后给出图文诊断报告，以辅助医生进行诊断的智能分析模块；它的使用方法包括以下步骤：
S1、获取肺部CT影像数据，进行预处理；
S2、利用预先训练的肺实质分割模型进行肺实质分割，得到每个图像对应的肺实质分割图像；肺实质分割方法首先使用简单线性迭代算法对原始肺部CT影像进行超像素分割，然后进行超像素合并获取候选区域，最后采用对抗网络进行分类得到肺实质分割图像；
S3、基于所述肺实质分割图像，利用预先训练的肺结节检测模型进行结节检测识别；肺结节检测方法采用Faster R-CNN模型进行结节检测，搭建好网络模型之后，将训练集输入网络中进行训练，然后将测试集输入训练好的模型验证检测结果的准确度，最后将肺实质分割图像输入模型进行肺结节的检测和分类；所述Faster R-CNN模型包括卷积层、池化层、反卷积层、激活函数、特征提取网络、RPN网络和分类回归网络；所述卷积层是用卷积核与输入图像进行加权求和运算，卷积核尺寸大小为3×3；所述池化层是采用平均池化操作，其中包含一个ROI池化层；所述反卷积层是采用卷积操作将经过池化层后缩减的特征图尺寸扩大为原输入图像大小，包括两个反卷积层；激活函数使用ReLU线性修正单元；所述特征提取网络采用VGG16模型，为了提高特征提取效果，使用两个反卷积层对特征图大小进行复原，并进行Concat连接，Concat操作是通道数的合并，描述图像的特征增加了而每一特征下的信息没有增加；所述分类回归网络，将全连接层改为卷积网络，二分类问题扩展为多分类问题，采用多个不同的卷积网络模型的融合，通过投票表决真假结节分类和边框回归，检测的同时识别恶性结节并得出恶性概率；训练Faster R-CNN的方式包括训练方法和损失函数，所述训练方法使用Adam优化器，损失函数包括分类损失和回归损失，分类损失使用交叉熵损失函数计算，回归损失则使用平滑L1损失函数计算；
S4、对病灶进行定量定性数据分析，得到肺结节位置和良恶性信息，自动生成诊断结果，经医生审核最终生成图文诊断报告。
2.根据权利要求1所述的一种基于对抗网络和Faster R-CNN的肺结节辅助诊断系统，其特征在于，所述定量定性数据包括病灶的数量、位置、体积、CT值和结节密度以及结节类型、良恶性。
3.根据权利要求1所述的一种基于对抗网络和Faster R-CNN的肺结节辅助诊断系统，其特征在于，所述肺部CT影像是使用CT设备对患者肺部进行扫描生成的实时扫描的图像或存储在本地服务器或云端的图像，通过本地读取或网络传输的方式获取。
4.根据权利要求1所述的一种基于对抗网络和Faster R-CNN的肺结节辅助诊断系统，其特征在于，所述超像素合并过程包括以下步骤：
（1）提取每个超像素的视觉特征：3维LAB颜色特征、40维Gabor纹理特征、256维HOG形状特征；
（2）根据超像素之间的邻接关系计算区域邻接图；
（3）根据不同特征计算超像素之间的距离，进而计算超像素间相似度；
（4）合并最相似的超像素；
（5）取合并超像素聚类中心的平均值作为新的聚类中心，更新超像素个数n；
（6）重复上述过程，直到任意超像素之间相似度小于阈值T。
5.根据权利要求3所述的一种基于对抗网络和Faster R-CNN的肺结节辅助诊断系统，其特征在于，肺实质分割部分所述对抗网络采用的是BigBiGAN网络，在生成图像的同时可以清晰地学习到语义并进行特征提取，对候选区域分类进而实现肺部区域的分割。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011205487.9A CN112365973B (zh) | 2020-11-02 | 2020-11-02 | 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011205487.9A CN112365973B (zh) | 2020-11-02 | 2020-11-02 | 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112365973A CN112365973A (zh) | 2021-02-12 |
| CN112365973B true CN112365973B (zh) | 2022-04-19 |
Family
ID=74513401
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011205487.9A Active CN112365973B (zh) | 2020-11-02 | 2020-11-02 | 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112365973B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111584046B (zh) * | 2020-05-15 | 2023-10-27 | 周凌霄 | 一种医学影像数据ai处理方法 |
| CN113077434B (zh) * | 2021-03-30 | 2023-01-24 | 零氪智慧医疗科技(天津)有限公司 | 基于多模态信息的肺癌识别方法、装置及存储介质 |
| CN113312848B (zh) * | 2021-06-10 | 2022-10-04 | 太原理工大学 | 一种以适配目标信息提取算法为目的光学系统智能设计方法 |
| CN113470001B (zh) * | 2021-07-22 | 2024-01-09 | 西北工业大学 | 一种用于红外图像的目标搜索方法 |
| CN113903452B (zh) * | 2021-09-18 | 2022-12-16 | 宁波大学医学院附属医院 | 一种医生肺结节辅助诊断系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108198179A (zh) * | 2018-01-03 | 2018-06-22 | 华南理工大学 | 一种生成对抗网络改进的ct医学图像肺结节检测方法 |
| CN109003672A (zh) * | 2018-07-16 | 2018-12-14 | 北京睿客邦科技有限公司 | 一种基于深度学习的早期肺癌检测分类一体化设备及系统 |
| CN109712153A (zh) * | 2018-12-25 | 2019-05-03 | 杭州世平信息科技有限公司 | 一种遥感图像城区超像素分割方法 |
| CN110060774A (zh) * | 2019-04-29 | 2019-07-26 | 赵蕾 | 一种基于生成式对抗网络的甲状腺结节识别方法 |
| CN110889826A (zh) * | 2019-10-30 | 2020-03-17 | 平安科技（深圳）有限公司 | 眼部oct图像病灶区域的分割方法、装置及终端设备 |
| CN111415728A (zh) * | 2019-11-25 | 2020-07-14 | 刘雷 | 基于cnn和gan的ct图像数据自动分类方法及设备 |
| CN111524144A (zh) * | 2020-04-10 | 2020-08-11 | 南通大学 | 一种基于GAN和Unet网络的肺结节智能诊断方法 |
| CN111724344A (zh) * | 2020-05-18 | 2020-09-29 | 天津大学 | 一种基于对抗网络生成医学超声影像数据的方法 |
-
2020
- 2020-11-02 CN CN202011205487.9A patent/CN112365973B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108198179A (zh) * | 2018-01-03 | 2018-06-22 | 华南理工大学 | 一种生成对抗网络改进的ct医学图像肺结节检测方法 |
| CN109003672A (zh) * | 2018-07-16 | 2018-12-14 | 北京睿客邦科技有限公司 | 一种基于深度学习的早期肺癌检测分类一体化设备及系统 |
| CN109712153A (zh) * | 2018-12-25 | 2019-05-03 | 杭州世平信息科技有限公司 | 一种遥感图像城区超像素分割方法 |
| CN110060774A (zh) * | 2019-04-29 | 2019-07-26 | 赵蕾 | 一种基于生成式对抗网络的甲状腺结节识别方法 |
| CN110889826A (zh) * | 2019-10-30 | 2020-03-17 | 平安科技（深圳）有限公司 | 眼部oct图像病灶区域的分割方法、装置及终端设备 |
| CN111415728A (zh) * | 2019-11-25 | 2020-07-14 | 刘雷 | 基于cnn和gan的ct图像数据自动分类方法及设备 |
| CN111524144A (zh) * | 2020-04-10 | 2020-08-11 | 南通大学 | 一种基于GAN和Unet网络的肺结节智能诊断方法 |
| CN111724344A (zh) * | 2020-05-18 | 2020-09-29 | 天津大学 | 一种基于对抗网络生成医学超声影像数据的方法 |
Non-Patent Citations (4)
| Title |
|---|
| Accurate Pulmonary Nodule Detection in Computed Tomography Images Using Deep Convolutional Neural Networks;Jia Ding 等;《Medical Image Computing and Computer Assisted Intervention 2017》;20170904;559-567 * |
| LGAN: Lung Segmentation in CT Scans Using Generative Adversarial Network;Jiaxing Tan 等;《https://arxiv.org/pdf/1901.03473.pdf》;20190111;1-8 * |
| 基于CT图像3D特征的肺结节检测;王彬 等;《东北大学学报(自然科学版)》;20180215;第39卷(第2期);181-185 * |
| 基于深度学习的医学图像肺结节检测算法研究;王厚华;《中国优秀硕士学位论文全文数据库信息科技辑》;20190215(第02期);I138-1578 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112365973A (zh) | 2021-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112365973B (zh) | 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统 | |
| CN111325739B (zh) | 肺部病灶检测的方法及装置，和图像检测模型的训练方法 | |
| US6125194A (en) | Method and system for re-screening nodules in radiological images using multi-resolution processing, neural network, and image processing | |
| Naresh et al. | Early detection of lung cancer using neural network techniques | |
| CN112862808A (zh) | 一种基于深度学习的乳腺癌超声图像的可解释性识别方法 | |
| CN112184684A (zh) | 一种改进的YOLO-v3算法及其在肺结节检测中的应用 | |
| CN114092450A (zh) | 一种基于胃镜检查视频的实时图像分割方法、系统、装置 | |
| Khordehchi et al. | Automatic lung nodule detection based on statistical region merging and support vector machines | |
| Liu et al. | Extracting lungs from CT images via deep convolutional neural network based segmentation and two-pass contour refinement | |
| Pereira et al. | Classifier ensemble based on computed tomography attenuation patterns for computer-aided detection system | |
| Jubeen et al. | An automatic breast cancer diagnostic system based on mammographic images using convolutional neural network classifier | |
| CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
| CN117274278B (zh) | 基于模拟感受野的视网膜图像病灶部位分割方法及系统 | |
| CN111724356B (zh) | 一种用于ct影像肺炎识别的图像处理方法和系统 | |
| CN116468690B (zh) | 基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统 | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| CN112862786B (zh) | Cta影像数据处理方法、装置及存储介质 | |
| CN112862785B (zh) | Cta影像数据识别方法、装置及存储介质 | |
| Saleh et al. | Classification the Mammograms Based on Hybrid Features Extraction Techniques Using Multilayer Perceptron Classifier | |
| CN113822846A (zh) | 医学图像中确定感兴趣区域的方法、装置、设备及介质 | |
| Li et al. | A new efficient 2D combined with 3D CAD system for solitary pulmonary nodule detection in CT images | |
| Horsthemke et al. | Predicting LIDC diagnostic characteristics by combining spatial and diagnostic opinions | |
| CN112862787B (zh) | Cta影像数据处理方法、装置及存储介质 | |
| CN111986165B (zh) | 一种乳房图像中的钙化检出方法及装置 | |
| Dutta et al. | Abnormality Detection and Segmentation in Breast Digital Mammography Images Using Neural Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |