CN111524144B - 一种基于GAN和Unet网络的肺结节智能诊断方法 - Google Patents
一种基于GAN和Unet网络的肺结节智能诊断方法 Download PDFInfo
- Publication number
- CN111524144B CN111524144B CN202010277366.9A CN202010277366A CN111524144B CN 111524144 B CN111524144 B CN 111524144B CN 202010277366 A CN202010277366 A CN 202010277366A CN 111524144 B CN111524144 B CN 111524144B
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- network
- lung
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010056342 Pulmonary mass Diseases 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000003745 diagnosis Methods 0.000 title claims abstract description 17
- 210000004072 lung Anatomy 0.000 claims abstract description 22
- 238000003709 image segmentation Methods 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000002372 labelling Methods 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims abstract description 6
- 230000011218 segmentation Effects 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 34
- 230000004913 activation Effects 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 14
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 239000000427 antigen Substances 0.000 claims description 3
- 102000036639 antigens Human genes 0.000 claims description 3
- 108091007433 antigens Proteins 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000002405 diagnostic procedure Methods 0.000 claims 4
- 238000000605 extraction Methods 0.000 abstract description 4
- 238000011161 development Methods 0.000 abstract description 3
- 230000018109 developmental process Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 50
- 238000001994 activation Methods 0.000 description 22
- 238000011068 loading method Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 101100508790 Schizosaccharomyces pombe (strain 972 / ATCC 24843) png2 gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 101150118324 png1 gene Proteins 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20101—Interactive definition of point of interest, landmark or seed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于GAN和Unet网络的肺结节智能诊断方法，包括以下步骤：对数据源中的肺部CT图像进行人工标注，以此获得肺结节的形态和位置信息；将肺部CT图像及其标注信息整合，作为完整的数据集；针对数据集进行图像预处理，划分数据集；将数据输入到已经构建好的图像增强模型中进行图像增强，得到图形增强模型；将增强的肺部CT图像输入到图像分割模型进行分割，找出疑似结节的位置并分割出来；分割出的图像输入到识别网络中进行判断；通过模型预测，并输出检测结果。本发明通过采用GAN作为图像增强网络，Unet作为图像分割网络，3DCNN作为特征提取的识别网络，Tensorflow作为开发框架，使得疑似肺结节得位置和形态能够及时被找出，提高工作的效率。
Description
技术领域
本发明涉及计算机视觉和深度学习领域，具体为一种基于GAN和Unet网络的肺结节智能诊断方法。
背景技术
当前，科技发展越来越快，越来越多的AI公司开始把目标看往医疗市场。希望通过AI技术帮助医生更好更快的对病人诊断，在减轻医生工作负担的同时，还能促进效率的提升和误诊率的降低。
目前，在医疗界，已经有相当多的AI工具开始为人们服务了，技术最成熟的当属肺结节智能诊断系统。这套系统只需将拍完的CT图像传至系统，短时间内机器就会找出疑似结节及其位置和状态，更有甚者能同步给出治疗方案，可以说大大减少了医生们的工作负担，效率有很大的提升。
但是由于设备成像的质量层次不齐，会遇到图像不清晰、关键部分拍摄不到位等问题，导致算法无法去适配所有质量的图像。不同的成像质量可能会给治疗带来完全相反的诊断意见，这在医疗行业是致命的，这给肺结节智能诊断系统带来了不小的挑战。
总体而言，医疗图像增强成了近年来研究人员的攻克热点，也是本次发明的研究重点。
发明内容
本发明的目的是为了提供一种基于GAN和Unet网络的肺结节智能诊断方法，通过采用GAN作为图像增强网络，Unet作为图像分割网络，3DCNN作为特征提取的识别网络，Tensorflow作为开发框架，使得疑似肺结节得位置和形态能够及时被找出，提高工作的效率，避免因医疗图像不清晰而导致诊断结果误差太大。
为了实现上述发明目的，本发明采用了以下技术方案：一种基于GAN和Unet 网络的肺结节智能诊断方法，包括以下步骤：步骤1.对数据源中的肺部CT图像进行人工标注，以此获得肺结节的形态和位置信息；
步骤2.将肺部CT图像及其标注信息整合，作为完整的数据集；
步骤3.针对数据集进行图像预处理，划分数据集，得到训练集，测试集和验证集；
步骤4.将数据输入到已经构建好的图像增强模型中进行图像增强，得到图形增强模型；
步骤5.将增强的肺部CT图像输入到图像分割模型进行分割，找出疑似结节的位置并分割出来；
步骤6.分割出的图像输入到识别网络中，判断是否为肺结节；
步骤7.通过模型预测，并输出检测结果。
优选的，在步骤3中，所述数据集进行图像预处理，具体包括以下步骤：步骤a.对肺部CT图像进行格式及尺寸标准化，原图格式为dicom格式，通过编写批量修改文件格式的程序，自动将dicom改为png格式；
步骤b.将图像尺寸标准化至512*512；
步骤c.将处理过的肺部CT图像进行异常值判断，先判断图像的色彩格式和像素区间，非RGB格式转化为RGB格式后再进行灰度处理；像素差异小于50 可认为是异常图片，舍去后按原序排序；
步骤d.生成随机种子seed，并按照8：2比例将经过图像预处理的肺部CT 图像划分训练集、测试集。
优选的，在步骤4中，所述图像数据增强包括图像形变、图像放缩、高斯滤波去噪以及GAN图像增强，具体操作如下：所述图像形变和放缩主要通过 opencv里的resize函数，rotate函数，transpose函数等来实现；
所述高斯滤波去噪通过opencv里的GaussBlur函数来实现，对整幅图像进行加权平均的过程，每一个像素点的值都由其本身和邻域内的其他像素值经过加权平均后得到，公式如下：
D(u,v)表示的是(u,v)距离傅里叶变换原点的距离，并且这个原点是经过中心化后的，δ表示的是高斯滤波器的带宽；
所述GAN图像增强具体操作如下：将原图像通过PS等软件批量降低分辨率形成低分辨率组，与高分辨率组一一对应，送入GAN网络进行对抗生成，当生成器产生的图片像素值与原图像素值90％对应，则认为图像增强成功。
优选的，所述图像增强模型采用GAN网络，所述图像增强模型包括一个生成器G和一个判别器D，所述生成器G包括多层卷积层，具体如下：第一层： 3*3的conv1卷积层，输出尺寸256*256，leakyReLU做激活函数；
第二层：3*3的conv2卷积层，输出尺寸512*512，leakyReLU做激活函数；
第三层：1*1的conv3卷积层，输出尺寸1024*1024，tanh做激活函数；
所述判别器D和生成器G结构输出尺寸完全相反，并添加了dropout层，最后一层使用softmax做激活函数。
优选的，所述图像分割模型采用Unet网络，所述图像分割模型包括依次连接的卷积层、批归一化层、ReLU激活函数层、自适应平均池化层以及一个全连接层，具体如下：第一层：conv1，输出尺寸为32*32，ReLU做激活函数；
第二层：conv2和bn批归一化层，输出尺寸为32*32，ReLU做激活函数；
第三层：最大池化层maxpool；
以上为一个卷积块convblock1，整个Unet网络包括10个卷积块，包含4个尺度64*64，128*128，256*256，512*512；
从第六个卷积块开始，每个卷积块都会与第10-n个卷积块相连接；最后为全连接层fn1，使用了softmax函数。
优选的，在步骤5中，所述图像分割网络训练过程中采用的损失函数loss为 focalloss：
优选的，在步骤6中，所述图像识别模型采用CNN网络，所述图像识别模型包括多层卷积层，具体如下：第一层：conv1，3D卷积层，ReLU做激活函数；
第二层：conv2，3D卷积层，ReLU做激活函数；
第三层：conv3，3D卷积层，ReLU做激活函数；
以上为一个卷积块convblock2，，整个3DCNN网络包括10个卷积块，包含 4个尺度64*64，128*128，256*256，512*512；
第八个卷积块最后会调用dropout函数防止过拟合，并连接全连接层fn2，使用了softmax函数；
所述图像识别网络具有3D图像处理功能，所述图像识别网络训练过程中采用的损失函数loss为dice loss：
优选的，所述图像分割与识别网络训练过程使用Adam作为优化器。
优选的，测试完的精度达到标准后，进行测试，输入一张标注过但未参与训练的图像，让模型判断，若检测出肺结节则用cvctangle函数框处肺结节位置并输出概率，否则不输出，测试完毕。
与现有技术相比，采用了上述技术方案的基于GAN和Unet网络的肺结节智能诊断方法，具有如下有益效果：采用本发明的基于GAN和Unet网络的肺结节智能诊断方法，通过采用GAN作为图像增强网络，Unet作为图像分割网络，3DCNN 作为特征提取的识别网络，Tensorflow作为开发框架，通过图像分割分割模块达到整合不同尺度的效果，增强高维度特征信息，使得疑似肺结节得位置和形态能够及时被找出，提高工作的效率，避免因医疗图像不清晰而导致诊断结果误差太大。
附图说明
图1为本发明基于GAN和Unet网络的肺结节智能诊断方法实施例的步骤示意图；
图2为本实施例中基于GAN和Unet网络的肺结节智能诊断方法的流程示意图；
图3为本实施例中GAN图像增强的流程示意图；
图4为本实施例中Unet图像分割的流程示意图；
图5为本实施例中CNN图像识别的流程示意图。
具体实施方式
下面结合附图对本发明做进一步描述。
如图1所示为基于GAN和Unet网络的肺结节智能诊断方法的步骤示意图，如图2所示为基于GAN和Unet网络的肺结节智能诊断方法的流程示意图，包括以下步骤：步骤1.对数据源中的肺部CT图像进行人工标注，以此获得肺结节的形态和位置信息，以及类别信息(是否为结节0，1)；
步骤2.将肺部CT图像及其标注信息整合，作为完整的数据集；
步骤3.针对数据集进行图像预处理，划分数据集，得到训练集，测试集和验证集；
在步骤3中，数据集进行图像预处理，具体包括以下步骤：步骤a.对肺部 CT图像进行格式及尺寸标准化，原图格式为dicom格式，用pydicom库的readfile 读取图像并加载，通过编写批量修改文件格式的程序，自动将dicom改为png 格式；
步骤b.利用SimpleITK工具包提取dicom文件的像素并保存至一个array，标准化不同规格的图像尺寸，统一将像素归一化到[0,1]区间，将图像尺寸标准化至512*512；
步骤c.将处理过的肺部CT图像进行异常值判断，先判断图像的色彩格式和像素区间，非RGB格式转化为RGB格式后再进行灰度处理，像素差异小于50 可认为是异常图片，舍去后按原序排序，并利用opencv里的GaussBlur函数实现去噪，处理好的图像保存至png1文件备份；
根据事先标注好的肺结节区域进行切割，把每一张图像所有的cube分割好平铺储存为png2，提取肺部有效区域，将分割后的cube进行二值化处理，通过 skimage工具包中的clearborder清除图像边界的小块区域，并用label对连通区域进行标记，分割出两块区域，通过regionarea计算连通域面积，保留最大的两个连通区域，对图像进行腐蚀和膨胀操作，将结节与血管分离，填充孔洞，利用roberts对图像进行边缘提取，之后将处理完的图像保存至im；
步骤d.生成随机种子seed，并按照8：2比例将经过图像预处理的肺部CT 图像划分训练集、测试集。
步骤4.将数据输入到已经构建好的图像增强模型中进行图像增强，得到图形增强模型，将原图像通过PS等软件批量降低分辨率形成低分辨率组，与高分辨率组一一对应，送入GAN网络进行训练。图像增强模型采用GAN网络，图像增强模型包括一个生成器G和一个判别器D，二者相互博弈，当生成器产生的图片像素值与原图像素值90％对应，则认为图像增强成功。生成器G包括多层卷积层，具体如下：第一层：3*3的conv1卷积层，输出尺寸256*256，leakyReLU 做激活函数；
第二层：3*3的conv2卷积层，输出尺寸512*512，leakyReLU做激活函数；
第三层：1*1的conv3卷积层，输出尺寸1024*1024，tanh做激活函数；
判别器D和生成器G结构输出尺寸完全相反，并添加了dropout层，最后一层使用softmax做激活函数。
图像数据增强包括图像形变、图像放缩、高斯滤波去噪以及GAN图像增强，具体操作如下：图像形变和放缩主要通过opencv里的resize函数，rotate函数， transpose函数等来实现；
高斯滤波去噪通过opencv里的GaussBlur函数来实现，对整幅图像进行加权平均的过程，每一个像素点的值都由其本身和邻域内的其他像素值经过加权平均后得到，公式如下：
D(u,v)表示的是(u,v)距离傅里叶变换原点的距离，并且这个原点是经过中心化后的，δ表示的是高斯滤波器的带宽；
GAN图像增强具体操作如下：将原图像通过PS等软件批量降低分辨率形成低分辨率组，与高分辨率组一一对应，送入GAN网络进行对抗生成，当生成器产生的图片像素值与原图像素值90％对应，则认为图像增强成功。
如图3所示为图像增强的流程示意图，具体包括以下步骤：步骤4-1：加载图像数据im以及用ps技术降低分辨率后的图像数据im2；
步骤4-2：利用build_GAN创建生成器G和判别器D，并设定损失函数 binary_crossentropy,优化器Adam，并初始化相关参数和预训练权重；
步骤4-3：进入训练循环，先将im2送入G进行第一轮预测得到结果im_g；
步骤4-4：让im_g与im连接并设定label值0和1；
步骤4-5：根据label让D进行第一轮训练；
步骤4-6：根据D的训练结果训练G，循环往复直至达到epoch预设值；
步骤4-7：当模型准确率达到预设标准时，输入原始im，获得图像增强后的 IM。
步骤5.将增强的肺部CT图像输入到图像分割模型进行分割，找出疑似结节的位置并分割出来；图像分割模型采用Unet网络，图像分割模型包括依次连接的卷积层、批归一化层、ReLU激活函数层、自适应平均池化层以及一个全连接层，具体如下：第一层：conv1，输出尺寸为32*32，ReLU做激活函数；
第二层：conv2和bn批归一化层，输出尺寸为32*32，ReLU做激活函数；
第三层：最大池化层maxpool；
以上为一个卷积块convblock1，整个Unet网络包括10个卷积块，包含4个尺度64*64，128*128，256*256，512*512；从第六个卷积块开始，每个卷积块都会与第10-n个卷积块相连接，达到整合不同尺度的效果，增强高维度特征信息；最后为全连接层fn1，使用了softmax函数。
如图4所示为图像分割的流程示意图，具体包括以下步骤：步骤5-1：初始化网络参数，预训练权重，加载经过图像增强之后的IM数据；
步骤5-2：对IM图像进行二次图像增强，利用elastic函数对图像进行形变操作；
步骤5-3：开始训练，初始化时间，并输入数据，加载cuda驱动，加速训练过程；
步骤5-4：数据经入网络，经过卷积，池化，Relu激活过程后，得到一个输出结果output；
步骤5-5：将output送入损失函数loss，求得focal loss，并更新误差；
步骤5-6：对损失函数进行反向传播(求导)；
步骤5-7：Adam优化器初始化权重参数，并记录此次求导后得到的参数；
步骤5-8：更新批次，更新时间；
步骤5-9：输出本次训练过程中的具体信息，包括训练批次，损失值，学习率以及dice系数；
步骤5-10：重复步骤5-3～5-9，直至一个批次结束，跳出循环；
步骤5-11：更新模型的权重参数和优化器的权重参数；
步骤5-12：记录本次dice系数最大的模型，并保存至model文件；
步骤5-13：重复步骤5-9～5-12，直至epoch循环结束；
步骤5-14：对比找出dice系数最高的模型权重，重命名文件为best_model；
步骤5-15：用最佳Unet模型对原数据IM进行预测，找出有结节的图像 im_cube，以及结节所在位置loc。
图像分割网络训练过程中采用的损失函数loss为focal loss：
步骤6.分割出的图像输入到识别网络中，判断是否为肺结节。图像识别模型采用CNN网络，图像识别模型包括多层卷积层，具体如下：第一层：conv1，3D卷积层，ReLU做激活函数；
第二层：conv2，3D卷积层，ReLU做激活函数；
第三层：conv3，3D卷积层，ReLU做激活函数；
以上为一个卷积块convblock2，，整个3DCNN网络包括10个卷积块，包含 4个尺度64*64，128*128，256*256，512*512；第八个卷积块最后会调用dropout 函数防止过拟合，并连接全连接层fn2，使用了softmax函数。
图像识别网络具有3D图像处理功能，图像识别网络训练过程中采用的损失函数loss为dice loss：
如图5所示为图像识别的流程示意图，具体包括以下步骤：步骤6-1：加载预训练权重，加载分割出的im_cube图像；
步骤6-2：根据这些图像的原有label，分成两组，一组label为0标识非结节区域，反之label为1表示结节区域；
步骤6-3：为了保证模型的泛化能力，打乱两组数据，生成随机种子seed3，并按照8：2比例将im_cube划分训练集、测试集；
步骤6-4：加载GPU和神经网络模型，初始化相关参数；
步骤6-5：设置his类，记录相关指标，方便画图；
步骤6-6：对即将进入网络的im_cube进行数据格式的转变；
步骤6-7：将处理后的im_cube图像进行叠加，转化成3D图像；
步骤6-8：数据经入网络，经过卷积，池化，批归一化，Relu激活过程后，得到一个输出结果output_temp；
步骤6-9：将output_temp利用flatten函数打平，与每张图像的类别一一对应得到output2；
步骤6-10：将output2送入损失函数loss，求得dice loss，并更新误差；
步骤6-11：反向传播，Adam优化器初始化权重参数，并记录此次求导后得到的参数；
步骤6-12：输出本次训练过程中的具体信息，包括训练批次，损失值，学习率以及精度；
步骤6-13：保留精度最高的模型，并保存至model2；
步骤6-14：重复步骤6-8～6-13，直至epoch循环结束；
步骤6-15：对比找出dice loss最小的模型权重，重命名文件为best_model2；
步骤6-16：用最佳3DCNN模型对原数据im_cube进行预测,找出所以存在疑似结节的im_cube，并将图像名称保存至名称列表list。
图像分割与识别网络训练过程使用Adam作为优化器，Adam是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重，公式如下：
mt＝μ*mt-1+(1-μ)*gt
优选的，测试完的精度达到标准后，进行测试，输入一张标注过但未参与训练的图像，让模型判断，若检测出肺结节则用cvctangle函数框处肺结节位置并输出概率，否则不输出，测试完毕。
步骤7.通过模型预测，并输出检测结果。其中，模型预测具体包括以下步骤：步骤7-1：初始化配置文件config，包含各项参数常量，路径信息等；
步骤7-2：加载GPU和三个神经网络的最佳模型，初始化相关参数；
步骤7-3：读取数据路径，进入epoch循环，分批次测试数据；
步骤7-4：判断文件格式，符合条件则提取像素；
步骤7-5：提取像素后进行像素归一和灰度处理，高斯去噪后备份至test1；
步骤7-6：将test1送入基于GAN的图像增强网络，输出结果test2；
步骤7-7：将test2送入基于Unet的图像分割网络，输出结果test3；
步骤7-8：test3中包含位置信息loc，接着将test3传入基于3DCNN的图像识别网络，得出结果test4，test4为一个矩阵，包含所有图像对应的类别信息 class以及概率p；
步骤7-9：根据loc和p，在原图像上利用rectangle函数框出结节位置，并展示出概率p；
步骤7-10：根据预测结果和原图标注结果比对，得到精度AP。
步骤7-11：重复步骤7-4～7-10，得出所有批次的精度，求得平均精度mAP。
其中，输出检测结果具体包括以下步骤：步骤8-1：模型性能评估指标常用的有f1score，mAP，AUC，此处使用mAP作为评估标准；
步骤8-2：检测结果输出，会以图像的形式输出，图像上包括框出的结节以及概率判定。至此，基于GAN和Unet网络的肺结节智能诊断方法说明完毕。
由于本发明涉及多个变量，表1对各个步骤中的变量进行说明。如下表1变量说明表：
表1
以上是本发明的优选实施方式，对于本领域的普通技术人员来说不脱离本发明原理的前提下，还可以做出若干变型和改进，这些也应视为本发明的保护范围。
Claims (5)
1.一种基于GAN和Unet网络的肺结节智能诊断方法，其特征在于：包括以下步骤：步骤1.对数据源中的肺部CT图像进行人工标注，以此获得肺结节的形态和位置信息；
步骤2.将肺部CT图像及其标注信息整合，作为完整的数据集；
步骤3.针对数据集进行图像预处理，划分数据集，得到训练集，测试集和验证集；
步骤4.将数据输入到已经构建好的图像增强模型中进行图像增强，得到图形增强模型；
步骤5.将增强的肺部CT图像输入到图像分割模型进行分割，找出疑似结节的位置并分割出来；
步骤6.分割出的图像输入到识别网络中，判断是否为肺结节；
步骤7.通过模型预测，并输出检测结果；
在步骤4中，所述图像增强包括图像形变、图像放缩、高斯滤波去噪以及GAN图像增强，具体操作如下：所述图像形变和放缩主要通过opencv里的resize函数，rotate函数，transpose函数等来实现；
所述高斯滤波去噪通过opencv里的GaussBlur函数来实现，对整幅图像进行加权平均的过程，每一个像素点的值都由其本身和邻域内的其他像素值经过加权平均后得到，公式如下：
D(u,v)表示的是(u,v)距离傅里叶变换原点的距离，并且这个原点是经过中心化后的，δ表示的是高斯滤波器的带宽；
所述GAN图像增强具体操作如下：将原图像通过PS等软件批量降低分辨率形成低分辨率组，与高分辨率组一一对应，送入GAN网络进行对抗生成，当生成器产生的图片像素值与原图像素值90％对应，则认为图像增强成功；
所述的图像增强模型采用GAN网络，所述图像增强模型包括一个生成器G和一个判别器D，所述生成器G包括多层卷积层，具体如下：第一层：3*3的conv1卷积层，输出尺寸256*256，leakyReLU做激活函数；
第二层：3*3的conv2卷积层，输出尺寸512*512，leakyReLU做激活函数；
第三层：1*1的conv3卷积层，输出尺寸1024*1024，tanh做激活函数；
所述判别器D和生成器G结构输出尺寸完全相反，并添加了dropout层，最后一层使用softmax做激活函数；
所述图像分割模型采用Unet网络，所述图像分割模型包括依次连接的卷积层、批归一化层、ReLU激活函数层、自适应平均池化层以及一个全连接层，具体如下：第一层：conv1，输出尺寸为32*32，ReLU做激活函数；
第二层：conv2和bn批归一化层，输出尺寸为32*32，ReLU做激活函数；
第三层：最大池化层maxpool；
以上为一个卷积块convblock2，整个Unet网络包括10个卷积块，包含4个尺度64*64，128*128，256*256，512*512；
从第六个卷积块开始，每个卷积块都会与第10-n个卷积块相连接；最后为全连接层fn1，使用了softmax函数；
在步骤6中，所述图像识别模型采用CNN网络，所述图像识别模型包括多层卷积层，具体如下：第一层：conv1，3D卷积层，ReLU做激活函数；
第二层：conv2，3D卷积层，ReLU做激活函数；
第三层：conv3，3D卷积层，ReLU做激活函数；
以上为一个卷积块convblock2，整个3DCNN网络包括10个卷积块，包含4个尺度64*64，128*128，256*256，512*512；
第八个卷积块最后会调用dropout函数防止过拟合，并连接全连接层fn2，使用了softmax函数；
所述图像识别网络具有3D图像处理功能，所述图像识别网络训练过程中采用的损失函数loss为dice loss：
2.根据权利要求1所述的基于GAN和Unet网络的肺结节智能诊断方法，其特征在于：在步骤3中，所述数据集进行图像预处理，具体包括以下步骤：步骤a.对肺部CT图像进行格式及尺寸标准化，原图格式为dicom格式，通过编写批量修改文件格式的程序，自动将dicom改为png格式；
步骤b.将图像尺寸标准化至512*512；
步骤c.将处理过的肺部CT图像进行异常值判断，先判断图像的色彩格式和像素区间，非RGB格式转化为RGB格式后再进行灰度处理；像素差异小于50可认为是异常图片，舍去后按原序排序；
步骤d.生成随机种子seed，并按照8：2比例将经过图像预处理的肺部CT图像划分训练集、测试集。
3.根据权利要求1所述的基于GAN和Unet网络的肺结节智能诊断方法，其特征在于：在步骤5中，所述图像分割网络训练过程中采用的损失函数loss为focal loss：
4.根据权利要求1所述的基于GAN和Unet网络的肺结节智能诊断方法，其特征在于：所述图像分割与识别网络训练过程使用Adam作为优化器。
5.根据权利要求1所述的基于GAN和Unet网络的肺结节智能诊断方法，其特征在于：在步骤7中，测试完的精度达到标准后，进行测试，输入一张标注过但未参与训练的图像，让模型判断，若检测出肺结节则用cvctangle函数框处肺结节位置并输出概率，否则不输出，测试完毕。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010277366.9A CN111524144B (zh) | 2020-04-10 | 2020-04-10 | 一种基于GAN和Unet网络的肺结节智能诊断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010277366.9A CN111524144B (zh) | 2020-04-10 | 2020-04-10 | 一种基于GAN和Unet网络的肺结节智能诊断方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111524144A CN111524144A (zh) | 2020-08-11 |
| CN111524144B true CN111524144B (zh) | 2023-12-26 |
Family
ID=71902553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010277366.9A Active CN111524144B (zh) | 2020-04-10 | 2020-04-10 | 一种基于GAN和Unet网络的肺结节智能诊断方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111524144B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102323B (zh) * | 2020-09-17 | 2023-07-07 | 陕西师范大学 | 基于生成对抗网络和Caps-Unet网络的粘连细胞核分割方法 |
| CN112365973B (zh) * | 2020-11-02 | 2022-04-19 | 太原理工大学 | 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统 |
| CN112862783A (zh) * | 2021-02-08 | 2021-05-28 | 杭州电子科技大学 | 一种基于神经网络的甲状腺ct图像结节自动诊断系统 |
| CN112819801A (zh) * | 2021-02-10 | 2021-05-18 | 桂林电子科技大学 | 一种改进U-Net的肺结节分割方法 |
| CN113177941B (zh) * | 2021-05-31 | 2022-09-27 | 中冶赛迪信息技术(重庆)有限公司 | 一种钢卷边裂识别方法、系统、介质和终端 |
| CN113506289B (zh) * | 2021-07-28 | 2024-03-29 | 中山仰视科技有限公司 | 一种利用双流网络进行肺结节假阳性分类的方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107451609A (zh) * | 2017-07-24 | 2017-12-08 | 上海交通大学 | 基于深度卷积神经网络的肺结节图像识别系统 |
| CN110516747A (zh) * | 2019-08-29 | 2019-11-29 | 电子科技大学 | 基于对抗生成网络和自编码结合的肺结节良恶性分类方法 |
| CN110942446A (zh) * | 2019-10-17 | 2020-03-31 | 付冲 | 一种基于ct影像的肺结节自动检测方法 |
-
2020
- 2020-04-10 CN CN202010277366.9A patent/CN111524144B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107451609A (zh) * | 2017-07-24 | 2017-12-08 | 上海交通大学 | 基于深度卷积神经网络的肺结节图像识别系统 |
| CN110516747A (zh) * | 2019-08-29 | 2019-11-29 | 电子科技大学 | 基于对抗生成网络和自编码结合的肺结节良恶性分类方法 |
| CN110942446A (zh) * | 2019-10-17 | 2020-03-31 | 付冲 | 一种基于ct影像的肺结节自动检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| Yuya Onishi 等.Multiplanar analysis for pulmonary nodule classification in CT images using deep convolutional neural network and generative adversarial networks.International Journal of Computer Assisted Radiology and Surgery.2019,全文. * |
| 徐峰 等.基于U-Net的结节分割方法.软件导刊.2018,正文第1-2节. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111524144A (zh) | 2020-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111524144B (zh) | 一种基于GAN和Unet网络的肺结节智能诊断方法 | |
| CN113906472A (zh) | 用于选择胚胎的方法和系统 | |
| JP2022551683A (ja) | 人工知能（ａｉ）モデルを使用した非侵襲的遺伝子検査を行う方法及びシステム | |
| CN111680690B (zh) | 一种文字识别方法及装置 | |
| CN112614136B (zh) | 一种红外小目标实时实例分割方法及装置 | |
| JP2010134957A (ja) | パターン認識方法 | |
| CN111080591A (zh) | 基于编码解码结构结合残差模块的医学图像分割方法 | |
| CN111815563B (zh) | 一种U-Net与区域增长PCNN相结合的视网膜视盘分割方法 | |
| CN111915626B (zh) | 心脏超声图像的心室区域自动分割方法、装置及存储介质 | |
| WO2024021461A1 (zh) | 缺陷检测方法及装置、设备、存储介质 | |
| CN113362277A (zh) | 一种基于深度学习的工件表面缺陷检测和分割方法 | |
| CN115601330A (zh) | 一种基于多尺度空间反向注意力机制的结肠息肉分割方法 | |
| CN114757908A (zh) | 基于ct影像的图像处理方法、装置、设备及存储介质 | |
| CN113222975B (zh) | 一种基于改进U-net的高精度视网膜血管分割方法 | |
| CN111210398A (zh) | 基于多尺度池化的白细胞识别系统 | |
| CN111666813B (zh) | 基于非局部信息的三维卷积神经网络的皮下汗腺提取方法 | |
| Huang et al. | HEp-2 cell images classification based on textural and statistic features using self-organizing map | |
| CN117058079A (zh) | 基于改进ResNet模型的甲状腺显像图像自动诊断方法 | |
| CN112270404A (zh) | 一种基于ResNet64网络的紧固件产品鼓包缺陷的检测结构及其方法 | |
| CN116778164A (zh) | 一种基于多尺度结构改进DeeplabV3+网络的语义分割方法 | |
| CN113177602B (zh) | 图像分类方法、装置、电子设备和存储介质 | |
| CN115439850A (zh) | 基于审单的图文字符识别方法、装置、设备及存储介质 | |
| CN114782822A (zh) | 电力设备的状态检测方法、装置、电子设备及存储介质 | |
| CN113052799A (zh) | 一种基于Mask RCNN网络的骨肉瘤和骨软骨瘤预测方法 | |
| CN116309454B (zh) | 基于轻量化卷积核网络的病理图像智能识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |