CN112967254A - 基于胸部ct影像肺部疾病识别和检测方法 - Google Patents
基于胸部ct影像肺部疾病识别和检测方法 Download PDFInfo
- Publication number
- CN112967254A CN112967254A CN202110250643.1A CN202110250643A CN112967254A CN 112967254 A CN112967254 A CN 112967254A CN 202110250643 A CN202110250643 A CN 202110250643A CN 112967254 A CN112967254 A CN 112967254A
- Authority
- CN
- China
- Prior art keywords
- image
- convolution
- chest
- lung disease
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 57
- 208000019693 Lung disease Diseases 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 22
- 230000017105 transposition Effects 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 238000005070 sampling Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 210000000038 chest Anatomy 0.000 claims description 30
- 238000010586 diagram Methods 0.000 claims description 24
- 238000011160 research Methods 0.000 claims description 15
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 230000006872 improvement Effects 0.000 claims description 6
- 239000002131 composite material Substances 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000013185 thoracic computed tomography Methods 0.000 claims 1
- 238000002591 computed tomography Methods 0.000 abstract description 60
- 239000010410 layer Substances 0.000 description 24
- 238000003745 diagnosis Methods 0.000 description 8
- 230000003902 lesion Effects 0.000 description 7
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 230000004913 activation Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000004195 computer-aided diagnosis Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 210000000481 breast Anatomy 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003707 image sharpening Methods 0.000 description 3
- 210000004072 lung Anatomy 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 241001270131 Agaricus moelleri Species 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 201000005202 lung cancer Diseases 0.000 description 2
- 208000020816 lung neoplasm Diseases 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000036285 pathological change Effects 0.000 description 2
- 231100000915 pathological change Toxicity 0.000 description 2
- 230000002685 pulmonary effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004083 survival effect Effects 0.000 description 2
- 206010035664 Pneumonia Diseases 0.000 description 1
- 206010056342 Pulmonary mass Diseases 0.000 description 1
- 206010044302 Tracheitis Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 208000018555 lymphatic system disease Diseases 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 201000003144 pneumothorax Diseases 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于胸部CT影像肺部疾病识别和检测方法，包括如下步骤：1)医学影像预处理：将原始CT图像的灰度值转化为HU值，窗宽窗位的选择、插值法消除采样差异和添加拉普拉斯卷积层锐化图像，输出清晰的胸部CT影像供胸部CT影像肺部疾病识别和检测方法使用；2)建立胸部CT影像肺部疾病识别和检测模型：a、在Faster‑RCNN的backbone网络中加入转置卷积层，使用转置卷积进行信息的还原；b、提出一种基于Inception结构的转置卷积网络层，用于解决图像空间中检测物的信息丢失情况；c、设计转置卷积小组通过与Faster‑RCNN的Backbone网络进行结合，可以得到对检测目标比较有效的特征提取网络。本发明实现胸部CT影像远程检测识别，通过分布式架构提升效率，从而提高准确度。
Description
技术领域
本发明属于医学图像识别技术领域，具体涉及一种基于胸部CT影像肺部疾病识别和检测方法。
背景技术
中国是肺部疾病大国，肺炎、气胸和肺癌的发病率在全球范围内较高。肺部疾病除了会引起与肺部有关的疾病之外，还会引发多种并发症，如：气管炎、心脏疾病、淋巴系统疾病等。随着影像诊断学的发展，胸腔计算机断层成像(Computed Tomography,CT)，胸腔磁共振成像(Magnetic Resonance Imaging,MRI)等检测手段在肺部疾病的诊断中扮演着日益重要的角色。胸部CT影像作为对肺部疾病最有效的无创检测技术，其以分层薄、高清、低噪声等优点，被广泛用于肺癌筛查和辅助诊断。
日益精细化的医学图像提供了大量的有用信息，对辅助医生做出准确诊断发挥着至关重要的作用。然而，人工阅片一方面耗时耗力，加上病理学的广泛差异、医生的潜在疲劳以及不同医生主观意识上的偏差，往往会造成漏检、误判的情况出现。而海量的影像数据每天都被生产出来，机器阅片帮助人工做病灶位置粗筛、疾病辅助诊断已经成为潮流。在人工智能技术加持下，机器阅片具有速度快、准确率高、高并发等优势。因此，利用计算机辅助诊断(Computer Aided Diagnosis,CAD)技术对肺结节进行定位能够更好的辅助医生对疾病进行诊断，提高患者的生存率，改善生活质量。
由于基于胸部CT影像肺部疾病识别和检测的研究具有重要的应用价值，国内外的学者对该问题进行了大量研究。医学影像的肺部疾病检测作为计算机辅助诊断的一个重要领域。随着机器学习在生物信息学的广泛应用，将机器学习方法用于医学影像的肺部疾病诊断是学者们一直致力研究的方向。肺部疾病是对人类健康的严重威胁，如果患者在疾病的关键时期得到及时的诊断和治疗，它将大大提高生存率。医学图像可以作为一种广泛的诊断方法，提供了大量有用的信息数据。然而，不断增加的图像数据也给手动阅读带来了巨大挑战。不同医生的主观意识与个人经验偏差常常导致效率低下甚至误判。因此，近年来医学图像的信息提取和处理分析已成为计算机辅助诊断领域的一个重要研究领域。常见肺部疾病的种类较多且病变情况复杂，因此只对胸部CT影像进行单一病种的辅助诊断在效率上存在一定的局限性。由于地区经济发展的不平衡，我国不同地区间的医疗卫生事业发展也存在显著差异，导致医疗资源的分配失衡。针对以上问题，本发明设计了胸部CT影像肺部疾病识别和检测方法，具体内容为：
1、该系统通过云端服务器进行图像预处理和肺部疾病预测。在服务器端存有完整的模型对输入图像进行检测。实际应用中，基层医院在终端上传需要预测的图像，服务器调取模型对图片进行处理、预测。
2、云服务器，接收终端传来的文件，将文件传输给数据库。数据库接受图像信息并存储，预处理图像后将图像放入卷积神经网络模型中。模型将对图像进行预测，预测结果打包为数据流回传给终端。
3、基于卷积神经网络的肺部多病种诊断。系统从数据库中提取图片，通过预训练的模型，对图中的病灶进行定位。发现疑似目标后，会将目标在原图上标出，反馈给终端。终端接受信息后，将预测图输出。
胸部CT影像肺部疾病识别和检测方法的研究已经有很大进展，但随着研究的不断深入，涌现出了一些新的挑战，具体如下：
1、考虑到肺部疾病众多，第一个挑战便是如何设计算法减少图像质量对检测结果的影响。
2、考虑到肺部疾病特征的多样性，第二个挑战便是如何设计肺部疾病特征的提取和匹配算法提高行人识别效率。
4、考虑到需要处理的图像或视频数据量很大，CT影像文件较大，服务器运算压力较大，第三个挑战便是如何合理设计系统结构减轻服务器运算压力。
发明内容
有鉴于此，为了解决上述现有技术问题，本发明提出利用胸部CT影像肺部疾病识别和检测方法，能够准确的完成对待检测肺部影像的辅助诊断，具有适应性强，检测准确的有益效果。
本发明的技术解决方案是，提供了一种利用胸部CT影像肺部疾病识别和检测方法，包括以下步骤：
1)医学影像预处理：将数据集中原始CT图像的灰度值转换为HU值，将大部分病变区域的HU值的极小值和极大值分别作为该数据集的窗位和窗宽，进行数据归一化。通过插值法消除采样差异，最后添加拉普拉斯卷积层锐化图像，输出清晰的胸部CT影像供胸部CT影像肺部疾病识别和检测方法使用；
2)建立胸部CT影像肺部疾病识别和检测模型：
a、在Faster-RCNN的backbone网络中加入转置卷积层，使用转置卷积进行尺寸和信息的还原，通过转置卷积后的特征图增强了小目标检测物的特征信息，有利于后期的小目标检测；
b、提出一种基于Inception结构的转置卷积网络层，用于解决图像空间中小目标检测物的信息丢失情况，在扩大特征图尺寸的情况下还原小目标的特征信息；
c、设计转置卷积小组通过与Faster-RCNN的Backbone网络进行结合，可以得到对检测小目标比较有效的特征提取网络。将这种复合型网络结构作为Faster-RCNN的共享特征提取网络。
可选的，基于胸部CT影像肺部疾病识别和检测平台，所述胸部CT影像肺部疾病识别和检测平台包括云端服务器、若干边缘服务器和CT仪器，所述云端服务器连接每台边缘服务器，所述边缘服务器与各地区的终端CT仪器相连接。
本发明与现有技术相比，具有如下优点：基于胸部CT影像肺部疾病识别和检测平台，实现胸部CT影像远程检测识别，引入边缘服务器能够减少云计算服务器的负载，通过分布式的架构提升效率，从而提高准确度。
附图说明
图1是转置卷积的结构示意图；
图2是Inception结构图；
图3是转置卷积Inception小组A结构图；
图4是转置卷积Inception小组B结构图；
图5是改进后的Faster-RCNN模型图；
图6是云平台构建模型图。
具体实施方式
以下结合附图对本发明的优选实施例进行详细描述，但本发明并不仅仅限于这些实施例。本发明涵盖任何在本发明的精神和范围上做的替代、修改、等效方法以及方案。
为了使公众对本发明有彻底的了解，在以下本发明优选实施例中详细说明了具体的细节，而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。
如图1和2所示，本发明的胸部CT影像肺部疾病识别和检测方法，其特征在于：包括如下步骤：
1)医学影像预处理：将数据集中原始CT图像的灰度值转换为HU值，将大部分病变区域的HU值的极小值和极大值分别作为该数据集的窗位和窗宽，进行数据归一化，通过插值法消除采样差异，最后添加拉普拉斯卷积层锐化图像，输出一张清晰的胸部CT影像供胸部CT影像肺部疾病识别和检测方法使用；
2)转置卷积：转置卷积可以对传统卷积网络结构的输出特征图进行尺寸的还原，合理的转置卷积，可以精细化扩大特征图，将具有强激活的原始位置追溯到图像空间来观察目标类在卷积中的表征信息。通过转置卷积，与目标类密切相关的激活信息将被放大，而噪声信息将被抑制；
3)Inception结构：Inception结构提出的目的是为了在不增加网络计算负担的情况下同时考虑了网络模型的宽度和深度两方面因素，通过Inception结构网络层的堆叠，进而提高精度。
本发明将Faster-RCNN应用于医学影像的肺部疾病检测，以提高医生的医学影像诊断效率。针对于Faster-RCNN难以检测小目标病灶的现象，提出了一种转置卷积Inception小组。将提出的转置卷积Inception小组与VGG16结合作为faster-RCNN的backbone网络。
基于胸部CT影像肺部疾病识别和检测平台，所述胸部CT影像肺部疾病识别和检测平台包括云端服务器、若干边缘服务器和CT仪器，所述云端服务器连接每台边缘服务器，所述边缘服务器与各地区的终端CT仪器相连接。
给云端服务器输入待检测CT影像，云端服务器通过本发明的模型进行特征提取；云端服务器将提取的特征与已有特征集进行比对；若经比对判定其为异常病例，则将异常特征和异常位点传回边缘服务器，云端服务器记录异常病例，并对病例特征进行分析，依此对初始特征集进行更新，以实现CT影像的识别精度提升。
在步骤1)中，采用拉普拉斯卷积层锐化图像提高边缘像素的灰度值差异性。在图像锐化中使用差分运算，可以反映每个图像像素的灰度值。医学影像中的肺部结节通常具有“毛玻璃”的病理现象，其主要特征为轮廓模糊，难以人体组织区分。差分运算能够确定边缘像素并增强其像素值。通过拉普拉斯卷积之后提高了结节的像素值，较原始图像的结节更为清晰，便于后期的检测。
在步骤2)中，图1的输入特征图经过卷积之后尺寸缩小，会变为原始的四分之一大小，经过多层的卷积后，会丢失原始图片中的小目标信息。转置卷积与卷积的操作相反，但不是卷积的逆运算，转置卷积通过卷积操作将特征图的尺寸逐渐还原，保留了小目标的特征信息。文献将卷积后的特征图进行转置卷积的信息还原，可以很清晰的还原检测物在图像空间中的位置，并且去除了部分噪声。
对本发明更具体的方法和步骤作进一步说明如下：
医学影像预处理：
图像及其相关信息的标准文件格式，这类文件除了包含CT图片以外，还包括图像分辨率、患者的年龄和性别等许多原始数据信息。为了让图像数据能更好的应用在之后的步骤中，本系统的图像预处理部分工作主要有以下四点：将原始CT图像的灰度值转化为HU值，窗宽窗位的选择、插值法消除采样差异和添加拉普拉斯卷积层锐化图像。
(1)将原始CT图像的灰度值转化为HU值
CT的特点是能够分辨人体组织密度的轻微差别，所采用的标准是根据各种组织对X线的线性吸收系数来决定的。当某一组织发生病变的时候，其密度会发生相应变化，因此X线的吸收系数也会发生变化。为了计算与论述方便，Hounsfield将线性衰减系数划分为2000个单位，称为CT值。因此需要将X线的吸收系数表达成相应的数值，也就是将原始DICOM格式图像中的灰度值转化成CT值。亨氏单位(Hounsfield unit,HU)用来定义CT图片中X射线穿过物体的衰减系数。
(2)窗宽窗位的选择
人体组织CT值的范围为-1000到+1000共2000个分度，人眼不能分辨这样微小灰度的差别，仅能分辨16个灰阶。为了提高组织结构细节的显示，能分辨CT值差别小的两种组织，操作人员可根据诊断需要调节图像的对比度和亮度，这种调节技术称为窗技术。临床工作中，为了使CT图像上欲观察的组织结构和病变达到最佳显示，并将医学影像中与病灶无关的信息剔除，需依据它们的CT值范围，选用不同的窗技术，其包括窗宽和窗位。
(3)插值法消除采样差异
不同的医疗机构使用的低剂量CT扫描设备不尽相同，因此CT图像的像素尺寸可能也存在差异。更重要的是不同的扫描设备在采样时，每次的采样距离存在差异，导致CT切片的厚度不同。例如LIDC-IDIR数据集中部分CT切片的层厚只有1mm，另外部分切片的层厚有3～5mm，相差较大。因此深度学习模型不仅要学习图像的特征，还要学习由不同设备采集的切片Z轴分布，加大了深度学习模型的学习难度。因此，本研究工作使用插值法对原CT图像在x轴上进行重采样，将3个方向的切片厚度和像素间距都调整为1mm*1mm*1mm(分别对应直角坐标系里的x轴、y轴和z轴)从而保证输入图像像素尺寸的统一，避免之后的检测工作因此产生误差。本研究工作针对不同医学影像数据集的特点，观察并统计各个数据集中标注区域的HU值的分布，并将大部分病变区域的HU值的极小值和极大值分别作为该数据集的窗位和窗宽，进行数据归一化。
(4)添加拉普拉斯卷积层锐化图像
图像锐化的目的在于提高边缘像素的灰度值差异性。在图像锐化中使用差分运算，可以反映每个图像像素的灰度值。医学影像中的肺部结节通常具有“毛玻璃”的病理现象，其主要特征为轮廓模糊，难以人体组织区分。差分运算能够确定边缘像素并增强其像素值。本研究工作将卷积锐化作为一层网络结构，加入到检测模型中，使用拉普拉斯算子作为卷积核。
最终实现能够将原始CT影像处理过后，输出一张清晰的胸部CT影像供胸部CT影像肺部疾病识别和检测方法使用。
建立胸部CT影像肺部疾病识别和检测模型：
本研究工作将Faster-RCNN应用于医学影像的肺部疾病检测，以提高医生的医学影像诊断效率。针对于Faster-RCNN难以检测小目标病灶的现象，提出了一种转置卷积Inception小组。将提出的转置卷积Inception小组与VGG16结合作为faster-RCNN的backbone网络。实验表明，改进后的faster-RCNN提高了小目标结节的检测效果，同时提高了总体的检测精度。
(1)深度残差网络
在VGG16网络构建更深层网络而提高了精度后，研究者们普遍通过增加卷积神经网络的深度来提升模型的性能，提高模型的特征提取能力。然而随着网络的过度加深，更深层的模型性能反而会变差，这一现象被成为网络退化现象。为了解决这一现象，何凯明等人在2015年提出了残差结构(Residual Block)，通过使用残差结构，可以避免出现网络退化问题，使用残差结构构建的深度网络被称为深度残差网络(Deep Residual Network,ResNet)，ResNet可以在不增加网络复杂度的情况下消除网络退化的现象。
(2)转置卷积
转置卷积可以对传统卷积网络结构的输出特征图进行尺寸的还原，合理的转置卷积，可以精细化扩大特征图，将具有强激活的原始位置追溯到图像空间来观察目标类在卷积中的表征信息。通过转置卷积，与目标类密切相关的激活信息将被放大，而噪声信息将被抑制。因此，转置卷积在图像分割、特征图可视化、图像生成领域有着广泛的应用。
转置卷积也是一种卷积操作，而不是卷积的逆运算。网络层中卷积的正向传播和反向传播是转置卷积的反向传播和正向传播。转置卷积原理示意图如图1所示。
图1的输入特征图经过卷积之后尺寸缩小，会变为原始的四分之一大小，经过多层的卷积后，会丢失原始图片中的小目标信息。转置卷积与卷积的操作相反，但不是卷积的逆运算，转置卷积通过卷积操作将特征图的尺寸逐渐还原，保留了小目标的特征信息。文献将卷积后的特征图进行转置卷积的信息还原，可以很清晰的还原检测物在图像空间中的位置，并且去除了部分噪声。
本实验将在Faster-RCNN的backbone网络中加入转置卷积层，使用转置卷积进行尺寸和信息的还原，通过转置卷积后的特征图增强了小目标检测物的特征信息，有利于后期的小目标检测。
(3)Inception结构
GoogLenet是谷歌提出的一系列网络结构，该系列网络包括Inception v1、Inception v2、Inception v3和Inception v4等模型。GoogLeNet系列网络的主要工作是提出了一种Inception结构，并基于此不断的优化和改进。Inception结构提出的目的是为了在不增加网络计算负担的情况下同时考虑了网络模型的宽度和深度两方面因素，通过Inception结构网络层的堆叠，进而提高精度。原始的Inception结构图参见图2。
谷歌的研究人员在Inception结构提出后，又做了很多的改进，包括提出了了批归一化层(Batch normalization,BN)减少了Internal Covariate Shift，将较大尺寸卷积进行拆分来获取更好的特征提取效果并且减少计算量等方法。
本研究工作提出一种基于Inception结构的转置卷积网络层，用于解决图像空间中小目标检测物的信息丢失情况，在扩大特征图尺寸的情况下还原小目标的特征信息。
(4)网络架构
①转置卷积Inception小组
本研究工作主要设计了有效的转置卷积网络小组，达到保留及加强小目标特征信息的效果。根据上文的Inception结构，设计了一种转置卷积Inception小组A(简称BlockA)，其结构图如图3所示。
图3中的Block A主要由1*1卷积和多种尺寸转置卷积构建。1*1卷积的使用原因：1)可以对输入的特征图进行通道降维，减少计算量。2)这种特征图通道融合的方法，能够对特征图进行跨通道的信息交互。3)在不改变特征图尺寸的情况下，增强模型的非线性表达能力。此外，Block A包含了三种不同尺度的转置卷积：7*7转置卷积、5*5转置卷积和3*3转置卷积。这种构建网络层的方式增大了模型的宽度，并且可以得到更丰富的特征信息。
本研究工作在基于Block A的结构中，进行了一些改进，提高对卷积输出特征图中小目标检测物的特征还原效果，并且提高训练的收敛速度。改进后的转置卷积Inception小组B(简称Block B)如图4所示。
在Block B中，将5*5转置卷积层拆分为3*3，1*3和3*1三层不同卷积核大小的转置卷积结构，将7*7转置卷积拆分为1*7和7*1的两层转置卷积层。这样的做法不仅可以减少模型参数量，节约算力资源，还可以得到具有正则化效果的特征图，同时，将单层转置卷积拆分为多层转置卷积，可以提高模型的非线性表达能力，而且在多层转置卷积层之间均使用了BN层，也减少Internal Covariate Shift的影响。
本研究工作设计的转置卷积小组通过与Faster-RCNN的Backbone网络进行结合，可以得到对检测小目标比较有效的特征提取网络。将这种复合型网络结构作为Faster-RCNN的共享特征提取网络，在精度和小目标检测上都有着一定的提升。
②改进后Faster-RCNN
本研究工作将提出的Block B和VGG16网络作为Faster-RCNN的Backbone网络，得到的Faster-RCNN架构如图5所示。
由图5可以看到，Faster-RCNN中的Backbone网络由VGG16和Block B组合而成，通过这种网络进行图像的特征提取，既可以得到图像的语义特征，又可以保留图像空间的小目标检测物位置信息。这种复合式Backbone网络，能够在较小的参数量下，提高检测精度和小目标检测效果。
以上所述的实施方式，并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同替换和改进等，均应包含在该技术方案的保护范围之内。
Claims (5)
1.一种基于胸部CT影像肺部疾病识别和检测方法，其特征在于：包括如下步骤：
1)医学影像预处理：将原始CT图像的灰度值转化为HU值，窗宽窗位的选择、插值法消除采样差异和添加拉普拉斯卷积层锐化图像，输出清晰的胸部CT影像供胸部CT影像肺部疾病识别和检测方法使用；
2)建立胸部CT影像肺部疾病识别和检测模型：
a、在Faster-RCNN的backbone网络中加入转置卷积层，使用转置卷积进行尺寸和信息的还原，通过转置卷积后的特征图增强了小目标检测物的特征信息，有利于后期的小目标检测；
b、提出一种基于Inception结构的转置卷积网络层，用于解决图像空间中小目标检测物的信息丢失情况，在扩大特征图尺寸的情况下还原小目标的特征信息；
c、设计转置卷积小组通过与Faster-RCNN的Backbone网络进行结合，可以得到对检测小目标比较有效的特征提取网络，将这种复合型网络结构作为Faster-RCNN的共享特征提取网络。
2.根据权利要求1所述的基于胸部CT影像肺部疾病识别和检测方法，其特征在于：基于胸部CT影像肺部疾病识别和检测平台，所述胸部CT影像肺部疾病识别和检测平台包括云端服务器、若干边缘服务器和CT仪器，所述云端服务器连接每台边缘服务器，所述边缘服务器与各地区的终端CT仪器相连接。
3.根据权利要求1或2所述的基于胸部CT影像肺部疾病识别和检测方法，其特征在于：给云端服务器输入待检测CT影像，云端服务器通过本发明的模型进行特征提取；云端服务器将提取的特征与已有特征集进行比对；若经比对判定其为异常病例，则将异常特征和异常位点传回边缘服务器，云端服务器记录异常病例，并对病例特征进行分析，依此对初始特征集进行更新，以实现CT影像的识别精度提升。
4.根据权利要求1所述的基于胸部CT影像肺部疾病识别和检测方法，其特征在于：在步骤1)中，图像及其相关信息的标准文件格式，这类文件除了包含CT图片以外，还包括图像分辨率、患者的年龄和性别等许多原始数据信息；为了让图像数据能更好的应用在之后的步骤中，本系统的图像预处理部分工作主要有以下四点：将原始CT图像的灰度值转化为HU值，窗宽窗位的选择、插值法消除采样差异和添加拉普拉斯卷积层锐化图像。
5.根据权利要求1所述的基于胸部CT影像肺部疾病识别和检测方法，其特征在于：在步骤2)中，本研究工作设计的转置卷积小组通过与Faster-RCNN的Backbone网络进行结合，可以得到对检测小目标比较有效的特征提取网络，将这种复合型网络结构作为Faster-RCNN的共享特征提取网络，在精度和小目标检测上都有着一定的提升。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110250643.1A CN112967254A (zh) | 2021-03-08 | 2021-03-08 | 基于胸部ct影像肺部疾病识别和检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110250643.1A CN112967254A (zh) | 2021-03-08 | 2021-03-08 | 基于胸部ct影像肺部疾病识别和检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112967254A true CN112967254A (zh) | 2021-06-15 |
Family
ID=76276847
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110250643.1A Pending CN112967254A (zh) | 2021-03-08 | 2021-03-08 | 基于胸部ct影像肺部疾病识别和检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112967254A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113705578A (zh) * | 2021-09-10 | 2021-11-26 | 北京航空航天大学 | 胆管形态识别方法及装置 |
| CN116452464A (zh) * | 2023-06-09 | 2023-07-18 | 天津市肿瘤医院（天津医科大学肿瘤医院） | 一种基于深度学习的胸部图像增强处理方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805209A (zh) * | 2018-06-14 | 2018-11-13 | 清华大学深圳研究生院 | 一种基于深度学习的肺结节筛查方法 |
| CN109886159A (zh) * | 2019-01-30 | 2019-06-14 | 浙江工商大学 | 一种非限定条件下的人脸检测方法 |
| CN109919033A (zh) * | 2019-01-31 | 2019-06-21 | 中山大学 | 一种基于边缘计算的自适应城市寻人方法 |
| CN111046917A (zh) * | 2019-11-20 | 2020-04-21 | 南京理工大学 | 基于深度神经网络的对象性增强目标检测方法 |
| CN112163477A (zh) * | 2020-09-16 | 2021-01-01 | 厦门市特种设备检验检测院 | 一种基于FasterR-CNN的扶梯行人位姿目标检测方法及系统 |
| CN112184657A (zh) * | 2020-09-24 | 2021-01-05 | 上海健康医学院 | 一种肺结节自动检测方法、装置及计算机系统 |
| CN112200106A (zh) * | 2020-10-16 | 2021-01-08 | 中国计量大学 | 跨相机行人重识别与跟踪方法 |
-
2021
- 2021-03-08 CN CN202110250643.1A patent/CN112967254A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805209A (zh) * | 2018-06-14 | 2018-11-13 | 清华大学深圳研究生院 | 一种基于深度学习的肺结节筛查方法 |
| CN109886159A (zh) * | 2019-01-30 | 2019-06-14 | 浙江工商大学 | 一种非限定条件下的人脸检测方法 |
| CN109919033A (zh) * | 2019-01-31 | 2019-06-21 | 中山大学 | 一种基于边缘计算的自适应城市寻人方法 |
| CN111046917A (zh) * | 2019-11-20 | 2020-04-21 | 南京理工大学 | 基于深度神经网络的对象性增强目标检测方法 |
| CN112163477A (zh) * | 2020-09-16 | 2021-01-01 | 厦门市特种设备检验检测院 | 一种基于FasterR-CNN的扶梯行人位姿目标检测方法及系统 |
| CN112184657A (zh) * | 2020-09-24 | 2021-01-05 | 上海健康医学院 | 一种肺结节自动检测方法、装置及计算机系统 |
| CN112200106A (zh) * | 2020-10-16 | 2021-01-08 | 中国计量大学 | 跨相机行人重识别与跟踪方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王黎: "基于深度学习的医学影像癌症检测方法研究", 中国优秀硕士学位论文全文数据库医药卫生科技辑, no. 2, pages 1 - 43 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113705578A (zh) * | 2021-09-10 | 2021-11-26 | 北京航空航天大学 | 胆管形态识别方法及装置 |
| CN116452464A (zh) * | 2023-06-09 | 2023-07-18 | 天津市肿瘤医院（天津医科大学肿瘤医院） | 一种基于深度学习的胸部图像增强处理方法 |
| CN116452464B (zh) * | 2023-06-09 | 2023-08-22 | 天津市肿瘤医院（天津医科大学肿瘤医院） | 一种基于深度学习的胸部图像增强处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11101033B2 (en) | Medical image aided diagnosis method and system combining image recognition and report editing | |
| CN112086197B (zh) | 基于超声医学的乳腺结节检测方法及系统 | |
| CN111429474B (zh) | 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法 | |
| Zhu et al. | Semantic segmentation using deep learning to extract total extraocular muscles and optic nerve from orbital computed tomography images | |
| CN113284149B (zh) | Covid-19胸部ct图像识别方法、装置及电子设备 | |
| Tan et al. | Automated vessel segmentation in lung CT and CTA images via deep neural networks | |
| CN109215035B (zh) | 一种基于深度学习的脑部mri海马体三维分割方法 | |
| CN116703901B (zh) | 肺部医学ct影像分割及分类装置及设备 | |
| CN107767362A (zh) | 一种基于深度学习的肺癌早筛装置 | |
| CN112990344B (zh) | 一种肺结节多视图分类方法 | |
| CN112967254A (zh) | 基于胸部ct影像肺部疾病识别和检测方法 | |
| CN112508884A (zh) | 一种癌变区域综合检测装置及方法 | |
| Zhao et al. | Medical images super resolution reconstruction based on residual network | |
| CN114565601A (zh) | 基于DeepLabV3+改进的肝脏CT图像分割算法 | |
| CN117523204A (zh) | 面向医疗场景的肝脏肿瘤图像分割方法、装置和可读存储介质 | |
| Zhang et al. | Structure-preserving low-dose computed tomography image denoising using a deep residual adaptive global context attention network | |
| CN116402756A (zh) | 一种融合多层次特征的x光片肺部疾病筛查系统 | |
| CN116310535A (zh) | 一种多尺度多区域的甲状腺结节预测方法 | |
| CN116631584A (zh) | 通用型医学影像报告生成方法与系统、电子设备及可读存储介质 | |
| Liu et al. | Prior-based 3D U-Net: A model for knee-cartilage segmentation in MRI images | |
| Sheng et al. | Modeling nodule growth via spatial transformation for follow-up prediction and diagnosis | |
| CN115222651A (zh) | 一种基于改进Mask R-CNN的肺结节检测系统 | |
| CN114359194A (zh) | 基于改进U-Net网络的多模态脑卒中梗死区域图像处理方法 | |
| CN113706644A (zh) | 图像处理方法及其装置、存储介质 | |
| Guangyan et al. | Research on Cyst of Jaw Detection Algorithm Based on Alex Net Deep Learning Model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210615 |
|
| WD01 | Invention patent application deemed withdrawn after publication |