CN111369623A - 一种基于深度学习3d目标检测的肺部ct图像识别方法 - Google Patents
一种基于深度学习3d目标检测的肺部ct图像识别方法 Download PDFInfo
- Publication number
- CN111369623A CN111369623A CN202010124994.3A CN202010124994A CN111369623A CN 111369623 A CN111369623 A CN 111369623A CN 202010124994 A CN202010124994 A CN 202010124994A CN 111369623 A CN111369623 A CN 111369623A
- Authority
- CN
- China
- Prior art keywords
- image
- lung
- coordinate
- constructing
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000004072 lung Anatomy 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000001514 detection method Methods 0.000 title claims abstract description 36
- 238000013135 deep learning Methods 0.000 title claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 21
- 230000009466 transformation Effects 0.000 claims description 12
- 230000002776 aggregation Effects 0.000 claims description 9
- 238000004220 aggregation Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000009499 grossing Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000012952 Resampling Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 210000000988 bone and bone Anatomy 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000001502 supplementing effect Effects 0.000 claims description 2
- 206010056342 Pulmonary mass Diseases 0.000 description 20
- 230000002685 pulmonary effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 201000005202 lung cancer Diseases 0.000 description 2
- 208000020816 lung neoplasm Diseases 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000005337 ground glass Substances 0.000 description 1
- 230000005823 lung abnormality Effects 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000003437 trachea Anatomy 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于深度学习3D目标检测的肺部CT图像识别方法，包括以下步骤：S1：CT图像预处理；S2：生成图像样本，构建设定尺寸数据块的训练集；S3：构建3D目标检测模型；S4：训练3D目标检测模型；S5：利用训练好的3D目标检测模型，检测得到待识别物的坐标和尺寸，与现有技术相比，本发明具有假阳性率低、对数据噪音容忍性好且模型鲁棒性强等优点。
Description
技术领域
本发明涉及计算机图像处理技术领域，尤其是涉及一种基于深度学习3D目标检测的肺部CT图像识别方法。
背景技术
随着大数据时代的到来，各医院中产生了海量的肺部CT图像数据，对这些肺部CT图像的筛查处理，可以实现对肺部异常的检测识别，以肺结节的检测为例，检测肺结节可以辅助早期肺癌的发现，利用医院数据库中的肺部CT图像数据，可以通过基于深度学习的图像处理，筛查出结果为阳性的CT图像，通过筛查，可以确定哪些样本需要采取其他医疗手段进行后续肺癌的确诊及治疗。
传统肺部CT图像识别算法的候选区提取算法有几类，一类是基于阈值简单寻找图像中所有高CT值区域，但是由于肺部包含大量血管、气管等其他组织，这种做法会大大提高候选区数量，从而降低算法整体的效率和准确率，另一类方法基于待识别物的形态学特征，但是这类方法往往会漏检具有非常规形状的待识别物，以肺结节检测为例，虽然大部分肺结节为圆形，但仍会存在具有空洞、毛刺、磨玻璃结构的肺结节，且这类结节具有比较高的恶性风险，所以这样的漏检必须避免。第三种方法是基于深度学习的卷积神经网络的方法，但是大部分是以2D卷积为主，由于肺部CT数据是3D图像，若用2D卷积或者循环网络，则会丢失深度信息使之检测出来的结果会将部分血管及其分支、肺壁等被误判为待识别物，造成假阳性比较多的现象。为了降低假阳率，很多方法是另外设计一个深度卷积网络解决假阳性问题，其缺点是严重的拖慢整个肺部CT图像识别的速度，并且GPU占比较高，可落地实用性和可拓展性不大。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种假阳性率较低且鲁棒性强的基于深度学习3D目标检测的肺部CT图像识别方法。
本发明的目的可以通过以下技术方案来实现：
一种基于深度学习3D目标检测的肺部CT图像识别方法，包括以下步骤：
S1：CT图像预处理；
S2：生成图像样本，构建设定尺寸数据块的训练集；
S3：构建3D目标检测模型；
S4：训练3D目标检测模型；
S5：利用训练好的3D目标检测模型，识别CT图像中是否存在待识别物，若存在，则输出待识别物的坐标和尺寸。
进一步地，所述的步骤S2具体包括：
S201：提取预处理过后的CT图像；
S202：以待识别物为中心，在平面上选取设定尺寸大小，在厚度上选取设定层数；
S203：将超过肺部区域部分的骨质HU值补全为180，图像样本；
S204：选取80％的正样本和20％负样本，所述的正样本为至少包含一个待识别物的图像样本，所述的空样本为正常的图像样本；
S205：对包含不同尺寸的待识别物图像样本，按照相同的比例进行采样，得到数据块，并进行归一化操作，得到包含设定尺寸数据块的训练集。
进一步地，所述的步骤S3具体包括：
S301：构建编码器中的wide group attention block聚合块；
S302：构建编码器；
S303：构建解码器；
S304：构建filterRPN模块；
S305：构建RPN模块。
更进一步地，所述的wide group attention block聚合块中，各分组之间采用不同的膨胀卷积率。
更进一步地，所述的解码器和编码器之间的侧连接为级联。
进一步地，所述的步骤S4具体包括：
S401：生成filterRPN模块的标签值，以待识别物位置为圆心，并以待识别物直径的0.8倍为半径，在3D层面构建一个球体，球内像素点设为1，球外像素点设为0。
S402：构建损失函数；
S403：预训练设定轮次后，使用步骤S302中构建的编码器进行训练；
S404：训练达到设定轮次后，计算最后设定个数轮次的参数平均值，作为最后的参数取值，完成训练。
更进一步地，构建损失函数时，首先对坐标值进行处理，其表达式为：
其中，(x,y,z)为待识别物的坐标，r为待识别物的直径，dx为x的要回归的坐标变换，dy为y的要回归的坐标变换，dz为z的要回归的坐标变换，dr为r的要回归的半径变换，Gx为待识别物的x坐标，Ax为对应位置的锚框的x坐标，Gy为待识别物的y坐标，Ay为对应位置的锚框的y坐标，Gz为待识别物的z坐标，Az为对应位置的锚框的半径，Gr为待识别物的半径，Ar为对应位置的锚框的半径。
更进一步地，所述的损失函数Loss的表达式为：
Loss＝Lreg+λLcls+γLfilterRPN
LfilterRPN＝αLpos+(1-α)Lneg
其中，Lreg为坐标回归损失，Lcls为二类交叉熵函数，LfilterRPN为二类交叉熵函数，λ为平衡因子，γ为平衡因子，S损失函数为smoothL1损失函数，
为预测值，dk为回归的目标值，α为平衡因子，Lpos为正样本的损失值，Lneg为负样本的损失值，p为预测的概率值。
进一步地，所述的步骤S5中，采用滑窗拼接式进行预测，其中步长为12。
进一步地，所述的步骤S1具体包括：
S101：将CT图像转化为8位256级的灰度图，并对所有切片重新采样成1×1×1大小；
S102：对切片数据进行成像并利用高斯滤波对切片进行高斯平滑，所述的高斯平滑过程为：
S103：设定HU阈值为-604，对肺部切片二值化，将最大连通域小于30mm2的部分剔除并去除离心率大于0.99的部分，得到两个连通域最大的部分；
S104：腐蚀孔洞并进行孔洞填充；
S105：生成包围两个肺部的凸包，并膨胀形成一个连通域；
S106：将生成的二值化图像和原图像进行叠加得到肺部图像。
与现有技术相比，本发明具有以下优点：
1)采用3D的卷积神经网络来构建编码器和解码器，利用了encoder-decoder的模型架构，通过对编码器设计特殊的wide group attention block聚合块，可以考虑不同场景需求下的各个应用，使得网络在小批量样本有很多的噪音的情况下仍可以得到比较好的效果，从而得到有更高的精准性和鲁棒性的模型，有效降低检测结果的假阳性率，不需要另外设计网络去除假阳性；
2)本发明的目标检测模型中，利用编码器和解码器结构，通过编码器提取语义特征，解码器进行细节修补，并且通过侧连接进行细节补全，同时通过FiterRPN模块进行加速训练和推断，可以很好地完成肺部CT图像的识别，对其中待识别物的位置和类型进行检测，同时能够提高检测精度和速度；
3)本发明通过对CT图像进行重采样后，切取1283大小的数据块，使得分布和每个医院数据库中的数据分布大体一致，从而得到更加精准的检测结果；
4)由于医院的算力不足，从而只能小批量数据训练算法，然而小批量数据对模型的性能产生很大的影响，本发明通过特殊设计编码器，加入filterRPN模块，降低由于小批量数据对模型的影响；
5)本发明中，大小尺寸不同的待识别物的检测识别由不同膨胀卷积率负责，并且自主进行监督训练，这样会使得尺寸方差很大的肺结节以高召回率检出。
附图说明
图1为CT切片进行图像预处理的流程图，其中，图(1a)为，二值化之后的图像，图(1b)为去除边缘之后的图像，图(1c)为保存最大连通域之后的图像，图(1d)为腐蚀操作之后的图像，图(1e)为填充孔洞之后的图像，图(1f)为生成凸包之后的图像；
图2为目标检测模型的结构流程图；
图3为编码器中的聚合块的组成结构示意图；
图4为filterRPN的标签示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
实施例
本发明提供一种基于深度学习3D目标检测的肺部CT图像识别方法，该方法可以用于对肺部CT图像中3D立体的异常物进行识别和检测，并输出其位置和尺寸等相关信息，本实施例中以肺部CT图像中肺结节的检测为例，该方法具体包括以下步骤：
1.CT图像数据预处理：包括CT序列重采样、高斯滤波去除噪音点、剥离无关组织、分割肺部掩模和曲率调整等；
2.生成图像样本，形成训练集：该步骤是为了适配深度卷积网络，进行固定尺寸数据块的生成；
3.搭建目标检测模型：包括卷积层主干网络部分的搭建、反卷积层解码器部分的搭建和聚合块(wide group attention block)的搭建，其中卷积层的主干网络部分用作编码器提取特征，反卷积层的解码器部分用作肺结节区域的检测，聚合块(wide groupattention block)是为了解决小批量带来的噪音问题；
4.模型训练；
5.采用滑窗拼接式预测得到肺结节的坐标和尺寸。
每个步骤的具体过程如下：
1.CT图像数据预处理
(1)将CT图像转化为8位256级灰度图，同时为了保持同构，需要将所有切片全部重新采样成1mm×1mm×1mm大小。采样的方法只需要求出原间隔要素与新采样间隔要素之间的放缩因子，然后将利用该放缩因子对原图像进行插值采样即可；
(2)由机器所产生的切片数据进行成像后，需要用高斯滤波对切片进行高斯平滑：
(3)设定HU阈值为-604，二值化肺部切片，将最大连通域小于30平方毫米的部分进行剔除，去除离心率大于0.99的部分，得到两个连通域最大的部分；
(4)腐蚀孔洞后，进行孔洞填充，使得只保持两个最大的连通域；
(5)寻找包含两个最大连通域的凸包，即包围两个肺部的凸包，并且使之膨胀得到一个连通域；
(6)将生成的二值图像和原图像进行叠加，得到肺部图像的感兴趣区域；
2.生成图像样本，形成训练集
在训练模型之前需要将数据采取固定的组织方式进行生成训练集，其具体过程如下：
(1)以肺结节为中心，平面上大小选取128×128，厚度上选取128层；
(2)如果肺结节是属于肺壁边缘处或者距离肺壁边缘不远处，在进行裁剪时，就可能超过肺部区域，因此需要将超过的部分进行骨质HU值补全，HU值取180；
(3)挑选正负样本，挑选80％的正样本和20％的负样本组成训练集，其中正样本至少包含一个肺结节，20％为负样本则不包含任何结节；
(4)进行均衡抽样，即对包含不同尺寸的肺结节数据样本，按照相同的比例进行采样，得到数据块；
(5)得到数据块后，根据统计灰度值的均值和方差进行归一化操作。
3.目标检测模型的搭建
模型的搭建按照下述过程进行：
(1)构建编码器中的聚合块，并且分组之间采用不同的膨胀卷积率，主要分为1x1和3x3膨胀率，其中在降采样之前，需要进行一定倍数的上采样，增加滤波器数目，从而将特征进行高维稀疏，采用不同的膨胀率以适应不同大小的肺结节，从而可以更好的获取尺寸方差大的肺结节的图像特征，如图3所示；
(2)构建编码器直到下采样16倍，下采样16倍可以获得足够好的语义特征。如下表所示，其中GD表示的是分组膨胀卷积；
(3)构建解码器，解码器和编码器之间的侧连接采用级联的方式进行结合，级联的方式结合特征，有助于梯度的流动，容易训练。如下表所示；
(4)构建RPN和filterRPN，主要是由一层卷积层生成的单通道的特征图，其中filterRPN可以过滤无效的锚框计算，从而加速训练以及前向推断的过程，并且在计算的时候可以起到不用减少计算参数进行加速。；
(5)整体的流程如图2所示，本发明的编码器采用特殊设计，加入filterRPN模块，由于高维打散特征以及不同膨胀率的引入，使得在小批量数据训练中，模型仍能保持高召回的性能，以及可以多尺寸多角度的获取肺结节特征，使得模型对于噪音更加的鲁棒。其中数据的处理以及输入输出的过程和普通卷积网络算法相同；
4.模型的训练
(1)生成filterRPN模块的标签值，以肺结节位置为圆心，按照肺结节直径的0.8倍当作半径画圆，其形状在3D层面上呈现为一个球体，但是在平面上呈现为一个圆。球内的像素点为1，球外的像素点为0，如图4所示；
(2)构建损失函数，首先对坐标值进行处理：
其中，(x,y,z)为肺结节的坐标，r为肺结节的直径，dx为x的要回归的坐标变换，dy为y的要回归的坐标变换，dz为z的要回归的坐标变换，dr为r的要回归的半径变换，Gx为肺结节的x坐标，Ax为对应位置的锚框的x坐标，Gy为肺结节的y坐标，Ay为对应位置的锚框的y坐标，Gz为肺结节的z坐标，Az为对应位置的锚框的r半径，Gr为肺结节的r半径，Ar为对应位置的锚框的半径。
训练模型时的目标函数Loss的表达式为：
Loss＝Lreg+λLcls+γLfilterRPN
LfilterRPN＝αLpos+(1-α)Lneg
其中，Lreg为坐标回归损失，Lcls为二类交叉熵函数，LfilterRPN为二类交叉熵函数，λ为平衡因子，γ为平衡因子，S损失函数为smoothL1损失函数，
为预测值，dk为回归的目标值，α为平衡因子，Lpos为正样本的损失值，Lneg为负样本的损失值，p为预测的概率值。
(3)为了使用预训练权重即平滑过渡参数，先将解码器按照编码器结构进行构造，将解码器(decoder)构建成和编码器(encoder)相对称的结构，逆向生成CT数据块，进行预训练数个轮次，预训练时，损失函数为原图和生成图像的均方差，随后再改用步骤3中构建的编码器，并采用已经预训练的权重进行接下来的模型训练；
(4)进行训练100轮次后，计算最后5个轮次的参数的平均值，作为最后的权重。
4.预测得到肺结节的坐标和尺寸
将训练好的模型用于实例推断，过程如下：
(1)将图像按照数据预处理的步骤得到肺部实质；
(2)按照三维大小为128x128x128的数据组织以及步长为12pixel大小进行滑动预测，两个数据块在同一位置处得到肺结节的预测概率进行取平均，得到最终的预测概率。
本发明方法的敏感性在luna16数据集上达到97.20％。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于深度学习3D目标检测的肺部CT图像识别方法，其特征在于，包括以下步骤：
S1：CT图像预处理；
S2：生成图像样本，构建设定尺寸数据块的训练集；
S3：构建3D目标检测模型；
S4：训练3D目标检测模型；
S5：利用训练好的3D目标检测模型，识别CT图像中是否存在待识别物，若存在，则输出待识别物的坐标和尺寸。
2.根据权利要求1所述的一种基于深度学习3D目标检测的肺部CT图像识别方法，其特征在于，所述的步骤S2具体包括：
S201：提取预处理过后的CT图像；
S202：以待识别物为中心，在平面上选取设定尺寸大小，在厚度上选取设定层数；
S203：将超过肺部区域部分的骨质HU值补全为180，图像样本；
S204：选取80％的正样本和20％负样本，所述的正样本为至少包含一个待识别物的图像样本，所述的空样本为正常的图像样本；
S205：对包含不同尺寸的待识别物图像样本，按照相同的比例进行采样，得到数据块，并进行归一化操作，得到包含设定尺寸数据块的训练集。
3.根据权利要求1所述的一种基于深度学习3D目标检测的肺部CT图像识别方法，其特征在于，所述的步骤S3具体包括：
S301：构建编码器中的wide group attention block聚合块；
S302：构建编码器；
S303：构建解码器；
S304：构建filterRPN模块；
S305：构建RPN模块。
4.根据权利要求3所述的一种基于深度学习3D目标检测的肺部CT图像识别方法，其特征在于，所述的wide group attention block聚合块中，各分组之间采用不同的膨胀卷积率。
5.根据权利要求3所述的一种基于深度学习3D目标检测的肺部CT图像识别方法，其特征在于，所述的解码器和编码器之间的侧连接为级联。
6.根据权利要求3所述的一种基于深度学习3D目标检测的肺部CT图像识别方法，其特征在于，所述的步骤S4具体包括：
S401：生成filterRPN模块的标签值，以待识别物位置为圆心，并以待识别物直径的0.8倍为半径，在3D层面构建一个球体，球内像素点设为1，球外像素点设为0。
S402：构建损失函数；
S403：预训练设定轮次后，使用步骤S302中构建的编码器进行训练；
S404：训练达到设定轮次后，计算最后设定个数轮次的参数平均值，作为最后的参数取值，完成训练。
7.根据权利要求6所述的一种基于深度学习3D目标检测的肺部CT图像识别方法，其特征在于，构建损失函数时，首先对坐标值进行处理，其表达式为：
其中，(x，y，z)为待识别物的坐标，r为待识别物的直径，dx为x的要回归的坐标变换，dy为y的要回归的坐标变换，dz为z的要回归的坐标变换，dr为r的要回归的半径变换，Gx为待识别物的x坐标，Ax为对应位置的锚框的x坐标，Gy为待识别物的y坐标，Ay为对应位置的锚框的y坐标，Gz为待识别物的z坐标，Az为对应位置的锚框的半径，Gr为待识别物的半径，Ar为对应位置的锚框的半径。
8.根据权利要求7所述的一种基于深度学习3D目标检测的肺部CT图像识别方法，其特征在于，所述的损失函数Loss的表达式为：
Loss＝Lreg+λLcls+γLfilterRPN
LfilterRPN＝αLpos+(1-α)Lneg
其中，Lreg为坐标回归损失，Lcls为二类交叉熵函数，LfilterRPN为二类交叉熵函数，λ为平衡因子，γ为平衡因子，S损失函数为smoothL1损失函数，
为预测值，dk为回归的目标值，α为平衡因子，Lpos为正样本的损失值，Lneg为负样本的损失值，p为预测的概率值。
9.根据权利要求1所述的一种基于深度学习3D目标检测的肺部CT图像识别方法，其特征在于，所述的步骤S5中，采用滑窗拼接式进行预测，其中步长为12。
10.根据权利要求1所述的一种基于深度学习3D目标检测的肺部CT图像识别方法，其特征在于，所述的步骤S1具体包括：
S101：将CT图像转化为8位256级的灰度图，并对所有切片重新采样成1×1×1大小；
S102：对切片数据进行成像并利用高斯滤波对切片进行高斯平滑，所述的高斯平滑过程为：
S103：设定HU阈值为-604，对肺部切片二值化，将最大连通域小于30mm2的部分剔除并去除离心率大于0.99的部分，得到两个连通域最大的部分；
S104：腐蚀孔洞并进行孔洞填充；
S105：生成包围两个肺部的凸包，并膨胀形成一个连通域；
S106：将生成的二值化图像和原图像进行叠加得到肺部图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010124994.3A CN111369623B (zh) | 2020-02-27 | 2020-02-27 | 一种基于深度学习3d目标检测的肺部ct图像识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010124994.3A CN111369623B (zh) | 2020-02-27 | 2020-02-27 | 一种基于深度学习3d目标检测的肺部ct图像识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111369623A true CN111369623A (zh) | 2020-07-03 |
| CN111369623B CN111369623B (zh) | 2022-11-15 |
Family
ID=71206290
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010124994.3A Active CN111369623B (zh) | 2020-02-27 | 2020-02-27 | 一种基于深度学习3d目标检测的肺部ct图像识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111369623B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111862071A (zh) * | 2020-07-29 | 2020-10-30 | 南通大学 | 一种基于ct图像测量腰1椎体ct值的方法 |
| CN112884792A (zh) * | 2021-02-02 | 2021-06-01 | 青岛海信医疗设备股份有限公司 | 肺部图像分割的方法、装置、电子设备及存储介质 |
| CN113435469A (zh) * | 2021-04-29 | 2021-09-24 | 青岛大学附属医院 | 一种基于深度学习的肾肿瘤增强ct图像自动识别系统及其训练方法 |
| CN113744192A (zh) * | 2021-08-02 | 2021-12-03 | 清华大学 | 基于边缘计算的肺结节识别方法、装置、设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108446730A (zh) * | 2018-03-16 | 2018-08-24 | 北京推想科技有限公司 | 一种基于深度学习的ct肺结节检测方法 |
| CN110717916A (zh) * | 2019-09-29 | 2020-01-21 | 华中科技大学 | 一种基于卷积神经网络的肺栓塞检测系统 |
| CN110807764A (zh) * | 2019-09-20 | 2020-02-18 | 成都智能迭迦科技合伙企业(有限合伙) | 一种基于神经网络的肺癌筛查方法 |
-
2020
- 2020-02-27 CN CN202010124994.3A patent/CN111369623B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108446730A (zh) * | 2018-03-16 | 2018-08-24 | 北京推想科技有限公司 | 一种基于深度学习的ct肺结节检测方法 |
| CN110807764A (zh) * | 2019-09-20 | 2020-02-18 | 成都智能迭迦科技合伙企业(有限合伙) | 一种基于神经网络的肺癌筛查方法 |
| CN110717916A (zh) * | 2019-09-29 | 2020-01-21 | 华中科技大学 | 一种基于卷积神经网络的肺栓塞检测系统 |
Non-Patent Citations (1)
| Title |
|---|
| 赵清臣（译）: ""深度学习中的’注意力机制’"https://rdc.hundsun.com/portal/article/922.mhtml", 《恒生研究院》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111862071A (zh) * | 2020-07-29 | 2020-10-30 | 南通大学 | 一种基于ct图像测量腰1椎体ct值的方法 |
| CN111862071B (zh) * | 2020-07-29 | 2024-03-05 | 南通大学 | 一种基于ct图像测量腰1椎体ct值的方法 |
| CN112884792A (zh) * | 2021-02-02 | 2021-06-01 | 青岛海信医疗设备股份有限公司 | 肺部图像分割的方法、装置、电子设备及存储介质 |
| CN113435469A (zh) * | 2021-04-29 | 2021-09-24 | 青岛大学附属医院 | 一种基于深度学习的肾肿瘤增强ct图像自动识别系统及其训练方法 |
| CN113744192A (zh) * | 2021-08-02 | 2021-12-03 | 清华大学 | 基于边缘计算的肺结节识别方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111369623B (zh) | 2022-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111369623B (zh) | 一种基于深度学习3d目标检测的肺部ct图像识别方法 | |
| CN109102502B (zh) | 基于三维卷积神经网络的肺结节检测方法 | |
| CN111652217B (zh) | 文本检测方法、装置、电子设备及计算机存储介质 | |
| CN108346154B (zh) | 基于Mask-RCNN神经网络的肺结节分割装置的建立方法 | |
| CN108053417B (zh) | 一种基于混合粗分割特征的3D U-Net网络的肺分割装置 | |
| CN109685060B (zh) | 图像处理方法和装置 | |
| CN111488985B (zh) | 深度神经网络模型压缩训练方法、装置、设备、介质 | |
| CN110136135B (zh) | 分割方法、装置、设备以及存储介质 | |
| CN112365973B (zh) | 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统 | |
| CN112734755A (zh) | 基于3d全卷积神经网络与多任务学习的肺叶分割方法 | |
| CN114565763B (zh) | 图像分割方法、装置、设备、介质及程序产品 | |
| CN114266794B (zh) | 基于全卷积神经网络的病理切片图像癌症区域分割系统 | |
| CN116228792A (zh) | 一种医学图像分割方法、系统及电子装置 | |
| CN114092450A (zh) | 一种基于胃镜检查视频的实时图像分割方法、系统、装置 | |
| CN114170212A (zh) | 一种基于ct影像中肺小结节假阳检测方法及系统 | |
| CN115601684A (zh) | 突发事件预警方法、装置、电子设备及存储介质 | |
| CN115631194A (zh) | 颅内动脉瘤识别检测的方法、装置、设备及介质 | |
| CN114821067A (zh) | 基于点标注数据的病理图像分割方法 | |
| CN114693642A (zh) | 一种结节匹配方法、装置、电子设备及存储介质 | |
| Nithila et al. | Lung cancer diagnosis from CT images using CAD system: a review | |
| Tuyet et al. | Adaptive content-based medical image retrieval based on local features extraction in shearlet domain | |
| CN106652048B (zh) | 基于3d-susan算子的三维模型感兴趣点提取方法 | |
| CN112070689A (zh) | 一种基于深度图像的数据增强方法 | |
| Halder et al. | Morphological filter aided gmm technique for lung nodule detection | |
| CN110675372A (zh) | 细胞分辨水平的脑组织三维图像的脑区自动分割方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |