CN108537784B - 一种基于深度学习的ct图肺结节检测方法 - Google Patents

一种基于深度学习的ct图肺结节检测方法 Download PDF

Info

Publication number
CN108537784B
CN108537784B CN201810287479.XA CN201810287479A CN108537784B CN 108537784 B CN108537784 B CN 108537784B CN 201810287479 A CN201810287479 A CN 201810287479A CN 108537784 B CN108537784 B CN 108537784B
Authority
CN
China
Prior art keywords
image
images
lung
size
feature maps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810287479.XA
Other languages
English (en)
Other versions
CN108537784A (zh
Inventor
张雪
朱安婕
郑德生
臧宇航
吉普照
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Yuanjiang Technology Co ltd
Original Assignee
Sichuan Yuanjiang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Yuanjiang Technology Co ltd filed Critical Sichuan Yuanjiang Technology Co ltd
Priority to CN201810287479.XA priority Critical patent/CN108537784B/zh
Publication of CN108537784A publication Critical patent/CN108537784A/zh
Application granted granted Critical
Publication of CN108537784B publication Critical patent/CN108537784B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Abstract

本发明公开了一种基于深度学习的CT图肺结节检测方法，包括：S01：获得肺部CT图像，并转换为DICOM格式的图像；S02：获取图像的病人信息及CT图的长和宽及图片像素之间的间隔；同时对图像的CT值进行归一化预处理；S03：对步骤S02预处理完成的CT图像进行肺容积分割，只保留肺部的图像；S04：对图像进行候选结节检测，使用U‑net卷积神经网络，找到候选结节的位置，输出一张带有候选结节位置标记的二维图像；S05：在获取到候选结节之后，将候选结节送入消除假阳性的分类器进行二次检测。本发明通过实现肺部结节自动检测，减少了肺结节标注需要大量医疗资源的问题，为肺癌病人提前发现了治疗，降低死亡率的机会。

Description

一种基于深度学习的CT图肺结节检测方法
技术领域
本发明涉及一种基于深度学习的CT图肺结节检测方法。
背景技术
随着人口数量、肺部医疗需求的不断增加，迫切需要在肺部医疗方面加快结节检测速度与质量。传统的肺部结节检测主要靠的是进行CT扫描之后人工筛选，即使是具有丰富经验的医生在进行结节筛选的时候也需要大量的时间。绝大多数临床诊断肺癌病例已多为晚期，失去手术治疗机会，肺癌预后极差。
得益于人工智能技术的发展，各类行业中的原本需要大量人工的任务效率都得到的提升。其中人工智能技术中的深度卷积神经网络在物体检测与分割方面有着出色的表现。物体检测指的是应用特殊的深度神经网络模型得到物体在图片中的位置并得到一固定面积的框将物体包含于内。而物体分割指的是在一张图片中不仅仅找出物体的位置并且用紧贴物体的轮廓的图形将图体圈出来。
实施对肺结节的检测的目的是改善肺癌生存，提前进行治疗，降低肺癌死亡率，但是此项工作需要医生投入大量的精力，效率较低，若对每个病人都进行筛查则耗费大量的医疗资源，且依赖医生的主观判断，多个医生对同一个病人的CT图进行判定可能有不同的结果。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于深度学习的CT图肺结节检测方法，能自动根据肺部的CT图像进行检测，减少医生的负担。
本发明的目的是通过以下技术方案来实现的：一种基于深度学习的CT图肺结节检测方法，包括以下步骤：
S01：获得肺部CT图像，并转换为DICOM格式的图像；
S02：获取转换为DICOM格式的图像的格式数据中的病人信息及CT图的长和宽及图片像素之间的间隔；同时对图像的CT值进行归一化预处理，并对一定范围以外的图像CT值都统一为端点值；
S03：对步骤S02预处理完成的CT图像进行肺容积分割，只保留肺部的图像；
S04：对图像进行候选结节检测，使用U-net卷积神经网络，找到候选结节的位置，输出一张带有候选结节位置标记的二维图像；
S05：在获取到候选结节之后，将候选结节送入消除假阳性的分类器进行二次检测；
其中步骤S04包括以下子步骤：
S041：输入一组大小为128*128、有32层的肺容积分割完成的图像；
S042：进行卷积核为2*2的最大池化，将原始图像转换成特征图大小为64*64，数量为32层的图像；
S043：再进行2*2的最大池化，将64*64*32的图像转换成特征图大小为32*32、数量为32层的图像；同时又为了增加特征图的数量，此处使用了两种不同的卷积核，最终特征图的数量变为32*2＝64，即得到了特征图大小为32*32，数量为64的图像；
S044：再进行2*2的最大池化，将32*32*64的图像转换成特征图大小为16*16，数量为64层的图像；
S045：再进行2*2的最大池化，将16*16*64的图像转换成特征图大小为8*8，数量为64层的图像；
S046：进行2*2的反卷积，将8*8*64的图像转换成特征图大小为16*16，数量为64层的图像；
S047：进行2*2的反卷积，将16*16*64的图像转换成特征图大小为32*32，数量为64的层；
S048：为了增加特征图的数量便于检测肺结节，将步骤S047与步骤S043中得到的层拼接起来，得到特征图大小为32*32，数量为64+64＝128层的图像；最终输出四维数据(p，z，y，x)，其中p为是肺结节的概率，zyx是结节中心的三维坐标；
S049：将坐标映射回原图，用肉眼查看是否正确；
步骤S05包括以下子步骤：
S051：输入多组大小为60*40、有7层的原始图像，并依次执行步骤S052～S058的步骤；
S052：每张图像提取rgb3个通道信息，其中三个通道的信息可以直接对每层分别操作获取，得到特征图的大小为60*40、数量为21的图像；
S053：对3个通道的图像分别使用大小为7*7*3的3D卷积核进行卷积操作，同时此处为了增加特征图的数量，采用了两种不同的3D卷积核，最终得到特征图的大小为54*34，数量为15*2的图像；7*7表示空间维度，3表示时间维度，也就是说每次操作3层图像；
其中，得到特征图的大小为54*34的原因是：60*40的原始图像经过7*7的卷积操作，((60-7)+1)*((40-7)+1)＝54*34，得到了54*34的图像；而特征图的数量为15*2的原因是：原始数量为21，每次操作3帧图像，且为了增加特征图的数量用了两种不同的3D卷积核，(((7-3)+1)*3)*2＝15*2，所以得到数量为15*2的图像；
S054：再对图像使用大小为2*2的降采样操作，降低空间分辨率，降采样之后的特征图数量不变为15*2，图像大小变为(54/2)*(34/2)＝27*17；
S055：再对图像分别使用大小为7*6*3的3D卷积核进行卷积操作，得到特征图的大小为21*12、数量为9*6的图像；同样为了增加特征图的数量，采用了三种不同的卷积核分别对两组特征图进行卷积操作；
其中，得到特征图的大小为54*34的原因是：27*17的图像经过7*7的卷积操作,((27-7)+1)*((17-6)+1)＝54*34；
而在步骤S053中可知，r通道特征图数量＝g通道特征图数量＝b通道特征图数量＝(7-3)+1)＝5；因此此时对一组图像进行7*6*3卷积操作，每次操作3层图像，(5-3)+1＝3，则特征图数量为3*3＝9，而一共有2*3＝6组，则此时的特征图数量为9*6；
S056：再对图像使用大小为3*3的最大池化降采样操作，降采样之后得到特征图的大小为(21/3)*(12/3)＝7*4，数量为9*6的图像；
S057：在此阶段，r、g、b通道数量为3，所以时间维度的尺寸已相对较小，仅在该层的空间维度上执行卷积操作，再对图像使用卷积核大小为7*4的卷积操作得到特征图的大小为1*1、数量为128的图像，其中128为经验值；
S058：最后进行全连接操作，得到3个通道所有的信息，组合起来得到最终的特征描述，将这些特征值拿去训练得到一个模型；
S059：将步骤S04中得到的候选结节输入该模型，进行二次检测，来输出判断识别的结果。
进一步地，步骤S01包括：获得肺部CT图像后，调用SimpleITK库中的ReadImage函数对图像进行读取，并使用GetArrayFromImage函数得到像素值图像，得到图像的像素值，保存在numpy数组中。
进一步地，所述的对图像的CT值进行归一化预处理，并对一定范围以外的图像CT值都统一为端点值包括：对图像进行归一化，将图像CT值的范围从[-1000,400]归一化为[0,1]；同时400以上的CT值都统一成400，使每一个像素都可以平等权重。
进一步地，步骤S03中所述的肺容积分割包括：
(1)根据图形学对图像中的像素进行标注，使相邻的在同一区域的像素有相同的标记；在标注的过程中由于实际影像没有严格的区域划分，导致存在一些很小的区域，参考周围区域的标记将小区域融合进其他的面积较大的区域；
(2)保留左右肺叶，对外部的区域阈值填充：分别以阈值3和4产生两个掩膜，然后处理这两个掩膜，具体过程为：计算掩膜中的每个点的值的和，如果和大于零对掩膜进行形态学处理计算其凸包；接着如果凸包中的值之和大于1.5倍的原来掩膜中的值的和，就用形态学处理过后的掩膜替换掉原来的掩膜，否则认为这个掩膜刚好盖住肺部所述掩膜不变；对于掩膜之外的区域，即肺部外的区域用170的阈值进行填充，掩膜内不属于肺部的区域也使用170的阈值进行填充；
(3)进行数据重采样，先获得DICOM格式数据的坐标中心、像素间距,再通过插值把图像的分辨率统一起来，即将原始图像转换为1mm*1mm*1mm的分辨率；在转换分辨率的时候使用最临近插值法；
(4)按uint8类型、灰度图重新保存图片；
(5)将CT图从世界坐标转换成体素坐标，保存原来的坐标信息。进行世界坐标转化的同时，还需要根据肺部区域，将用于训练神经网络的标注数据也转换成体素坐标；其中，转换坐标的时候使用了开始读取的间距和坐标原点的信息。
本发明的有益效果是：
(1)本发明通过实现肺部结节自动检测，减少了肺结节标注需要大量医疗资源的问题，为肺癌病人提前发现了治疗，降低死亡率的机会。
(2)在预处理过程中，采用掩膜值计算的方式，能更好得找到刚好覆盖住肺部的掩膜，这样在检测肺结节的时候图像中干扰的地方更少。
附图说明
图1为本发明方法流程图；
图2为步骤S04子流程示意图；
图3为步骤S05子流程示意图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案：
本实施例中的CT图为完整的人体胸部CT图像，首先将原始CT图转化为DICOM格式的图像，肺部分割模块的输入是CT图像经过预处理之后的图像，在一张图中，肺部区域只占左右两部分。结节只可能在肺部，因此外部的图像是多余的，需要用肺容积分割，即输出只保留肺部部分的图。经过肺容积分割之后，将图输入进行候选结节区域分割和判定，经过处理之后输出候选结节。此时的候选结节具有较大的误差，需将候选结节送入分类器，最终输出得到结果。
具体如图1所示，一种基于深度学习的CT图肺结节检测方法，包括以下步骤：
S01：获得肺部CT图像，并转换为DICOM格式的图像；具体地步骤如下：获得肺部CT图像后，调用SimpleITK库中的ReadImage函数对图像进行读取，并使用GetArrayFromImage函数得到像素值图像，得到图像的像素值，保存在numpy数组中。
由于肺结节图像在获取时，不可避免的会产生设备成像的误差和干扰，如图像灰度不均匀、个体差异明显等情况，所以要对图像进行预处理，使图像能够尽可能多的反映出医疗所需要的信息。
具体地，S02：获取转换为DICOM格式的图像的格式数据中的病人信息及CT图的长和宽及图片像素之间的间隔；同时对图像的CT值进行归一化预处理，并对一定范围以外的图像CT值都统一为端点值。优选地，在本实施例中，对图像进行归一化，将图像CT值的范围从[-1000,400]归一化为[0,1]；同时400以上的CT值都统一成400，使每一个像素都可以平等权重。
S03：对步骤S02预处理完成的CT图像进行肺容积分割，只保留肺部的图像，具体地，在本实施例中，包括以下子步骤：
(1)根据图形学对图像中的像素进行标注，使相邻的在同一区域的像素有相同的标记；在标注的过程中由于实际影像没有严格的区域划分，导致存在一些很小的区域，参考周围区域的标记将小区域融合进其他的面积较大的区域。
(2)保留左右肺叶，对外部的区域阈值填充：分别以阈值3和4产生两个掩膜，然后处理这两个掩膜，具体过程为：计算掩膜中的每个点的值的和，如果和大于零对掩膜进行形态学处理计算其凸包；接着如果凸包中的值之和大于1.5倍的原来掩膜中的值的和，就用形态学处理过后的掩膜替换掉原来的掩膜，否则认为这个掩膜刚好盖住肺部所述掩膜不变；对于掩膜之外的区域，即肺部外的区域用170的阈值进行填充，掩膜内不属于肺部的区域(比如属于骨头的区域)也使用170的阈值进行填充。本步骤的效果在于：能更好得找到刚好覆盖住肺部的掩膜，这样在检测肺结节的时候图像中干扰的地方更少。
(3)进行数据重采样，先获得DICOM格式数据的坐标中心、像素间距,再通过插值把图像的分辨率统一起来，即将原始图像转换为1mm*1mm*1mm的分辨率；在转换分辨率的时候使用最临近插值法。
(4)按uint8类型、灰度图重新保存图片。
(5)将CT图从世界坐标转换成体素坐标，保存原来的坐标信息。进行世界坐标转化的同时，还需要根据肺部区域，将用于训练神经网络的标注数据也转换成体素坐标。由于在CT图扫描的时候是世界坐标，这个坐标是以CT机的扫描的中心作为图片的坐标中心，但是这样就不利于计算机处理(不利于转换成数组的格式进行各种形态学、分割肺部的处理)，所以就需要转换成计算机中表示3D的体素坐标。转换坐标的时候使用了开始读取的间距和坐标原点的信息。
在步骤S03完成后，只保留了左右肺叶。
S04：对图像进行候选结节检测，使用U-net卷积神经网络，找到候选结节的位置，输出一张带有候选结节位置标记的二维图像；其中如图2所示，步骤S04包括以下子步骤：
S041：输入一组大小为128*128、有32层的肺容积分割完成的图像；
S042：进行卷积核为2*2的最大池化，将原始图像转换成特征图大小为64*64，数量为32层的图像；
S043：再进行2*2的最大池化，将64*64*32的图像转换成特征图大小为32*32、数量为32层的图像；同时又为了增加特征图的数量，此处使用了两种不同的卷积核，最终特征图的数量变为32*2＝64，即得到了特征图大小为32*32，数量为64的图像；
S044：再进行2*2的最大池化，将32*32*64的图像转换成特征图大小为16*16，数量为64层的图像；
S045：再进行2*2的最大池化，将16*16*64的图像转换成特征图大小为8*8，数量为64层的图像；
S046：进行2*2的反卷积，将8*8*64的图像转换成特征图大小为16*16，数量为64层的图像；
S047：进行2*2的反卷积，将16*16*64的图像转换成特征图大小为32*32，数量为64的层；
S048：为了增加特征图的数量便于检测肺结节，将步骤S047与步骤S043中得到的层拼接起来，得到特征图大小为32*32，数量为64+64＝128层的图像；最终输出四维数据(p，z，y，x)，其中p为是肺结节的概率，zyx是结节中心的三维坐标；
S049：将坐标映射回原图，用肉眼查看是否正确。
其中，多次进行最大池化的原因：一般最大池化使用的都是2*2的窗口(窗口如果过大，会影响提取出来的特征值，误差较大)，所以需要降低维度就需要多次进行2*2的最大池化。
S05：在获取到候选结节之后，将候选结节送入消除假阳性的分类器进行二次检测；其中，如图3所示，包括以下子步骤：
S051：输入多组大小为60*40、有7层的原始图像(一组图像有7层)，并依次执行步骤S052～S058的步骤。
S052：每张图像提取rgb3个通道信息，其中三个通道的信息可以直接对每层分别操作获取，得到特征图的大小为60*40、数量为21的图像。
其中，特征图的数量为21是因为：三个通道的信息可以直接对每层分别操作获取，所以数量为7，同理横坐标梯度、纵坐标梯度的数量也为7。因此特征图的数量就为7+7+7＝21。
S053：对3个通道的图像分别使用大小为7*7*3(7*7表示空间维度，3表示时间维度，也就是说每次操作3层图像)的3D卷积核进行卷积操作，同时此处为了增加特征图的数量，采用了两种不同的3D卷积核，最终得到特征图的大小为54*34，数量为15*2的图像。
其中，得到特征图的大小为54*34的原因是：60*40的原始图像经过7*7的卷积操作，((60-7)+1)*((40-7)+1)＝54*34，得到了54*34的图像。
而特征图的数量为15*2的原因是：原始数量为21，每次操作3帧图像，且为了增加特征图的数量用了两种不同的3D卷积核，(((7-3)+1)*3)*2＝15*2，所以得到数量为15*2的图像。
S054：再对图像使用大小为2*2的降采样操作，降低空间分辨率，降采样之后的特征图数量不变为15*2，图像大小变为(54/2)*(34/2)＝27*17。
S055：再对图像分别使用大小为7*6*3的3D卷积核进行卷积操作，得到特征图的大小为21*12、数量为9*6的图像；同样为了增加特征图的数量，采用了三种不同的卷积核分别对两组特征图进行卷积操作；
其中，得到特征图的大小为54*34的原因是：27*17的图像经过7*7的卷积操作,((27-7)+1)*((17-6)+1)＝54*34。
而在步骤S053中可知，r通道特征图数量＝g通道特征图数量＝b通道特征图数量＝(7-3)+1)＝5；因此此时对一组图像进行7*6*3卷积操作，每次操作3层图像，(5-3)+1＝3，则特征图数量为3*3＝9，而一共有2*3＝6组，则此时的特征图数量为9*6。
S056：再对图像使用大小为3*3的最大池化降采样操作，降采样之后得到特征图的大小为(21/3)*(12/3)＝7*4，数量为9*6的图像。
S057：在此阶段，r、g、b通道数量为3，所以时间维度的尺寸已相对较小，仅在该层的空间维度上执行卷积操作，再对图像使用卷积核大小为7*4的卷积操作得到特征图的大小为1*1、数量为128的图像，其中128为经验值。
S058：最后进行全连接操作，得到3个通道所有的信息，组合起来得到最终的特征描述，将这些特征值拿去训练得到一个模型；
S059：将步骤S04中得到的候选结节输入该模型，进行二次检测，来输出判断识别的结果。
其中，上述方法均可以在硬件终端中进行实现，所述的硬件终端包括图像输入模块、图像输出模块、存储器和与图像输入模块、图像输出模块、存储器连接的CPU，其中存储器中存储一组程序代码，所述CPU用于调用所述存储其中存储的程序代码，执行上述方法步骤操作。
本发明是通过实施例来描述的，但并不对本发明构成限制，参照本发明的描述，所公开的实施例的其他变化，如对于本领域的专业人士是容易想到的，这样的变化应该属于本发明权利要求限定的范围之内。

Claims (3)

1.一种基于深度学习的CT图肺结节检测方法，其特征在于：包括以下步骤：
S01：获得肺部CT图像，并转换为DICOM格式的图像；
S02：获取转换为DICOM格式的图像的格式数据中的病人信息及CT图的长和宽及图片像素之间的间隔；同时对图像的CT值进行归一化预处理，并对一定范围以外的图像CT值都统一为端点值；所述的对图像的CT值进行归一化预处理，并对一定范围以外的图像CT值都统一为端点值包括：对图像进行归一化，将图像CT值的范围从[-1000,400]归一化为[0,1]；同时400以上的CT值都统一成400，使每一个像素都可以平等权重；
S03：对步骤S02预处理完成的CT图像进行肺容积分割，只保留肺部的图像；步骤S03中所述的肺容积分割包括：
(1)根据图形学对图像中的像素进行标注，使相邻的在同一区域的像素有相同的标记；在标注的过程中由于实际影像没有严格的区域划分，导致存在一些很小的区域，参考周围区域的标记将小区域融合进其他的面积较大的区域；
(2)保留左右肺叶，对外部的区域阈值填充：分别以阈值3和4产生两个掩膜，然后处理这两个掩膜，具体过程为：计算掩膜中的每个点的值的和，如果和大于零对掩膜进行形态学处理计算其凸包；接着如果凸包中的值之和大于1.5倍的原来掩膜中的值的和，就用形态学处理过后的掩膜替换掉原来的掩膜，否则认为这个掩膜刚好盖住肺部所述掩膜不变；对于掩膜之外的区域，即肺部外的区域用170的阈值进行填充，掩膜内不属于肺部的区域也使用170的阈值进行填充；
(3)进行数据重采样，先获得DICOM格式数据的坐标中心、像素间距,再通过插值把图像的分辨率统一起来，即将原始图像转换为1mm*1mm*1mm的分辨率；在转换分辨率的时候使用最临近插值法；
(4)按uint8类型、灰度图重新保存图片；
(5)将CT图从世界坐标转换成体素坐标，保存原来的坐标信息；进行世界坐标转化的同时，还需要根据肺部区域，将用于训练神经网络的标注数据也转换成体素坐标；其中，转换坐标的时候使用了开始读取的间距和坐标原点的信息；
S04：对图像进行候选结节检测，使用U-net卷积神经网络，找到候选结节的位置，输出一张带有候选结节位置标记的二维图像；
S05：在获取到候选结节之后，将候选结节送入消除假阳性的分类器进行二次检测；
其中步骤S04包括以下子步骤：
S041：输入一组大小为128*128、有32层的肺容积分割完成的图像；
S042：进行卷积核为2*2的最大池化，将原始图像转换成特征图大小为64*64，数量为32层的图像；
S043：再进行2*2的最大池化，将64*64*32的图像转换成特征图大小为32*32、数量为32层的图像；同时又为了增加特征图的数量，此处使用了两种不同的卷积核，最终特征图的数量变为32*2＝64，即得到了特征图大小为32*32，数量为64的图像；
S044：再进行2*2的最大池化，将32*32*64的图像转换成特征图大小为16*16，数量为64层的图像；
S045：再进行2*2的最大池化，将16*16*64的图像转换成特征图大小为8*8，数量为64层的图像；
S046：进行2*2的反卷积，将8*8*64的图像转换成特征图大小为16*16，数量为64层的图像；
S047：进行2*2的反卷积，将16*16*64的图像转换成特征图大小为32*32，数量为64的层；
S048：为了增加特征图的数量便于检测肺结节，将步骤S047与步骤S043中得到的层拼接起来，得到特征图大小为32*32，数量为64+64＝128层的图像；最终输出四维数据(p，z，y，x)，其中p为是肺结节的概率，zyx是结节中心的三维坐标；
S049：将坐标映射回原图，用肉眼查看是否正确；
步骤S05包括以下子步骤：
S051：输入多组大小为60*40、有7层的原始图像，并依次执行步骤S052～S058的步骤；
S052：每张图像提取rgb3个通道信息，其中三个通道的信息可以直接对每层分别操作获取，得到特征图的大小为60*40、数量为21的图像；
S053：对3个通道的图像分别使用大小为7*7*3的3D卷积核进行卷积操作，同时此处为了增加特征图的数量，采用了两种不同的3D卷积核，最终得到特征图的大小为54*34，数量为15*2的图像；7*7表示空间维度，3表示时间维度，也就是说每次操作3层图像；
其中，得到特征图的大小为54*34的原因是：60*40的原始图像经过7*7的卷积操作，((60-7)+1)*((40-7)+1)＝54*34，得到了54*34的图像；而特征图的数量为15*2的原因是：原始数量为21，每次操作3帧图像，且为了增加特征图的数量用了两种不同的3D卷积核，(((7-3)+1)*3)*2＝15*2，所以得到数量为15*2的图像；
S054：再对图像使用大小为2*2的降采样操作，降低空间分辨率，降采样之后的特征图数量不变为15*2，图像大小变为(54/2)*(34/2)＝27*17；
S055：再对图像分别使用大小为7*6*3的3D卷积核进行卷积操作，得到特征图的大小为21*12、数量为9*6的图像；同样为了增加特征图的数量，采用了三种不同的卷积核分别对两组特征图进行卷积操作；
其中，得到特征图的大小为21*12的原因是：27*17的图像经过7*6的卷积操作,((27-7)+1)*((17-6)+1)＝21*12；
而在步骤S053中可知，r通道特征图数量＝g通道特征图数量＝b通道特征图数量＝(7-3)+1)＝5；因此此时对一组图像进行7*6*3卷积操作，每次操作3层图像，(5-3)+1＝3，则特征图数量为3*3＝9，而一共有2*3＝6组，则此时的特征图数量为9*6；
S056：再对图像使用大小为3*3的最大池化降采样操作，降采样之后得到特征图的大小为(21/3)*(12/3)＝7*4，数量为9*6的图像；
S057：在此阶段，r、g、b通道数量为3，仅在该层的空间维度上执行卷积操作，再对图像使用卷积核大小为7*4的卷积操作得到特征图的大小为1*1、数量为128的图像，其中128为经验值；
S058：最后进行全连接操作，得到3个通道所有的信息，组合起来得到最终的特征描述，将这些特征值拿去训练得到一个模型；
S059：将步骤S04中得到的候选结节输入该模型，进行二次检测，来输出判断识别的结果。
2.根据权利要求1所述的一种基于深度学习的CT图肺结节检测方法，其特征在于：步骤S01包括：获得肺部CT图像后，调用SimpleITK库中的ReadImage函数对图像进行读取，并使用GetArrayFromImage函数得到像素值图像，得到图像的像素值，保存在numpy数组中。
3.硬件终端，其特征在于：包括图像输入模块、图像输出模块、存储器和与图像输入模块、图像输出模块、存储器连接的CPU，其中存储器中存储一组程序代码，所述CPU用于调用所述存储器 中存储的程序代码，执行权利要求1或2中所述方法的步骤操作。
CN201810287479.XA 2018-03-30 2018-03-30 一种基于深度学习的ct图肺结节检测方法 Active CN108537784B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810287479.XA CN108537784B (zh) 2018-03-30 2018-03-30 一种基于深度学习的ct图肺结节检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810287479.XA CN108537784B (zh) 2018-03-30 2018-03-30 一种基于深度学习的ct图肺结节检测方法

Publications (2)

Publication Number Publication Date
CN108537784A CN108537784A (zh) 2018-09-14
CN108537784B true CN108537784B (zh) 2021-08-24

Family

ID=63482978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810287479.XA Active CN108537784B (zh) 2018-03-30 2018-03-30 一种基于深度学习的ct图肺结节检测方法

Country Status (1)

Country Link
CN (1) CN108537784B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447960A (zh) * 2018-10-18 2019-03-08 神州数码医疗科技股份有限公司 一种对象识别方法和装置
CN109523521B (zh) * 2018-10-26 2022-12-20 复旦大学 基于多切片ct图像的肺结节分类和病灶定位方法和系统
CN109727253A (zh) * 2018-11-14 2019-05-07 西安大数据与人工智能研究院 基于深度卷积神经网络自动分割肺结节的辅助检测方法
CN111199552B (zh) * 2018-11-19 2023-04-28 零氪医疗智能科技(广州)有限公司 一种用于对不同时期肺部ct图像进行配准的系统及方法
CN109829880A (zh) * 2018-12-07 2019-05-31 清影医疗科技（深圳）有限公司 一种基于深度学习的ct图像检测方法、装置和控制设备
CN111292289B (zh) * 2018-12-07 2023-09-26 中国科学院深圳先进技术研究院 基于分割网络的ct肺肿瘤分割方法、装置、设备及介质
CN109613587B (zh) * 2018-12-13 2020-06-16 杭州旭辐检测技术有限公司 一种辐射检测系统
CN109801294A (zh) * 2018-12-14 2019-05-24 深圳先进技术研究院 三维左心房分割方法、装置、终端设备及存储介质
US11436720B2 (en) 2018-12-28 2022-09-06 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for generating image metric
CN109727251A (zh) * 2018-12-29 2019-05-07 上海联影智能医疗科技有限公司 一种定量肺部病症分割的系统、方法和设备
CN109886967A (zh) * 2019-01-16 2019-06-14 成都蓝景信息技术有限公司 基于深度学习技术的肺部解剖学位置定位算法
CN109978861B (zh) * 2019-03-27 2021-03-26 北京青燕祥云科技有限公司 骨髓灰质检测方法、装置、设备和计算机可读存储介质
CN110059697B (zh) * 2019-04-29 2023-04-28 上海理工大学 一种基于深度学习的肺结节自动分割方法
CN110084810B (zh) * 2019-05-06 2021-11-05 成都医云科技有限公司 一种肺结节图像检测方法、模型训练方法、装置及存储介质
CN110570390B (zh) * 2019-07-22 2022-04-15 无锡北邮感知技术产业研究院有限公司 一种图像检测方法及装置
CN110782441A (zh) * 2019-10-22 2020-02-11 浙江大学 一种基于深度学习的dr影像肺结核智能分割与检测方法
CN110728675A (zh) * 2019-10-22 2020-01-24 慧影医疗科技（北京）有限公司 肺结节分析装置、模型训练方法、装置及分析设备
CN111091564B (zh) * 2019-12-25 2024-04-26 金华市中心医院 一种基于3DUnet的肺结节大小检测系统
CN111369524B (zh) * 2020-03-02 2021-07-27 推想医疗科技股份有限公司 结节识别模型训练方法、结节识别方法及装置
CN111062955A (zh) * 2020-03-18 2020-04-24 天津精诊医疗科技有限公司 一种肺部ct影像数据分割方法及系统
CN111612764B (zh) * 2020-05-21 2023-09-22 广州普世医学科技有限公司 一种新冠肺炎磨玻璃病灶造影解析方法、系统及存储介质
CN111798424B (zh) * 2020-06-30 2021-02-09 广西医准智能科技有限公司 一种基于医学图像的结节检测方法、装置及电子设备
CN112581436A (zh) * 2020-12-11 2021-03-30 佛山市普世医学科技有限责任公司 基于深度学习的肺结节识别与分割方法及系统
CN112669319B (zh) * 2021-03-22 2021-11-16 四川大学 一种多视角多尺度淋巴结假阳性抑制建模方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751178A (zh) * 2015-03-31 2015-07-01 上海理工大学 基于形状模板匹配结合分类器的肺结节检测装置及方法
CN106600584A (zh) * 2016-12-07 2017-04-26 电子科技大学 一种基于Tsallis熵选择的疑似肺结节检测方法
CN106940816A (zh) * 2017-03-22 2017-07-11 杭州健培科技有限公司 基于3d全连接卷积神经网络的ct图像肺结节检测系统
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法
CN107154043A (zh) * 2017-06-05 2017-09-12 杭州健培科技有限公司 一种基于3dcnn的肺结节假阳性样本抑制方法
CN107563123A (zh) * 2017-09-27 2018-01-09 百度在线网络技术（北京）有限公司 用于标注医学图像的方法和装置
CN107590797A (zh) * 2017-07-26 2018-01-16 浙江工业大学 一种基于三维残差神经网络的ct影像肺结节检测方法
CN107644225A (zh) * 2017-10-31 2018-01-30 北京青燕祥云科技有限公司 肺部病灶识别方法、装置和实现装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751178A (zh) * 2015-03-31 2015-07-01 上海理工大学 基于形状模板匹配结合分类器的肺结节检测装置及方法
CN106600584A (zh) * 2016-12-07 2017-04-26 电子科技大学 一种基于Tsallis熵选择的疑似肺结节检测方法
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法
CN106940816A (zh) * 2017-03-22 2017-07-11 杭州健培科技有限公司 基于3d全连接卷积神经网络的ct图像肺结节检测系统
CN107154043A (zh) * 2017-06-05 2017-09-12 杭州健培科技有限公司 一种基于3dcnn的肺结节假阳性样本抑制方法
CN107590797A (zh) * 2017-07-26 2018-01-16 浙江工业大学 一种基于三维残差神经网络的ct影像肺结节检测方法
CN107563123A (zh) * 2017-09-27 2018-01-09 百度在线网络技术（北京）有限公司 用于标注医学图像的方法和装置
CN107644225A (zh) * 2017-10-31 2018-01-30 北京青燕祥云科技有限公司 肺部病灶识别方法、装置和实现装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
"DeepLung：3D Deep Convolutional Nets for Automatied Pulmonary Nodule Detection and Classification";Wentao Zhu等;《Computer Vision and Pattern Recognition》;20170916;第1-8页 *
"Multilevel Contextual 3-D CNNs for False Positive Reduction in Pulmonary Nodule Detection";Qi Dou等;《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》;20170731;第64卷(第7期);第1558-1567页 *
"TumorNet：Lung nodel characterization using multi-view Convolutional Neural Network with Gaussian Process";Sarfaraz Hussein等;《IEEE 14th International Symposium on Biomedical Imaging》;20170421;第1007-1010页 *
"二维和三维卷积神经网络相结合的CT图像肺结节检测方法 ";苗光等;《激光与电子学进展》;20171201;第55卷(第5期);第1-9页 *
"基于改进凸包算法的肺实质分割研究";李金等;《中国生物医学工程学报》;20130831;第32卷(第4期);第484-490页 *
"肺部CT图像病变区域检测方法";韩光辉等;《自动化学报》;20171231;第43卷(第12期);第2071-2090页 *

Also Published As

Publication number Publication date
CN108537784A (zh) 2018-09-14

Similar Documents

Publication Publication Date Title
CN108537784B (zh) 一种基于深度学习的ct图肺结节检测方法
CN108648172B (zh) 一种基于3D-Unet的CT图肺结节检测系统
US11568533B2 (en) Automated classification and taxonomy of 3D teeth data using deep learning methods
CN110176012B (zh) 图像中的目标分割方法、池化方法、装置及存储介质
CN111325739B (zh) 肺部病灶检测的方法及装置，和图像检测模型的训练方法
CN110310287B (zh) 基于神经网络的危及器官自动勾画方法、设备和存储介质
CN110458831B (zh) 一种基于深度学习的脊柱侧弯图像处理方法
JP2021529051A (ja) ３ｄオブジェクトの正準ポーズの自動化判定、および深層学習を使った３ｄオブジェクトの重ね合わせ
CN108510489B (zh) 一种基于深度学习的尘肺检测方法与系统
CN110246567B (zh) 一种医学图像预处理方法
CN112734755A (zh) 基于3d全卷积神经网络与多任务学习的肺叶分割方法
CN111784706A (zh) 鼻咽癌原发肿瘤图像自动识别方法及系统
CN111062947A (zh) 一种基于深度学习的x光胸片病灶定位方法及系统
CN113936011A (zh) 基于注意力机制的ct影像肺叶图像分割系统
CN112700461A (zh) 一种肺结节检测和表征类别识别的系统
WO2022086910A1 (en) Anatomically-informed deep learning on contrast-enhanced cardiac mri
CN113782181A (zh) 一种基于ct图像的肺结节良恶性诊断方法及装置
CN111028134A (zh) 图像处理方法、装置、系统及介质
CN112489053B (zh) 一种舌像分割方法、装置及存储介质
CN113538363A (zh) 一种基于改进U-Net的肺部医学影像分割方法及装置
KR102476888B1 (ko) 디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법
EP4152255A1 (en) System and method for differentiating a tissue of interest from another part of a medical scanner image
CN117437514B (zh) 一种基于CycleGan的阴道镜图像模态转换方法
CN117372437B (zh) 用于面神经麻痹智能化检测与量化方法及其系统
CN114677383B (zh) 基于多任务学习的肺结节检测分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant