CN112581436A - 基于深度学习的肺结节识别与分割方法及系统 - Google Patents

基于深度学习的肺结节识别与分割方法及系统 Download PDF

Info

Publication number
CN112581436A
CN112581436A CN202011438294.8A CN202011438294A CN112581436A CN 112581436 A CN112581436 A CN 112581436A CN 202011438294 A CN202011438294 A CN 202011438294A CN 112581436 A CN112581436 A CN 112581436A
Authority
CN
China
Prior art keywords
lung
image
segmentation
prediction
chest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011438294.8A
Other languages
English (en)
Other versions
CN112581436B (zh
Inventor
陈海欣
李伟忠
严朝煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Li Weizhong
Original Assignee
Foshan Universal Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Universal Medical Technology Co Ltd filed Critical Foshan Universal Medical Technology Co Ltd
Priority to CN202011438294.8A priority Critical patent/CN112581436B/zh
Publication of CN112581436A publication Critical patent/CN112581436A/zh
Application granted granted Critical
Publication of CN112581436B publication Critical patent/CN112581436B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于深度学习的肺结节识别与分割方法，包括：对DICOM文件进行预处理以生成胸部CT图像，从胸部CT图像中分割出肺部掩膜并修补；根据胸部CT图像及修补后的肺部掩膜生成三通道肺部图像，并将三通道肺部图像输入二维YOLO v3神经网络以检测肺结节的可疑区域；根据可疑区域对胸部CT图像进行标准化处理以生成标准化矩阵，将标准化矩阵分别输入3D Dense Net神经网络及C3D神经网络进行预测，并根据预测结果生成目标预测框；根据目标预测框对胸部CT图像进行归一化处理以生成归一化矩阵，将归一化矩阵输入3D U‑Net神经网络进行分割，并优化分割结果。本发明还公开了一种基于深度学习的肺结节识别与分割系统。采用本发明，可有效提高识别与分割的准确性及速度。

Description

基于深度学习的肺结节识别与分割方法及系统
技术领域
本发明涉及医学图像处理技术领域，尤其涉及一种基于深度学习的肺结节识别与分割方法及一种基于深度学习的肺结节识别与分割系统。
背景技术
在对影像图片的肺部结节识别过程中，通常使用的识别方法主要包括以下几种：
一、传统形态结构学方法：基于三维形状对采用不同的三维形状(如球形、圆柱形、曲面)分别模拟结节、血管与胸膜。但是，该方法容易依赖于结节与球形的相似性，容易造成与模拟形状不相似导致的漏检。
二、影像组学方法：在三维图像上采用OTSU(最大类间方差法)阈值、分水岭等传统分割方法提取肺结节可疑区域，然后提取分割后的病灶区域的纹理、形状、大小、分布等特征，对其采用K-Means(硬聚类算法)、KNN(K-NearestNeighbor，临近算法)、决策树、随机森林等一种或多种机器学习方法进行分析，得出可疑区域为病灶的概率。但是，采用传统分割方法容易漏检磨玻璃结节，容易受到血管干扰，不能很好地分割出黏连血管的结节，且可疑区域包含血管容易在计算纹理、形状、大小、分布等特征数值时发生偏移，进而影响模型效果。
三、深度学习方法：设计小型3D CNN(Convolutional Neural Network，卷积神经网络)识别网络模型，采用滑动窗口机制用训练好的模型来预测肺结节病灶；或者设计大型3D CNN检测网络模型，在大范围CT内检测肺结节病灶。但是，小型3D CNN识别网络的准确率与速度均依赖于滑动窗口的步长，两者互相牵制；而大型3D CNN检测网络在训练上由于训练参数庞大不易于收敛，预测速度相对慢一点。
发明内容
本发明所要解决的技术问题在于，提供一种基于深度学习的肺结节识别与分割方法及系统，可提高识别与分割的准确性及速度。
为了解决上述技术问题，本发明提供了一种基于深度学习的肺结节识别与分割方法，包括：对DICOM文件进行预处理以生成胸部CT图像，从所述胸部CT图像中分割出肺部掩膜，并修补所述肺部掩膜的轮廓；根据所述胸部CT图像及修补后的肺部掩膜生成三通道肺部图像，并将所述三通道肺部图像输入二维YOLO v3神经网络以检测肺结节的可疑区域；根据所述可疑区域对所述胸部CT图像进行标准化处理以生成标准化矩阵，将所述标准化矩阵分别输入3D Dense Net神经网络及C3D神经网络以预测出肺结节的置信度及良恶性程度，并根据所述肺结节的置信度及良恶性度生成目标预测框；根据所述目标预测框对所述胸部CT图像进行归一化处理以生成归一化矩阵，将所述归一化矩阵输入3D U-Net神经网络进行分割，并优化分割结果。
相应地，本发明还提供了一种基于深度学习的肺结节识别与分割系统，包括：预处理模块，用于对DICOM文件进行预处理以生成胸部CT图像，从所述胸部CT图像中分割出肺部掩膜，并修补所述肺部掩膜的轮廓；检测模块，用于根据所述胸部CT图像及修补后的肺部掩膜生成三通道肺部图像，并将所述三通道肺部图像输入二维YOLO v3神经网络以检测肺结节的可疑区域；识别模块，用于根据所述可疑区域对所述胸部CT图像进行标准化处理以生成标准化矩阵，将所述标准化矩阵分别输入3D Dense Net神经网络及C3D神经网络以预测出肺结节的置信度及良恶性程度，并根据所述肺结节的置信度及良恶性度生成目标预测框；分割模块，用于根据所述目标预测框对所述胸部CT图像进行归一化处理以生成归一化矩阵，将所述归一化矩阵输入3D U-Net神经网络进行分割，并优化分割结果。
作为上述方案的改进，所述预处理模块包括预处理单元、分割单元及修补单元，所述预处理单元包括：还原子单元，用于根据所述DICOM文件中的缩放截距及缩放斜率，还原所述DICOM文件中CT图像的CT值；第一归一化子单元，用于将所述DICOM文件中位于数轴上且小于预设值的像素点间隔值进行归一化处理，截取目标区间内的CT值，将所述CT值标准化至标准区间；第二归一化子单元，用于将所述DICOM文件中位于横轴、纵轴及数轴上的像素点间隔值进行归一化处理，截取目标区间内的CT值，将所述CT值标准化至标准区间，以生成胸部CT图像。
作为上述方案的改进，所述分割单元包括：分割子单元，用于对所述胸部CT图像的CT值矩阵进行分割，生成二值矩阵，其中，将所述胸部CT图像中小于预设像素的像素值置为第一基准值，大于预设像素的像素值置为第二基准值；标记子单元，用于对所述二值矩阵进行三维连通域标记，生成标签矩阵，并在所述标签矩阵上设置背景标签；标签子单元，用于在所述二值矩阵中把标签等于背景标签的像素值置为第二基准值；填充子单元，用于对所述二值矩阵中的像素值作减一处理，并填充最大三维连通域内的像素值；反转子单元，用于反转所述二值矩阵，并保留所述最大三维连通域，其中，像素值为第一基准值的区域为肺部区域；连通域计算子单元，用于计算反转后的二值矩阵的三维连通域，将所述三维连通域中心点坐标高度小于预设高度的区域及三维连通域容积小于预设容积的区域置为背景；乘积子单元，用于把所述二值矩阵与预设值进行乘积运算，以生成肺部掩膜。
作为上述方案的改进，所述修补单元包括：像素计算子单元，用于逐层计算所述肺部掩膜的掩膜区域的像素点个数；图像提取子单元，用于提取所述像素点个数不少于预设个数的胸部CT图像；腐蚀子单元，用于判断所述掩膜区域是否贴近所述胸部CT图像的边缘，判断为否时，则对所述胸部CT图像进行二值腐蚀操作；闭操作子单元，用于判断所述掩膜区域是否贴近腐蚀后胸部CT图像的边缘，判断为否时，则对所述胸部CT图像进行基于第一半径的二值闭操作，否则对所述胸部CT图像进行基于第二半径的二值闭操作；轮廓计算子单元，用于将距离所述胸部CT图像边缘预设像素值的区域标为第三基准值，计算所述掩膜区域的轮廓信息，对所述掩膜区域内部的空洞进行填充；修复子单元，用于计算所述掩膜区域的连通区域的数量，若所述连通区域的数量为预设数量，则采用滚球法修复所述掩膜区域，若所述连通区域的数量大于预设数量，则分别获取两个最大的连通区域的凸包区域，当所述凸包区域的凸包面积不大于预设面积时，将所述凸包区域作为新的肺部掩膜，否则采用滚球法修复所述连通区域。
作为上述方案的改进，所述检测模块包括：逻辑运算单元，用于对所述胸部CT图像及修补后的肺部掩膜进行逻辑与运算，生成肺分割图像；提取单元，用于逐层计算所述肺部掩膜的和，并根据所述和从所述肺分割图像中提取目标肺分割图像；合成单元，用于将连续三片目标肺分割图像的灰度图像合成为三通道肺部图像；YOLO v3单元，用于将所述三通道肺部图像输入预先训练好的二维YOLO v3神经网络，输出可疑区域预测框的坐标、可疑区域预测框包含目标的置信度及目标属于肺结节的分类概率；过滤单元，用于根据所述置信度对所述可疑区域预测框进行过滤处理；融合单元，用于通过非极大值抑制法，对过滤后的可疑区域预测框进行融合处理。
作为上述方案的改进，所述识别模块包括标准化单元、3D Dense Net单元、C3D单元及预测单元，所述标准化单元包括：预测框计算子单元，用于根据所述可疑区域预测框的坐标，计算所述可疑区域预测框在三通道肺部图像上的中心点坐标、长度及宽度；归一化子单元，用于在所述胸部CT图像上截取第一预测立方框，并对所述第一预测立方框进行归一化处理，以生成标准化矩阵。
作为上述方案的改进，所述预测单元包括：数轴子单元，用于从所述3D Dense Net神经网络预测出的肺结节的置信度中，提取置信度大于预设值的可疑区域，将所述可疑区域按置信度由高到低排序，并以所述可疑区域的长度及宽度中的最小值作为可疑区域的数轴上的高；集合子单元，用于根据公式
Figure BDA0002829753320000041
计算所述数轴上重叠的第一预测立方框的集合，其中，z1、z2分别为两第一预测立方框在数轴上中心点坐标，w1、w2分别为两第一预测立方框在俯视图上的宽，h1、h2分别为两第一预测立方框在俯视图上的高；重叠度子单元，用于计算所述集合中第一预测立方框在俯视图上的平面框的重叠度；融合子单元，用于将所述重叠度不低于预测重叠度的第一预测立方框进行融合以生成目标预测框，其中，所述目标预测框的置信度为第一预测立方框集合中置信度的最大值，所述目标预测框的良恶性度为第一预测立方框集合中良恶性度的最大值，所述目标预测框的顶点坐标
Figure BDA0002829753320000042
xi为第一预测立方框的顶点坐标，confi为第i个预测框对应的置信度，
Figure BDA0002829753320000043
为每个第一预测立方框的权值。
作为上述方案的改进，所述分割模块包括归一化单元及优化单元，所述归一化单元包括：目标计算子单元，用于根据所述目标预测框的坐标，计算目标预测框在三通道肺部图像上的中心点坐标、长度及宽度；截取子单元，用于在所述胸部CT图像上截取第二预测立方框，并对所述第二预测立方框进行归一化处理，以生成归一化矩阵；3D U-Net子单元，用于将所述归一化矩阵输入3D U-Net神经网络进行分割，输出肺结节分割区域中每个像素点是结节体素的置信度。
作为上述方案的改进，所述优化单元包括：连通域提取子单元，用于从所述3D U-Net神经网络预测出的结节体素的置信度中，提取置信度大于预设值的肺结节分割区域，对所述肺结节分割区域进行连通域标记，并提取与所述目标预测框重合度最大的连通域；重叠度计算子单元，用于计算所述连通域与所述目标预测框的连通重叠度；第一OTSU子单元，用于若所述连通重叠度低于预设重叠度，对所述目标预测框内图像进行OTSU分割，并获取肺结节分割区域与目标预测框的分割重叠度；第二OTSU子单元，用于若所述连通重叠度大于所述分割重叠度，则以所述3D U-Net神经网络输出的肺结节分割区域作为目标分割结果，否则以OTSU分割的结果作为目标分割结果。
实施本发明，具有如下有益效果：
本发明利用二维YOLO v3神经网络对肺结节可疑病灶进行提取，与现有的OTSU分割、分水岭分割等提取方法相比，提升了结节检测的敏感度，尤其在磨玻璃结节上，且减少了出现预测框包含的病灶黏连了血管的情况；
同时，本发明构建三通道肺部图像，并将其输入二维YOLO v3神经网络，与现有的三维的结节检测网络相比，在检测结节的速度上更快，性能也不亚于三维的结节检测网络；
本发明还利用多个小型3D Dense Net神经网络进一步减少假阳性，相比使用单个目标识别网络，泛化性能更高；
本发明还利用3D U-Net神经网络以及形态学上的后处理，将病灶区域勾勒出来，增加肺结节病灶输出结果的解释性，使预测出的目标区域更加准确。
附图说明
图1是本发明基于深度学习的肺结节识别与分割方法的实施例流程图；
图2是本发明中对DICOM文件进行预处理以生成胸部CT图像的实施例流程图；
图3是本发明中从胸部CT图像中分割出肺部掩膜的实施例流程图；
图4是本发明中修补肺部掩膜的轮廓的实施例流程图；
图5是本发明中根据胸部CT图像及肺部掩膜生成三通道肺部图像，并将三通道肺部图像输入二维YOLO v3神经网络以检测肺结节的可疑区域的实施例流程图；
图6是本发明中根据可疑区域对胸部CT图像进行标准化处理以生成标准化矩阵，将标准化矩阵分别输入3D Dense Net神经网络及C3D神经网络以预测出肺结节的置信度及良恶性程度，并根据肺结节的置信度及良恶性度生成目标预测框的实施例流程图；
图7是本发明中根据目标预测框对胸部CT图像进行归一化处理以生成归一化矩阵，将归一化矩阵输入3D U-Net神经网络进行分割，并优化分割结果的实施例流程图；
图8是本发明基于深度学习的肺结节识别与分割系统的结构示意图；
图9是本发明中预处理模块的结构示意图；
图10是本发明中检测模块的结构示意图；
图11是本发明中识别模块的结构示意图；
图12是本发明中分割模块的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
参见图1，图1显示了本发明基于深度学习的肺结节识别与分割方法的实施例流程图，其包括：
S101，对DICOM文件进行预处理以生成胸部CT图像，从胸部CT图像中分割出肺部掩膜，并修补肺部掩膜的轮廓。
DICOM(Digital Imaging and Communications in Medicine)即医学数字成像和通信，是医学图像和相关信息的国际标准(ISO 12052)。它定义了质量能满足临床需要的可用于数据交换的医学图像格式。
需要说明的是，通过对DICOM文件进行预处理，可有效还原DICOM文件中CT图片的真实CT值，并选取肺部感兴趣区域的CT值；而从胸部CT图像中分割出肺部掩膜，可将肺区从胸部CT图像中分割出来，避免其它胸部部位对肺结节的预测造成干扰；同时，修补肺部掩膜的轮廓，可避免由于粘连胸壁结节造成的肺部掩膜缺损而造成的肺区分割不全。
S102，根据胸部CT图像及修补后的肺部掩膜生成三通道肺部图像，并将三通道肺部图像输入二维YOLO v3神经网络以检测肺结节的可疑区域。
需要说明的是，通过步骤S102有实现肺结节可疑区域的有效检测。其中，所述二维YOLO v3神经网络的特征提取部分基于DarkNet-53结构，检测部分基于FPN架构。
S103，根据可疑区域对胸部CT图像进行标准化处理以生成标准化矩阵，将标准化矩阵分别输入3D Dense Net神经网络及C3D神经网络以预测出肺结节的置信度及良恶性程度，并根据肺结节的置信度及良恶性度生成目标预测框。
需要说明的是，根据肺结节的置信度及良恶性度生成目标预测框可有效减少冗余的指向同一肺结节的目标预测框。
S104，根据目标预测框对胸部CT图像进行归一化处理以生成归一化矩阵，将归一化矩阵输入3D U-Net神经网络进行分割，并优化分割结果。
需要说明的是，在优化分割结果时，可对3D U-Net神经网络输出的分割结果进行形态学的后处理，从而获得更切合肺结节病灶的勾画。
因此，本发明基于深度学习的肺结节识别与分割方法利用二维YOLO v3神经网络对肺结节可疑病灶进行提取，与现有的OTSU分割、分水岭分割等提取方法相比，提升了结节检测的敏感度，尤其在磨玻璃结节上，且减少了出现预测框包含的病灶黏连了血管的情况；同时，本发明构建三通道肺部图像，并将其输入二维YOLO v3神经网络，与现有的三维的结节检测网络相比，在检测结节的速度上更快，性能也不亚于三维的结节检测网络；另外，本发明还利用多个小型3D Dense Net神经网络进一步减少假阳性，相比使用单个目标识别网络，泛化性能更高；相应地，本发明还利用3D U-Net神经网络以及形态学上的后处理，将病灶区域勾勒出来，增加肺结节病灶输出结果的解释性，使预测出的目标区域更加准确。
参见图2，图2显示了本发明中对DICOM文件进行预处理以生成胸部CT图像的实施例流程图，其包括：
S201，根据DICOM文件中的缩放截距及缩放斜率，还原DICOM文件中CT图像的CT值。
读取DICOM文件的像素矩阵值，并根据DICOM文件中的缩放截距及缩放斜率两个属性还原真实CT值。
S202，将DICOM文件中位于数轴上且小于预设值的像素点间隔值进行归一化处理，截取目标区间内的CT值，将CT值标准化至标准区间。
读取DICOM文件中的像素点间隔值，若数轴上的像素点间隔值小于1mm，则将其归一化至1mm；同时，截取在目标区间[-1000，400]内的CT值，并将CT值标准化至标准区间[0，255]，逐层保存为PNG格式图片输出。
S203，将DICOM文件中位于横轴、纵轴及数轴上的像素点间隔值进行归一化处理，截取目标区间内的CT值，将CT值标准化至标准区间，以生成胸部CT图像。
读取DICOM文件中的像素点间隔值，将在横轴、纵轴与数轴上的所有像素点间隔值均归一化至1mm，截取在目标区间[-1000，400]内的CT值，并将CT值标准化至标准区间[0，255]，并以三维NPY的格式保存。
因此，对DICOM文件进行预处理，可有效还原DICOM文件中CT图像的真实CT值，并选取肺部感兴趣区域的CT值。
参见图3，图3显示了本发明中从胸部CT图像中分割出肺部掩膜的实施例流程图，其包括：
S301，对胸部CT图像的CT值矩阵进行分割，生成二值矩阵，其中，将胸部CT图像中小于预设像素的像素值置为第一基准值，大于预设像素的像素值置为第二基准值。
用-320作为阈值，对CT值矩阵进行分割，生成二值矩阵。具体地，将小于-320的像素值置为1(即第一基准值)，将大于-320的像素值置为2(即第二基准值)。
S302，对二值矩阵进行三维连通域标记，生成标签矩阵，并在标签矩阵上设置背景标签。
对所述二值矩阵进行三维连通域标记，生成标签矩阵，并分别在标签矩阵的左上角和右下角采点作为背景标签。
S303，在二值矩阵中把标签等于背景标签的像素值置为第二基准值。
具体地，在二值矩阵中把标签等于背景标签的像素值置为2(即第二基准值)。
S304，对二值矩阵中的像素值作减一处理，并填充最大三维连通域内的像素值。
将二值矩阵中的每个像素值-1，并填充最大三维连通域内的像素值。
例如，值为2的像素值，经减一处理后，置为1；值为2的像素值，经减一处理后，置为0。
S305，反转二值矩阵，并保留最大三维连通域，其中，像素值为第一基准值的区域为肺部区域。
具体地，把二值矩阵反转，并保留最大三维连通域，此时像素值为1((即第一基准值))的区域为肺部区域。
S306，计算反转后的二值矩阵的三维连通域，将三维连通域中心点坐标高度小于预设高度的区域及三维连通域容积小于预设容积的区域置为背景。
对步骤S305生成的二值矩阵计算三维连通域，将三维连通域中心点坐标高度小于25％的图像高度(即预设高度)的区域置为背景，并将三维连通域容积小于最大三维连通域容积30％(即预设容积)的区域置为背景。
S307，把二值矩阵与预设值进行乘积运算，以生成肺部掩膜。
所述预设值优选为255，因此，把二值矩阵乘以255，以生成肺部掩膜。
因此，从胸部CT图像中分割出肺部掩膜，可将肺区从胸部CT图像中分割出来，从而有效避免其它胸部部位对肺结节的预测造成干扰。
参见图4，图4显示了本发明中修补肺部掩膜的轮廓的实施例流程图，其包括：
S401，逐层计算肺部掩膜的掩膜区域的像素点个数。
S402，提取像素点个数不少于预设个数的胸部CT图像。
优选地，所述预设个数为2000个，但不以此为限制，可根据实际情况进行调整。
需要说明的是，通过步骤S401后，需对像素点个数不少于2000的胸部CT图像(即肺部掩膜切片)进行步骤S403-406的处理。
S403，判断掩膜区域是否贴近胸部CT图像的边缘，判断为否时，则对胸部CT图像进行二值腐蚀操作。
具体地，可查看掩膜区域是否贴近胸部CT图像的边缘，若掩膜区域在距离胸部CT图像边界上下左右各10个像素点以外的区域，则对胸部CT图像进行基于2个像素值为半径的核的二值腐蚀操作。
S404，判断掩膜区域是否贴近腐蚀后胸部CT图像的边缘，判断为否时，则对胸部CT图像进行基于第一半径的二值闭操作，否则对胸部CT图像进行基于第二半径的二值闭操作。
具体地，经步骤S403处理后，查看掩膜区域是否贴近胸部CT图像的边缘，若掩膜区域在距离胸部CT图像边界上下左右各10个像素点以外的区域，则对胸部CT图像进行基于10个像素值为半径的核的二值闭操作，否则对图像进行基于5个像素值为半径的核的二值闭操作。
S405，将距离胸部CT图像边缘预设像素值的区域标为第三基准值，计算掩膜区域的轮廓信息，对掩膜区域内部的空洞进行填充。
具体地，将距离胸部CT图像边界2个像素值的区域标为0(即第三基准值)，对掩膜区域用Robert算子计算其轮廓信息，并对掩膜内部的空洞进行填充。
S406，计算掩膜区域的连通区域的数量；若连通区域的数量为预设数量，则采用滚球法修复掩膜区域；若连通区域的数量大于预设数量，则分别获取两个最大的连通区域的凸包区域，当凸包区域的凸包面积不大于预设面积时，将凸包区域作为新的肺部掩膜，否则采用滚球法修复连通区域。
优选地，所述预设数量为1，所述预设面积为原连通区域面积2倍。工作时，计算掩膜区域的连通区域；如果连通区域个数为1，则对该掩膜区域的轮廓采用滚球法进行修复，使其变得平滑；如果连通区域的个数不少于2(即大于1)，则针对最大的两个连通区域，分别获取其凸包区域，当凸包面积不大于原连通区域面积2倍时，采取其作为新的肺部掩膜，否则对该连通区域的边缘采用滚球法进行修复；并将修补后的肺部掩膜存为PNG格式。
由上可知，本发明采用对肺部掩膜二维切片进行分析的方法进行修补，基于肺部掩膜是否贴近图像边界10个像素点来设定以2个像素值为半径的核的二值腐蚀操作，以及设定以5或10个像素点为半径的核的二值闭操作，并对2个像素点宽的图像边界区域用0值填充。以上步骤与现有的形态学处理相比，考虑到二值形态学操作可能会使掩膜超出图像边界的情况，从而避免填充空洞、分割肺区等后续处理上表现不佳的情况。
进一步，所述滚球法的步骤如下：
步骤1：在当前点的法线方向，向肺外延申30个像素值作为滚球球心位置，以30个像素值为半径作当前点的相切球；
步骤2：如果相切球与后续肺部轮廓点存在多于一个的交点，则选取交点中与当前点距离最近的点，并删除当前点与最近点之前的轮廓点；否则转入步骤1处理下一个轮廓点。
针对现有技术滚球法用于修补肺部掩膜轮廓对不同的球半径适应不同的凹损程度的情况，本发明采用先考虑采用凸包方法，若凸包面积高于原掩膜面积两倍时再考虑滚球法用于修补的做法，以降低滚球法半径对修补肺部掩膜的影响。
参见图5，图5显示了本发明中根据胸部CT图像及肺部掩膜生成三通道肺部图像，并将三通道肺部图像输入二维YOLO v3神经网络以检测肺结节的可疑区域的实施例流程图，其包括：
S501，对胸部CT图像及修补后的肺部掩膜进行逻辑与运算，生成肺分割图像。
S502，逐层计算肺部掩膜的和，并根据和从肺分割图像中提取目标肺分割图像。
具体地，依据逐层计算的肺部掩膜的和，排除和小于255000的肺分割图像，从而提取出目标肺分割图像。
S503，将连续三片目标肺分割图像的灰度图像合成为三通道肺部图像。
具体地，以2个切片为间隔，获取目标肺分割图像的上下层，并将连续的三片目标肺分割图像的灰度图像合成为一片3×512×512的彩色三通道RGB肺部图像(即三通道肺部图像)。
S504，将三通道肺部图像输入预先训练好的二维YOLO v3神经网络，输出可疑区域预测框的坐标、可疑区域预测框包含目标的置信度及目标属于肺结节的分类概率。
需要说明的是，所述二维YOLO v3神经网络的特征提取部分基于DarkNet-53结构，检测部分基于FPN架构。
训练与预测二维YOLO v3神经网络时，输入为步骤S503处理后的单个病人的每一张三通道肺部图像，输出为每张三通道肺部图像上可疑区域预测框的坐标、可疑区域预测框包含目标的置信度及目标属于肺结节的分类概率。
S505，根据置信度对可疑区域预测框进行过滤处理。
具体地，过滤置信度低于0.7的可疑区域预测框。
S506，通过非极大值抑制法，对过滤后的可疑区域预测框进行融合处理。
具体地，采取非极大值抑制法，对交叠率不低于0.3的可疑区域预测框进行融合。
最后，将单个病人的多张三通道肺部图像预测，并通过融合处理后，输出整理归纳到CSV格式保存。
需要说明的是，由于肺部切片上下层信息在肺部数轴上的像素间隔比较小的时候是很相近的，使用二维YOLO v3神经网络预测的现有处理方法是将原有的肺部CT图像切片均进行预测，这样会产生许多上下层均指向同一感兴趣区域的冗余的预测数据，且延长检测时间，降低效率。与现有技术不同的是，本发明将从DICOM文件读取的像素矩阵在数轴上标准化至间隔1mm，依据计算肺部掩膜去除不包含肺部的切片，将三片连续的肺部切片合成一片三通道肺部图像，与现有技术相比，既减少了后面网络需要处理的图片数量，又较完整地保留了图像信息。
参见图6，图6显示了本发明中根据可疑区域对胸部CT图像进行标准化处理以生成标准化矩阵，将标准化矩阵分别输入3D Dense Net神经网络及C3D神经网络以预测出肺结节的置信度及良恶性程度，并根据肺结节的置信度及良恶性度生成目标预测框的实施例流程图，其包括：
S601，根据可疑区域预测框的坐标，计算可疑区域预测框在三通道肺部图像上的中心点坐标、长度及宽度。
从预先保存的三维NPY文件(参见图2中的步骤S203)中读取像素点间隔均标准化至1mm的胸部CT图像。
读取可疑区域预测框的坐标，计算可疑区域预测框的中心点坐标、长度及宽度，此时的可疑区域预测框的坐标是基于每一张512×512三通道肺部图像。
S602，在胸部CT图像上截取第一预测立方框，并对第一预测立方框进行归一化处理，以生成标准化矩阵。
具体地，获取可疑区域预测框在三通道肺部图像上的中心点坐标、长度及宽度，并在胸部CT图像上截取32×32×32的立方体(即第一预测立方框)，并将其值归一化。
S603，将标准化矩阵输入3D Dense Net神经网络以预测出肺结节的置信度。
需要说明的是，3D Dense Net神经网络在搭建、训练与预测时，输入为单通道的32×32×32标准化矩阵，输出为立方体(即第一预测立方框)包含肺结节的概率(即置信度)。
S604，将标准化矩阵输入C3D神经网络以预测出肺结节的良恶性程度。
需要说明的是，C3D神经网络的搭建、训练与预测时，输入为单通道的32×32×32标准化矩阵，输出为肺结节的良恶性程度。
S605，从3D Dense Net神经网络预测出的肺结节的置信度中，提取置信度大于预设值的可疑区域，将可疑区域按置信度由高到低排序，并以可疑区域的长度及宽度中的最小值作为可疑区域的数轴上的高。
具体地，获取3D Dense Net神经网络输出的置信度大于0.75(预设值)的可疑区域，将其按置信度由高到低排序，并以可疑区域的长度及宽度中的最小值作为可疑区域数轴上的高，以此计算第一预测立方框之间的重叠度。
S606，根据公式
Figure BDA0002829753320000131
计算数轴上重叠的第一预测立方框的集合。
获取步骤S605中的可疑区域，计算第一预测立方框中在数轴上存在重叠的集合。
具体地，计算数轴上存在重叠与否的公式如下：
Figure BDA0002829753320000132
其中：
z1、z2分别为两第一预测立方框在数轴上中心点坐标；
w1、w2分别为两第一预测立方框在俯视图上的宽；
h1、h2分别为两第一预测立方框在俯视图上的高。
需要说明的是，第一预测立方框在数轴上的中心点距离小于第一预测立方框的最短半径之和，则代表两第一预测立方框在数轴上存在重叠。
S607，计算集合中第一预测立方框在俯视图上的平面框的重叠度。
对数轴上重叠的第一预测立方框，计算其在俯视图上的平面框的重叠度。
S608，将重叠度不低于预测重叠度的第一预测立方框进行融合以生成目标预测框。
具体地，将重叠度不低于30％(预测重叠度)的第一预测立方框进行融合，融合后的目标预测框的坐标按照融合的第一预测立方框的置信度的比例计算。
相应地，目标预测框的计算公式如下：
Figure BDA0002829753320000141
其中：
xnew为目标预测框的顶点坐标，目标预测框的每一个顶点坐标等于可进行融合的每一个第一预测立方框的相应顶点坐标与其对应的权值的乘积的总和；
i是可进行融合的其中一个预测框；
xi为第一预测立方框的其中一个顶点坐标；
confi为第i个预测框对应的置信度；
Figure BDA0002829753320000142
为每个第一预测立方框的权值，每个第一预测立方框对应的权值的总和等于1，任意两个可融合的第一预测立方框对应的权值之比等于其置信度之比；
目标预测框的置信度为第一预测立方框集合中置信度的最大值；
目标预测框的良恶性度为第一预测立方框集合中良恶性度的最大值。
最后，输出融合后的目标预测框，并以CSV格式保存。
需要说明的是，传统的相邻预测框融合方法多见于二维预测框，主要有用于如FPN、YOLO等检测网络后处理的非极大值抑制法，基于两中心点距离与两半径之和的比例及两预测框间面积比例的融合法等。与现有技术不同的是，本发明可对3D Dense Net神经网络输出的相邻预测框进行融合处理。具体地，本发明将非极大值抑制法拓展至三维预测框的改良版，考虑到三维空间中两预测框的重叠度阈值相对二维的重叠度更难设定，重叠的情况类型更多，因而采用俯瞰图重叠度的思想，将数轴上相邻或相近的预测框映射到同一层，再对比其映射面积的重叠度，依据此重叠度进行融合更易于识别冗余的三维预测框。
参见图7，图7显示了本发明中根据目标预测框对胸部CT图像进行归一化处理以生成归一化矩阵，将归一化矩阵输入3D U-Net神经网络进行分割，并优化分割结果的实施例流程图，其包括：
S701，根据目标预测框的坐标，计算目标预测框在三通道肺部图像上的中心点坐标、长度及宽度。
具体地，读取目标预测框的坐标，计算目标预测框的中心点坐标、长度及宽度。
S702，在胸部CT图像上截取第二预测立方框，并对第二预测立方框进行归一化处理，以生成归一化矩阵。
具体地，在胸部CT图像上截取48×48×48的立方体(即第二预测立方框)，并将其值归一化。
S703，将归一化矩阵输入3D U-Net神经网络进行分割，输出肺结节分割区域中每个像素点是结节体素的置信度。
需要说明的是，3D U-Net神经网络的搭建、训练与预测时，输入为单通道的48×48×48归一化矩阵，输出为同等大小矩阵中每个像素点是结节体素的概率(即置信度)。
S704，从3D U-Net神经网络预测出的结节体素的置信度中，提取置信度大于预设值的肺结节分割区域，对肺结节分割区域进行连通域标记，并提取与目标预测框重合度最大的连通域。
具体地，获取3D U-Net神经网络输出的置信度大于0.5(预设值)的肺结节分割区域，对肺结节分割区域进行连通域标记，选取其与目标预测框重合度最大的一个连通域作为输出，避免48×48×48归一化矩阵中存在另一个结节对当前肺结节分割区域的计算造成影响。
S705，计算连通域与目标预测框的连通重叠度。
具体地，计算步骤S704选中的连通域在目标预测框内区域与目标预测框本身的连通重叠度IOUU-Net。
S706，若连通重叠度低于预设重叠度，对目标预测框内图像进行OTSU分割，并获取肺结节分割区域与目标预测框的分割重叠度；若连通重叠度大于分割重叠度，则以3D U-Net神经网络输出的肺结节分割区域作为目标分割结果，否则以OTSU分割的结果作为目标分割结果。
若连通重叠度IOUU-Net低于30％(预设重叠度)，对目标预测框内图像进行OTSU分割；然后，再次获取肺结节分割区域与目标预测框的分割重叠度IOUOtsu，若此时，IOUU-Net≥IOUOtsu，则以3D U-Net神经网络输出的肺结节分割区域作为目标分割结果输出，否则以OTSU分割的结果作为目标分割结果输出；最后，将目标分割结果的坐标信息存为CSV，并保存一份以红色线条作为勾勒颜色的病灶勾画图片。
因此，本发明将3D U-Net神经网络输出与形态学后处理相结合。具体地，本发明选取了与预测框重叠度最大的连通区域，并基于预测框内区域在预测框中的占比，考虑是否采用基于OTSU的病灶分割，并基于两种分割与原预测框的重叠程度决定分割的输出；同时，本发明结合形态学的分割，对比直接采用3D U-Net神经网络输出，补充了一些可解释性，提高分割区域更贴合病灶本身的可能性。
如图8所示，本发明还提供了一种基于深度学习的肺结节识别与分割系统，其包括：
预处理模块1，用于对DICOM文件进行预处理以生成胸部CT图像，从所述胸部CT图像中分割出肺部掩膜，并修补所述肺部掩膜的轮廓。DICOM(Digital Imaging andCommunications in Medicine)即医学数字成像和通信，是医学图像和相关信息的国际标准(ISO 12052)。它定义了质量能满足临床需要的可用于数据交换的医学图像格式。需要说明的是，通过对DICOM文件进行预处理，可有效还原DICOM文件中CT图片的真实CT值，并选取肺部感兴趣区域的CT值；而从胸部CT图像中分割出肺部掩膜，可将肺区从胸部CT图像中分割出来，避免其它胸部部位对肺结节的预测造成干扰；同时，修补肺部掩膜的轮廓，可避免由于粘连胸壁结节造成的肺部掩膜缺损而造成的肺区分割不全。
检测模块2，用于根据所述胸部CT图像及修补后的肺部掩膜生成三通道肺部图像，并将所述三通道肺部图像输入二维YOLO v3神经网络以检测肺结节的可疑区域。其中，所述二维YOLO v3神经网络的特征提取部分基于DarkNet-53结构，检测部分基于FPN架构。
识别模块3，用于根据所述可疑区域对所述胸部CT图像进行标准化处理以生成标准化矩阵，将所述标准化矩阵分别输入3D Dense Net神经网络及C3D神经网络以预测出肺结节的置信度及良恶性程度，并根据所述肺结节的置信度及良恶性度生成目标预测框。需要说明的是，根据肺结节的置信度及良恶性度生成目标预测框可有效减少冗余的指向同一肺结节的目标预测框。
分割模块4，用于根据所述目标预测框对所述胸部CT图像进行归一化处理以生成归一化矩阵，将所述归一化矩阵输入3D U-Net神经网络进行分割，并优化分割结果。需要说明的是，在优化分割结果时，可对3D U-Net神经网络输出的分割结果进行形态学的后处理，从而获得更切合肺结节病灶的勾画。
因此，本发明利用二维YOLO v3神经网络对肺结节可疑病灶进行提取，与现有的OTSU分割、分水岭分割等提取方法相比，提升了结节检测的敏感度，尤其在磨玻璃结节上，且减少了出现预测框包含的病灶黏连了血管的情况；同时，本发明构建三通道肺部图像，并将其输入二维YOLO v3神经网络，与现有的三维的结节检测网络相比，在检测结节的速度上更快，性能也不亚于三维的结节检测网络；另外，本发明还利用多个小型3D Dense Net神经网络进一步减少假阳性，相比使用单个目标识别网络，泛化性能更高；相应地，本发明还利用3D U-Net神经网络以及形态学上的后处理，将病灶区域勾勒出来，增加肺结节病灶输出结果的解释性，使预测出的目标区域更加准确。
如图9所示，所述预处理模块1包括预处理单元11、分割单元12及修补单元13。具体地：
所述预处理单元11包括：
还原子单元111，用于根据所述DICOM文件中的缩放截距及缩放斜率，还原所述DICOM文件中CT图像的CT值。读取DICOM文件的像素矩阵值，并根据DICOM文件中的缩放截距及缩放斜率两个属性还原真实CT值。
第一归一化子单元112，用于将所述DICOM文件中位于数轴上且小于预设值的像素点间隔值进行归一化处理，截取目标区间内的CT值，将所述CT值标准化至标准区间。读取DICOM文件中的像素点间隔值，若数轴上的像素点间隔值小于1mm，则将其归一化至1mm；同时，截取在目标区间[-1000，400]内的CT值，并将CT值标准化至标准区间[0，255]，逐层保存为PNG格式图片输出。
第二归一化子单元113，用于将所述DICOM文件中位于横轴、纵轴及数轴上的像素点间隔值进行归一化处理，截取目标区间内的CT值，将所述CT值标准化至标准区间，以生成胸部CT图像。读取DICOM文件中的像素点间隔值，将在横轴、纵轴与数轴上的所有像素点间隔值均归一化至1mm，截取在目标区间[-1000，400]内的CT值，并将CT值标准化至标准区间[0，255]，并以三维NPY的格式保存。
因此，预处理单元11对DICOM文件进行预处理，可有效还原DICOM文件中CT图像的真实CT值，并选取肺部感兴趣区域的CT值。
所述分割单元12包括：
分割子单元121，用于对所述胸部CT图像的CT值矩阵进行分割，生成二值矩阵，其中，将所述胸部CT图像中小于预设像素的像素值置为第一基准值，大于预设像素的像素值置为第二基准值。用-320作为阈值，对CT值矩阵进行分割，生成二值矩阵。具体地，将小于-320的像素值置为1(即第一基准值)，将大于-320的像素值置为2(即第二基准值)。
标记子单元122，用于对所述二值矩阵进行三维连通域标记，生成标签矩阵，并在所述标签矩阵上设置背景标签。对所述二值矩阵进行三维连通域标记，生成标签矩阵，并分别在标签矩阵的左上角和右下角采点作为背景标签。
标签子单元123，用于在所述二值矩阵中把标签等于背景标签的像素值置为第二基准值。具体地，在二值矩阵中把标签等于背景标签的像素值置为2(即第二基准值)。
填充子单元124，用于对所述二值矩阵中的像素值作减一处理，并填充最大三维连通域内的像素值。将二值矩阵中的每个像素值-1，并填充最大三维连通域内的像素值。例如，值为2的像素值，经减一处理后，置为1；值为2的像素值，经减一处理后，置为0。
反转子单元125，用于反转所述二值矩阵，并保留所述最大三维连通域，其中，像素值为第一基准值的区域为肺部区域。具体地，把二值矩阵反转，并保留最大三维连通域，此时像素值为1((即第一基准值))的区域为肺部区域。
连通域计算子单元126，用于计算反转后的二值矩阵的三维连通域，将所述三维连通域中心点坐标高度小于预设高度的区域及三维连通域容积小于预设容积的区域置为背景。对二值矩阵计算三维连通域，将三维连通域中心点坐标高度小于25％的图像高度(即预设高度)的区域置为背景，并将三维连通域容积小于最大三维连通域容积30％(即预设容积)的区域置为背景。
乘积子单元127，用于把所述二值矩阵与预设值进行乘积运算，以生成肺部掩膜。所述预设值优选为255，因此，把二值矩阵乘以255，以生成肺部掩膜。
因此，分割单元12从胸部CT图像中分割出肺部掩膜，可将肺区从胸部CT图像中分割出来，从而有效避免其它胸部部位对肺结节的预测造成干扰。
所述修补单元13包括：
像素计算子单元131，用于逐层计算所述肺部掩膜的掩膜区域的像素点个数。
图像提取子单元132，用于提取所述像素点个数不少于预设个数的胸部CT图像。优选地，所述预设个数为2000个，但不以此为限制，可根据实际情况进行调整。
腐蚀子单元133，用于判断所述掩膜区域是否贴近所述胸部CT图像的边缘，判断为否时，则对所述胸部CT图像进行二值腐蚀操作。具体地，可查看掩膜区域是否贴近胸部CT图像的边缘，若掩膜区域在距离胸部CT图像边界上下左右各10个像素点以外的区域，则对胸部CT图像进行基于2个像素值为半径的核的二值腐蚀操作。
闭操作子单元134，用于判断所述掩膜区域是否贴近腐蚀后胸部CT图像的边缘，判断为否时，则对所述胸部CT图像进行基于第一半径的二值闭操作，否则对所述胸部CT图像进行基于第二半径的二值闭操作。具体地，查看掩膜区域是否贴近胸部CT图像的边缘，若掩膜区域在距离胸部CT图像边界上下左右各10个像素点以外的区域，则对胸部CT图像进行基于10个像素值为半径的核的二值闭操作，否则对图像进行基于5个像素值为半径的核的二值闭操作。
轮廓计算子单元135，用于将距离所述胸部CT图像边缘预设像素值的区域标为第三基准值，计算所述掩膜区域的轮廓信息，对所述掩膜区域内部的空洞进行填充。具体地，将距离胸部CT图像边界2个像素值的区域标为0(即第三基准值)，对掩膜区域用Robert算子计算其轮廓信息，并对掩膜内部的空洞进行填充。
修复子单元136，用于计算所述掩膜区域的连通区域的数量，若所述连通区域的数量为预设数量，则采用滚球法修复所述掩膜区域，若所述连通区域的数量大于预设数量，则分别获取两个最大的连通区域的凸包区域，当所述凸包区域的凸包面积不大于预设面积时，将所述凸包区域作为新的肺部掩膜，否则采用滚球法修复所述连通区域。优选地，所述预设数量为1，所述预设面积为原连通区域面积2倍。工作时，计算掩膜区域的连通区域；如果连通区域个数为1，则对该掩膜区域的轮廓采用滚球法进行修复，使其变得平滑；如果连通区域的个数不少于2(即大于1)，则针对最大的两个连通区域，分别获取其凸包区域，当凸包面积不大于原连通区域面积2倍时，采取其作为新的肺部掩膜，否则对该连通区域的边缘采用滚球法进行修复；并将修补后的肺部掩膜存为PNG格式。
由上可知，本发明采用对肺部掩膜二维切片进行分析的方法进行修补，基于肺部掩膜是否贴近图像边界10个像素点来设定以2个像素值为半径的核的二值腐蚀操作，以及设定以5或10个像素点为半径的核的二值闭操作，并对2个像素点宽的图像边界区域用0值填充。以上方法与现有的形态学处理相比，考虑到二值形态学操作可能会使掩膜超出图像边界的情况，从而避免填充空洞、分割肺区等后续处理上表现不佳的情况。
进一步，所述滚球法的步骤如下：步骤1：在当前点的法线方向，向肺外延申30个像素值作为滚球球心位置，以30个像素值为半径作当前点的相切球；步骤2：如果相切球与后续肺部轮廓点存在多于一个的交点，则选取交点中与当前点距离最近的点，并删除当前点与最近点之前的轮廓点；否则转入步骤1处理下一个轮廓点。针对现有技术滚球法用于修补肺部掩膜轮廓对不同的球半径适应不同的凹损程度的情况，本发明采用先考虑采用凸包方法，若凸包面积高于原掩膜面积两倍时再考虑滚球法用于修补的做法，以降低滚球法半径对修补肺部掩膜的影响。
如图10所示，所述检测模块2包括：
逻辑运算单元21，用于对所述胸部CT图像及修补后的肺部掩膜进行逻辑与运算，生成肺分割图像。
提取单元22，用于逐层计算所述肺部掩膜的和，并根据所述和从所述肺分割图像中提取目标肺分割图像。具体地，依据逐层计算的肺部掩膜的和，排除和小于255000的肺分割图像，从而提取出目标肺分割图像。
合成单元23，用于将连续三片目标肺分割图像的灰度图像合成为三通道肺部图像。具体地，以2个切片为间隔，获取目标肺分割图像的上下层，并将连续的三片目标肺分割图像的灰度图像合成为一片3×512×512的彩色三通道RGB肺部图像(即三通道肺部图像)。
YOLO v3单元24，用于将所述三通道肺部图像输入预先训练好的二维YOLO v3神经网络，输出可疑区域预测框的坐标、可疑区域预测框包含目标的置信度及目标属于肺结节的分类概率。需要说明的是，所述二维YOLO v3神经网络的特征提取部分基于DarkNet-53结构，检测部分基于FPN架构。训练与预测二维YOLO v3神经网络时，输入为单个病人的每一张三通道肺部图像，输出为每张三通道肺部图像上可疑区域预测框的坐标、可疑区域预测框包含目标的置信度及目标属于肺结节的分类概率。
过滤单元25，用于根据所述置信度对所述可疑区域预测框进行过滤处理。具体地，过滤置信度低于0.7的可疑区域预测框。
融合单元26，用于通过非极大值抑制法，对过滤后的可疑区域预测框进行融合处理。具体地，采取非极大值抑制法，对交叠率不低于0.3的可疑区域预测框进行融合。最后，将单个病人的多张三通道肺部图像预测，并通过融合处理后，输出整理归纳到CSV格式保存。
需要说明的是，由于肺部切片上下层信息在肺部数轴上的像素间隔比较小的时候是很相近的，使用二维YOLO v3神经网络预测的现有处理方法是将原有的肺部CT图像切片均进行预测，这样会产生许多上下层均指向同一感兴趣区域的冗余的预测数据，且延长检测时间，降低效率。与现有技术不同的是，本发明将从DICOM文件读取的像素矩阵在数轴上标准化至间隔1mm，依据计算肺部掩膜去除不包含肺部的切片，将三片连续的肺部切片合成一片三通道肺部图像，与现有技术相比，既减少了后面网络需要处理的图片数量，又较完整地保留了图像信息。
如图11所示，所述识别模块3包括标准化单元31、3D Dense Net单元32、C3D单元33及预测单元34。具体地：
所述标准化单元31包括：
预测框计算子单元311，用于根据所述可疑区域预测框的坐标，计算所述可疑区域预测框在三通道肺部图像上的中心点坐标、长度及宽度。从预先保存的三维NPY文件中读取像素点间隔均标准化至1mm的胸部CT图像。读取可疑区域预测框的坐标，计算可疑区域预测框的中心点坐标、长度及宽度，此时的可疑区域预测框的坐标是基于每一张512×512三通道肺部图像。
归一化子单元312，用于在所述胸部CT图像上截取第一预测立方框，并对所述第一预测立方框进行归一化处理，以生成标准化矩阵。具体地，获取可疑区域预测框在三通道肺部图像上的中心点坐标、长度及宽度，并在胸部CT图像上截取32×32×32的立方体(即第一预测立方框)，并将其值归一化。
3D Dense Net单元32将标准化矩阵输入3D Dense Net神经网络以预测出肺结节的置信度。需要说明的是，3D Dense Net神经网络在搭建、训练与预测时，输入为单通道的32×32×32标准化矩阵，输出为立方体(即第一预测立方框)包含肺结节的概率(即置信度)。
C3D单元33将标准化矩阵输入C3D神经网络以预测出肺结节的良恶性程度。需要说明的是，C3D神经网络的搭建、训练与预测时，输入为单通道的32×32×32标准化矩阵，输出为肺结节的良恶性程度。
所述预测单元34包括：
数轴子单元341，用于从所述3D Dense Net神经网络预测出的肺结节的置信度中，提取置信度大于预设值的可疑区域，将所述可疑区域按置信度由高到低排序，并以所述可疑区域的长度及宽度中的最小值作为可疑区域的数轴上的高。具体地，获取3D Dense Net神经网络输出的置信度大于0.75(预设值)的可疑区域，将其按置信度由高到低排序，并以可疑区域的长度及宽度中的最小值作为可疑区域数轴上的高，以此计算第一预测立方框之间的重叠度。
集合子单元342，用于根据公式
Figure BDA0002829753320000221
计算所述数轴上重叠的第一预测立方框的集合。
具体地，计算数轴上存在重叠与否的公式如下：
Figure BDA0002829753320000222
其中：
z1、z2分别为两第一预测立方框在数轴上中心点坐标；
w1、w2分别为两第一预测立方框在俯视图上的宽；
h1、h2分别为两第一预测立方框在俯视图上的高。
需要说明的是，第一预测立方框在数轴上的中心点距离小于第一预测立方框的最短半径之和，则代表两第一预测立方框在数轴上存在重叠。
重叠度子单元343，用于计算所述集合中第一预测立方框在俯视图上的平面框的重叠度。对数轴上重叠的第一预测立方框，计算其在俯视图上的平面框的重叠度。
融合子单元344，用于将所述重叠度不低于预测重叠度的第一预测立方框进行融合以生成目标预测框，其中，
所述目标预测框的置信度为第一预测立方框集合中置信度的最大值，
所述目标预测框的良恶性度为第一预测立方框集合中良恶性度的最大值，
所述目标预测框的顶点坐标
Figure BDA0002829753320000223
xi为第一预测立方框的顶点坐标，confi为第i个预测框对应的置信度，
Figure BDA0002829753320000224
为每个第一预测立方框的权值，每个第一预测立方框对应的权值的总和等于1，任意两个可融合的第一预测立方框对应的权值之比等于其置信度之比。
最后，输出融合后的目标预测框，并以CSV格式保存。
需要说明的是，传统的相邻预测框融合方法多见于二维预测框，主要有用于如FPN、YOLO等检测网络后处理的非极大值抑制法，基于两中心点距离与两半径之和的比例及两预测框间面积比例的融合法等。与现有技术不同的是，本发明可对3D Dense Net神经网络输出的相邻预测框进行融合处理。具体地，本发明将非极大值抑制法拓展至三维预测框的改良版，考虑到三维空间中两预测框的重叠度阈值相对二维的重叠度更难设定，重叠的情况类型更多，因而采用俯瞰图重叠度的思想，将数轴上相邻或相近的预测框映射到同一层，再对比其映射面积的重叠度，依据此重叠度进行融合更易于识别冗余的三维预测框。
如图12所示，所述分割模块4包括归一化单元41及优化单元42。具体地：
所述归一化单元41包括：
目标计算子单元411，用于根据所述目标预测框的坐标，计算目标预测框在三通道肺部图像上的中心点坐标、长度及宽度。具体地，读取目标预测框的坐标，计算目标预测框的中心点坐标、长度及宽度。
截取子单元412，用于在所述胸部CT图像上截取第二预测立方框，并对所述第二预测立方框进行归一化处理，以生成归一化矩阵。具体地，在胸部CT图像上截取48×48×48的立方体(即第二预测立方框)，并将其值归一化。
3D U-Net子单元413，用于将所述归一化矩阵输入3D U-Net神经网络进行分割，输出肺结节分割区域中每个像素点是结节体素的置信度。需要说明的是，3D U-Net神经网络的搭建、训练与预测时，输入为单通道的48×48×48归一化矩阵，输出为同等大小矩阵中每个像素点是结节体素的概率(即置信度)。
所述优化单元42包括：
连通域提取子单元421，用于从所述3D U-Net神经网络预测出的结节体素的置信度中，提取置信度大于预设值的肺结节分割区域，对所述肺结节分割区域进行连通域标记，并提取与所述目标预测框重合度最大的连通域。具体地，获取3D U-Net神经网络输出的置信度大于0.5(预设值)的肺结节分割区域，对肺结节分割区域进行连通域标记，选取其与目标预测框重合度最大的一个连通域作为输出，避免48×48×48归一化矩阵中存在另一个结节对当前肺结节分割区域的计算造成影响。
重叠度计算子单元422，用于计算所述连通域与所述目标预测框的连通重叠度。
第一OTSU子单元423，用于若所述连通重叠度低于预设重叠度，对所述目标预测框内图像进行OTSU分割，并获取肺结节分割区域与目标预测框的分割重叠度；
第二OTSU子单元424，用于若所述连通重叠度大于所述分割重叠度，则以所述3DU-Net神经网络输出的肺结节分割区域作为目标分割结果，否则以OTSU分割的结果作为目标分割结果。
若连通重叠度IOUU-Net低于30％(预设重叠度)，对目标预测框内图像进行OTSU分割；然后，再次获取肺结节分割区域与目标预测框的分割重叠度IOUOtsu，若此时，IOUU-Net≥IOUOtsu，则以3D U-Net神经网络输出的肺结节分割区域作为目标分割结果输出，否则以OTSU分割的结果作为目标分割结果输出；最后，将目标分割结果的坐标信息存为CSV，并保存一份以红色线条作为勾勒颜色的病灶勾画图片。
因此，本发明将3D U-Net神经网络输出与形态学后处理相结合。具体地，本发明选取了与预测框重叠度最大的连通区域，并基于预测框内区域在预测框中的占比，考虑是否采用基于OTSU的病灶分割，并基于两种分割与原预测框的重叠程度决定分割的输出；同时，本发明结合形态学的分割，对比直接采用3D U-Net神经网络输出，补充了一些可解释性，提高分割区域更贴合病灶本身的可能性。
由上可知，本发明具有以下有益效果：
本发明利用三通道肺部图像的方法，使得二维YOLO v3神经网络可以充分利用上下层信息，在保留二维YOLO v3神经网络参数少、预测速度快的优势的同时，排除二维YOLOv3神经网络采用平面输入难以排除的血管干扰，并减少由于上下层数据高度相似导致的冗余输入输出；
本发明利用多个3D Dense Net神经网络，提升识别网络的泛化性能；并利用立方体重叠度与俯瞰图重叠度相结合判断的方式，将二维的非极大值抑制法拓展至三维；
本发明利用形态学分割与深度学习分割互补的方法，避免由于单一分割方法导致的假阳性、假阴性、黏连血管导致的偏移等问题，进一步使分割区域与病灶更加贴合。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种基于深度学习的肺结节识别与分割方法，其特征在于，包括：
对DICOM文件进行预处理以生成胸部CT图像，从所述胸部CT图像中分割出肺部掩膜，并修补所述肺部掩膜的轮廓；
根据所述胸部CT图像及修补后的肺部掩膜生成三通道肺部图像，并将所述三通道肺部图像输入二维YOLO v3神经网络以检测肺结节的可疑区域；
根据所述可疑区域对所述胸部CT图像进行标准化处理以生成标准化矩阵，将所述标准化矩阵分别输入3D Dense Net神经网络及C3D神经网络以预测出肺结节的置信度及良恶性程度，并根据所述肺结节的置信度及良恶性度生成目标预测框；
根据所述目标预测框对所述胸部CT图像进行归一化处理以生成归一化矩阵，将所述归一化矩阵输入3D U-Net神经网络进行分割，并优化分割结果。
2.一种基于深度学习的肺结节识别与分割系统，其特征在于，包括：
预处理模块，用于对DICOM文件进行预处理以生成胸部CT图像，从所述胸部CT图像中分割出肺部掩膜，并修补所述肺部掩膜的轮廓；
检测模块，用于根据所述胸部CT图像及修补后的肺部掩膜生成三通道肺部图像，并将所述三通道肺部图像输入二维YOLO v3神经网络以检测肺结节的可疑区域；
识别模块，用于根据所述可疑区域对所述胸部CT图像进行标准化处理以生成标准化矩阵，将所述标准化矩阵分别输入3D Dense Net神经网络及C3D神经网络以预测出肺结节的置信度及良恶性程度，并根据所述肺结节的置信度及良恶性度生成目标预测框；
分割模块，用于根据所述目标预测框对所述胸部CT图像进行归一化处理以生成归一化矩阵，将所述归一化矩阵输入3D U-Net神经网络进行分割，并优化分割结果。
3.如权利要求2所述的基于深度学习的肺结节识别与分割系统，其特征在于，所述预处理模块包括预处理单元、分割单元及修补单元，所述预处理单元包括：
还原子单元，用于根据所述DICOM文件中的缩放截距及缩放斜率，还原所述DICOM文件中CT图像的CT值；
第一归一化子单元，用于将所述DICOM文件中位于数轴上且小于预设值的像素点间隔值进行归一化处理，截取目标区间内的CT值，将所述CT值标准化至标准区间；
第二归一化子单元，用于将所述DICOM文件中位于横轴、纵轴及数轴上的像素点间隔值进行归一化处理，截取目标区间内的CT值，将所述CT值标准化至标准区间，以生成胸部CT图像。
4.如权利要求3所述的基于深度学习的肺结节识别与分割系统，其特征在于，所述分割单元包括：
分割子单元，用于对所述胸部CT图像的CT值矩阵进行分割，生成二值矩阵，其中，将所述胸部CT图像中小于预设像素的像素值置为第一基准值，大于预设像素的像素值置为第二基准值；
标记子单元，用于对所述二值矩阵进行三维连通域标记，生成标签矩阵，并在所述标签矩阵上设置背景标签；
标签子单元，用于在所述二值矩阵中把标签等于背景标签的像素值置为第二基准值；
填充子单元，用于对所述二值矩阵中的像素值作减一处理，并填充最大三维连通域内的像素值；
反转子单元，用于反转所述二值矩阵，并保留所述最大三维连通域，其中，像素值为第一基准值的区域为肺部区域；
连通域计算子单元，用于计算反转后的二值矩阵的三维连通域，将所述三维连通域中心点坐标高度小于预设高度的区域及三维连通域容积小于预设容积的区域置为背景；
乘积子单元，用于把所述二值矩阵与预设值进行乘积运算，以生成肺部掩膜。
5.如权利要求3所述的基于深度学习的肺结节识别与分割系统，其特征在于，所述修补单元包括：
像素计算子单元，用于逐层计算所述肺部掩膜的掩膜区域的像素点个数；
图像提取子单元，用于提取所述像素点个数不少于预设个数的胸部CT图像；
腐蚀子单元，用于判断所述掩膜区域是否贴近所述胸部CT图像的边缘，判断为否时，则对所述胸部CT图像进行二值腐蚀操作；
闭操作子单元，用于判断所述掩膜区域是否贴近腐蚀后胸部CT图像的边缘，判断为否时，则对所述胸部CT图像进行基于第一半径的二值闭操作，否则对所述胸部CT图像进行基于第二半径的二值闭操作；
轮廓计算子单元，用于将距离所述胸部CT图像边缘预设像素值的区域标为第三基准值，计算所述掩膜区域的轮廓信息，对所述掩膜区域内部的空洞进行填充；
修复子单元，用于计算所述掩膜区域的连通区域的数量，若所述连通区域的数量为预设数量，则采用滚球法修复所述掩膜区域，若所述连通区域的数量大于预设数量，则分别获取两个最大的连通区域的凸包区域，当所述凸包区域的凸包面积不大于预设面积时，将所述凸包区域作为新的肺部掩膜，否则采用滚球法修复所述连通区域。
6.如权利要求2所述的基于深度学习的肺结节识别与分割系统，其特征在于，所述检测模块包括：
逻辑运算单元，用于对所述胸部CT图像及修补后的肺部掩膜进行逻辑与运算，生成肺分割图像；
提取单元，用于逐层计算所述肺部掩膜的和，并根据所述和从所述肺分割图像中提取目标肺分割图像；
合成单元，用于将连续三片目标肺分割图像的灰度图像合成为三通道肺部图像；
YOLO v3单元，用于将所述三通道肺部图像输入预先训练好的二维YOLO v3神经网络，输出可疑区域预测框的坐标、可疑区域预测框包含目标的置信度及目标属于肺结节的分类概率；
过滤单元，用于根据所述置信度对所述可疑区域预测框进行过滤处理；
融合单元，用于通过非极大值抑制法，对过滤后的可疑区域预测框进行融合处理。
7.如权利要求2所述的基于深度学习的肺结节识别与分割系统，其特征在于，所述识别模块包括标准化单元、3D Dense Net单元、C3D单元及预测单元，所述标准化单元包括：
预测框计算子单元，用于根据所述可疑区域预测框的坐标，计算所述可疑区域预测框在三通道肺部图像上的中心点坐标、长度及宽度；
归一化子单元，用于在所述胸部CT图像上截取第一预测立方框，并对所述第一预测立方框进行归一化处理，以生成标准化矩阵。
8.如权利要求7所述的基于深度学习的肺结节识别与分割系统，其特征在于，所述预测单元包括：
数轴子单元，用于从所述3D Dense Net神经网络预测出的肺结节的置信度中，提取置信度大于预设值的可疑区域，将所述可疑区域按置信度由高到低排序，并以所述可疑区域的长度及宽度中的最小值作为可疑区域的数轴上的高；
集合子单元，用于根据公式
Figure FDA0002829753310000041
计算所述数轴上重叠的第一预测立方框的集合，其中，z1、z2分别为两第一预测立方框在数轴上中心点坐标，w1、w2分别为两第一预测立方框在俯视图上的宽，h1、h2分别为两第一预测立方框在俯视图上的高；
重叠度子单元，用于计算所述集合中第一预测立方框在俯视图上的平面框的重叠度；
融合子单元，用于将所述重叠度不低于预测重叠度的第一预测立方框进行融合以生成目标预测框，其中，
所述目标预测框的置信度为第一预测立方框集合中置信度的最大值，
所述目标预测框的良恶性度为第一预测立方框集合中良恶性度的最大值，
所述目标预测框的顶点坐标
Figure FDA0002829753310000042
xi为第一预测立方框的顶点坐标，confi为第i个预测框对应的置信度，
Figure FDA0002829753310000043
为每个第一预测立方框的权值。
9.如权利要求2所述的基于深度学习的肺结节识别与分割系统，其特征在于，所述分割模块包括归一化单元及优化单元，所述归一化单元包括：
目标计算子单元，用于根据所述目标预测框的坐标，计算目标预测框在三通道肺部图像上的中心点坐标、长度及宽度；
截取子单元，用于在所述胸部CT图像上截取第二预测立方框，并对所述第二预测立方框进行归一化处理，以生成归一化矩阵；
3D U-Net子单元，用于将所述归一化矩阵输入3D U-Net神经网络进行分割，输出肺结节分割区域中每个像素点是结节体素的置信度。
10.如权利要求9所述的基于深度学习的肺结节识别与分割系统，其特征在于，所述优化单元包括：
连通域提取子单元，用于从所述3D U-Net神经网络预测出的结节体素的置信度中，提取置信度大于预设值的肺结节分割区域，对所述肺结节分割区域进行连通域标记，并提取与所述目标预测框重合度最大的连通域；
重叠度计算子单元，用于计算所述连通域与所述目标预测框的连通重叠度；
第一OTSU子单元，用于若所述连通重叠度低于预设重叠度，对所述目标预测框内图像进行OTSU分割，并获取肺结节分割区域与目标预测框的分割重叠度；
第二OTSU子单元，用于若所述连通重叠度大于所述分割重叠度，则以所述3D U-Net神经网络输出的肺结节分割区域作为目标分割结果，否则以OTSU分割的结果作为目标分割结果。
CN202011438294.8A 2020-12-11 2020-12-11 基于深度学习的肺结节识别与分割方法及系统 Active CN112581436B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011438294.8A CN112581436B (zh) 2020-12-11 2020-12-11 基于深度学习的肺结节识别与分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011438294.8A CN112581436B (zh) 2020-12-11 2020-12-11 基于深度学习的肺结节识别与分割方法及系统

Publications (2)

Publication Number Publication Date
CN112581436A true CN112581436A (zh) 2021-03-30
CN112581436B CN112581436B (zh) 2024-08-13

Family

ID=75131084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011438294.8A Active CN112581436B (zh) 2020-12-11 2020-12-11 基于深度学习的肺结节识别与分割方法及系统

Country Status (1)

Country Link
CN (1) CN112581436B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256605A (zh) * 2021-06-15 2021-08-13 四川大学 一种基于深度神经网络的乳腺癌图像识别分类方法
CN113506289A (zh) * 2021-07-28 2021-10-15 中山仰视科技有限公司 一种利用双流网络进行肺结节假阳性分类的方法
CN113554612A (zh) * 2021-07-20 2021-10-26 中国医科大学 肺部异常区域自动分割与纹理提取方法
CN113744227A (zh) * 2021-08-27 2021-12-03 北京航空航天大学 一种基于多种易混淆小部件的语义分割方法
CN113838020A (zh) * 2021-09-17 2021-12-24 上海仰和华健人工智能科技有限公司 一种基于钼靶影像的病变区域量化方法
CN114067820A (zh) * 2022-01-18 2022-02-18 深圳市友杰智新科技有限公司 语音降噪模型的训练方法、语音降噪方法和相关设备
CN114240956A (zh) * 2021-12-23 2022-03-25 零氪科技(天津)有限公司 一种肺部ct影像管状结构分割方法、装置、电子设备
CN114757943A (zh) * 2022-06-10 2022-07-15 肺诊网(苏州)网络科技有限公司 一种数字影像人工智能分析方法和系统
CN114862877A (zh) * 2022-05-27 2022-08-05 四川大学华西医院 基于置信度评分的细胞粘连分割方法和装置
CN116129298A (zh) * 2022-11-15 2023-05-16 脉得智能科技(无锡)有限公司 基于时空记忆网络的甲状腺视频流结节识别系统
CN116228685A (zh) * 2023-02-07 2023-06-06 重庆大学 一种基于深度学习的肺结节检测与剔除方法
CN117541797A (zh) * 2023-12-21 2024-02-09 浙江飞图影像科技有限公司 用于胸部ct平扫的交互式三维支气管分割系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101472558B1 (ko) * 2013-10-04 2014-12-16 원광대학교산학협력단 흉부 단층영상에서 폐, 기관지 및 폐혈관 영상을 분할하기 위한 시스템 및 그 방법
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法
CN108537784A (zh) * 2018-03-30 2018-09-14 四川元匠科技有限公司 一种基于深度学习的ct图肺结节检测方法
CN109727253A (zh) * 2018-11-14 2019-05-07 西安大数据与人工智能研究院 基于深度卷积神经网络自动分割肺结节的辅助检测方法
CN110059697A (zh) * 2019-04-29 2019-07-26 上海理工大学 一种基于深度学习的肺结节自动分割方法
US20190340753A1 (en) * 2018-05-07 2019-11-07 Zebra Medical Vision Ltd. Systems and methods for detecting an indication of a visual finding type in an anatomical image
CN111062947A (zh) * 2019-08-14 2020-04-24 深圳市智影医疗科技有限公司 一种基于深度学习的x光胸片病灶定位方法及系统
CN111311744A (zh) * 2020-04-02 2020-06-19 佛山市普世医学科技有限责任公司 标识肺部结节的候选框过滤、融合和自动更新方法、系统及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101472558B1 (ko) * 2013-10-04 2014-12-16 원광대학교산학협력단 흉부 단층영상에서 폐, 기관지 및 폐혈관 영상을 분할하기 위한 시스템 및 그 방법
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法
CN108537784A (zh) * 2018-03-30 2018-09-14 四川元匠科技有限公司 一种基于深度学习的ct图肺结节检测方法
US20190340753A1 (en) * 2018-05-07 2019-11-07 Zebra Medical Vision Ltd. Systems and methods for detecting an indication of a visual finding type in an anatomical image
CN109727253A (zh) * 2018-11-14 2019-05-07 西安大数据与人工智能研究院 基于深度卷积神经网络自动分割肺结节的辅助检测方法
CN110059697A (zh) * 2019-04-29 2019-07-26 上海理工大学 一种基于深度学习的肺结节自动分割方法
CN111062947A (zh) * 2019-08-14 2020-04-24 深圳市智影医疗科技有限公司 一种基于深度学习的x光胸片病灶定位方法及系统
CN111311744A (zh) * 2020-04-02 2020-06-19 佛山市普世医学科技有限责任公司 标识肺部结节的候选框过滤、融合和自动更新方法、系统及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YANHAO TAN 等: "An automated lung nodule segmentation method based on nodule detection network and region growing", 《PROCEEDING OF THE ACM MULTIMEDIA ASIA 》, pages 1 - 6 *
韩光辉;刘峡壁;郑光远;: "肺部CT图像病变区域检测方法", 自动化学报, no. 12, pages 14 - 33 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256605A (zh) * 2021-06-15 2021-08-13 四川大学 一种基于深度神经网络的乳腺癌图像识别分类方法
CN113554612A (zh) * 2021-07-20 2021-10-26 中国医科大学 肺部异常区域自动分割与纹理提取方法
CN113506289A (zh) * 2021-07-28 2021-10-15 中山仰视科技有限公司 一种利用双流网络进行肺结节假阳性分类的方法
CN113506289B (zh) * 2021-07-28 2024-03-29 中山仰视科技有限公司 一种利用双流网络进行肺结节假阳性分类的方法
CN113744227A (zh) * 2021-08-27 2021-12-03 北京航空航天大学 一种基于多种易混淆小部件的语义分割方法
CN113744227B (zh) * 2021-08-27 2023-10-13 北京航空航天大学 一种基于多种易混淆小部件的语义分割方法
CN113838020B (zh) * 2021-09-17 2024-06-18 仰和华健数字医疗科技(上海)有限公司 一种基于钼靶影像的病变区域量化方法
CN113838020A (zh) * 2021-09-17 2021-12-24 上海仰和华健人工智能科技有限公司 一种基于钼靶影像的病变区域量化方法
CN114240956A (zh) * 2021-12-23 2022-03-25 零氪科技(天津)有限公司 一种肺部ct影像管状结构分割方法、装置、电子设备
CN114067820B (zh) * 2022-01-18 2022-06-28 深圳市友杰智新科技有限公司 语音降噪模型的训练方法、语音降噪方法和相关设备
CN114067820A (zh) * 2022-01-18 2022-02-18 深圳市友杰智新科技有限公司 语音降噪模型的训练方法、语音降噪方法和相关设备
CN114862877A (zh) * 2022-05-27 2022-08-05 四川大学华西医院 基于置信度评分的细胞粘连分割方法和装置
CN114862877B (zh) * 2022-05-27 2024-03-22 四川大学华西医院 基于置信度评分的细胞粘连分割方法和装置
CN114757943B (zh) * 2022-06-10 2022-09-27 肺诊网(苏州)网络科技有限公司 一种数字影像人工智能分析方法和系统
CN114757943A (zh) * 2022-06-10 2022-07-15 肺诊网(苏州)网络科技有限公司 一种数字影像人工智能分析方法和系统
CN116129298B (zh) * 2022-11-15 2023-11-24 脉得智能科技(无锡)有限公司 基于时空记忆网络的甲状腺视频流结节识别系统
CN116129298A (zh) * 2022-11-15 2023-05-16 脉得智能科技(无锡)有限公司 基于时空记忆网络的甲状腺视频流结节识别系统
CN116228685B (zh) * 2023-02-07 2023-08-22 重庆大学 一种基于深度学习的肺结节检测与剔除方法
CN116228685A (zh) * 2023-02-07 2023-06-06 重庆大学 一种基于深度学习的肺结节检测与剔除方法
CN117541797A (zh) * 2023-12-21 2024-02-09 浙江飞图影像科技有限公司 用于胸部ct平扫的交互式三维支气管分割系统及方法
CN117541797B (zh) * 2023-12-21 2024-05-31 浙江飞图影像科技有限公司 用于胸部ct平扫的交互式三维支气管分割系统及方法

Also Published As

Publication number Publication date
CN112581436B (zh) 2024-08-13

Similar Documents

Publication Publication Date Title
CN112581436A (zh) 基于深度学习的肺结节识别与分割方法及系统
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
EP3432263B1 (en) Semantic segmentation for cancer detection in digital breast tomosynthesis
Masood et al. Automated decision support system for lung cancer detection and classification via enhanced RFCN with multilayer fusion RPN
Le Goff et al. Deep learning for cloud detection
JP4903854B2 (ja) デジタル画像におけるオブジェクト検出方法
Su et al. Deep convolutional neural network–based pixel-wise landslide inventory mapping
JP5279245B2 (ja) クラスタ変更グラフ・カットを使用する検出の方法および装置
CN109343920B (zh) 一种图像处理方法及其装置、设备和存储介质
CN110648322A (zh) 一种子宫颈异常细胞检测方法及系统
CN109409376B (zh) 针对固废对象的图像分割方法、计算机终端及存储介质
CN113782181B (zh) 一种基于ct图像的肺结节良恶性诊断方法及装置
CN111369623A (zh) 一种基于深度学习3d目标检测的肺部ct图像识别方法
CN113705371A (zh) 一种水上视觉场景分割方法及装置
Zafari et al. Resolving overlapping convex objects in silhouette images by concavity analysis and Gaussian process
CN117095180A (zh) 基于分期识别的胚胎发育阶段预测与质量评估方法
Viswanath et al. Breast cancer detection using image processing techniques and classification algorithms
CN117611862B (zh) Ais轨迹聚类方法、装置、电子设备和存储介质
CN108257118B (zh) 一种基于法向腐蚀和随机游走的骨折粘连分割方法
Dimiccoli et al. Exploiting t-junctions for depth segregation in single images
Omidalizarandi et al. Segmentation and classification of point clouds from dense aerial image matching
CN108765384B (zh) 一种联合流形排序和改进凸包的显著性检测方法
CN115147359B (zh) 肺叶分割网络模型训练方法、装置、电子设备及存储介质
CN114170224B (zh) 应用生成式染色归一化的细胞病理分类的系统及方法
CN108475339B (zh) 用于对图像中的对象分类的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20221103

Address after: Room 804, No. 4, Ruikang Road, Xingang Middle Road, Haizhu District, Guangzhou, Guangdong 510320

Applicant after: GUANGZHOU PUSHI MEDICAL TECHNOLOGY Co.,Ltd.

Address before: 528000 room 4, 501, building 2, block 3, 28 Jihua 1st Road, Chancheng District, Foshan City, Guangdong Province

Applicant before: Foshan Universal Medical Technology Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240612

Address after: D904, Sun Yat sen University Teacher Apartment, No. 71 Yile Road, Haizhu District, Guangzhou City, Guangdong Province, 510000

Applicant after: Li Weizhong

Country or region after: China

Address before: Room 804, No. 4, Ruikang Road, Xingang Middle Road, Haizhu District, Guangzhou, Guangdong 510320

Applicant before: GUANGZHOU PUSHI MEDICAL TECHNOLOGY Co.,Ltd.

Country or region before: China

GR01 Patent grant
GR01 Patent grant