CN112598613A - 一种用于肺癌智能诊断的基于深度图像分割和识别的测定方法 - Google Patents

一种用于肺癌智能诊断的基于深度图像分割和识别的测定方法 Download PDF

Info

Publication number
CN112598613A
CN112598613A CN201910869861.6A CN201910869861A CN112598613A CN 112598613 A CN112598613 A CN 112598613A CN 201910869861 A CN201910869861 A CN 201910869861A CN 112598613 A CN112598613 A CN 112598613A
Authority
CN
China
Prior art keywords
image
lung
nodule
nodules
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910869861.6A
Other languages
English (en)
Inventor
周文生
高为雄
汪明啸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Suyou Data Technology Co ltd
Original Assignee
Suzhou Suyou Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Suyou Data Technology Co ltd filed Critical Suzhou Suyou Data Technology Co ltd
Priority to CN201910869861.6A priority Critical patent/CN112598613A/zh
Publication of CN112598613A publication Critical patent/CN112598613A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及医疗技术领域，具体涉及一种用于肺癌智能诊断的基于深度图像分割和识别的测定方法，步骤一，结节训练数据集：以天池医疗AI竞赛中提供了肺部CT图像的标记结节的位置，使用天池医疗AI数据集来产生适当的训练集；步骤二，肺部区域和结节图像的生成：利用图像分割算法生成肺部区域的mask图像，然后根据mask图像生成肺区域图像；步骤三，利用U‑Net通过分割检测来发现疑似肺结节；步骤四：ResNet‑50肺癌结节概率预测；它能够快速判定，极大地提高了诊断效率，也节约了医疗资源，利于当下的医疗体系，以及能够实现早发现早治疗的愿景。

Description

一种用于肺癌智能诊断的基于深度图像分割和识别的测定 方法
【技术领域】
本发明涉及医疗技术领域，具体涉及一种用于肺癌智能诊断的基于深度图 像分割和识别的测定方法。
【背景技术】
肺癌是所有癌症中致死率最高的一种，比一年内死于乳腺癌、前列腺癌和 结肠癌的人数还多。医学图像分割是图像处理和图像分析领域中的一个复杂问 题。尽管在一些研究中已经解决了胸部X光图像中肺组织分割的问题，但在很 多情况下完全自动提取肺区域的结果仍然令人不满意。
肺癌最好的生存机会来自早期发现和治疗，这可能通过改进的自动化恶性 结节检测方法来帮助。肺的放射科医生通常检测肺结节在片内考虑肋骨的形状 和圆形物体的亮度。肺结节是胸腔内小而圆的组织生长。结节一般被认为是小 于30mm的尺寸，较大的肿瘤被推定为恶性。结节间5-30MM可能是良性或恶 性，随着规模的增大，恶性肿瘤的可能性。有迹象显示，钙化结节良性而更光 滑分叶状或结节边缘毛刺可能提示恶性肿瘤。肺的放射科医生通常检测肺结节 在片内考虑肋骨的形状和圆形物体的亮度。
计算机辅助检测(CAD)技术的研究使肺结节的识别更加快速、准确。结节 检测算法已被设计为使用传统的图像处理技术，以确定区域的胸部照片，可能 包含一个明亮的对象的预期大小，形状和纹理的肺结节。
但是在医院里，放射科医生从CT扫描图像工作，希望尽早诊断患者。但 是在当医疗资源紧张的当下，意昧着放射科医生需要每天检查数百张图像，上 述检查对照料比对判定工作，其工作量大，工作繁琐，易使放射科医生产生工 作疲劳，从而易导致错误或误诊，最终影响诊断效果。
【发明内容】
本发明的目的在于针对现有技术的缺陷和不足，提供一种用于肺癌智能诊 断的基于深度图像分割和识别的测定方法，它能够快速判定，极大地提高了诊 断效率，也节约了医疗资源，利于当下的医疗体系，以及能够实现早发现早治 疗的愿景。
本发明所述的一种用于肺癌智能诊断的基于深度图像分割和识别的测定方 法，采用如下步骤：
步骤一，结节训练数据集：以天池医疗AI竞赛中提供了肺部CT图像的 标记结节的位置，使用天池医疗AI数据集来产生适当的训练集；
步骤二，肺部区域和结节图像的生成：利用图像分割算法生成肺部区域的 mask图像，然后根据mask图像生成肺区域图像；
其采用如下步骤：
(1)在病患的CT肺部扫描图像中找到最大的肺结节，使用 annotations.csv给出的肺部结节位置，针对肺部CT图像切三层，只选在最 大的结节为中心的切片图像；
(2)使用pandas中称为df_node的数据帧记录肺部CT图像数和节点 信息，节点坐标信息(x，y，z)在MHD文件中定义；
(3)提取CT图像中的肺部区域，步骤如下：
B.导入skimage图像处理模块；
B.从天池医疗AI数据集提取的一个512×512切片，标准化像素值，检 查强度分布；
C.利用腐蚀和膨胀填写侵入肺部区域的不透明组织，选择基于轮廓大小的 每个区域，对每个肺部CT图像的ROI的mask图像进行裁剪，然后调整图像 到512×512，形成结节标记信息的结节mask图像；
步骤三，利用U-Net通过分割检测来发现疑似肺结节，根据肺结节卷积网 络分割结果，对分割图像进行二值化分割，提取连接块处理，提取疑似肺结节， 采用如下步骤：
(1)利用Keras框架来构建U-Net卷积神经网络架构；
(2)步骤(1)中的U-Net卷积神经网络架构，由一个收缩路径和一个膨胀 路径组成；
(3)步骤(2)中的收缩路径遵循卷积网络的典型体系结构，由两个3×3 卷积、纠正线性单元和2×2卷积运行下采样的最大池构成；
(4)每个采样步骤增加了特征频道的数量，在在步骤(2)中的膨胀路径 的每一步，一是特征图的采样；二是2×2卷积，2×2卷积为了上卷积，将特 征通道的数量减半，并将相应的裁剪特征映射与收缩路径连接起来；三是两个 3×3卷积；
(5)在步骤(3)中的纠正线性单元中，由于每个卷积中边界像素的丢失， 故需要裁剪，最后一层1×1卷积用于映射各64组特征向量所需数量的类； 形成疑似肺结节图像；
(6)输入疑似肺结节图像和相应的分割映射，是使用Caffe的随机梯度 下降实现来训练卷积神经网络，实现深度学习训练；
(7)利用大量先前见过的训练样本，决定当前优化步骤中的更新，在最终特征 映射上结合交叉熵损失函数，利用像素级soft-max计算能量函数；然后，交 叉熵从1开始惩罚pl(x)(x)在每个位置的偏差；使用形态学运算计算分离边 界，然后计算权重映射；
(8)根据步骤(2)中的U-Net网络架构，其交替的卷积层和ReLU层， 可以从一个高斯分布标准差
Figure BSA0000190177310000041
的初始权值来实现，其中N表示一个神经 元的输入节点数；
步骤四：ResNet-50肺癌结节概率预测，采用如下步骤：
(1)根据步骤三中的形成的疑似肺结节图像，利用卷积神经网络，用于疑 似肺结节的分类，并确定疑似肺结节是否为真正的肺结节；
(2)使用一个50层的剩余网络学习迁移模型，剩余网络学习迁移模型为 ResNet模型；通过固定预训练的权重的ResNet，特征是从五个不同的层中提 取；
(3)步骤(2)中的特征从ResNet层的pool1，res2c，res3d，res4f， 和pool5中提取出来；
pool1层经过一个单一的卷积层，其次是batchnorm和ReLu层和最大池 化层；
res2c层在三层ResNet之后，res3d在七层之后，res4f在十三层之后；
pool5层在十六层后，并且是最后一个平均池层，pool5层在全连接层产 生的预测分类的50层ResNet的最后一层；
提取的特征保存到磁盘以加快计算速度；由于ResNet卷积层冻结，故没 有必要在深度训练中反向传播；
(3)提取的特征被输入到最终的完全连接层，并且有三个输出；通过解释 输出三类肺部结节的非标准概率和最小化这些标记和正确的图像标记之间的交 叉熵损失，最后一层被训练为Softmax分类器；其中：三类肺部结节分别为： 非肺结节，良性肺结节，恶性肺结节；
单一图像的交叉熵损失的公式如下：
Figure BSA0000190177310000051
其中，sj是的输出向量，并且jth是正确图像的标记；
(4)深度卷积神经网络的总损失是图像损失的平均值和L2范数正则化 项有利于小权重和避免过度拟合训练数据的总和，它的完全损失的公式如下：
Figure BSA0000190177310000052
其中：λ是一个调节常数，W是权重矩阵；
上述算法试图找到最小化这种损失函数的权重，而这种最小化是通过动量 的小批量梯度下降完成的；在每次迭代中，使用如下的动量更新方程更新权重：
Figure BSA0000190177310000053
W←W+v
其中：α是学习速率，μ是动量参数，并且损失的梯度
Figure BSA0000190177310000054
是在一批 训练数据上计算的；
(5)特征提取的最后pool5层与良性或恶性结节也被送入一个单独的回 归头结节定位图像；这个完全连接层有四个输出，代表网络对结节周围坐标的 预测；通过最小化预测坐标和真正的结节轮廓坐标之间的欧几里德距离来训练 这一层的权重；总损失函数是图像的欧氏距离和正则化项的平均值之和，公式 如下所示：
Figure BSA0000190177310000061
其中：sj是jth的输出向量，并且bj是jth的真正轮廓坐标矢量。
本发明有益效果为：本发明所述的一种用于肺癌智能诊断的基于深度图像 分割和识别的测定方法，它利用深卷积神经网络，通过采样部分还有大量特征 的通道，使网络传播语境信息到高分辨率层，从而只需要很少的训练图像数据 集，就可获得更精确的分割，既而实现精准测定，形成完全卷积网络；
它使用图像分割算法生成肺部区域的mask图，然后找到疑似结节后，使 用常见的图像分类算法对疑似结节进行分类，将肺部图像中的疑似结节分为二 类，然后假设天池数据集中的肺结节是真正的肺结节，而U-Net图像分割预测 生成的肺结节得出疑似肺结节，然后再将测试数据集中预测的肺部疑似结节的 图像输入到caffe深度模型训练中，统计预测出的肺部疑似结节是真正结节的 概率，进行比较是否为真正肺结节的概率；
它具有减少放射科医生查看图片的数量，极大地减少了工作量，能够缓解 当下医疗资源紧张的现状，利于快速实现诊断，也减少了人为诊断错误和误诊。
【附图说明】
此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部 分，但并不构成对本发明的不当限定，在附图中：
图1是本发明中的U-Net体系结构图；
图2是本发明中的任意大图像无缝分割的重叠平铺策略的示意图；
图3是本发明中的用于结节分类和定位的50层残留网络的拓扑图；
图4是本发明中的天池数据集val set的肺部区域图像、肺结节的mask 图像和U-Net深度训练预测生成的测试数据集的肺疑似结节mask的分割图 像；
图5是本发明中的是肺部测试CT图像的疑似结节中心坐标(x，y，z)和 diameter_mm的预测误差曲线图；
图6是本发明中的U-Net深度训练生成的肺部测试CT图像疑似结节切片 图像。
【具体实施方式】
下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例 以及说明仅用来解释本发明，但并不作为对本发明的限定。
本具体实施方式所述的一种用于肺癌智能诊断的基于深度图像分割和识别 的测定方法，采用如下步骤：
步骤一，结节训练数据集：以天池医疗AI竞赛中提供了肺部CT图像的 标记结节的位置，使用天池医疗AI数据集来产生适当的训练集；
本发明中的训练数据集，用来训练用于图像分割的有监督学习的卷积神经 网络；
步骤二，肺部区域和结节图像的生成：利用图像分割算法生成肺部区域的 mask图像，然后根据mask图像生成肺区域图像；
其采用如下步骤：
(4)在病患的CT肺部扫描图像中找到最大的肺结节，使用 annotations.csv给出的肺部结节位置，针对肺部CT图像切三层，只选在最 大的结节为中心的切片图像；
(5)使用pandas中称为df_node的数据帧记录肺部CT图像数和节点 信息，节点坐标信息(x，y，z)在MHD文件中定义；
本发明中，结节位置以毫米为单位，与CT扫描图像所定义的坐标系统相 对应。图像数据给出了不同长度的堆栈的512×512阵；为了把肺结节的图像 坐标转换为世界坐标，需要知道[0，0，0]体素在现实世界中的位置和在毫米上 的像素间距；
由于结节的位置是球形的，结节形状不规则，球状边缘附近的切片可能没 有根瘤组织；使用这种切片会污染训练集的假阳性；对于这个分割项目，可能 有一个通过结节的最佳的切片数目；本发明中，针对肺部CT图像切3层，只 选在最大的结节为中心的切片图像；
(3)提取CT图像中的肺部区域，步骤如下：
C.导入skimage图像处理模块；
B.从天池医疗AI数据集提取的一个512×512切片，标准化像素值，检 查强度分布；
C.利用腐蚀和膨胀填写侵入肺部区域的不透明组织，选择基于轮廓大小的 每个区域，对每个肺部CT图像的ROI的mask图像进行裁剪，然后调整图像 到512×512，形成结节标记信息的结节mask图像；
本发明中，提取CT图像中的肺部区域。需要导入skimage图像处理模块， 一般的策略是使用阈值图像以提取图像中的区域，然后识别哪些区域是肺；肺 部有一个与周围组织的高对比度，所以阈值相当简单。本发明利用腐蚀和膨胀 填写侵入肺部区域的不透明组织，选择基于轮廓大小的每个区域，对每个肺部 CT图像的ROI的mask图像进行裁剪，然后调整图像到512×512，来消除图 像中不适用于所有数据集的非肺部区域；生成结节标记信息的结节mask图像；
步骤三，利用U-Net通过分割检测来发现疑似肺结节，采用如下步骤：
根据肺结节卷积网络分割结果，对分割图像进行二值化分割，提取连接块 处理，提取疑似肺结节。由于CT的图像是一个扫描序列，参与者可能需要对 多帧的结果进行融合；
(1)利用Keras框架来构建U-Net卷积神经网络架构；
(2)步骤(1)中的U-Net卷积神经网络架构，由一个收缩路径和一个膨胀 路径组成；
(3)步骤(2)中的收缩路径遵循卷积网络的典型体系结构，由两个3×3 卷积、纠正线性单元和2×2卷积运行下采样的最大池构成；
(4)每个采样步骤增加了特征频道的数量，在在步骤(2)中的膨胀路径 的每一步，一是特征图的采样；二是2×2卷积，2×2卷积为了上卷积，将特 征通道的数量减半，并将相应的裁剪特征映射与收缩路径连接起来；三是两个 3×3卷积；
(5)在步骤(3)中的纠正线性单元中，由于每个卷积中边界像素的丢失， 故需要裁剪，最后一层1×1卷积用于映射各64组特征向量所需数量的类； 形成疑似肺结节图像；
本发明中，利用肺部分割生成肺部区域图像、加上结节标记信息生成结节 mask图像，然后基于卷积神经网络训练肺结节分割器。根据肺结节卷积网络分 割结果，对分割图像进行二值化分割，提取连接块处理，提取疑似肺结节。由 于CT的图像是一个扫描序列，参与者可能需要对多帧的结果进行融合；
本发明中，损失函数是预测和实际肺结节mask图像比较的dice_coef系 数；本发明中，U-Net网络架构如图1所示。U-Net网络架构由一个收缩路径 (左侧)和一个膨胀路径(右侧)组成。
如图1所示，U-Net体系结构中，每个蓝色框(实心框)对应一个多通道 特征映射图；通道的数目表示在盒子的顶部，x-y-size在盒子的左下边缘设置， 白盒(空心框)表示复制的特征映射，箭头表示不同的操作。
本发明中，收缩路径遵循卷积网络的典型体系结构，由两个3×3卷积、 纠正线性单元(ReLU)和2×2运行下采样的最大池构成；
在每个采样步骤增加了特征频道的数量，在膨胀的路径的每一步，包括特 征图的采样，其次是2×2卷积(“上卷积”)，将特征通道的数量减半，并 将相应的裁剪特征映射与收缩路径连接起来，和两个3×3卷积；
其次是ReLU(纠正线性单元)，由于每个卷积中边界像素的丢失，所以裁 剪是必要的；最后一层1×1卷积用于映射各64组特征向量所需数量的类；
本发明中，U-Net网络有23个卷积层，允许一个无缝拼接的输出分割图 (如图2所示)，选择输入图像的大小，2×2最大池操作应用于一个连接x- y-size的层；
如图2所示，任意大图像无缝分割的重叠平铺策略。预测黄色区域(A区 域)的分割，需要蓝色区域(B区域)内的图像数据作为输入，缺少的输入数 据是通过镜像来推断的。
(6)输入疑似肺结节图像和相应的分割映射，是使用Caffe的随机梯度 下降实现来训练卷积神经网络，实现深度学习训练；
(7)利用大量先前见过的训练样本，决定当前优化步骤中的更新，在最终特征 映射上结合交叉熵损失函数，利用像素级soft-max计算能量函数；然后，交 叉熵从1开始惩罚pl(x)(x)在每个位置的偏差；使用形态学运算计算分离边 界，然后计算权重映射；
(8)在有许多卷积层和通过网络的不同路径的深度卷积神经网络中，初始 权值应该进行调整，使得网络中的每个特征映射具有近似的单位方差；根据步 骤(2)中的U-Net网络架构，其交替的卷积层和ReLU层，可以从一个高斯分 布标准差
Figure BSA0000190177310000111
的初始权值来实现，其中N表示一个神经元的输入节点数；
本发明中，当只有很少的训练样本可用时，数据增强是训练网络所需的不 变性和鲁棒性的必要条件；在显微镜图像的情况下，我们主要需要平移和旋转 不变性以及对变形和灰度值变化的鲁棒性。特别是训练样本的随机弹性变形似 乎是训练具有很少标记图像的分割网络的关键概念；在粗糙的3×3网格上用 随机位移矢量生成光滑变形。位移由10个标准偏差的高斯分布采样。每像素 位移，然后利用双三次插值计算。收缩路径结束时的层执行进一步的隐式数据 增强；
步骤四：ResNet-50肺癌结节概率预测，采用如下步骤：
(1)根据步骤三中的形成的疑似肺结节图像，利用卷积神经网络，用于疑 似肺结节的分类，并确定疑似肺结节是否为真正的肺结节；
(2)使用一个50层的剩余网络学习迁移模型，剩余网络学习迁移模型为 ResNet模型；ResNet模型是深度卷积神经网络，通过网络反向传播的梯度， 从而改进训练；通过固定预训练的权重的ResNet，特征是从五个不同的层中提 取；
(3)步骤(2)中的特征从ResNet层的pool1，res2c，res3d，res4f， 和pool5中提取出来(如图6所示)；
pool1层经过一个单一的卷积层，其次是batchnorm和ReLu层和最大池 化层；
res2c层在三层ResNet之后，res3d在七层之后，res4f在十三层之后；
pool5层在十六层后，并且是最后一个平均池层，pool5层在全连接层产 生的预测分类的50层ResNet的最后一层；
提取的特征保存到磁盘以加快计算速度；由于ResNet卷积层冻结，故没 有必要在深度训练中反向传播；
(6)提取的特征被输入到最终的完全连接层，并且有三个输出；通过解释 输出三类肺部结节的非标准概率和最小化这些标记和正确的图像标记之间的交 叉熵损失，最后一层被训练为Softmax分类器；其中：三类肺部结节分别为： 非肺结节，良性肺结节，恶性肺结节；
单一图像的交叉熵损失的公式如下：
Figure BSA0000190177310000121
其中，sj是的输出向量，并且jth是正确图像的标记；
(4)深度卷积神经网络的总损失是图像损失的平均值和L2范数正则化 项有利于小权重和避免过度拟合训练数据的总和，它的完全损失的公式如下：
Figure BSA0000190177310000122
其中：λ是一个调节常数，W是权重矩阵；
上述算法试图找到最小化这种损失函数的权重，而这种最小化是通过动量 的小批量梯度下降完成的；在每次迭代中，使用如下的动量更新方程更新权重：
Figure BSA0000190177310000123
W←W+v
其中：α是学习速率，μ是动量参数，并且损失的梯度
Figure BSA0000190177310000124
是在一批 训练数据上计算的；
(5)特征提取的最后pool5层与良性或恶性结节也被送入一个单独的回 归头结节定位图像；这个完全连接层有四个输出，代表网络对结节周围坐标的 预测；通过最小化预测坐标和真正的结节轮廓坐标之间的欧几里德距离来训练 这一层的权重；总损失函数是图像的欧氏距离和正则化项的平均值之和，公式 如下所示：
Figure BSA0000190177310000131
其中：sj是jth的输出向量，并且bj是jth的真正轮廓坐标矢量。
本发明中，图1U-Net体系结构。每个蓝色框对应一个多通道特征映射图。 通道的数目表示在盒子的顶部，x-y-size在盒子的左下边缘设置。白盒表示复 制的特征映射。箭头表示不同的操作。
图2任意大图像无缝分割的重叠平铺策略。预测黄色区域的分割，需要蓝 色区域内的图像数据作为输入。缺少的输入数据是通过镜像来推断的。
图3是本发明中的用于结节分类和定位的50层残留网络的拓扑图。
本发明中，通过实验来进一步说明本发明的方法步骤。首先是使用图像分 割算法生成肺部区域的mask图，然后根据mask图生成肺部区域图像；
如图4所示是天池数据集val set的肺部区域图像、肺结节(Ground Truth)的mask图像和U-Net深度训练(CNN)预测(Prediction)生成的测 试数据集的肺疑似结节mask的分割(Segmentation)图像。
利用肺部分割生成的肺部区域图像，加上结节标注信息生成的结节mask 图像，训练基于卷积神经网络的肺结节分割器。基于卷积网络的肺结节分割结 果，对分割结果图像进行二值化，提取连通块等处理，提取出疑似肺结节。由 于CT图像是一个扫描序列，参赛者可能需要对多帧的结果进行融合。
测试数据集中的CT图像通过U-Net深度计算生成的模型unet.hdf5，预 测该肺部测试图像的疑似结节mask图像中心图像坐标，程序将图像坐标转换 为世界坐标。
如下表所示，是预测的该肺部测试图像的疑似结节mask图像中心的世界 坐标与切割肺部图像对应的立方体的世界坐标的匹配结果，它包括了 seriesuid，coordX，coordY，coordZ，diameter_mm这4列。
表一：U-Net深度训练(天池)肺部测试CT图像的疑似结节图像分割的 dice和IoU；
Figure BSA0000190177310000141
表二：预测的(天池)肺部测试CT图像的疑似结节中心坐标(x，y，z)和 diameter_mm(单位：mm)
Figure BSA0000190177310000142
实验分析，通过训练基于卷积神经网络的肺结节分割器，提取出的疑似肺 结节的坐标和diameter_mm与真实值还是比较近似的。如图5所示，是肺部测 试CT图像的疑似结节中心坐标(x，y，z)和diameter_mm的预测误差曲线图， 坐标轴的单位是：mm。
表三：肺部测试CT图像疑似结节中心坐标(x，y，z)和diameter_mm的 预测误差均值；
Figure BSA0000190177310000151
然后，使用预测得出的测试数据集的疑似肺部结节坐标，对肺部CT图像 切片，生成测试数据集预测的肺部结节的切片JPEG图像，如图6所示，图6 是U-Net深度训练生成的肺部测试CT图像疑似结节切片图像。
最后，预测疑似结节是肺癌结节的概率。找到疑似结节后，可以使用常见 的图像分类算法对疑似结节进行分类，得出疑似肺结节是否为真正肺结节的概 率。
首先，对天池数据集的train set和val set进行CT图像预处理，根 据annotations.csv中肺部结节的坐标和diameter_mm，对肺部CT图像切 片，导出train set和val set中肺部结节的切片JPEG图像。
其次，将肺部图像中的疑似结节分为2类，假设天池数据集中的肺结节是 真正的肺结节，而U-Net图像分割预测生成的肺结节，如果肺部结节coordX， coordY，coordZ和diameter_mm的ground truth与预测值误差，相对于 diameter_mm的比值较小(比如，小于0.1)，那么label就是1(真结节)， 否则label是0(假结节)。
表四：肺部疑似结节Caffe深度模型训练的accuracy结果(中间过程)
Figure BSA0000190177310000161
最后，将测试数据集中预测的肺部疑似结节的.npy图像输入到 caffemodel中，统计预测出的肺部疑似结节是真正结节的概率。
本发明中，构建了一个更优雅的体系结构，即“完全卷积网络”。我们修 改和扩展了这种架构，使得它只需要很少的训练图像数据集，就可获得更精确 的分割，如图1所示。
其主要思想是通过连续层补充网络，通过上采样算子替代采样运算。因此， 这些层增加了输出的分辨率。为了实现高分辨率的特点，从收缩路径结合上采 样输出。一个连续的卷积层可以学习根据这个信息来组装更精确的输出。
本文要求使用CT图像数据(MHD)来训练模型，并给出CT图像中肺结节 的中心位置，该测试数据与是否是真实肺结节无关。一般来说，分类器可以给 出概率。通过训练和观察结节的特征，并在给定的结节图像中发现这些疑似肺 结节。其中的困难之一是容易混淆的结节和其他血管图像。
本发明中，通过两阶段的深度图像分割和识别算法实现肺癌结节智能诊断， 该算法可以自动检测和诊断组织图像，如肺扫描的CT结节到癌或非癌结节。 在第一阶段，对输入图像进行预处理，对癌结节区域进行分割。
第二阶段是基于结节区域和灰度级的模糊系统对肺结节进行诊断。拟议工 作的目的是减少假阳性分类，同时保持高度的阳性诊断。
以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述特 征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (4)

1.一种用于肺癌智能诊断的基于深度图像分割和识别的测定方法，其特征在于：采用如下步骤：
步骤一，结节训练数据集：以天池医疗AI竞赛中提供了肺部CT图像的标记结节的位置，使用天池医疗AI数据集来产生适当的训练集；
步骤二，肺部区域和结节图像的生成：利用图像分割算法生成肺部区域的mask图像，然后根据mask图像生成肺区域图像；
步骤三，利用U-Net通过分割检测来发现疑似肺结节，根据肺结节卷积网络分割结果，对分割图像进行二值化分割，提取连接块处理，提取疑似肺结节，
步骤四：ResNet-50肺癌结节概率预测，采用如下步骤：
(1)根据步骤三中的形成的疑似肺结节图像，利用卷积神经网络，用于疑似肺结节的分类，并确定疑似肺结节是否为真正的肺结节；
(2)使用一个50层的剩余网络学习迁移模型，剩余网络学习迁移模型为ResNet模型；通过固定预训练的权重的ResNet，特征是从五个不同的层中提取；
(3)步骤(2)中的特征从ResNet层的pool1，res2c，res3d，res4f，和pool5中提取出来；
pool1层经过一个单一的卷积层，其次是batchnorm和ReLu层和最大池化层；
res2c层在三层ResNet之后，res3d在七层之后，res4f在十三层之后；
pool5层在十六层后，并且是最后一个平均池层，pool5层在全连接层产生的预测分类的50层ResNet的最后一层；
提取的特征保存到磁盘以加快计算速度；由于ResNet卷积层冻结，故没有必要在深度训练中反向传播；
(1)提取的特征被输入到最终的完全连接层，并且有三个输出；通过解释输出三类肺部结节的非标准概率和最小化这些标记和正确的图像标记之间的交叉熵损失，最后一层被训练为Softmax分类器；其中：三类肺部结节分别为：非肺结节，良性肺结节，恶性肺结节；
单一图像的交叉熵损失的公式如下：
Figure FSA0000190177300000021
其中，sj是的输出向量，并且jth是正确图像的标记；
(4)深度卷积神经网络的总损失是图像损失的平均值和L2范数正则化项有利于小权重和避免过度拟合训练数据的总和，它的完全损失的公式如下：
Figure FSA0000190177300000022
其中：λ是一个调节常数，W是权重矩阵；
上述算法试图找到最小化这种损失函数的权重，而这种最小化是通过动量的小批量梯度下降完成的；在每次迭代中，使用如下的动量更新方程更新权重：
Figure FSA0000190177300000023
W←W+v
其中：α是学习速率，μ是动量参数，并且损失的梯度
Figure FSA0000190177300000024
是在一批训练数据上计算的；
(5)特征提取的最后pool5层与良性或恶性结节也被送入一个单独的回归头结节定位图像；这个完全连接层有四个输出，代表网络对结节周围坐标的预测；通过最小化预测坐标和真正的结节轮廓坐标之间的欧几里德距离来训练这一层的权重；总损失函数是图像的欧氏距离和正则化项的平均值之和，公式如下所示：
Figure FSA0000190177300000031
其中：sj是jth的输出向量，并且bj是jth的真正轮廓坐标矢量。
2.根据权利要求1所述的一种用于肺癌智能诊断的基于深度图像分割和识别的测定方法，其特征在于：步骤二中肺部区域和结节图像的生成，采用如下步骤：
(1)在病患的CT肺部扫描图像中找到最大的肺结节，使用annotations.csv给出的肺部结节位置，针对肺部CT图像切三层，只选在最大的结节为中心的切片图像；
(2)使用pandas中称为df_node的数据帧记录肺部CT图像数和节点信息，节点坐标信息(x，y，z)在MHD文件中定义；
(3)提取CT图像中的肺部区域。
3.根据权利要求2所述的一种用于肺癌智能诊断的基于深度图像分割和识别的测定方法，其特征在于：步骤二中的步骤(3)中，提取CT图像中的肺部区域，采用如下步骤：
A.导入skimage图像处理模块；
B.从天池医疗AI数据集提取的一个512×512切片，标准化像素值，检查强度分布；
C.利用腐蚀和膨胀填写侵入肺部区域的不透明组织，选择基于轮廓大小的每个区域，对每个肺部CT图像的ROI的mask图像进行裁剪，然后调整图像到512×512，形成结节标记信息的结节mask图像。
4.根据权利要求1所述的一种用于肺癌智能诊断的基于深度图像分割和识别的测定方法，其特征在于：步骤二中的提取疑似肺结节，采用如下步骤：
(1)利用Keras框架来构建U-Net卷积神经网络架构；
(2)步骤(1)中的U-Net卷积神经网络架构，由一个收缩路径和一个膨胀路径组成；
(3)步骤(2)中的收缩路径遵循卷积网络的典型体系结构，由两个3×3卷积、纠正线性单元和2×2卷积运行下采样的最大池构成；
(4)每个采样步骤增加了特征频道的数量，在在步骤(2)中的膨胀路径的每一步，一是特征图的采样；二是2×2卷积，2×2卷积为了上卷积，将特征通道的数量减半，并将相应的裁剪特征映射与收缩路径连接起来；三是两个3×3卷积；
(5)在步骤(3)中的纠正线性单元中，由于每个卷积中边界像素的丢失，故需要裁剪，最后一层1×1卷积用于映射各64组特征向量所需数量的类；形成疑似肺结节图像；
(6)输入疑似肺结节图像和相应的分割映射，是使用Caffe的随机梯度下降实现来训练卷积神经网络，实现深度学习训练；
(7)利用大量先前见过的训练样本，决定当前优化步骤中的更新，在最终特征映射上结合交叉熵损失函数，利用像素级soft-max计算能量函数；然后，交叉熵从1开始惩罚pl(x)(x)在每个位置的偏差；使用形态学运算计算分离边界，然后计算权重映射；
(8)根据步骤(2)中的U-Net网络架构，其交替的卷积层和ReLU层，可以从一个高斯分布标准差
Figure FSA0000190177300000041
的初始权值来实现，其中N表示一个神经元的输入节点数。
CN201910869861.6A 2019-09-16 2019-09-16 一种用于肺癌智能诊断的基于深度图像分割和识别的测定方法 Pending CN112598613A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910869861.6A CN112598613A (zh) 2019-09-16 2019-09-16 一种用于肺癌智能诊断的基于深度图像分割和识别的测定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910869861.6A CN112598613A (zh) 2019-09-16 2019-09-16 一种用于肺癌智能诊断的基于深度图像分割和识别的测定方法

Publications (1)

Publication Number Publication Date
CN112598613A true CN112598613A (zh) 2021-04-02

Family

ID=75180031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910869861.6A Pending CN112598613A (zh) 2019-09-16 2019-09-16 一种用于肺癌智能诊断的基于深度图像分割和识别的测定方法

Country Status (1)

Country Link
CN (1) CN112598613A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516640A (zh) * 2021-07-05 2021-10-19 首都师范大学 基于分类分支的ct图像细小裂缝分割装置和方法
CN113705578A (zh) * 2021-09-10 2021-11-26 北京航空航天大学 胆管形态识别方法及装置
CN113724853A (zh) * 2021-10-08 2021-11-30 联想新视界(南昌)人工智能工研院有限公司 一种基于深度学习的智慧医疗系统
CN113903452A (zh) * 2021-09-18 2022-01-07 宁波大学医学院附属医院 一种医生肺结节辅助诊断系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516640A (zh) * 2021-07-05 2021-10-19 首都师范大学 基于分类分支的ct图像细小裂缝分割装置和方法
CN113516640B (zh) * 2021-07-05 2022-03-18 首都师范大学 基于分类分支的ct图像细小裂缝分割装置和方法
CN113705578A (zh) * 2021-09-10 2021-11-26 北京航空航天大学 胆管形态识别方法及装置
CN113903452A (zh) * 2021-09-18 2022-01-07 宁波大学医学院附属医院 一种医生肺结节辅助诊断系统
CN113903452B (zh) * 2021-09-18 2022-12-16 宁波大学医学院附属医院 一种医生肺结节辅助诊断系统
CN113724853A (zh) * 2021-10-08 2021-11-30 联想新视界(南昌)人工智能工研院有限公司 一种基于深度学习的智慧医疗系统

Similar Documents

Publication Publication Date Title
CN111192245B (zh) 一种基于U-Net网络的脑肿瘤分割网络及分割方法
CN112270660B (zh) 基于深度神经网络的鼻咽癌放疗靶区自动分割方法
CN110930416B (zh) 一种基于u型网络的mri图像前列腺分割方法
CN112598613A (zh) 一种用于肺癌智能诊断的基于深度图像分割和识别的测定方法
El-Regaily et al. Survey of computer aided detection systems for lung cancer in computed tomography
CN110309860B (zh) 基于卷积神经网络对肺结节的恶性程度进行分类的方法
US20090252395A1 (en) System and Method of Identifying a Potential Lung Nodule
CN112150428A (zh) 一种基于深度学习的医学图像分割方法
CN112270666A (zh) 基于深度卷积神经网络的非小细胞肺癌病理切片识别方法
Fan et al. Lung nodule detection based on 3D convolutional neural networks
US20210248747A1 (en) Organs at risk auto-contouring system and methods
CN112700461B (zh) 一种肺结节检测和表征类别识别的系统
CN112634273B (zh) 一种基于深度神经网络的脑转移瘤分割系统及其构建方法
Bush Lung nodule detection and classification
CN114266786A (zh) 基于生成对抗网络的胃病变分割方法及系统
Sammouda Segmentation and analysis of CT chest images for early lung cancer detection
US20230005140A1 (en) Automated detection of tumors based on image processing
Tan et al. GLCM-CNN: gray level co-occurrence matrix based CNN model for polyp diagnosis
CN115147600A (zh) 基于分类器权重转换器的gbm多模态mr图像分割方法
Jaffar et al. Ensemble classification of pulmonary nodules using gradient intensity feature descriptor and differential evolution
Retico et al. Pleural nodule identification in low-dose and thin-slice lung computed tomography
CN114581698A (zh) 一种基于空间交叉注意力机制特征融合的目标分类方法
CN114445328A (zh) 基于改进Faster R-CNN的医学影像脑肿瘤检测方法与系统
De Nunzio et al. Approaches to juxta-pleural nodule detection in CT images within the MAGIC-5 Collaboration
Malathi et al. Active contour based segmentation and classification for pleura diseases based on Otsu’s thresholding and support vector machine (SVM)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
DD01 Delivery of document by public notice
DD01 Delivery of document by public notice

Addressee: Wang Mingxiao

Document name: Notice before the expiration of the time limit of the request for actual examination

DD01 Delivery of document by public notice
DD01 Delivery of document by public notice

Addressee: Wang Mingxiao

Document name: Deemed withdrawal notice

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210402