CN109934832A - 基于深度学习的肝脏肿瘤分割方法及装置 - Google Patents
基于深度学习的肝脏肿瘤分割方法及装置 Download PDFInfo
- Publication number
- CN109934832A CN109934832A CN201910229377.7A CN201910229377A CN109934832A CN 109934832 A CN109934832 A CN 109934832A CN 201910229377 A CN201910229377 A CN 201910229377A CN 109934832 A CN109934832 A CN 109934832A
- Authority
- CN
- China
- Prior art keywords
- image
- characteristic pattern
- type
- neural networks
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明实施例提供一种基于深度学习的肝脏肿瘤分割方法及装置，所述方法包括：获取患者腹部CT/MR影像，将患者腹部CT/MR影像输入至预设的密集连接型全卷积神经网络中，获得肝脏感兴趣区域图像；将肝脏感兴趣区域图像输入至预设的深度卷积生成对抗网络的生成器中，获得肿瘤分割结果。本发明实施例通过采用密集连接型全卷积神经网络和深度卷积生成对抗网络，提高了肝脏肿瘤分割的鲁棒性、分割准确率，并将在二维平面提取到的特征和三维空间提取到的结构特征相融合，使得肿瘤分割精度更高。
Description
技术领域
本发明实施例涉及基于CT/MR成像的肝脏肿瘤分割领域，更具体地，涉及一种基于深度学习的肝脏肿瘤分割方法及装置。
背景技术
利用计算机算法实现腹部CT/MR切片中肝脏肿瘤的自动分割，可提供准确、重复性的肿瘤检测服务，可辅助医生进行诊断，在手术规划和肿瘤治疗评估等方面都有重要作用，是近年来医学图像处理领域的研究热点。然而，肝脏肿瘤分割一直存在较大的挑战，由于不同患者间肿瘤的大小、形状和位置具有很大差异，这限制了许多基于形状和位置等先验信息进行肿瘤分割的方法。另外，由于肝脏肿瘤和其周围正常组织间存在边界不清晰现象，导致许多传统分割方法常发生分割过度和分割不全现象。
近年来，出现了许多有关肿瘤自动分割方法的研究，其中大多数是基于生成型或判别型的方法。基于生成型的分割方法明确地模拟了肿瘤及周围健康组织的解剖学外观的概率分布，它们通常通过结合领域的先验知识来对需要分割的物体进行特征描述，然而，对肝脏肿瘤的概率分布却很难进行准确建模。判别型方法则是直接学习肿瘤和周围正常组织像素之间的强度关系，它们需要一组带标注的训练图像用于学习，如基于支持向量机和决策树等分割方法。随着深度学习的兴起，基于神经网络的判别方法已经达到了肿瘤分割领域的最佳性能，其中，主要以卷积神经网络构架为主，对肿瘤的局部和全局特征进行学习训练。但是，大多数基于神经网络的方法只使用了肿瘤的二维切片信息而没有考虑三维切片数据中包含的空间结构信息，从而导致模型训练时因没有充分利用肿瘤在空间结构上呈现出的连续性信息而导致分割结果不准确。
肝脏肿瘤的自动分割研究虽受到了广泛关注并取得了一定的研究成果，但仍然存在以下问题：不同肝肿瘤患者体内的肿瘤尺寸、形状、位置、数量等各不相同，使得基于领域先验知识的肿瘤分割方法效果不佳；由于肝脏肿瘤边缘不清晰，手动特征提取方法并不能较好的令模型学习到肿瘤与非肿瘤像素间的区别，使得大多数基于像素强度信息的判别型分割方法在分割肿瘤边缘时还存在一定的困难；基于深度学习的分割方法大多只使用了二维切片信息而没有考虑三维数据中包含的肿瘤空间结构信息，其他少数一些使用三维数据进行网络训练的方法，受计算资源的限制也仅利用了其中极少部分的切片，难以对肿瘤空间结构进行有效的挖掘，从而使模型难以捕捉肿瘤在三维影像序列上呈现的全局特征，丢失了肿瘤在序列影像中特有的空间连续性信息而导致分割结果不理想。
发明内容
本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的基于深度学习的肝脏肿瘤分割方法及装置。
第一方面，本发明实施例提供一种基于深度学习的肝脏肿瘤分割方法，包括：
获取患者腹部CT/MR影像，将所述患者腹部CT/MR影像输入至预设的密集连接型全卷积神经网络中，获得肝脏感兴趣区域图像；
将所述肝脏感兴趣区域图像输入至预设的深度卷积生成对抗网络的生成器中，获得所述患者腹部CT/MR影像对应的肿瘤分割结果；
其中，所述预设的密集连接型全卷积神经网络是根据患者腹部CT/MR影像样本以及与所述患者腹部CT/MR影像样本对应的带有肝脏区域标注的图像样本进行密集连接训练后获得的；
其中，所述预设的深度卷积生成对抗网络是根据肝脏感兴趣区域图像样本以及与所述患者腹部CT/MR影像样本对应的带有肿瘤区域标注的图像样本进行对抗训练后获得的。
第二方面，本发明实施例提供一种基于深度学习的肝脏肿瘤分割装置，包括：
肝脏分割模块，用于获取患者腹部CT/MR影像，将所述患者腹部CT/MR影像输入至预设的密集连接型全卷积神经网络中，获得肝脏感兴趣区域图像；
肿瘤分割模块，用于将所述肝脏感兴趣区域图像输入至预设的深度卷积生成对抗网络的生成器中，获得所述患者腹部CT/MR影像对应的肿瘤分割结果；
其中，所述预设的密集连接型全卷积神经网络是根据患者腹部CT/MR影像样本以及与所述患者腹部CT/MR影像样本对应的带有肝脏区域标注的图像样本进行密集连接训练后获得的；
其中，所述预设的深度卷积生成对抗网络是根据肝脏感兴趣区域图像样本以及与所述患者腹部CT/MR影像样本对应的带有肿瘤区域标注的图像样本进行对抗训练后获得的。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的基于深度学习的肝脏肿瘤分割方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的基于深度学习的肝脏肿瘤分割方法的步骤。
本发明实施例提供的基于深度学习的肝脏肿瘤分割方法及装置，通过采用密集连接型全卷积神经网络和深度卷积生成对抗网络，可以较为准确地对具有不同尺寸、形状、位置、数量的肿瘤情况进行分割，提高了肝脏肿瘤分割的鲁棒性；能更敏感的提取到肿瘤边缘信息，提高分割准确率；并通过采用带有二维卷积和三维卷积的全卷积结构充分地挖掘了肝脏和肿瘤的二、三维特征信息，将二维平面提取到的特征和三维空间提取到的结构特征相融合，使得肿瘤分割精度更高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于深度学习的肝脏肿瘤分割方法的流程示意图；
图2为本发明实施例提供的获得预设的密集连接型全卷积神经网络和深度卷积生成对抗网络的流程示意图；
图3为本发明实施例提供的密集连接型全卷积神经网络的结构示意图；
图4为本发明实施例提供的基于深度学习的肝脏肿瘤分割装置的结构示意图；
图5为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例通过结合深度学习中的全卷积神经网络和生成对抗网络技术，配合以经医生手动勾画的肝脏金标准和肿瘤金标准作为网络的输入进行学习，使网络能自动捕捉到肝脏和肿瘤的内在特征，以此训练模型。模型训练完成后，整个分割过程可实现自动化，无需利用医生的专业知识即可得到令医生满意的肿瘤分割结果，为肝肿瘤分割研究领域提供一种新的选择。
如图1所示，为本发明实施例提供的基于深度学习的肝脏肿瘤分割方法的流程示意图，所述基于深度学习的肝脏肿瘤分割方法包括以下步骤：
步骤100、获取患者腹部CT/MR影像，将所述患者腹部CT/MR影像输入至预设的密集连接型全卷积神经网络中，获得肝脏感兴趣区域图像；
具体地，患者腹部CT/MR影像是指患者腹部的CT(Computed Tomography，计算机断层扫描)影像或者MR(Magnetic Resonance，磁共振)影像。
全卷积神经网络(FCN，Fully Convolutional Networks)与传统的卷积神经网络(CNN，Convolutional Neural Networks)的不同之处在于，通常CNN网络在卷积层之后会接上若干个全连接层，将卷积层产生的特征图(feature map)映射成一个固定长度的特征向量，而FCN网络可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷积层的特征图进行上采样，使它恢复到与输入图像相同的尺寸，从而可以对每个像素都产生了一个预测，同时保留了原始输入图像中的空间信息。简单来说，FCN与CNN的区别在于FCN把CNN最后的全连接层换成卷积层，输出的是一张已经Label好目标区域的图像。
密集连接型全卷积神经网络则是在全卷积神经网络的基础上，将全卷积神经网络中的所有层两两都进行了连接，使得网络中每一层都能接受它前面层的特征作为输入，网络中存在着大量密集的连接，密集连接拥有以下两个方面的特性：1)在一定程度上减轻训练过程中梯度消散的问题；2)由于大量的特征被复用，使用少量的卷积核就可以生成大量的特征。
在本发明实施例中，所述预设的密集连接型全卷积神经网络是根据患者腹部CT/MR影像样本以及与所述患者腹部CT/MR影像样本对应的带有肝脏区域标注的图像样本进行密集连接训练后获得的。可以理解的是，将患者腹部CT/MR影像样本作为输入，将与所述患者腹部CT/MR影像样本对应的带有肝脏区域标注的图像样本作为期望的输出，对预设的密集连接型全卷积神经网络进行密集连接训练。
其中，与所述患者腹部CT/MR影像样本对应的带有肝脏区域标注的图像样本是通过医生手工标注获得的，可以称为肝脏金标准。
密集连接训练是指所述预设的密集连接型全卷积神经网络中的所有层两两都进行了连接，使得网络中每一层都能接受它前面层的特征作为输入，网络中存在着大量密集的连接，对于这样的网络进行训练可以称之为密集连接训练。
训练完成后获得的密集连接型全卷积神经网络能够对肝脏感兴趣区域进行有效地提取。也就是说，将一个患者腹部CT/MR影像输入到训练完成后的密集连接型全卷积神经网络中，可以获得肝脏感兴趣区域图像。肝脏感兴趣区域图像是指从腹部影像中分割得到的肝脏区域图像。
在本发明实施例中，使用密集连接型全卷积神经网络可以更充分地利用肝脏组织的二、三维信息，有效提取出肝脏组织的特征。
步骤101、将所述肝脏感兴趣区域图像输入至预设的深度卷积生成对抗网络的生成器中，获得所述患者腹部CT/MR影像对应的肿瘤分割结果。
具体地，生成对抗网络是一种通过用对抗网络来训练生成模型的架构，它由两个网络组成：用来拟合数据分布的生成器G，和用来判断输入是否“真实”的判别器D。在训练过程中，生成器G通过尽量模仿训练集中的肿瘤金标准去欺骗D，而判别器D则尽可能地分辨肿瘤金标准和生成器的输出，从而形成两个网络的博弈过程。理想的情况下，生成器G输出可以“以假乱真”的图像，对于D来说，它无法判断G生成的图像到底是不是真实的，此时，博弈的结果是得到一个可以“以假乱真”的生成器。
在本发明实施例中，启发于以上思想，开发了深度卷积生成对抗网络来分割肝脏肿瘤，所述预设的深度卷积生成对抗网络包括生成器和判别器，其中，所述生成器为一个密集连接型全卷积神经网络，所述对抗器为一个普通的卷积神经网络。
所述预设的深度卷积生成对抗网络是根据肝脏感兴趣区域图像样本以及与所述患者腹部CT/MR影像样本对应的带有肿瘤区域标注的图像样本进行对抗训练后获得的。可以理解的是，将患者腹部CT/MR影像样本输入到训练完成的密集连接型全卷积神经网络中，获得肝脏感兴趣区域图像样本，然后将肝脏感兴趣区域图像样本作为深度卷积生成对抗网络的输入，将与所述患者腹部CT/MR影像样本对应的带有肿瘤区域标注的图像样本作为期望的输出，对深度卷积生成对抗网络进行训练。
其中，与所述患者腹部CT/MR影像样本对应的带有肿瘤区域标注的图像样本是根据医生手工标注获得的，可以称为肿瘤金标准。
在深度卷积生成对抗网络训练结束后，生成器具有了从肝脏感兴趣区域图像中提取出肿瘤区域的能力，此时可以删除判别器，只保留生成器。即将肝脏感兴趣区域图像输入至预设的深度卷积生成对抗网络的生成器中，可以获得较为理想的肿瘤分割结果。肿瘤分割结果是指从肝脏感兴趣区域中分割出的肿瘤区域图像。
通过采用生成对抗网络，引入了对抗学习的训练优化方法，能让训练后得到的网络根据肿瘤金标准的数据分布来使分割结果尽可能的跟其逼近，使得网络能更敏感的提取到肿瘤边缘信息，从而提高分割准确率。
本发明实施例提供的基于深度学习的肝脏肿瘤分割方法，通过采用密集连接型全卷积神经网络和深度卷积生成对抗网络，可以较为准确地对具有不同尺寸、形状、位置、数量的肿瘤情况进行分割，提高了肝脏肿瘤分割的鲁棒性；能更敏感的提取到肿瘤边缘信息，提高了分割准确率；并通过采用二、三维卷积融合训练结构充分地挖掘了肝脏和肿瘤的三维信息，并将在二维平面提取到的特征和三维空间提取到的特征进行了融合，使得肿瘤分割精度更高。
基于上述实施例的内容，在获取患者腹部CT/MR影像的步骤之前，还需获得预设的密集连接型全卷积神经网络和深度卷积生成对抗网络，如图2所示，为获得预设的密集连接型全卷积神经网络和深度卷积生成对抗网络的流程示意图，包括：
步骤200、获取患者腹部CT/MR影像、与所述患者腹部CT/MR影像对应的带有肝脏区域标注的图像以及与所述患者腹部CT/MR影像对应的带有肿瘤区域标注的图像，其中，所述患者腹部CT/MR影像组成输入样本集，与所述患者腹部CT/MR影像对应的带有肝脏区域标注的图像组成第一输出样本集，与所述患者腹部CT/MR影像对应的带有肿瘤区域标注的图像组成第二输出样本集；
具体地，首先构建样本集，从医院采集多个患者腹部CT/MR影像序列，并将所采集的腹部CT/MR影像序列导入至计算机中，让医生用标注软件对任意腹部CT/MR影像序列中包含肝脏及肝脏肿瘤的切片进行手工标注，获得与所述患者腹部CT/MR影像对应的带有肝脏区域标注的图像、与所述患者腹部CT/MR影像对应的带有肿瘤区域标注的图像，作为网络训练的金标准，其中，将医生手工标注了肝脏区域的图像作为肝脏金标准，将医生手工标注了肿瘤区域的图像作为肿瘤金标准。
其中，所获取的患者腹部CT/MR影像组成输入样本集，带有肝脏区域标注的图像组成第一输出样本集，带有肿瘤区域标注的图像组成第二输出样本集。
步骤201、构建密集连接型全卷积神经网络和深度卷积生成对抗网络，并使所述深度卷积生成对抗网络的生成器与所述密集连接型全卷积神经网络具有相同的结构；
具体地，图3为本发明实施例提供的密集连接型全卷积神经网络的结构示意图，从图3中可以获知所述密集连接型全卷积神经网络各层之间的连接关系，所述密集连接型全卷积神经网络具体包括：二十个弥散卷积层，五个卷积层，三个反卷积层，两个下采样层，三个上采样层和一个连结层。其中，所述密集连接型全卷积神经网络包括顺序连接的第一弥散卷积层、第二弥散卷积层、第三弥散卷积层、第四弥散卷积层、第一卷积层、第一下采样层、第五弥散卷积层、第六弥散卷积层、第七弥散卷积层、第八弥散卷积层、第二卷积层、第二下采样层、第九弥散卷积层、第十弥散卷积层、第十一弥散卷积层、第十二弥散卷积层、第十三弥散卷积层、第十四弥散卷积层、第三卷积层、第十五弥散卷积层、第十六弥散卷积层、第十七弥散卷积层、第十八弥散卷积层、第十九弥散卷积层、第二十弥散卷积层、第四卷积层、第五卷积层、第三上采样层、连结层以及第三反卷积层；第二下采样层之后还连接第一反卷积层，第一反卷积层之后连接第一上采样层，第三卷积层之后还连接第二反卷积层，第二反卷积层之后连接第二上采样层，第一上采样层与第二上采样层共同接到连结层。所述密集连接型全卷积神经网络其他层之间的连接关系可以具体参见图3。
其中，所述第一至第十弥散卷积层，第十九至第二十弥散卷积层均为弥散系数为1，尺寸为3*3*1的弥散卷积层；所述第十一至第十二弥散卷积层，第十五至第十六弥散卷积层均为弥散系数为2，尺寸为3*3*1的弥散卷积层；所述第十三至第十四弥散卷积层，第十七至第十八弥散卷积层均为弥散系数为3，尺寸为3*3*1的弥散卷积层；所述第一至第四卷积层的尺寸均为1*1*3，第五卷积层的尺寸为3*3*1；所述第一至第三反卷积层尺寸均为3*3*1。
值得说明的是，尺寸为3*3*1的弥散卷积层用于采集二维平面信息，尺寸为1*1*3的弥散卷积层用于采集三维平面信息，使用弥散卷积层可以捕捉更多的肿瘤全局特征信息。
本发明实施例中所构建的深度卷积生成对抗网络包含判别器以及与所构建的密集连接型全卷积神经网络结构相同的生成器。其中，判别器为一个卷积神经网络，具体可以包括：五个2*2*4的卷积层、一个下采样层和一个全连接层。
在此步骤中确定密集连接型全卷积神经网络的结构和每一层的初始参数，确定深度卷积生成对抗网络的结构和每一层的初始参数。
接下来，首先对所构建的密集连接型全卷积神经网络进行训练，然后对所构建的深度卷积生成对抗网络进行训练。
步骤202、利用所述输入样本集和第一输出样本集对所述密集连接型全卷积神经网络进行密集连接训练，获得训练完成的密集连接型全卷积神经网络；
具体地，将输入样本集中的患者腹部CT/MR影像作为密集连接型全卷积神经网络的输入进行学习，将肝脏组织的内在特征通过所述密集连接型全卷积神经网络进行自动的捕获，从而使密集连接型全卷积神经网络能够将肝脏感兴趣区域从腹部CT/MR影像中分割出来，作为后续用于进行肿瘤分割的深度卷积生成对抗网络的输入。
训练密集连接型全卷积神经网络的具体过程如下：
从所述输入样本集中随机选取一个患者腹部CT/MR影像，将所述患者腹部CT/MR影像作为输入训练样本，将所选取的输入训练样本输入到所述密集连接型全卷积神经网络中，将所述密集连接型全卷积神经网络的输出作为肝脏分割样本；
从所述第一输出样本集中取出与所述输入训练样本对应的带有肝脏区域标注的图像作为肝脏训练样本(即肝脏金标准)，根据所述肝脏分割样本和所述肝脏训练样本计算损失值，并根据所述损失值更新所述密集连接型全卷积神经网络的参数；
判断是否达到训练结束条件，若是，则保存当前迭代所述密集连接型全卷积神经网络的参数，获得训练完成的密集连接型全卷积神经网络，否则选取下一个输入训练样本进行训练。
其中，训练结束条件是指达到预设的迭代次数，或者，损失函数值在预设阈值范围内。
可以理解的是，密集连接型全卷积神经网络的训练是将患者腹部CT/MR影像输入到密集连接型全卷积神经网络中进行前向传播，然后根据密集连接型全卷积神经网络的输出与肝脏金标准计算预设的损失函数的值，然后根据损失函数的值利用梯度下降法对密集连接型全卷积神经网络的参数进行更新。训练完成的密集连接型全卷积神经网络具有将肝脏感兴趣区域从患者腹部CT/MR影像中分割出来的能力。
步骤203、将所述输入样本集中的患者腹部CT/MR影像输入所述训练完成的密集连接型全卷积神经网络中，获取所述训练完成的密集连接型全卷积神经网络输出的肝脏感兴趣区域图像样本，所述肝脏感兴趣区域图像样本组成第二输入样本集；
具体地，在密集连接型全卷积神经网络训练结束后，将输入样本集中的患者腹部CT/MR影像输入到训练完成的密集连接型全卷积神经网络中，所述训练完成的密集连接型全卷积神经网络会输出所述输入样本集中的患者腹部CT/MR影像所对应的肝脏感兴趣区域图像样本。将所获得的多个肝脏感兴趣区域图像样本作为训练深度卷积生成对抗网络的输入样本。
步骤204、利用所述第二输入样本集和第二输出样本集对所述深度卷积生成对抗网络进行对抗训练，获得训练完成的深度卷积生成对抗网络。
具体地，深度卷积生成对抗网络包含生成器和判别器，生成器的作用使根据密集连接型全卷积神经网络输出的肝脏感兴趣区域生成的肿瘤分割结果尽可能地逼近肿瘤金标准的数据分布；判别器的作用是将生成器生成的肿瘤分割结果与肿瘤金标准相区分，并通过对抗损失函数将两者之间的差别反馈给生成器，以此强化生成器的训练，调整器生成器的模型参数，使得生成器输出的肿瘤分割结果更好的逼近肿瘤金标准。对生成器和判别器进行重复交替训练，直至训练收敛。
训练深度卷积生成对抗网络的步骤包括：
从所述第二输入样本集中随机选取一个肝脏感兴趣区域图像样本，将所选取的肝脏感兴趣区域图像样本输入到所述深度卷积生成对抗网络的生成器中，将所述生成器的输出作为肿瘤分割样本；
从所述第二输出样本集中取出与所述肝脏感兴趣区域图像样本对应的带有肿瘤区域标注的图像作为肿瘤训练样本(即肿瘤金标准)，将所述肿瘤分割样本和所述肿瘤训练样本输入到所述深度卷积生成对抗网络的判别器中；
值得说明的是，从第二输出样本集中取出与所述肝脏感兴趣区域图像样本对应的带有肿瘤区域标注的图像时，首先需要确定与所述肝脏感兴趣区域图像样本对应的患者腹部CT/MR影像，然后根据该患者腹部CT/MR影像从第二输出样本集中取出与该患者腹部CT/MR影像相对应的带有肿瘤区域标注的图像。
根据所述判别器的输出结果计算所述判别器的损失函数值，并根据所述判别器的损失函数值更新所述判别器的参数；
根据所述判别器的输出结果计算所述生成器的损失函数值，并根据所述生成器的损失函数值更新所述生成器的参数；
判断是否达到训练结束条件，若是，则保存当前迭代深度卷积生成对抗网络的生成器和判别器的参数，获得训练完成的深度卷积生成对抗网络，否则选取下一肝脏感兴趣区域图像样本继续进行训练。
具体地，第二输入样本集由肝脏感兴趣区域图像样本构成，生成器的作用使根据密集连接型全卷积神经网络输出的肝脏感兴趣区域生成的肿瘤分割结果尽可能地逼近肿瘤金标准的数据分布，为了使生成器具有较好的肿瘤分割能力，本发明实施例将第二输入样本集作为生成器的输入，生成器输出的图像作为肿瘤分割样本，将生成器生成的肿瘤分割样本与肿瘤金标准同时输入到判别器中进行判别。然后，根据判别器的输出结果分别计算判别器的损失函数值和生成器的损失函数值，根据判别器的损失函数值对判别器的参数进行更新，根据生成器的损失函数值对生成器进行更新，更新后开始下一次训练过程，生成器和判别器进行重复交替训练，直至对抗训练收敛或达到最大迭代次数。
本发明实施例提供的基于深度学习的肝脏肿瘤分割方法，对具有不同尺寸、形状、位置、数量的肿瘤情况，通过密集连接训练和对抗学习已经较好的学到了肿瘤的相应特性和整体特征分布，因此可以较为准确的对这些情形进行分割，提高了肝脏肿瘤分割的鲁棒性；对于肿瘤边缘模糊不利于传统分割网络的情况，由于引入了对抗学习的训练优化方法，能让模型根据肿瘤金标准的数据分布来使分割结果尽可能的跟其逼近，使模型能更敏感的提取到肿瘤边缘信息，提高分割准确率；并且通过采用二、三维卷积融合训练操作充分地挖掘了肝脏和肿瘤的特征信息，将网络在二维平面提取到的特征和三维空间提取到的结构特征相融合，使得肿瘤分割精度更高。
基于上述实施例的内容，参见如图3所示的密集连接型全卷积神经网络的结构示意图，将所述患者腹部CT/MR影像输入至预设的密集连接型全卷积神经网络，获得肝脏感兴趣区域图像的步骤，具体为：
将所述患者腹部CT/MR影像数据输入第一弥散卷积层(弥散系数为1，尺寸为3*3*1)进行特征提取获得第一特征图；
将所述第一特征图输入第二弥散卷积层(弥散系数为1，尺寸为3*3*1)进行特征提取获得第二特征图；
将所述第一特征图与第二特征图同时输入第三弥散卷积层(弥散系数为1，尺寸为3*3*1)进行特征提取获得第三特征图；
将所述第三特征图输入第四弥散卷积层(弥散系数为1，尺寸为3*3*1)进行特征提取获得第四特征图；
将所述第四特征图、第一特征图和第二特征图同时输入第一卷积层(尺寸为1*1*3)进行特征提取，获得第五特征图；
将所述第五特征图输入第一下采样层进行缩放，获得第六特征图，以保证特征图分辨率的同时降低其尺寸，减少训练参数量；
将所述第六特征图输入第五弥散卷积层(弥散系数为1，尺寸为3*3*1)进行特征提取获得第七特征图；
将所述第七特征图输入第六弥散卷积层(弥散系数为1，尺寸为3*3*1)进行特征提取，获得第八特征图；
将所述第六特征图和第八特征图同时输入第七弥散卷积层(弥散系数为1，尺寸为3*3*1)进行特征提取，获得第九特征图；
将所述第九特征图输入第八弥散卷积层(弥散系数为1，尺寸为3*3*1)进行特征提取，获得第十特征图；
将所述第六特征图、第八特征图和第十特征图同时输入第二卷积层(尺寸为1*1*3)进行特征提取，获得第十一特征图；
将所述第十一特征图输入第二下采样层进行缩放，获得第十二特征图；
将所述第十二特征图输入第九弥散卷积层(弥散系数为1，尺寸为3*3*1)进行特征提取，得到第十三特征图；
将所述第十三特征图输入第十弥散卷积层(弥散系数为1，尺寸为3*3*1)进行特征提取，得到第十四特征图；
将所述第十二特征图、第十四特征图同时输入第十一弥散卷积层(弥散系数为2，尺寸为3*3*1)进行特征提取，获得第十五特征图；
将所述第十五特征图输入第十二弥散卷积层(弥散系数为2，尺寸为3*3*1)进行特征提取，获得第十六特征图；
将第十二特征图、第十四特征图和第十六特征图同时输入第十三弥散卷积层(弥散系数为3，尺寸为3*3*1)进行特征提取，获得第十七特征图；
将所述第十七特征图输入第十四弥散卷积层(弥散系数为3，尺寸为3*3*1)进行特征提取，获得第十八特征图；
将所述第十二特征图、第十四特征图、第十六特征图和第十八特征图同时输入第三卷积层(尺寸为1*1*3)进行特征提取，获得第十九特征图；
将所述第十二特征图输入第一反卷积层(尺寸为3*3*1)中进行特征恢复，得到第二十特征图；
将所述第二十特征图输入第一上采样层中进行特征恢复，获得第二十一特征图；
将所述第十九特征图输入第二反卷积层(尺寸为3*3*1)中进行特征恢复，获得第二十二特征图；
将所述第二十二特征图输入第二上采样层中进行特征恢复，得到第二十三特征图，所述第二十三特征图与所述第二十一特征图的大小相同；
将所述第十九特征图输入第十五弥散卷积层(弥散系数为2，尺寸为3*3*1)中进行特征提取，获得第二十四特征图；
将所述二十四特征图输入第十六弥散卷积层(弥散系数为2，尺寸为3*3*1)中进行特征提取，获得第二十五层特征图；
将所述第十九特征图和第二十五特征图同时输入第十七弥散卷积层(弥散系数为3，尺寸为3*3*1)中进行特征提取，获得第二十六层特征图；
将所述第二十六层特征图输入第十八弥散卷积层(弥散系数为3，尺寸为3*3*1)中进行特征提取，获得第二十七特征图；
将所述第十九特征图、第二十五特征图和第二十七特征图同时输入第十九弥散卷积层(弥散系数为1，尺寸为3*3*1)中进行特征提取，获得第二十八特征图；
将第二十八特征图输入第二十弥散卷积层(弥散系数为1，尺寸为3*3*1)中进行特征提取，得到第二十九特征图；
将第十九特征图、第二十五特征图、第二十七特征图和第二十九特征图同时输入第四卷积层(尺寸为1*1*3)中进行特征提取，获得第三十特征图；
将第三十特征图输入第五卷积层(尺寸为3*3*1)中进行特征提取，得到第三十一特征图；
将所述第三十一特征图输入第三上采样层中进行特征恢复，获得第三十二特征图，所述第三十二特征图与第二十一特征图大小相同；
将所述第二十一特征图、第二十三特征图和第三十二特征图输入连结层中进行连结，获得第三十三特征图；
将所述第三十三特征途输入第三反卷积层(尺寸为3*3*1)中进行特征恢复，获得肝脏感兴趣区域图像；
其中，所述第一至第十弥散卷积层，第十九至第二十弥散卷积层均为弥散系数为1，尺寸为3*3*1的弥散卷积层；
所述第十一至第十二弥散卷积层，第十五至第十六弥散卷积层均为弥散系数为2，尺寸为3*3*1的弥散卷积层；
所述第十三至第十四弥散卷积层，第十七至第十八弥散卷积层均为弥散系数为3，尺寸为3*3*1的弥散卷积层；
所述第一至第四卷积层的尺寸均为1*1*3，第五卷积层的尺寸为3*3*1；
所述第一至第三反卷积层尺寸均为3*3*1。
本发明实施例通过采用深层次的密集连接型全卷积神经网络充分地挖掘了肝脏的三维信息，并将在二维平面提取到的特征和三维空间提取到的结构特征相融合，使得肝脏分割精度更高。
如图4所示，为本发明实施例提供的基于深度学习的肝脏肿瘤分割装置的结构示意图，包括：肝脏分割模块401和肿瘤分割模块402，其中，
肝脏分割模块401，用于获取患者腹部CT/MR影像，将所述患者腹部CT/MR影像输入至预设的密集连接型全卷积神经网络中，获得肝脏感兴趣区域图像；
肿瘤分割模块402，用于将所述肝脏感兴趣区域图像输入至预设的深度卷积生成对抗网络的生成器中，获得所述患者腹部CT/MR影像对应的肿瘤分割结果；
其中，所述预设的密集连接型全卷积神经网络是根据患者腹部CT/MR影像样本以及与所述患者腹部CT/MR影像样本对应的带有肝脏区域标注的图像样本进行密集连接训练后获得的；
其中，所述预设的深度卷积生成对抗网络是根据肝脏感兴趣区域图像样本以及与所述患者腹部CT/MR影像样本对应的带有肿瘤区域标注的图像样本进行对抗训练后获得的。
具体地，患者腹部CT/MR影像是指患者腹部的CT(Computed Tomography，计算机断层扫描)影像或者MR(Magnetic Resonance，磁共振)影像。其中，所述预设的密集连接型全卷积神经网络是根据患者腹部CT/MR影像样本以及与所述患者腹部CT/MR影像样本对应的带有肝脏区域标注的图像样本进行密集连接训练后获得的，即将患者腹部CT/MR影像样本和对应的带有肝脏区域标注的图像样本输入到预设的密集连接型全卷积神经网络中进行训练。训练完成后获得的密集连接型全卷积神经网络能够对肝脏感兴趣区域进行有效地提取。
使用该密集连接型全卷积神经网络可以更充分地挖掘肝脏的二、三维特征信息。
肝脏分割模块401获取患者腹部CT/MR影像，将所述患者腹部CT/MR影像输入至预设的密集连接型全卷积神经网络，获得肝脏感兴趣区域图像。
生成对抗网络是一种通过用对抗网络来训练生成模型的架构，它由两个网络组成：用来拟合数据分布的生成器G，和用来判断输入是否“真实”的判别器D。在训练过程中，生成器G通过尽量模仿训练集中的肿瘤金标准去欺骗D，而判别器D则尽可能地分辨肿瘤金标准和生成器的输出，从而形成两个网络的博弈过程。理想的情况下，生成器G输出可以“以假乱真”的图像，对于D来说，它无法判断G生成的图像到底是不是真实的，此时，博弈的结果是得到一个可以“以假乱真”的生成器。
在本发明实施例中，启发于以上思想，开发了深度卷积生成对抗网络来分割肝脏肿瘤，所述预设的深度卷积生成对抗网络包括生成器和判别器，其中，所述生成器为一个密集连接型全卷积神经网络，所述对抗器为一个普通的卷积神经网络。
肿瘤分割模块402将肝脏感兴趣区域图像样本作为深度卷积生成对抗网络的输入，将与所述患者腹部CT/MR影像样本对应的带有肿瘤区域标注的图像样本作为期望的输出，对深度卷积生成对抗网络进行训练。
其中，与所述患者腹部CT/MR影像样本对应的带有肿瘤区域标注的图像样本是根据医生手工标注获得的，可以称为肿瘤金标准。
在深度卷积生成对抗网络训练结束后，生成器具有了从肝脏感兴趣区域图像中提取出肿瘤区域的能力，此时可以删除判别器，只保留生成器。即将肝脏感兴趣区域图像输入至预设的深度卷积生成对抗网络的生成器中，可以获得较为理想的肿瘤分割结果。肿瘤分割结果是指从肝脏感兴趣区域中分割出的肿瘤区域图像。
通过采用生成对抗网络，引入了对抗学习的训练优化方法，能让训练后得到的网络根据肿瘤金标准的数据分布来使分割结果尽可能的跟其逼近，使得网络能更敏感的提取到肿瘤边缘信息，从而提高分割准确率。
本发明实施例提供的基于深度学习的肝脏肿瘤分割装置，通过采用密集连接型全卷积神经网络和深度卷积生成对抗网络，可以较为准确地对具有不同尺寸、形状、位置、数量的肿瘤情况进行分割，提高了肝脏肿瘤分割的鲁棒性；能更敏感的提取到肿瘤边缘信息，提高了分割准确率；并通过采用二、三维卷积融合训练操作充分地挖掘了肝脏和肿瘤的特征信息，并将在二维平面提取到的特征和三维空间提取到的结构特征相融合，使得肿瘤分割精度更高。
图5为本发明实施例提供的电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储在存储器530上并可在处理器510上运行的计算机程序，以执行上述各方法实施例所提供的基于深度学习的肝脏肿瘤分割方法，例如包括：获取患者腹部CT/MR影像，将所述患者腹部CT/MR影像输入至预设的密集连接型全卷积神经网络中，获得肝脏感兴趣区域图像；将所述肝脏感兴趣区域图像输入至预设的深度卷积生成对抗网络的生成器中，获得所述患者腹部CT/MR影像对应的肿瘤分割结果；其中，所述预设的密集连接型全卷积神经网络是根据患者腹部CT/MR影像样本以及与所述患者腹部CT/MR影像样本对应的带有肝脏区域标注的图像样本进行密集连接训练后获得的；其中，所述预设的深度卷积生成对抗网络是根据肝脏感兴趣区域图像样本以及与所述患者腹部CT/MR影像样本对应的带有肿瘤区域标注的图像样本进行对抗训练后获得的。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例提供的基于深度学习的肝脏肿瘤分割方法，例如包括：获取患者腹部CT/MR影像，将所述患者腹部CT/MR影像输入至预设的密集连接型全卷积神经网络中，获得肝脏感兴趣区域图像；将所述肝脏感兴趣区域图像输入至预设的深度卷积生成对抗网络的生成器中，获得所述患者腹部CT/MR影像对应的肿瘤分割结果；其中，所述预设的密集连接型全卷积神经网络是根据患者腹部CT/MR影像样本以及与所述患者腹部CT/MR影像样本对应的带有肝脏区域标注的图像样本进行密集连接训练后获得的；其中，所述预设的深度卷积生成对抗网络是根据肝脏感兴趣区域图像样本以及与所述患者腹部CT/MR影像样本对应的带有肿瘤区域标注的图像样本进行对抗训练后获得的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于深度学习的肝脏肿瘤分割方法，其特征在于，包括：
获取患者腹部CT/MR影像，将所述患者腹部CT/MR影像输入至预设的密集连接型全卷积神经网络中，获得肝脏感兴趣区域图像；
将所述肝脏感兴趣区域图像输入至预设的深度卷积生成对抗网络的生成器中，获得所述患者腹部CT/MR影像对应的肿瘤分割结果；
其中，所述预设的密集连接型全卷积神经网络是根据患者腹部CT/MR影像样本以及与所述患者腹部CT/MR影像样本对应的带有肝脏区域标注的图像样本进行密集连接训练后获得的；
其中，所述预设的深度卷积生成对抗网络是根据肝脏感兴趣区域图像样本以及与所述患者腹部CT/MR影像样本对应的带有肿瘤区域标注的图像样本进行对抗训练后获得的。
2.根据权利要求1所述的方法，其特征在于，将所述患者腹部CT/MR影像输入至预设的密集连接型全卷积神经网络，获得肝脏感兴趣区域图像的步骤，具体为：
将所述患者腹部CT/MR影像输入所述密集连接型全卷积神经网络的第一弥散卷积层进行特征提取获得第一特征图；
将所述第一特征图输入所述密集连接型全卷积神经网络的第二弥散卷积层进行特征提取获得第二特征图；
将所述第一特征图与第二特征图同时输入所述密集连接型全卷积神经网络的第三弥散卷积层进行特征提取获得第三特征图；
将所述第三特征图输入所述密集连接型全卷积神经网络的第四弥散卷积层进行特征提取获得第四特征图；
将所述第四特征图、第一特征图和第二特征图同时输入所述密集连接型全卷积神经网络的第一卷积层进行特征提取，获得第五特征图；
将所述第五特征图输入所述密集连接型全卷积神经网络的第一下采样层进行缩放，获得第六特征图；
将所述第六特征图输入所述密集连接型全卷积神经网络的第五弥散卷积层进行特征提取获得第七特征图；
将所述第七特征图输入所述密集连接型全卷积神经网络的第六弥散卷积层进行特征提取，获得第八特征图；
将所述第六特征图和第八特征图同时输入所述密集连接型全卷积神经网络的第七弥散卷积层进行特征提取，获得第九特征图；
将所述第九特征图输入所述密集连接型全卷积神经网络的第八弥散卷积层进行特征提取，获得第十特征图；
将所述第六特征图、第八特征图和第十特征图同时输入所述密集连接型全卷积神经网络的第二卷积层进行特征提取，获得第十一特征图；
将所述第十一特征图输入所述密集连接型全卷积神经网络的第二下采样层进行缩放，获得第十二特征图；
将所述第十二特征图输入所述密集连接型全卷积神经网络的第九弥散卷积层进行特征提取，得到第十三特征图；
将所述第十三特征图输入所述密集连接型全卷积神经网络的第十弥散卷积层进行特征提取，得到第十四特征图；
将所述第十二特征图、第十四特征图同时输入所述密集连接型全卷积神经网络的第十一弥散卷积层进行特征提取，获得第十五特征图；
将所述第十五特征图输入所述密集连接型全卷积神经网络的第十二弥散卷积层进行特征提取，获得第十六特征图；
将第十二特征图、第十四特征图和第十六特征图同时输入所述密集连接型全卷积神经网络的第十三弥散卷积层进行特征提取，获得第十七特征图；
将所述第十七特征图输入所述密集连接型全卷积神经网络的第十四弥散卷积层进行特征提取，获得第十八特征图；
将所述第十二特征图、第十四特征图、第十六特征图和第十八特征图同时输入所述密集连接型全卷积神经网络的第三卷积层进行特征提取，获得第十九特征图；
将所述第十二特征图输入所述密集连接型全卷积神经网络的第一反卷积层中进行特征恢复，得到第二十特征图；
将所述第二十特征图输入所述密集连接型全卷积神经网络的第一上采样层中进行特征恢复，获得第二十一特征图；
将所述第十九特征图输入所述密集连接型全卷积神经网络的第二反卷积层中进行特征恢复，获得第二十二特征图；
将所述第二十二特征图输入所述密集连接型全卷积神经网络的第二上采样层中进行特征恢复，得到第二十三特征图，所述第二十三特征图与所述第二十一特征图的大小相同；
将所述第十九特征图输入所述密集连接型全卷积神经网络的第十五弥散卷积层中进行特征提取，获得第二十四特征图；
将所述二十四特征图输入所述密集连接型全卷积神经网络的第十六弥散卷积层中进行特征提取，获得第二十五层特征图；
将所述第十九特征图和第二十五特征图同时输入所述密集连接型全卷积神经网络的第十七弥散卷积层中进行特征提取，获得第二十六层特征图；
将所述第二十六层特征图输入所述密集连接型全卷积神经网络的第十八弥散卷积层中进行特征提取，获得第二十七特征图；
将所述第十九特征图、第二十五特征图和第二十七特征图同时输入所述密集连接型全卷积神经网络的第十九弥散卷积层中进行特征提取，获得第二十八特征图；
将第二十八特征图输入所述密集连接型全卷积神经网络的第二十弥散卷积层中进行特征提取，得到第二十九特征图；
将第十九特征图、第二十五特征图、第二十七特征图和第二十九特征图同时输入所述密集连接型全卷积神经网络的第四卷积层中进行特征提取，获得第三十特征图；
将第三十特征图输入所述密集连接型全卷积神经网络的第五卷积层中进行特征提取，得到第三十一特征图；
将所述第三十一特征图输入所述密集连接型全卷积神经网络的第三上采样层中进行特征恢复，获得第三十二特征图；
将所述第二十一特征图、第二十三特征图和第三十二特征图输入所述密集连接型全卷积神经网络的连结层中进行连结，获得第三十三特征图；
将所述第三十三特征途输入所述密集连接型全卷积神经网络的第三反卷积层中进行特征恢复，获得肝脏感兴趣区域图像；
其中，所述第一至第十弥散卷积层，第十九至第二十弥散卷积层均为弥散系数为1，尺寸为3*3*1的弥散卷积层；
所述第十一至第十二弥散卷积层，第十五至第十六弥散卷积层均为弥散系数为2，尺寸为3*3*1的弥散卷积层；
所述第十三至第十四弥散卷积层，第十七至第十八弥散卷积层均为弥散系数为3，尺寸为3*3*1的弥散卷积层；
所述第一至第四卷积层的尺寸均为1*1*3，第五卷积层的尺寸为3*3*1；
所述第一至第三反卷积层尺寸均为3*3*1。
3.根据权利要求1所述的方法，其特征在于，所述获取患者腹部CT/MR影像的步骤之前，还包括：
获取患者腹部CT/MR影像、与所述患者腹部CT/MR影像对应的带有肝脏区域标注的图像以及与所述患者腹部CT/MR影像对应的带有肿瘤区域标注的图像，其中，所述患者腹部CT/MR影像组成输入样本集，与所述患者腹部CT/MR影像对应的带有肝脏区域标注的图像组成第一输出样本集，与所述患者腹部CT/MR影像对应的带有肿瘤区域标注的图像组成第二输出样本集；
构建密集连接型全卷积神经网络和深度卷积生成对抗网络，并使所述深度卷积生成对抗网络的生成器与所述密集连接型全卷积神经网络具有相同的结构；
利用所述输入样本集和第一输出样本集对所述密集连接型全卷积神经网络进行密集连接训练，获得训练完成的密集连接型全卷积神经网络；
将所述输入样本集中的患者腹部CT/MR影像输入所述训练完成的密集连接型全卷积神经网络中，获取所述训练完成的密集连接型全卷积神经网络输出的肝脏感兴趣区域图像样本，所述肝脏感兴趣区域图像样本组成第二输入样本集；
利用所述第二输入样本集和第二输出样本集对所述深度卷积生成对抗网络进行对抗训练，获得训练完成的深度卷积生成对抗网络。
4.根据权利要求3所述的方法，其特征在于，利用所述输入样本集和第一输出样本集对所述密集连接型全卷积神经网络进行密集连接训练，获得训练完成的密集连接型全卷积神经网络的步骤，具体为：
从所述输入样本集中随机选取一个患者腹部CT/MR影像，将所述患者腹部CT/MR影像作为输入训练样本，将所选取的输入训练样本输入到所述密集连接型全卷积神经网络中，将所述密集连接型全卷积神经网络的输出作为肝脏分割样本；
从所述第一输出样本集中取出与所述输入训练样本对应的带有肝脏区域标注的图像作为肝脏训练样本，根据所述肝脏分割样本和所述肝脏训练样本计算损失值，并根据所述损失值更新所述密集连接型全卷积神经网络的参数；
判断是否达到训练结束条件，若是，则保存当前迭代所述密集连接型全卷积神经网络的参数，获得训练完成的密集连接型全卷积神经网络，否则选取下一个输入训练样本进行训练。
5.根据权利要求3所述的方法，其特征在于，所述利用所述第二输入样本集和第二输出样本集对所述深度卷积生成对抗网络进行对抗训练，获得训练完成的深度卷积生成对抗网络的步骤，具体为：
从所述第二输入样本集中随机选取一个肝脏感兴趣区域图像样本，将所选取的肝脏感兴趣区域图像样本输入到所述深度卷积生成对抗网络的生成器中，将所述生成器的输出作为肿瘤分割样本；
从所述第二输出样本集中取出与所述肝脏感兴趣区域图像样本对应的带有肿瘤区域标注的图像作为肿瘤训练样本，将所述肿瘤分割样本和所述肿瘤训练样本输入到所述深度卷积生成对抗网络的判别器中；
根据所述判别器的输出结果计算所述判别器的损失函数值，并根据所述判别器的损失函数值更新所述判别器的参数；
根据所述判别器的输出结果计算所述生成器的损失函数值，并根据所述生成器的损失函数值更新所述生成器的参数；
判断是否达到训练结束条件，若是，则保存当前迭代生成器和判别器的参数，获得训练完成的深度卷积生成对抗网络，否则选取下一肝脏感兴趣区域图像样本继续进行训练。
6.根据权利要求3所述的方法，其特征在于，所述深度卷积生成对抗网络的生成器包括：二十个弥散卷积层，五个卷积层，三个反卷积层，两个下采样层、三个上采样层和一个连结层。
7.根据权利要求3所述的方法，其特征在于，所述深度卷积生成对抗网络的判别器包括：五个2*2*4的卷积层、一个下采样层和一个全连接层。
8.一种基于深度学习的肝脏肿瘤分割装置，其特征在于，包括：
肝脏分割模块，用于获取患者腹部CT/MR影像，将所述患者腹部CT/MR影像输入至预设的密集连接型全卷积神经网络中，获得肝脏感兴趣区域图像；
肿瘤分割模块，用于将所述肝脏感兴趣区域图像输入至预设的深度卷积生成对抗网络的生成器中，获得所述患者腹部CT/MR影像对应的肿瘤分割结果；
其中，所述预设的密集连接型全卷积神经网络是根据患者腹部CT/MR影像样本以及与所述患者腹部CT/MR影像样本对应的带有肝脏区域标注的图像样本进行密集连接训练后获得的；
其中，所述预设的深度卷积生成对抗网络是根据肝脏感兴趣区域图像样本以及与所述患者腹部CT/MR影像样本对应的带有肿瘤区域标注的图像样本进行对抗训练后获得的。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7任一所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910229377.7A CN109934832A (zh) | 2019-03-25 | 2019-03-25 | 基于深度学习的肝脏肿瘤分割方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910229377.7A CN109934832A (zh) | 2019-03-25 | 2019-03-25 | 基于深度学习的肝脏肿瘤分割方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109934832A true CN109934832A (zh) | 2019-06-25 |
Family
ID=66988213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910229377.7A Pending CN109934832A (zh) | 2019-03-25 | 2019-03-25 | 基于深度学习的肝脏肿瘤分割方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109934832A (zh) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458842A (zh) * | 2019-06-26 | 2019-11-15 | 南京邮电大学 | 基于双通道三维密集连接网络的脑肿瘤分割方法 |
| CN110738664A (zh) * | 2019-09-12 | 2020-01-31 | 上海联影智能医疗科技有限公司 | 图像定位方法、装置、计算机设备和存储介质 |
| CN110853051A (zh) * | 2019-10-24 | 2020-02-28 | 北京航空航天大学 | 基于多注意密集连接生成对抗网络的脑血管影像分割方法 |
| CN111047567A (zh) * | 2019-12-05 | 2020-04-21 | 电子科技大学 | 一种肾脏肿瘤图片确定方法及相关装置 |
| CN111210441A (zh) * | 2020-01-02 | 2020-05-29 | 苏州瑞派宁科技有限公司 | 肿瘤预测方法、装置、云平台及计算机可读存储介质 |
| CN111260741A (zh) * | 2020-02-07 | 2020-06-09 | 北京理工大学 | 一种利用生成对抗网络的三维超声模拟方法及装置 |
| CN111292270A (zh) * | 2020-02-18 | 2020-06-16 | 广州柏视医疗科技有限公司 | 基于深度学习网络的三维影像血管增强方法 |
| CN111696126A (zh) * | 2020-05-18 | 2020-09-22 | 东南大学 | 一种基于多视角的多任务肝脏肿瘤图像分割方法 |
| CN111738295A (zh) * | 2020-05-22 | 2020-10-02 | 南通大学 | 图像的分割方法及存储介质 |
| CN112001925A (zh) * | 2020-06-24 | 2020-11-27 | 上海联影医疗科技股份有限公司 | 图像的分割方法、放射治疗系统、计算机设备和存储介质 |
| CN112233058A (zh) * | 2019-07-15 | 2021-01-15 | 上海交通大学医学院附属第九人民医院 | 一种头颈部ct影像中淋巴结检测的方法 |
| CN112241766A (zh) * | 2020-10-27 | 2021-01-19 | 西安电子科技大学 | 基于样本生成和迁移学习的肝脏ct图像多病变分类方法 |
| CN112419292A (zh) * | 2020-11-30 | 2021-02-26 | 深圳云天励飞技术股份有限公司 | 病理图像的处理方法、装置、电子设备及存储介质 |
| CN112734741A (zh) * | 2021-01-19 | 2021-04-30 | 浙江飞图影像科技有限公司 | 一种肺炎ct影像的图像处理方法和系统 |
| CN113012170A (zh) * | 2021-03-25 | 2021-06-22 | 推想医疗科技股份有限公司 | 一种食管肿瘤区域分割及模型训练方法、装置及电子设备 |
| CN113298752A (zh) * | 2020-02-06 | 2021-08-24 | 西门子医疗有限公司 | 用于自动表征患者的肝脏组织的方法、系统、程序和介质 |
| CN113436158A (zh) * | 2021-06-21 | 2021-09-24 | 遂宁市中心医院 | 一种基于深度学习的肝脏肿块辅助鉴别方法 |
| CN113674330A (zh) * | 2021-07-12 | 2021-11-19 | 华南理工大学 | 一种基于生成对抗网络的伪ct影像生成系统 |
| CN113724203A (zh) * | 2021-08-03 | 2021-11-30 | 唯智医疗科技(佛山)有限公司 | 一种oct图像中目标特征的分割方法及装置 |
| CN115032780A (zh) * | 2022-05-25 | 2022-09-09 | 北京理工大学 | 组织病理图片的快速处理系统及其工作方法 |
| CN115359881A (zh) * | 2022-10-19 | 2022-11-18 | 成都理工大学 | 一种基于深度学习的鼻咽癌肿瘤自动勾画方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107784647A (zh) * | 2017-09-29 | 2018-03-09 | 华侨大学 | 基于多任务深度卷积网络的肝脏及其肿瘤分割方法及系统 |
| CN108921851A (zh) * | 2018-06-06 | 2018-11-30 | 深圳市未来媒体技术研究院 | 一种基于3d对抗网络的医学ct图像分割方法 |
-
2019
- 2019-03-25 CN CN201910229377.7A patent/CN109934832A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107784647A (zh) * | 2017-09-29 | 2018-03-09 | 华侨大学 | 基于多任务深度卷积网络的肝脏及其肿瘤分割方法及系统 |
| CN108921851A (zh) * | 2018-06-06 | 2018-11-30 | 深圳市未来媒体技术研究院 | 一种基于3d对抗网络的医学ct图像分割方法 |
Non-Patent Citations (6)
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458842A (zh) * | 2019-06-26 | 2019-11-15 | 南京邮电大学 | 基于双通道三维密集连接网络的脑肿瘤分割方法 |
| CN110458842B (zh) * | 2019-06-26 | 2022-09-20 | 南京邮电大学 | 基于双通道三维密集连接网络的脑肿瘤分割方法 |
| CN112233058A (zh) * | 2019-07-15 | 2021-01-15 | 上海交通大学医学院附属第九人民医院 | 一种头颈部ct影像中淋巴结检测的方法 |
| CN110738664A (zh) * | 2019-09-12 | 2020-01-31 | 上海联影智能医疗科技有限公司 | 图像定位方法、装置、计算机设备和存储介质 |
| CN110738664B (zh) * | 2019-09-12 | 2022-08-23 | 上海联影智能医疗科技有限公司 | 图像定位方法、装置、计算机设备和存储介质 |
| CN110853051A (zh) * | 2019-10-24 | 2020-02-28 | 北京航空航天大学 | 基于多注意密集连接生成对抗网络的脑血管影像分割方法 |
| CN110853051B (zh) * | 2019-10-24 | 2022-06-03 | 北京航空航天大学 | 基于多注意密集连接生成对抗网络的脑血管影像分割方法 |
| CN111047567A (zh) * | 2019-12-05 | 2020-04-21 | 电子科技大学 | 一种肾脏肿瘤图片确定方法及相关装置 |
| CN111210441A (zh) * | 2020-01-02 | 2020-05-29 | 苏州瑞派宁科技有限公司 | 肿瘤预测方法、装置、云平台及计算机可读存储介质 |
| US11861827B2 (en) | 2020-02-06 | 2024-01-02 | Siemens Healthcare Gmbh | Techniques for automatically characterizing liver tissue of a patient |
| CN113298752A (zh) * | 2020-02-06 | 2021-08-24 | 西门子医疗有限公司 | 用于自动表征患者的肝脏组织的方法、系统、程序和介质 |
| CN111260741A (zh) * | 2020-02-07 | 2020-06-09 | 北京理工大学 | 一种利用生成对抗网络的三维超声模拟方法及装置 |
| CN111292270A (zh) * | 2020-02-18 | 2020-06-16 | 广州柏视医疗科技有限公司 | 基于深度学习网络的三维影像血管增强方法 |
| CN111696126A (zh) * | 2020-05-18 | 2020-09-22 | 东南大学 | 一种基于多视角的多任务肝脏肿瘤图像分割方法 |
| CN111738295B (zh) * | 2020-05-22 | 2024-03-22 | 南通大学 | 图像的分割方法及存储介质 |
| CN111738295A (zh) * | 2020-05-22 | 2020-10-02 | 南通大学 | 图像的分割方法及存储介质 |
| CN112001925B (zh) * | 2020-06-24 | 2023-02-28 | 上海联影医疗科技股份有限公司 | 图像的分割方法、放射治疗系统、计算机设备和存储介质 |
| CN112001925A (zh) * | 2020-06-24 | 2020-11-27 | 上海联影医疗科技股份有限公司 | 图像的分割方法、放射治疗系统、计算机设备和存储介质 |
| CN112241766A (zh) * | 2020-10-27 | 2021-01-19 | 西安电子科技大学 | 基于样本生成和迁移学习的肝脏ct图像多病变分类方法 |
| CN112419292B (zh) * | 2020-11-30 | 2024-03-26 | 深圳云天励飞技术股份有限公司 | 病理图像的处理方法、装置、电子设备及存储介质 |
| CN112419292A (zh) * | 2020-11-30 | 2021-02-26 | 深圳云天励飞技术股份有限公司 | 病理图像的处理方法、装置、电子设备及存储介质 |
| CN112734741A (zh) * | 2021-01-19 | 2021-04-30 | 浙江飞图影像科技有限公司 | 一种肺炎ct影像的图像处理方法和系统 |
| CN113012170A (zh) * | 2021-03-25 | 2021-06-22 | 推想医疗科技股份有限公司 | 一种食管肿瘤区域分割及模型训练方法、装置及电子设备 |
| CN113012170B (zh) * | 2021-03-25 | 2022-02-15 | 推想医疗科技股份有限公司 | 一种食管肿瘤区域分割及模型训练方法、装置及电子设备 |
| CN113436158A (zh) * | 2021-06-21 | 2021-09-24 | 遂宁市中心医院 | 一种基于深度学习的肝脏肿块辅助鉴别方法 |
| CN113674330A (zh) * | 2021-07-12 | 2021-11-19 | 华南理工大学 | 一种基于生成对抗网络的伪ct影像生成系统 |
| CN113724203A (zh) * | 2021-08-03 | 2021-11-30 | 唯智医疗科技(佛山)有限公司 | 一种oct图像中目标特征的分割方法及装置 |
| CN113724203B (zh) * | 2021-08-03 | 2024-04-23 | 唯智医疗科技(佛山)有限公司 | 应用于oct图像中目标特征分割的模型训练方法及装置 |
| CN115032780A (zh) * | 2022-05-25 | 2022-09-09 | 北京理工大学 | 组织病理图片的快速处理系统及其工作方法 |
| CN115032780B (zh) * | 2022-05-25 | 2024-01-26 | 北京理工大学 | 组织病理图片的快速处理系统及其工作方法 |
| CN115359881A (zh) * | 2022-10-19 | 2022-11-18 | 成都理工大学 | 一种基于深度学习的鼻咽癌肿瘤自动勾画方法 |
| CN115359881B (zh) * | 2022-10-19 | 2023-04-07 | 成都理工大学 | 一种基于深度学习的鼻咽癌肿瘤自动勾画方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109934832A (zh) | 基于深度学习的肝脏肿瘤分割方法及装置 | |
| CN109615636B (zh) | Ct影像的肺叶段分割中的血管树构造方法、装置 | |
| CN105976367B (zh) | 图像分割方法、肺结节检测方法及其计算机辅助检测系统 | |
| CN108986067A (zh) | 基于跨模态的肺结节检测方法 | |
| US20150029184A1 (en) | Three-dimensional model data generation device, method and program | |
| CN109493347A (zh) | 在图像中对稀疏分布的对象进行分割的方法和系统 | |
| CN101393644B (zh) | 一种肝门静脉血管树建模方法及其系统 | |
| CN109598728A (zh) | 图像分割方法、装置、诊断系统及存储介质 | |
| CN109087327A (zh) | 一种级联全卷积神经网络的甲状腺结节超声图像分割方法 | |
| CN107871318A (zh) | 一种基于模型迁移的冠状动脉钙化斑块检测方法 | |
| CN109102502A (zh) | 基于三维卷积神经网络的肺结节检测方法 | |
| CN109754404A (zh) | 一种基于多注意力机制的端到端的肿瘤分割方法 | |
| CN106127849B (zh) | 三维精细血管重建方法及其系统 | |
| WO2014041791A1 (ja) | ３次元画像表示装置および方法並びにプログラム | |
| CN1973298A (zh) | 显示气管支气管树 | |
| CN103501699A (zh) | 用于隔离成像数据中的潜在异常的方法和装置和其对医学图像的应用 | |
| CN102842132A (zh) | 一种ct肺结节检测方法 | |
| CN110533113A (zh) | 一种数字图像中树状结构的分支点检测方法 | |
| US20230377097A1 (en) | Laparoscopic image smoke removal method based on generative adversarial network | |
| CN110110723A (zh) | 一种图像中目标区域自动提取的方法及装置 | |
| CN109584223A (zh) | Ct图像中肺部血管分割方法 | |
| CN107507171A (zh) | 一种肺部ct图像气道三维骨架树状结构提取及标记方法 | |
| CN116188479A (zh) | 基于深度学习的髋关节图像分割方法及系统 | |
| Lichtenberg et al. | Parameterization, Feature Extraction and Binary Encoding for the Visualization of Tree‐Like Structures | |
| CN107689041A (zh) | 一种用于图像相似度比对的方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190625 |