CN113362350B - 癌症病历图像的分割方法、装置、终端设备和存储介质 - Google Patents

癌症病历图像的分割方法、装置、终端设备和存储介质 Download PDF

Info

Publication number
CN113362350B
CN113362350B CN202110846744.5A CN202110846744A CN113362350B CN 113362350 B CN113362350 B CN 113362350B CN 202110846744 A CN202110846744 A CN 202110846744A CN 113362350 B CN113362350 B CN 113362350B
Authority
CN
China
Prior art keywords
cancer
medical record
network
dwi image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110846744.5A
Other languages
English (en)
Other versions
CN113362350A (zh
Inventor
黄梦醒
李玉春
张雨
冯文龙
冯思玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hainan University
Original Assignee
Hainan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hainan University filed Critical Hainan University
Priority to CN202110846744.5A priority Critical patent/CN113362350B/zh
Publication of CN113362350A publication Critical patent/CN113362350A/zh
Application granted granted Critical
Publication of CN113362350B publication Critical patent/CN113362350B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30081—Prostate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种癌症病历图像的分割方法、终端设备和计算机可读存储介质，获取待识别癌症病历DWI图像；将待识癌症病历DWI图像输入至预先训练的癌症区域分割模型，分别分割出待识别癌症病历DWI图像中的癌症区域和非癌症区域；其中，癌症区域分割模型是采用标记的不同尺度的癌症病历DWI图像样本对改进的神经网络进行训练得到的，改进的神经网络包括注意力网络；该方法可以采用一个模型快速分割出癌症和非癌症区域，减少了操作，提高了识别的效率。另外，该方法采用了改进的神经网络，识别准确率高。

Description

癌症病历图像的分割方法、装置、终端设备和存储介质
技术领域
本申请涉及图像处理技术领域，具体涉及一种癌症病历图像的分割方法、终端设备和计算机可读存储介质。
背景技术
随着科学技术的发展，现代的医学手段和医疗设备等已经足够发达和先进，但癌症仍旧是现代医学面临的巨大挑战之一。例如，前列腺癌(Prostate cancer，PCa)是中老年男性常见的肿瘤性疾病。据美国国家癌症研究所统计，2020年新增前列腺癌病例191930例，死亡33330例。影像图像(例如CT图像、MRI图像等)已经成为癌症诊断重要的工具，例如医生通过查看影像图像从而来判断病人是否患有癌症。然而，在该过程中需要对影像图像进行处理，例如分割，图像分割就是指将影像图像中癌症区域和非癌症区域。
目前，通常的图像分割主要是通过医生通过手动分割方式，即通过肉眼观察再采用铅笔等工具把癌症区域标注出来，该过程非常复杂，效率和准确率都较低。
申请内容
有鉴于此，本申请实施例中提供了一种癌症病历图像的分割方法、终端设备和计算机可读存储介质，以克服现有技术中的处理过程复杂，效率和准确率低的问题。
第一方面，本申请实施例提供了一种癌症病历图像的分割方法，该方法包括：
获取待识别癌症病历DWI图像；
将所述待识癌症病历DWI图像输入至预先训练的癌症区域分割模型，分别分割出所述待识别癌症病历DWI图像中的癌症区域和非癌症区域；其中，所述癌症区域分割模型是采用标记的不同尺度的癌症病历DWI图像样本对改进的神经网络进行训练得到的，所述改进的神经网络包括注意力网络。
第二方面，本申请实施例提供了一种癌症病历图像的分割装置，该装置包括：
待识别DWI图像获取模块，用于获取待识别癌症病历DWI图像；
区域分割模块，用于将所述待识癌症病历DWI图像输入至预先训练的癌症区域分割模型，分别分割出所述待识别癌症病历DWI图像中的癌症区域和非癌症区域；其中，所述癌症区域分割模型是采用标记的不同尺度的癌症病历DWI图像样本对改进的神经网络进行训练得到的，所述改进的神经网络包括注意力网络。
第三方面，本申请实施例提供了一种终端设备，包括：存储器；一个或多个处理器，与所述存储器耦接；一个或多个应用程序，其中，一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个应用程序配置用于执行上述第一方面提供的癌症病历图像的分割方法。
第四方面，本申请实施例提供了一种计算机可读取存储介质，计算机可读取存储介质中存储有程序代码，程序代码可被处理器调用执行上述第一方面提供的癌症病历图像的分割方法。
本申请实施例提供的癌症病历图像的分割方法、终端设备和计算机可读存储介质，获取待识别癌症病历DWI图像；将待识癌症病历DWI图像输入至预先训练的癌症区域分割模型，分别分割出待识别癌症病历DWI图像中的癌症区域和非癌症区域；其中，癌症区域分割模型是采用标记的不同尺度的癌症病历DWI图像样本对改进的神经网络进行训练得到的，改进的神经网络包括注意力网络；该方法由于采用了标记的不同尺度的癌症病历DWI图像样本对改进的神经网络进行训练得到的来训练改进的神经网络从而得到预先训练的癌症区域分割模型，那么基于癌症区域分割模型就能分别分割出待识别癌症病历DWI图像中的癌症区域和非癌症区域，可见该方法可以采用一个模型快速分割出癌症和非癌症区域，减少了操作，提高了识别的效率。另外，该方法采用了改进的神经网络，识别准确率高。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的癌症病历图像的分割方法的应用场景示意图；
图2为本申请一个实施例提供的癌症病历图像的分割方法的流程示意图；
图3为本申请一个实施例提供的癌症区域分割模型训练方法的流程示意图；
图4为本申请一个实施例提供的改进的神经网络结构示意图；
图5为本申请一个实施例提供的注意力模块(AttentionBlock)结构示意图；
图6为本申请一个实施例提供的融合网络和深度监督网络的结构示意图；
图7为本申请一个实施例提供的癌症病历图像的分割装置结构图；
图8为本申请一个实施例中提供的终端设备的结构示意图；
图9为本申请一个实施例中提供的计算机可读存储介质的结构示意图；
图10为本申请一个实施例中提供的DWI二维图像分割结果图；
图11为本申请一个实施例中提供的前列腺器官分割和前列腺癌分割三维可视化结果图。
具体实施方式
下面将对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了更详细说明本申请，下面结合附图对本申请提供的一种文本公式的定位方法、装置、终端设备和计算机存储介质，进行具体地描述。
请参考图1，图1示出了本申请实施例提供的癌症病历图像方法的应用场景的示意图，该应用场景包括本申请实施例提供的终端设备102和服务器104，其中服务器104与终端设备102之间设置有网络。网络用于在终端设备102和服务器104之间提供通信链路的介质。其中，终端设备102通过网络与服务器104交互，以接收或发送消息等，服务器104可以是提供各种服务的服务器104。其中服务器104可以用来执行本申请实施例中提供的癌症病历图像的分割方法，服务器104可以从终端设备102中获取待识别图像，然后将获取待识别癌症病历DWI图像输入预先训练的癌症区域分割模型从而分割出待识别癌症病历DWI图像中的癌症区域和非癌症区域。另外，服务器104还可以将分割的结果返回至终端设备102等。此外，服务器104可以存储有预先训练的癌症区域分割模型。
可选的，终端设备102可以是具有显示屏的各种电子设备，包括但不限于智能手机和计算机设备，其中计算机设备可以是台式计算机、便携式计算机、膝上型计算机、平板电脑等设备中的至少一种。终端设备102可以泛指多个终端设备中的一个。此外，终端设备102也可以用来执行本申请实施例中提供的一种癌症病历图像的分割方法。
应该理解，终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器可以是多个服务器组成的服务器集群等。
基于此，本申请实施例中提供了一种文本公式的定位方法。请参阅图2，图2示出了本申请实施例提供的一种文本公式的定位方法的流程示意图，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤S110，获取待识别癌症病历DWI图像。
其中，待识别癌症病历DWI图像是采用MRI(即核磁共振技术)形成的影像图像。弥散加权成像(DWI)是指MRI中的其中一种功能模态图。DWI是一种对水分子敏感的成像技术，可以无创的评价体内水分子的扩散，能够在一定程度上分析前列腺肿瘤的细胞结构和组织结构.DWI的主要影响因子是人体内的水分子，其中包括自由水和结合水不停的做无规则运动。
癌症可以指医学上常见的癌症，包括但不限于胰腺癌、前列腺癌、肝癌以及肺癌等。此外，癌症有时也被称为肿瘤。
另外，识别癌症病历DWI图像(即图像是否发生倾斜)、颜色、大小、分辨率等不限，只要能符合图像识别的最低要求即可。
步骤S120，将待识癌症病历DWI图像输入至预先训练的癌症区域分割模型，分别分割出待识别癌症病历DWI图像中的癌症区域和非癌症区域；其中，癌症区域分割模型是采用标记的不同尺度的癌症病历DWI图像样本对改进的神经网络进行训练得到的，改进的神经网络包括注意力网络。
具体地，模型训练就是给定输入向量和目标输出值，然后将输入向量来输入一个或多个网络结构或函数来求得实际输出值，并根据目标输出值和实际输出值来计算偏量，并判断偏量是否在容许范围内；若在容许范围内，则训练结束并固定相关参数；若不在容许范围内，不断去调整网络结构或函数中的一些参数，直至在偏量在容许范围内或达到了某一结束条件时，训练结束并固定相关参数，最后根据固定的相关参数即可得到训练完成的模型。
而本实施例中的癌症区域分割模型的训练实际上为：将采用标记的不同尺度的癌症病历DWI图像样本作为输入向量输入至改进的神经网络，将图像样本中的癌症区域和非癌症区域作为目标输出值；求隐含层，输出各层单元的输出，求出目标输出值和实际输出值偏差，当偏差在不容许范围内，计算网络层中神经元的误差，求误差梯度，并更新权值，重新求隐含层，输出各层单元的输出，求出目标值和实际值偏差，直至偏差在容许范围内，训练结束，固定权重和阈值，从而得到预先训练的癌症区域分割模型。此外，在本实施例中，采用改进的神经网络，改进的神经网络能提升图像分割的效果、速度和准确性。改进的神经网络主要包括Decoder网络和深度监督网络、以及依次连接的Feature encoder网络、Attention网络和特征融合网，。加入注意力模块即在Feature encoder网络后引入了注意力机制，能进一步提高图像分割的准确率。
标记的癌症病历DWI图像样本是指采用标记信息(例如标签)对多个癌症病历DWI图像进行标记而形成的。其中，标记的过程为：就是在癌症病历DWI图像中标记出癌症区域和非癌症区域。
尺度是指癌症病历DWI图像样本的尺寸大小，不同尺度表示癌症病历DWI图像样本中包含有不同尺寸大小的图像。
本申请实施例提供的癌症病历图像的分割方法，获取待识别图像；获取待识别癌症病历DWI图像；将待识癌症病历DWI图像输入至预先训练的癌症区域分割模型，分别分割出待识别癌症病历DWI图像中的癌症区域和非癌症区域；其中，癌症区域分割模型是采用标记的不同尺度的癌症病历DWI图像样本对改进的神经网络进行训练得到的，改进的神经网络包括注意力网络；该方法由于采用了标记的不同尺度的癌症病历DWI图像样本对改进的神经网络进行训练得到的来训练改进的神经网络从而得到预先训练的癌症区域分割模型，那么基于癌症区域分割模型就能分别分割出待识别癌症病历DWI图像中的癌症区域和非癌症区域，可见该方法可以采用一个模型快速分割出癌症和非癌症区域，减少了操作，提高了识别的效率。另外，该方法采用了改进的神经网络，识别准确率高。
在一个实施例中，请参照图3，癌症区域分割模型的训练方法，包括：
步骤S210，获取癌症病历DWI图像数据，采用标签对癌症病历DWI图像数据进行标记；
在一个实施例中，采用标签对癌症病历DWI图像数据进行标记包括：对癌症病历DWI图像数据进行预处理；采用绘图工具在预处理后的癌症病历DWI图像数据中标记出癌症区域和非癌症区域，以形成癌症标签和非癌症标签。其中非癌症区域通常包括正常组织器官区域(例如前列腺器官区域)和背景区域。
在本实施例中，首先要准备比较多(例如几千张、几万张等)数量的图像样本。图像样本可以是从医院MRI检验科收集来的。通常情况下，图像样本越多，其训练的模型更加精确；但图像样本太多会降低模型训练的速度。因此，在实际应用中，选择合适数量的图像样本即可，但在准备图像样本时尽可能使样本多样化。在本实施例中，以前列腺癌为例进行说明，图像样本是从中南大学海口市人民医院和湘雅医学院附属医院收集患有前列腺癌的磁共振DWI影像98例，医生对所有患者进行了MP-MRI，并确定了疑似癌症。所有检查均在使用32通道相控阵线圈的3T扫描仪(Achieva 3T；飞利浦医疗保健，埃因霍温，荷兰)上进行。在此期间均进行了前列腺活检并诊断为前列腺癌。病理诊断由医院董事会认证的病理学家根据格里森分级系统进行。我们的数据为98例病人的初次诊断为前列腺癌的DWI对应的图像体素尺寸为256×256×22。患者实际扫描视野field of view(FOV)400mm×400mm，厚度为4mm。注意使用的数据集已经通过了相关医院的伦理审查并获得了知情患者的同意。然后对收集的三维DICOM格式数据做二维切片处理并转换图像格式为BMP格式，二维图像尺寸为256×256。
其次，标记过程为：Photoshop绘图工具，在癌症病历DWI影像中手动绘制非癌症(即正常器官或组织)区域和癌症区域(即肿瘤区域)，得到点线面构成的.shp矢量文件作为真值图，其中标记癌症区域的标签可以即为癌症标签，非癌症区域的标签即为非癌症标签。
步骤S220，对标记的癌症病历DWI图像数据进行剪裁，并分别对剪裁前和剪裁后的标记的癌症病历DWI图像数据进行刚性变换处理，形成标记的不同尺度的癌症病历DWI图像样本；
在其中一个实施例中，分别对剪裁前和剪裁后的标记的癌症病历DWI图像数据进行刚性变换处理，包括：按照预设选择概率选择一种或多种刚性变换方法分别对剪裁前和剪裁后的标记的癌症病历DWI图像数据进行刚性变换处理；其中刚性变换方法包括上下翻转、左右翻转和角度旋转。
具体的，由于癌症(例如前列腺癌)病历DWI图像采集视野较大，癌症区域和非癌症区域占据图像面积较小，因此考虑对DWI图像裁剪提取包含非癌症(即正常器官或组织)和癌症(即肿瘤)的中心区域，裁剪后的图像尺寸为192×192。
此外，将裁剪前的癌症病历DWI图像样本作为一个改进的神经网络的分支输入，裁剪后癌症病历DWI图像作为另一个改进的神经网络的分支输入，进而提取不同尺度图像特征。
另外，神经网络训练时需要大量训练样本，因此，将裁剪前后的图像样本做采用刚性变换方法刚性变换处理，包括刚性变换方法上下、左右翻转，旋转一定角度扩充样本量，其中针对每张图像可以选择一种或多种刚性变换方法。每一种方法可以按照其预设选择概率来选择，每一种方法被选择的概率可以相等也可以不相同。
在其中一个实施例中，形成标记的不同尺度的癌症病历DWI图像样本之后，包括：按照预设比例将标记的不同尺度的癌症病历DWI图像样本划分成训练集和测试集。
具体的，可以将标记的不同尺度的癌症病历DWI图像按照一定的比例划分为训练集和测试集，例如比例可以为8：2。
步骤S230，构建改进的神经网络，其中改进的神经网络包括Decoder网络和深度监督网络、以及依次连接的Feature encoder网络、Attention网络和特征融合网络；其中Feature encoder网络和Attention网络的数量为两个，Feature encoder网络并列设置，分别连接一个Attention网络，并且Attention网络相连接；Decoder网络的数量为三个，三个Decoder网络的一端分别连接两个Feature encoder网络和特征融合网络，另一端都连接深度监督网络。
具体而言，请参照图4，改进的神经网络包括Decoder网络和深度监督网络、以及依次连接的Feature encoder网络、Attention网络和特征融合网络；其中Feature encoder网络和Attention网络的数量为两个，Feature encoder网络并列设置，分别连接一个Attention网络，并且Attention网络相连接；Decoder网络的数量为三个，三个Decoder网络的一端分别连接两个Feature encoder网络和特征融合网络，另一端都连接深度监督网络。
步骤S240，将标记的不同尺度的癌症病历DWI图像样本分别输入两个Featureencoder网络提取图像特征，分别得到第一特征图和第二特征图；其中，同一种尺度的标记的癌症病历DWI图像样本输入到同一个Feature encoder网络；
具体地，模型输入的是标记的癌症病历DWI图像样本。如果以前列腺癌为例，那么输入的就是前列腺癌DWI图像(即体素)，设为V＝{S0,…Si,…Sn}，其中Si∈dm×dn表示第i个切片图像，i∈{1,2,…,n}，dm和dn表示DWI的切片图像的尺寸为256×256。
将输入图像样本按不同尺度分为两个支路(即图4中的Scale0和Scale1)。小尺度图像样本分辨率低但语义信息丰富，而大尺度图像样本分辨率高但细节信息丰富，因此，输入多尺度图像样本可以获得不同尺度的特征图，不同尺度的特征图更能准确的表示正常的前列腺(即非癌症区域)和癌变区域。
步骤1：两个或两路Feature encoder网络的基础基础网络均是残差网络(ResNet)，将两个不同分辨率(即尺度)的图像样本输入ResNet做3×3的卷积操作，通道数为32，步长为2，并且跟随一个衰减率为0.85的ReLU函数。步骤2：然后将3×3的卷积后得到的特征图输入残差块，残差块包括2个3×3的卷积操作，通道数为32，并且每一个卷积跟随一个衰减率为0.85的ReLU函数。
步骤3：将残差块输出的特征图输入最大池化层做下采样操作，步长为2，特征尺寸为步骤3-4的1/2。循环步骤2和步骤3，直到特征图尺寸小于设定值32，此时第一个裁剪前的分支循环次数为4，通道数为512，第二个裁剪后的分支循环次数为3，通道数为256。
步骤4：将步骤3得到的特征输入残差块，残差块包括2个3×3的卷积操作，第一个裁剪前的分支通道数为512，第二个裁剪后的分支通道数为256，并且跟随每一个衰减率为0.85的ReLU函数。
步骤5：将Scale0经过步骤4得到的第一特征图记为F0，将Scale1由步骤4得到的第二特征图记为F1。
步骤S250，将第一特征图和第二特征图分别对应输入至两个Attention网络，分别输出第三特征图和第四特征图；
将第一特征图F0和第二特征图F1分别输入注意力模块(即图4中的AttentionBlock)。具体过程为：步骤6：将第一特征图F0和第二特征图F1进行四个内部分支下的卷积核大小为1×1、3×3、5×5和7×7的卷积操作，并且每一个卷积跟随一个衰减率为0.85的ReLU函数(如图5所示)。
步骤7：将步骤6得到的特征沿着四个分支分别进行空洞卷积操作，卷积核大小为3×3，Rate分别为1、2、4和8。步骤8：将步骤7得到的特征图执行Sigmoid函数，并将每个分支得到的特征进行逐元素相加。
步骤9：在注意力模块和不同分支特征图之间执行双向注意力机制，不同尺度特征下的视觉感知过程公式化公式(1)；其中，G(·)表示注意力块，αi和βi表示应用修正线性单元得到的权重，Upsam和Downsam表示上采样和下采样操作。
并且将第一特征图F0和第二特征图F1执行注意力模块后得到的特征图分别记为第三特征图和第四特征图/>
步骤S260，分别将第三特征图和第四特征图输入至融合网络，得到融合特征图。
其中，对第三特征图和第四特征图/>执行特征融合机制，得到融合特征图。具体过程为：将特征融合机制公式化为公式(2)，其中，wi是可学习的权重，在每一个wi之后添加Relu激活函数来保证wi＞0。与Softmax层类似，归一化的权重值落在0和1之间，而且降低了计算成本。
然后将融合之后的特征图做3×3的卷积操作,并且跟随每一个衰减率为0.85的ReLU函数，得到的融合特征图记为FA。其中，融合网络如图6所示。
步骤S270，分别将第一特征图、第二特征图、第三特征图、第四特征图和融合特征图分别输入至Decoder网络进行处理，将处理结果输入深度监督网络进行标签深度监督，并计算损失函数，根据损失函数更新改进的神经网络的参数，直至收敛，训练完成，得到癌症区域分割模型。
具体的，将三个阶段的特征图(即F0,F1、和FA)分别执行基于标签数据的深度监督操作(即输入Decoder网络进行处理，将处理结果输入深度监督网络进行标签深度监督，如图6所示)；整个网络训练过程中我们设计了由2个函数组成的混合损失函数。第一个损失函数是直接针对优化分割性能评估指标的Dice损失，定义为：
其中，p(xi)体素xi的预测概率,and g(xi)是同一体素上对应的ground truth(即正确标注)。X表示训练图像,ε防止损失函数被0除的小项.第二个损失函数是Focal loss，通过log loss改进，解决政府样本不平衡的问题，被定义为：
其中表示Focal loss的平衡因子，设置为0.2，γ表示平滑调整权重率的聚焦参数，设置为1。
因此，损失函数表示为：
其中，η1和η2分别表示两个损失函数的权重因子，分别设置为0.8和0.2。
另外，Decoder网络是用于将F0,F1、和FA的分辨率恢复到原分辨率大小。
在一个实施例中，注意力模块主要用于对不同层的特征图进行加权融合。由于不同层特征图拥有不同特性的特征，采用注意力模块可以根据不同层特征的特性采用加权融合方法，使得得到的多尺度特征图更加精确，从而使得后续训练得到的文本公式定位模型更加精确。
在一个实施例中，得到癌症区域分割模型，包括：将测试集中的标记的不同尺度的癌症病历DWI图像样本输入至训练好的改进的神经网络，在癌症病历DWI图像样本中分割出实际的癌症区域和非癌症区域；将实际的癌症区域和非癌症区域与目标的癌症区域和非癌症区域进行比较，按照评价指标计算训练好的改进的神经网络的性能；当性能满足预设条件时，得到癌症区域分割模型。
为了验证训练后的癌症分割模型的效果，通常需要对模型性能进行测试。在本实施例中采用测试集中的标记的不同尺度的癌症病历DWI图像样本来对训练后的改进的神经网络模型进行测试。具体过程为：将测试集中的标记的不同尺度的癌症病历DWI图像样本输入到训练好的改进的神经网络模型中，得到癌症病历DWI图像样本中分割出实际的癌症区域和非癌症区域；将实际的癌症区域和非癌症区域与目标的癌症区域和非癌症区域进行比较，目标的癌症区域和非癌症区域是指在准备图像样本时在癌症病历DWI图像中标记出来的癌症区域和非癌症区域。然后按照评价指标计算所述训练好的改进的神经网络的性能，评价指标包括相关系数(CC)、绝对面积差异(AAD)、重叠率(Overlap)、Hausdorff距离(HD)、Dice相似系数(DSC)和精确度(ACC)。定义如下：
其中，Ai和Bi分别表示第i个扫描切片的非癌症区域或者癌症区域分割区域的ground truth(即正确标注)，以及模型产出。
其中，Ai和Bi分别表示第i个扫描切片的非癌症区域或者癌症区域分割区域的ground truth(即正确标注)。表示绝对面试差的均值，std(AAD)表示绝对面积差的方差。
其中，Ai和Bi分别表示第i个扫描切片的非癌症区域或者癌症区域分割区域的ground truth(即正确标注)，以及模型产出。
其中，Ai和Bi分别表示第i个扫描切片的非癌症区域或者癌症区域分割区域的ground truth(即正确标注)，以及模型产出。
其中，T P、T N、FP和FN分别表示真阳性、真阴性、假阳性和假阴性。
为了验证该方法的准确性，采用癌症病历图像实施例中的方法来对前列腺癌症病历图像进行分析。其结果如图10和图11所示，图10中间的白色区域为采用本申请实施例中的方法对前列腺病历图像进行分割得到的癌症区域(即前列腺癌症区域)，该区域边界上的黑色点形成边界线为癌症标准线(即采用其它方式确定的前列腺癌症区域边界线)，可见该分割方法确定的癌症区域非常准确。图11为图10的放大图像，且前列腺立体图，中间白色(或空心)区域为前列腺癌症区域，其它部分为正常的前列腺器官区域。
应该理解的是，虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且图2-3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
上述本申请公开的实施例中详细描述了一种癌症病历图像的分割方法，对于本申请公开的上述方法可采用多种形式的设备实现，因此本申请还公开了对应上述方法的癌症病历图像的分割装置，下面给出具体的实施例进行详细说明。
请参阅图7，为本申请实施例公开的一种癌症病历图像的分割装置，主要包括：
待识别DWI图像获取模块702，用于获取待识别癌症病历DWI图像；
区域分割模块704，用于将待识癌症病历DWI图像输入至预先训练的癌症区域分割模型，分别分割出待识别癌症病历DWI图像中的癌症区域和非癌症区域；其中，癌症区域分割模型是采用标记的不同尺度的癌症病历DWI图像样本对改进的神经网络进行训练得到的，改进的神经网络包括注意力网络。
在一个实施例中，包括：
图像数据获取模块，用于获取癌症病历DWI图像数据；
标记模块，用于采用标签对癌症病历DWI图像数据进行标记；
剪裁以及变换模块，用于对标记的癌症病历DWI图像数据进行剪裁，并分别对剪裁前和剪裁后的标记的癌症病历DWI图像数据进行刚性变换处理，形成标记的不同尺度的癌症病历DWI图像样本；
网络结构构件模块，用于构建改进的神经网络，其中改进的神经网络包括Decoder网络和深度监督网络、以及依次连接的Feature encoder网络、Attention网络和特征融合网络；其中Feature encoder网络和Attention网络的数量为两个，Feature encoder网络并列设置，分别连接一个Attention网络，并且Attention网络相连接；Decoder网络的数量为三个，三个Decoder网络的一端分别连接两个Feature encoder网络和特征融合网络，另一端都连接深度监督网络；
第一特征提取模块，用于将标记的不同尺度的癌症病历DWI图像样本分别输入两个Feature encoder网络提取图像特征，分别得到第一特征图和第二特征图；其中，同一种尺度的标记的癌症病历DWI图像样本输入到同一个Feature encoder网络；
第二特征提取模块，用于将第一特征图和第二特征图分别对应输入至两个Attention网络，分别输出第三特征图和第四特征图；
特征融合模块，用于分别将第三特征图和第四特征图输入至融合网络，得到融合特征图；
癌症区域分割模型获得模块，用于分别将第一特征图、第二特征图、第三特征图、第四特征图和融合特征图分别输入至Decoder网络进行处理，将处理结果输入深度监督网络进行标签深度监督，并计算损失函数，根据损失函数更新改进的神经网络的参数，直至收敛，训练完成，得到癌症区域分割模型。
在其中一个实施例中，样本划分模块，用于按照预设比例将标记的不同尺度的癌症病历DWI图像样本划分成训练集和测试集。
在其中一个实施例中，癌症区域分割模型获得模块，用于将测试集中的标记的不同尺度的癌症病历DWI图像样本输入至训练好的改进的神经网络，在癌症病历DWI图像样本中分割出实际的癌症区域和非癌症区域；将实际的癌症区域和非癌症区域与目标的癌症区域和非癌症区域进行比较，按照评价指标计算训练好的改进的神经网络的性能；当性能满足预设条件时，得到癌症区域分割模型。
在一个实施例中，标记模块，用于对癌症病历DWI图像数据进行预处理；采用绘图工具在预处理后的癌症病历DWI图像数据中标记出癌症区域和非癌症区域，以形成癌症标签和非癌症标签。
在一个实施例中，剪裁以及变换模块，用于按照预设选择概率选择一种或多种刚性变换方法分别对剪裁前和剪裁后的标记的癌症病历DWI图像数据进行刚性变换处理；其中刚性变换方法包括上下翻转、左右翻转和角度旋转。
在一个实施例中，Feature encoder网络包括ResNet网络。
关于癌症病历图像的分割装置的具体限定可以参见上文中对于方法的限定，在此不再赘述。上述装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于终端设备中的处理器中，也可以以软件形式存储于终端设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
请参考图，图8其示出了本申请实施例提供的一种终端设备的结构框图。该终端设备80可以是计算机设备。本申请中的终端设备80可以包括一个或多个如下部件：处理器802、存储器804以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器804中并被配置为由一个或多个处理器802执行，一个或多个应用程序配置用于执行上述应用于终端设备的方法实施例中所描述的方法，也可以配置用于执行上述应用于癌症病历图像的分割的方法实施例中所描述的方法。
处理器802可以包括一个或者多个处理核。处理器802利用各种接口和线路连接整个终端设备80内的各个部分，通过运行或执行存储在存储器804内的指令、程序、代码集或指令集，以及调用存储在存储器804内的数据，执行终端设备80的各种功能和处理数据。可选地，处理器802可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogicArray，PL A)中的至少一种硬件形式来实现。处理器802可集成中央处理器(CentralProcessing Unit，CPU)、埋点数据的上报验证器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器802中，单独通过一块通信芯片进行实现。
存储器804可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器804可用于存储指令、程序、代码、代码集或指令集。存储器804可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端设备80在使用中所创建的数据等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的终端设备的限定，具体的终端设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
综上，本申请实施例提供的终端设备用于实现前述方法实施例中相应的文本公式的定位方法，并具有相应的方法实施例的有益效果，在此不再赘述。
请参阅图9，其示出了本申请实施例提供的一种计算机可读取存储介质的结构框图。该计算机可读取存储介质90中存储有程序代码，程序代码可被处理器调用执行上述文本公式的定位方法实施例中所描述的方法，也可以被处理器调用执行上述癌症病历图像的分割方法实施例中所描述的方法。
计算机可读取存储介质90可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读取存储介质90包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读取存储介质90具有执行上述方法中的任何方法步骤的程序代码92的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码92可以例如以适当形式进行压缩。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种癌症病历图像的分割方法，其特征在于，所述方法包括：
获取待识别癌症病历DWI图像；
将所述待识别癌症病历DWI图像输入至预先训练的癌症区域分割模型，分别分割出所述待识别癌症病历DWI图像中的癌症区域和非癌症区域；其中，所述癌症区域分割模型是采用标记的不同尺度的癌症病历DWI图像样本对改进的神经网络进行训练得到的，所述改进的神经网络包括注意力网络；
所述癌症区域分割模型的训练方法，包括：
获取癌症病历DWI图像数据，采用标签对所述癌症病历DWI图像数据进行标记；
对标记的癌症病历DWI图像数据进行剪裁，并分别对剪裁前和剪裁后的标记的癌症病历DWI图像数据进行刚性变换处理，形成标记的不同尺度的癌症病历DWI图像样本；
构建所述改进的神经网络，其中所述改进的神经网络包括Decoder网络和深度监督网络、以及依次连接的Feature encoder网络、Attention网络和特征融合网络；其中Featureencoder网络和Attention网络的数量为两个，所述Feature encoder网络并列设置，分别连接一个Attention网络，并且所述Attention网络相连接；Decoder网络的数量为三个，其中两个 Decoder 网络的一端各与一个所述 Feature encoder 网络连接，另一个 Decoder网络的一端与所述特征融合网络连接，每个Decoder网络的另一端连接所述深度监督网络；
将所述标记的不同尺度的癌症病历DWI图像样本分别输入两个所述Feature encoder网络提取图像特征，分别得到第一特征图和第二特征图；其中，同一种尺度的标记的癌症病历DWI图像样本输入到同一个Feature encoder网络；
将所述第一特征图和所述第二特征图分别对应输入至两个所述Attention网络，分别输出第三特征图和第四特征图；
分别将所述第三特征图和第四特征图输入至所述融合网络，得到融合特征图；
将所述第一特征图、所述第二特征图、所述第三特征图、所述第四特征图和所述融合特征图均输入至每个所述Decoder网络进行处理，将处理结果输入所述深度监督网络进行标签深度监督，并计算损失函数，根据所述损失函数更新所述改进的神经网络的参数，直至收敛，训练完成，得到所述癌症区域分割模型。
2.根据权利要求1所述的方法，其特征在于，所述形成标记的不同尺度的癌症病历DWI图像样本之后，包括：
按照预设比例将所述标记的不同尺度的癌症病历DWI图像样本划分成训练集和测试集。
3.根据权利要求2所述的方法，其特征在于，所述得到所述癌症区域分割模型，包括：
将测试集中的标记的不同尺度的癌症病历DWI图像样本输入至训练好的改进的神经网络，在所述癌症病历DWI图像样本中分割出实际的癌症区域和非癌症区域；
将所述实际的癌症区域和非癌症区域与目标的癌症区域和非癌症区域进行比较，按照评价指标计算所述训练好的改进的神经网络的性能；
当所述性能满足预设条件时，得到所述癌症区域分割模型。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述采用标签对所述癌症病历DWI图像数据进行标记包括：
对所述癌症病历DWI图像数据进行预处理；
采用绘图工具在预处理后的癌症病历DWI图像数据中标记出癌症区域和非癌症区域，以形成癌症标签和非癌症标签。
5.根据权利要求1-3任一项所述的方法，其特征在于，所述分别对剪裁前和剪裁后的标记的癌症病历DWI图像数据进行刚性变换处理，包括：
按照预设选择概率选择一种或多种刚性变换方法分别对剪裁前和剪裁后的标记的癌症病历DWI图像数据进行刚性变换处理；
其中所述刚性变换方法包括上下翻转、左右翻转和角度旋转。
6.根据权利要求1-3任一项所述的方法，其特征在于，所述Feature encoder网络包括ResNet网络。
CN202110846744.5A 2021-07-26 2021-07-26 癌症病历图像的分割方法、装置、终端设备和存储介质 Active CN113362350B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110846744.5A CN113362350B (zh) 2021-07-26 2021-07-26 癌症病历图像的分割方法、装置、终端设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110846744.5A CN113362350B (zh) 2021-07-26 2021-07-26 癌症病历图像的分割方法、装置、终端设备和存储介质

Publications (2)

Publication Number Publication Date
CN113362350A CN113362350A (zh) 2021-09-07
CN113362350B true CN113362350B (zh) 2024-04-02

Family

ID=77540518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110846744.5A Active CN113362350B (zh) 2021-07-26 2021-07-26 癌症病历图像的分割方法、装置、终端设备和存储介质

Country Status (1)

Country Link
CN (1) CN113362350B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511581B (zh) * 2022-04-20 2022-07-08 四川大学华西医院 一种多任务多分辨率协作的食管癌病变分割方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191472A (zh) * 2018-08-28 2019-01-11 杭州电子科技大学 基于改进U-Net网络的胸腺细胞图像分割方法
CN109785300A (zh) * 2018-12-27 2019-05-21 华南理工大学 一种癌症医学图像数据处理方法、系统、装置和存储介质
CN111640121A (zh) * 2020-04-28 2020-09-08 南京理工大学 基于改进U-net的直肠CT图像肿瘤分割方法
CN111667489A (zh) * 2020-04-30 2020-09-15 华东师范大学 基于双分支注意力深度学习的癌症高光谱图像分割方法及系统
CN111784652A (zh) * 2020-06-24 2020-10-16 西安电子科技大学 基于强化学习多尺度神经网络的mri分割方法
CN111798462A (zh) * 2020-06-30 2020-10-20 电子科技大学 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN111899259A (zh) * 2020-08-27 2020-11-06 海南大学 一种基于卷积神经网络的前列腺癌组织微阵列分级方法
CN112070772A (zh) * 2020-08-27 2020-12-11 闽江学院 基于UNet++和ResNet的血液白细胞图像分割方法
CN112233117A (zh) * 2020-12-14 2021-01-15 浙江卡易智慧医疗科技有限公司 一种新冠肺炎ct检测识别定位系统及计算设备
CN112767374A (zh) * 2021-01-27 2021-05-07 天津理工大学 基于mri的阿尔茨海默症病灶区域语义分割算法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191472A (zh) * 2018-08-28 2019-01-11 杭州电子科技大学 基于改进U-Net网络的胸腺细胞图像分割方法
CN109785300A (zh) * 2018-12-27 2019-05-21 华南理工大学 一种癌症医学图像数据处理方法、系统、装置和存储介质
CN111640121A (zh) * 2020-04-28 2020-09-08 南京理工大学 基于改进U-net的直肠CT图像肿瘤分割方法
CN111667489A (zh) * 2020-04-30 2020-09-15 华东师范大学 基于双分支注意力深度学习的癌症高光谱图像分割方法及系统
CN111784652A (zh) * 2020-06-24 2020-10-16 西安电子科技大学 基于强化学习多尺度神经网络的mri分割方法
CN111798462A (zh) * 2020-06-30 2020-10-20 电子科技大学 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN111899259A (zh) * 2020-08-27 2020-11-06 海南大学 一种基于卷积神经网络的前列腺癌组织微阵列分级方法
CN112070772A (zh) * 2020-08-27 2020-12-11 闽江学院 基于UNet++和ResNet的血液白细胞图像分割方法
CN112233117A (zh) * 2020-12-14 2021-01-15 浙江卡易智慧医疗科技有限公司 一种新冠肺炎ct检测识别定位系统及计算设备
CN112767374A (zh) * 2021-01-27 2021-05-07 天津理工大学 基于mri的阿尔茨海默症病灶区域语义分割算法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A dual attention-guided 3D convolution network for automatic segmentation of prostate and tumor;Yuchun Li et al;Biomedical Signal Processing and Control;20230430;第85卷;DOI:10.1016/j.bspc.2023.104755 *
Attention-guided multi-scale learning network for automatic prostate and tumor segmentation on MRI;Yuchun Li et al;Computers in Biology and Medicine;20230815;第165卷;DOI :10.1016/j.compbiomed.2023.107374 *
MPB-CNN: A multi-scale parallel branch CNN for choroidal neovascularization segmentation in SD-OCT images;Yuhan Zhang et al;OSA Continuum;20191231;第2卷(第3期);1011-1027 *
融合双注意力机制3D U-Net的肺肿瘤分割;郝晓宇 等;中国图象图形学报;20201031;25(10);2119-2127 *

Also Published As

Publication number Publication date
CN113362350A (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
Cai et al. A review of the application of deep learning in medical image classification and segmentation
JP6623265B2 (ja) 偽陽性低減での小結節検出
CN110599528A (zh) 一种基于神经网络的无监督三维医学图像配准方法及系统
CN111932529B (zh) 一种图像分类分割方法、装置及系统
CN108846829B (zh) 病变部位识别装置、计算机装置及可读存储介质
CN110619635B (zh) 基于深度学习的肝细胞癌磁共振图像分割系统和方法
CN110910335B (zh) 一种图像处理方法、图像处理设备及计算机可读存储介质
CN114782307A (zh) 基于深度学习的增强ct影像直肠癌分期辅助诊断系统
CN117078692B (zh) 一种基于自适应特征融合的医疗超声图像分割方法及系统
Katzmann et al. Explaining clinical decision support systems in medical imaging using cycle-consistent activation maximization
CN115861248A (zh) 医学图像分割方法、医学模型训练方法、装置和存储介质
Guan et al. Using generative adversarial networks and transfer learning for breast cancer detection by convolutional neural networks
CN113362350B (zh) 癌症病历图像的分割方法、装置、终端设备和存储介质
CN113764101B (zh) 基于cnn的乳腺癌新辅助化疗多模态超声诊断系统
CN110992310A (zh) 一种确定纵隔淋巴结所在分区的方法及装置
CN116958693A (zh) 图像分析方法、装置、设备、存储介质和程序产品
CN114241198A (zh) 获取局部影像组学特征的方法、装置、设备以及存储介质
WO2022227193A1 (zh) 肝脏区域分割方法、装置、电子设备及存储介质
CN114359194A (zh) 基于改进U-Net网络的多模态脑卒中梗死区域图像处理方法
CN116205929A (zh) 一种超声融合成像方法及设备、存储介质
CN117556077B (zh) 文本图像模型的训练方法、相关方法及相关产品
CN117974691A (zh) 一种基于深度学习的肿瘤图像分割方法、系统及设备
CN118212407A (zh) 肿瘤图像的分割方法、装置及电子设备
CN116630722A (zh) 结节良恶性预测模型的优化方法及装置、结节良恶性预测方法及装置
Roufosse et al. Realistic Data Enrichment for Robust Image Segmentation in Histopathology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant