CN116721117A - 一种肿瘤分割方法 - Google Patents

一种肿瘤分割方法 Download PDF

Info

Publication number
CN116721117A
CN116721117A CN202310866540.7A CN202310866540A CN116721117A CN 116721117 A CN116721117 A CN 116721117A CN 202310866540 A CN202310866540 A CN 202310866540A CN 116721117 A CN116721117 A CN 116721117A
Authority
CN
China
Prior art keywords
brain
tumor segmentation
network
mode
tumor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310866540.7A
Other languages
English (en)
Inventor
杨凯涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202310866540.7A priority Critical patent/CN116721117A/zh
Publication of CN116721117A publication Critical patent/CN116721117A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种肿瘤分割方法，包括：将待处理脑影像配准到标准脑，得到配准脑影像；根据所述配准脑影像生成多个切块；将每一切块输入相应的肿瘤分割模型，得到肿瘤分割结果；将各切块的肿瘤分割结果进行融合，得到所述待处理脑影像的肿瘤分割结果。本发明将待处理脑影像配准到标准脑，使得待处理脑影像与肿瘤分割模型的训练样本处于统一的脑空间下，具备切块、肿瘤分割的共同基础；通过将配准脑影像的每一子块输入子块相应的肿瘤分割模型，使得每一肿瘤分割模型仅需对脑部特定区域进行针对性地精准分割，提升了分割精度，并且显著减小了肿瘤分割模型体量，减少了训练耗时、分割耗时。

Description

一种肿瘤分割方法
技术领域
本发明涉及医学影像处理技术领域，尤其涉及一种肿瘤分割方法。
背景技术
在临床辅助诊断、图像引导的外科手术中，医学影像分割显示出越来越重要的临床价值。现阶段恶性肿瘤是我国居民死亡的主要原因之一，其中脑肿瘤在人群中的发病率较高，脑肿瘤的分割精确度，更是医生诊断患者病症信息、引导手术的关键。人工分割脑肿瘤影像耗时耗力，并且常常会收到主观差异的影响，导致分割精度不高。
目前基于深度学习的脑肿瘤分割发展较快，典型地，例如使用CNN、U-net模型来分割脑肿瘤，由于医学影像的细节较多，数据量较大(尤其是三维的医学影像)，受显卡显存限制，目前模型训练的耗时较长，脑影像的分割效率和精度也仍待提升。
对于现有技术中模型训练的耗时较长，肿瘤分割效率和精度较低的缺陷，本发明提供一种肿瘤分割方法。
发明内容
本发明提供一种肿瘤分割方法，用以解决现有技术中模型训练的耗时较长，肿瘤分割效率和精度较低的缺陷。
本发明提供一种肿瘤分割方法，包括：
S11、将待处理脑影像配准到标准脑，得到配准脑影像；
S12、根据所述配准脑影像生成多个切块；其中，所述多个切块的并集为所述配准脑影像，且相邻切块存在交集；
S13、将每一切块输入相应的肿瘤分割模型，得到肿瘤分割结果；其中，每一切块的对应预先训练了一个肿瘤分割模型；
S14、将各切块的肿瘤分割结果进行融合，得到所述待处理脑影像的肿瘤分割结果。
根据本发明提供的一种肿瘤分割方法，所述肿瘤分割模型是通过如下方式得到的：
构建第一编码器网络、第一解码器网络；
在所述第一编码器网络的下采样层中设置配对注意力模块，得到第二编码器网络；在所述第一解码器网络的上采样层中设置配对注意力模块得到第二编码器网络；
基于所述第二编码器网络构建BT-Unet结构，利用所述BT-Unet结构对所述第二编码器网络进行自监督预训练，得到第三编码器网络；
将所述第三编码器网络连接所述第二编码器网络，进行有监督训练，得到所述肿瘤分割模型。
根据本发明提供的一种肿瘤分割方法，所述构建第一编码器网络、第二解码器网络，包括：
从TBraTS模型框架中获取所述第一编码器网络、第二解码器网络。
根据本发明提供的一种肿瘤分割方法，所述第二编码器网络的至少一个下采样层设置有所述配对注意力模块，所述第二解码器网络的至少部分采样层设置有所述配对注意力模块；
所述配对注意力模块包括空间注意力分支和通道注意力分支。
根据本发明提供的一种肿瘤分割方法，所述肿瘤分割模型的损失函数是采用结合Dice和交叉熵的损失函数，或是采用结合Dice和二分类交叉熵的损失函数。
根据本发明提供的一种肿瘤分割方法，所述自监督训练和所述有监督训练过程所用的训练样本是配准到标准脑的标准样本中切分出来的。
根据本发明提供的一种肿瘤分割方法，所述S14之后，方法还包括：
将所述分割结果逆配准到原影像空间，得到原影像空间下所述待处理脑影像对应的肿瘤分割结果。
根据本发明提供的一种肿瘤分割方法，在所述S11之前还包括：
获取多种模态的原始脑影像；
提取每一模态的原始脑影像的独有特征以及各模态的原始脑影像的共同特征；
将所述多种模态的原始脑图像输入融合网络，并将所述共同特征以及所述每一模态原始脑影像的独有特征输入到所述融合网络的注意力模块中，融合得到所述待处理脑影像。
根据本发明提供的一种肿瘤分割方法，所述提取每一模态的原始脑影像的独有特征以及各模态的原始脑影像的共同特征，包括：
将每一模态的原始脑影像输入到相应模态的U-net网络中，得到相应模态图像的特征图；其中，相应模态的U-net网络的下采样层权重直接作为所述融合网络中相应模态通道的下采样层的权重；
根据各模态图像的特征图，以差异化各模态图像的独有特征、强化共同特征为目标构建目标函数，通过优化所述目标函数得到所述每一模态的原始脑影像的独有特征以及所述各模态的原始脑影像的共同特征。
根据本发明提供的一种肿瘤分割方法，所述目标函数为:
其中，Lmin为目标函数，Ic是共有特征，Ii是第i模态的特征图，n为模态总数。
根据本发明提供的一种肿瘤分割方法，所述注意力模块将各模态通道的特征图依据融合权重进行叠加，并通过跳转链接拼接到对应的上采样层的特征图中；
所述融合权重通过如下方式确定：将所述共有特征以及所述每一模态原始脑影像的独有特征依次进行池化、卷积、链接处理，并将处理结果输入到softmax函数，得到各模态通道的特征图的融合权重。
根据本发明提供的一种肿瘤分割方法，其特征在于，还包括：
对原始医学影像进行预处理，所述预处理包括以下至少一项：去噪、偏置场矫正、重采样。
本发明还提供一种肿瘤分割装置包括：
配准模块，用于将待处理脑影像配准到标准脑，得到配准脑影像；
切分模块，用于根据所述配准脑影像生成多个切块；其中，所述多个切块的并集为所述配准脑影像，且相邻切块存在交集；
分割模块，用于将每一切块输入相应的肿瘤分割模型，得到肿瘤分割结果；其中，每一切块的对应预先训练了一个肿瘤分割模型；
融合模块，用于将各切块的肿瘤分割结果进行融合，得到所述待处理脑影像的肿瘤分割结果。
本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，所述指令在被执行时用于实现前述任一项所述肿瘤分割方法的全部或部分步骤。
本发明提供的一种肿瘤分割方法实现了以下技术效果：
1、将待处理脑影像配准到标准脑，使得待处理脑影像与肿瘤分割模型的训练样本处于统一的脑空间下，具备切块、肿瘤分割的共同基础；通过将配准脑影像的每一子块输入子块相应的肿瘤分割模型，使得每一肿瘤分割模型仅需对脑部特定区域进行针对性地精准分割，提升了分割精度，并且显著减小了肿瘤分割模型体量，减少了训练耗时、分割耗时；
2、通过在编码器、解码器网络中设置配对注意力模块能够同时捕捉图像中的空间特征和通道特征，提高了肿瘤分割准确度和效率；通过构建BT-Unet模型对第二编码器网络进行自监督预训练，节省了标注成本，提升了训练效率，最后将训练得到的第三编码器网络与第二编码器网络再次组合进行有监督训练得到肿瘤分割模型，提升了对肿瘤的分割精度。
3、采用结合Dice和交叉熵的损失函数或采用结合Dice和二分类交叉熵的损失函数，便于减缓损失饱和的问题；
4、通过提取多种模态图像的独有特征和共有特征并输入到注意力模块中不同程度地指导各模态特征图的融合，优化了融合效果，获得了更加稳健的肿瘤结构特征。
5、为每一模态脑影像训练的U-net网络的下采样层权重可以直接作为融合网络中相应模态通道的下采样层的权重，减少了训练耗时。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种肿瘤分割方法的流程示意图；
图2是本发明构建肿瘤分割模型过程中的过渡架构示意图之二；
图3是本发明构建肿瘤分割模型过程中的过渡架构示意图之三；
图4是本发明构建肿瘤分割模型过程中的过渡架构示意图之一；
图5是本发明在获取待处理脑影像过程中使用的融合模型的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图5描述本发明的肿瘤分割方法及装置。
图1是本发明提供的一种肿瘤分割方法的流程示意图，如图1所示，该方法包括：
S11、将待处理脑影像配准到标准脑，得到配准脑影像；
具体地，本发明的肿瘤分割方法既可以用于二维脑影像的肿瘤区域分割，也可以用于三维脑影像的肿瘤区域分割，能够高效、准确地分割出脑影像中的肿瘤区域。
待处理脑影像需要配准到标准脑得到配准脑影像，标准脑是指统计生成的特定分辨率的平均脑模型，具体的标准脑可以灵活选择或统计生成，例如根据目标人群肤色、国别、性别、年龄段等类型等进行选择或统计生成。
将待处理脑影像配准到标准脑进行姿态、尺寸的统一，使得下文中的每一肿瘤分割模型都只需要学习特定位置的脑特征，并识别特定位置的脑肿瘤，提升了肿瘤分割效率及准确率。
S12、根据配准脑影像生成多个切块；其中，所述多个切块的并集为所述配准脑影像，且相邻切块存在交集；
具体地，将配准影像进行切块，每一切块用于输入到一个肿瘤分割模型中，这样可以显著减少每一肿瘤分割模型的数据处理量，相应减少肿瘤分割模型层数，也加快模型训练过程中的收敛速度，降低对显卡显存的要求。这里的肿瘤分割模型是用于分割出脑影像中肿瘤的卷积神经网络模型，优选地，采样U-net模型。
可以理解的是，多个切块的并集即为配准脑影像，以保证对配准脑影像整体的完全分割；相邻的切块间存在交集，相对于“不重叠的切块方式”，可以使得切块边缘相对于存在冗余信息，避免信息缺失的情况下导致的肿瘤分割结果的不准确。
生成切块的方式例如按照预设步长沿标准脑空间坐标系的轴向移动立方体切块，逐步切分出多个子块，生成切块的方式又例如沿标准脑空间坐标系的轴向移动长方体等形状的切块，逐步切分出多个子块。
S13、将每一切块输入相应的肿瘤分割模型，得到肿瘤分割结果；其中，每一切块的对应预先训练了一个肿瘤分割模型；
具体地，为每一切块相应预先训练了一个肿瘤分割模型，在肿瘤分割过程中，每一肿瘤分割模型都只需要学习相应切块区域的脑特征、识别出相应区域中包含的脑肿瘤，这样可以显著缩小肿瘤分割模型的体量，提升肿瘤分割效的率及准确率。
S14、将各切块的肿瘤分割结果进行融合，得到对应于所述待处理脑影像的肿瘤分割结果。
具体地，根据切块在配准脑影像中的位置将各个切块的肿瘤分割结果进行融合，对于仅出现在某一切块中的像素点，直接采信该切块的分割结果，对于出现在不同的切块中的像素点，可以通过多数投票的方式确定该像素的分割结果，也可以判断该像素点与包含该像素点的切块的中心之间的距离，将中心距离最短的切块中该像素点的分割结果作为融合分割结果。所有像素点的分割结果确定完毕即得到该像素点的分割结果(肿瘤像素点、非肿瘤像素点)。
本实施例中将待处理脑影像配准到标准脑，使得待处理脑影像与肿瘤分割模型的训练样本处于统一的脑空间下，具备切块、肿瘤分割的共同基础；通过将配准脑影像的每一子块输入子块相应的肿瘤分割模型，使得每一肿瘤分割模型仅需对脑部特定区域进行针对性地精准分割，显著减小了肿瘤分割模型体量，减少了训练耗时、分割耗时。
基于上述实施例，在一个实施例中，所述肿瘤分割模型是通过如下方式得到的：
构建第一编码器网络、第一解码器网络；
在所述第一编码器网络的下采样层中设置配对注意力模块，得到第二编码器网络；在所述第一解码器网络的上采样层中设置配对注意力模块得到第二编码器网络；
基于所述第二编码器网络构建BT-Unet结构，利用所述BT结构对所述第二编码器网络进行自监督预训练，得到第三编码器网络；
将所述第三编码器网络连接所述第二编码器网络，进行有监督训练，得到所述肿瘤分割模型。
具体地，第一编码器网络用于对输入的医学影像逐步提取得到医学影像的低维表示(即特征图)，第一解码器网络用于将提取得到的低维度、特征表示逐步还原到原图像分辨率进行像素级分割。第一编码器网络中包含多个下采样层，各下采样层通过卷积、池化操作来提取感受野中的深度特征，第一解码器网络包含相应数量的上采样层，各上采样层通过反卷积、卷积操作将特征图逐级恢复到原图像分辨率，第一编码器网络与第一解码器网络之间还有多级跳跃链接，使得第一解码器的各上采样层在还原过程的能够逐步融合下采样过程生成的同分辨率的特征图，有助于恢复下采样过程中丢失的空间信息，从而更加精确地预测输出。
参照图2，在此基础上，还在第一编码器网络中的部分或全部下采样层中配置“配对注意力模块”(EPA，EfficientPaired-Attention Block)形成第二编码器网络，在第一解码器网络的部分或全部上采样层中配置“配对注意力模块”。配对注意力模块中的空间注意力分支能够捕捉空间特征，配对注意力模块中通道注意力分支能够捕捉通道特征，且两个分支能够共享权值，有助于控制网络参数的数量，能够同时提高分割准确度和效率。
参照图3，将第二编码器网络“摘出来”，对其构建BT-Unet模型进行自监督预训练。具体地，BT-Unet模型使用BarlowTwins方法对第二编码器网络进行预训练，训练样本由少量的标注样本和大量的未标注样本构成，即实现自监督的预训练，第二编码器网络预训练完成后即得到第三编码器网络，可以理解的是，第三编码器网络相比于第二编码器网络更新了网络参数。由于医学影像具有数据量大、细节多、标注困难的特点(需要专业人员耗费大量时间进行标注)，因而带有标注的医学影像是非常稀缺的，此处利用BT-Unet对第二编码器网络进行自监督训练，强化了第三编码器网络的特征提取能力，能够学习到医学影像中的结构特征，使得第三编码器网络具备迁移学习(识别肿瘤)的基础，且预训练过程无需大量标注样本，降低了训练成本。
最后，将预训练完成的第三编码器网络放回原网络进行训练，也就是将第三编码器网络和第二解码器网络组成完整的网络进行有监督训练，对第三编码器网络和第二解码器网络的网络参数进行再次调整迁移。可以理解的是，这里的训练样本是标注样本，训练完成后的模型即为肿瘤分割模型，用于执行实际的分割。
本实施例通过构建第一编码器网络、第一解码器网络用于提取医学影像的特征进行像素级语义分割，通过在编码器、解码器网络中设置配对注意力模块能够同时捕捉图像中的空间特征和通道特征，提高了肿瘤分割准确度和效率；通过构建BT-Unet模型对第二编码器网络进行自监督预训练，节省了标注成本，提升了训练效率；通过将训练得到的第三编码器网络与第二编码器网络再次组合进行有监督训练，提升了对肿瘤的分割精度。
基于上述实施例，在一个实施例中，所述构建第一编码器网络、第二解码器网络，包括：
从TBraTS模型框架中获取所述第一编码器网络、第二解码器网络。
具体地，参照图4，TBraTS模型是一种肿瘤分割模型，其包括编码器-解码器部分(即图4中的Encoder-Dcoder)以及右侧的不确定推理部分，我们直接采用TBraTS模型架构中的“编码器-解码器”，将其编码器部分作为第一编码器网络，将其解码器部分作为第一解码器网络，从而可以提升构建第一编码器网络、第一解码器网络的效率。
基于上述任一实施例，在一个实施例中，所述第二编码器网络的至少一个下采样层设置有所述配对注意力模块，所述第二解码器网络的至少部分采样层设置有所述配对注意力模块；
所述配对注意力模块包括空间注意力分支和通道注意力分支。
具体地，第二编码器网络包括多个下采样层，可以在部分下采样层中设置配对注意力模块，也可以在每一下采样层中均设置配对注意力模块，以此提供丰富的上下文空间通道特征表示；同理，第二解码器网络包括多个上采样层，可以在部分上采样层设置配对注意力模块，也可以在全部的上采样层中设置配对注意力模块，以此提升像素级的肿瘤分割精度。另外，每一配对注意力模块包括空间注意力分支和通道注意力分支，两个注意力分支能够共享权值，以便互信息交流，有效地结合空间维度中的交互作用和通道特征之间的相互依赖关系，提供丰富的上下文空间通道特征表示，从而提高掩膜预测的准确性，从而提高分割精度。
基于上述任一实施例，在一个实施例中，所述肿瘤分割模型的损失函数是采用结合Dice和交叉熵的损失函数，或是采用结合Dice和二分类交叉熵的损失函数。
具体地，损失函数度量了预测值与标签至之间的差异，Diceloss可以缓解样本中前景背景不平衡带来的消极影响，前景背景不平衡也就是说图像中大部分区域是不包含目标的，只有小部分区域包含目标的，利用Diceloss作为优化目标函数进行训练可以对前景区域进行更有效的挖掘，但会存在损失饱和问题，本实施例中通过采用结合Dice和交叉熵的损失函数，或是采用结合Dice和二分类交叉熵的损失函数，可以解决损失饱和的问题，具体可以将两种损失函数加权组合使用。
基于上述任一实施例，在一个实施例中，所述自监督训练和所述有监督训练过程中所用到的训练样本是配准到标准脑的标准样本中切分出来的。
具体的，将自监督训练和有监督训练的原始训练样本分别配准到标准脑，然后按照上文切分配准脑影像相同的切分策略将配准到标准脑的训练样本进行切分，将切分的训练样本分别输入到相应的待训练网络中进行训练。
本实施例中通过将原始训练样本配准到标准脑，然后进行切分得到相应的训练样本，使得每一肿瘤分割模型能够学习到标准脑中相应位置范围的结构特征，提升了分割肿瘤的准确性和效率。
基于上述任一实施例，在一个实施例中，将所述S14之后，方法还包括：
将所述分割结果逆配准到原始影像空间，得到原始影像空间下所述待处理脑影像对应的肿瘤分割结果。
具体地，在步骤S11中将待处理脑影像从原影像空间配准到了标准脑空间，步骤S14中分割出的也是标准脑空间下的分割结果，需要根据上述配准关系将分割结果逆配准到原始影像空间，方便医生基于待处理脑影像理解肿瘤的位置、形状等信息。
基于上述任一实施例，在一个实施例中，所述S11之前还包括：
获取多种模态的原始脑影像；
提取每一模态的原始脑影像的独有特征以及各模态的原始脑影像的共同特征；
将所述多种模态的原始脑图像输入融合网络，并将所述共同特征以及所述每一模态原始脑影像的独有特征输入到所述融合网络的注意力模块中，融合得到所述待处理脑影像。
具体地，多种模态的医学影像例如计算机断层扫描成像(CT)、磁共振成像(MRI)、正电子发射计算机断层显像(PET)、B型超声成像(B超)等等，不同模态的脑影像提供了更多的组织结构信息，结合多种模态的脑影像分割识别脑肿瘤，可以极大地提升脑肿瘤的分割精度。
通过特征提取网络对每一模态的原始脑影像进行特征提取，进而分析得到每一模态原始脑影像的独有特征以及各模态的原始脑影像的共有特征。这些特征可以用于不同程度地指导图像融合过程，具体地，参照图5，融合网络也采样U-net架构，其包括多个输入通道(即图5中的n个模态通道)，每一通道用于输入一个模态的原始脑影像融合网络通过多个下采样层逐步提取原始脑影像的特征，然后通过上采样层逐步将特征恢复到原图像分辨率，另外，每一下采样层的输出的n个模态的特征图还连接到注意力模块，注意力模块根据每一模态的原始脑影像的独有特征以及各模态的原始脑影像的共同特征指导对n个模态的特征图的融合，并将融合特征图与对应的上采层的特征图进行拼接，即用于恢复下采样中丢失的信息，也用于融合各模态的信息。最后的上采样层输出的图像即为多模态融合图像，也就是上述用于进行肿瘤分割的待处理脑影像。
本实施例中有效利用了不同模态数据间的互补信息，对不同模态提取的特征进行联合分析输入到注意力模块中指导不同模态通道特征图像的融合，便于获得稳健的脑肿瘤特征，有助于提升脑肿瘤分割的准确性。
基于上述任一实施例，在一个实施例中，所述提取每一模态的原始脑影像的独有特征以及各模态的原始脑影像的共同特征，包括：
将每一模态的原始脑影像输入到相应模态的U-net网络中，得到相应模态图像的特征图；其中，相应模态的U-net网络的下采样层权重直接作为所述融合网络中相应模态通道的下采样层的权重；
根据各模态图像的特征图，以差异化各模态图像的独有特征、强化共同特征为目标构建目标函数，通过优化所述目标函数得到所述每一模态的原始脑影像的独有特征以及所述各模态的原始脑影像的共同特征。
具体地，不同模态的原始脑影像差异较大，例如灰度分布不同，同一组织的像素效果不同，图像分辨率(可能)不同，需要为每一模态的训练一个U-net网络，用于提取相应模态的原始脑影像的特征图，此处U-net网络的下采样层的权重可以直接共享权重给融合网络中相应模态通道的下采样层，即这部分权重参数不必重复训练。
在提取各模态的图独有特征以及各模态的共有特征时，可以基于各模态的特征图构建目标函数，使得能够差异化各模态图像的独有特征、强化共同特征，例如，构建目标函数:
其中，Lmin为目标函数，Ic是共有特征，Ii是第i模态的特征图，n为模态总数。
本实施中通过预先训练的对应于不同模态的U-net提前了原始脑影像的特征，并构建目标函数提取出了各模态间的共有特征和独有特征，便于不同程度地指导多模态融合过程，另外，上述U-net网络的下采样层的权重可以直接共享权重给融合网络中相应模态通道的下采样层，节省了融合网络的训练耗时。
基于上述任一实施例，在一个实施例中，所述注意力模块将各模态通道的特征图依据融合权重进行叠加，并通过跳转连接拼接到对应的上采样层的特征图中；
所述融合权重通过如下方式确定：将所述共有特征以及所述每一模态原始脑影像的独有特征依次进行池化、卷积、链接处理，并将处理结果输入到softmax函数，得到各模态通道的特征图的融合权重。
具体地，仍参照图5，每一下采样层的n个模态通道输出的特征图连接到一个注意力模块，注意力模块将n个特征图融合为一个特征图并相应上采样层生成的特征图拼接，用于进一步的处理、上采样。在确定融合权重过程中，可以对各输入的特征图做最大池化，再进行1×1×1的卷积然后将各特征链接起来输入到softmax函数，输出得到每一个模态特征图的融合权重。可以理解的是，各采样层的注意力模块可以采样统一的融合权重，即根据某一采样层的特征图提取得到的独有特征、共有特征确定出融合权重，其他各采样层统一使用此融合权重，各采样层的注意力模块也可以分别确定融合权重，即根据本采样层的特征图提取得到的独有特征、共有特征单独确定融合权重。
本实施例中通过根据各模态原始脑影像的共性及差异确定了相应的权重，不同程度地指导了多模态图像融合过程，便于获得更加稳健的脑肿瘤特征，有助于提升脑肿瘤分割的准确性。
基于上述任一实施例，在一个实施例中，还包括：
对原始医学影像进行预处理，所述预处理包括以下至少一项：去噪、偏置场矫正、重采样。
具体地，不同模态的原始脑影像中噪声程度不同，造成噪声的原因可能存在差异，可以预先分别进行去噪，提升图像质量；对于磁共振图像(MRI)，偏置场导致MRI机器的磁场中的不均匀性，在图像上体现为同一组织内的强度值可能存在变化，偏置场矫正例如利用低通滤波器将图像中高频分量移除；不同模态的原始脑影像可能分辨率不同，不利于后续的图像融合，可以通过重采样将各模态的图像统一分辨率。
本实施例中通过预处理，优化了多模态图像融合的效果，有利于提升肿瘤分割精度。
下面对本发明提供的一种肿瘤分割装置进行描述，下文描述的肿瘤分割装置与上文描述的肿瘤分割方法可相互对应参照。
本发明提供的一种肿瘤分割装置包括：
配准模块，用于将待处理脑影像配准到标准脑，得到配准脑影像；
切分模块，用于根据所述配准脑影像生成多个切块；其中，所述多个切块的并集为所述配准脑影像，且相邻切块存在交集；
分割模块，用于将每一切块输入相应的肿瘤分割模型，得到肿瘤分割结果；其中，每一切块的对应预先训练了一个肿瘤分割模型；
融合模块，用于将各切块的肿瘤分割结果进行融合，得到所述待处理脑影像的肿瘤分割结果。
本实施例中将待处理脑影像配准到标准脑，使得待处理脑影像与肿瘤分割模型的训练样本处于统一的脑空间下，具备切块、肿瘤分割的共同基础；通过将配准脑影像的每一子块输入子块相应的肿瘤分割模型，使得每一肿瘤分割模型仅需对脑部特定区域进行针对性地精准分割，显著减小了肿瘤分割模型体量，减少了训练耗时、分割耗时。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各提供的肿瘤分割方法的全部或部分步骤。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的肿瘤分割方法的全部或部分步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种肿瘤分割方法，其特征在于，包括：
S11、将待处理脑影像配准到标准脑，得到配准脑影像；
S12、根据所述配准脑影像生成多个切块；其中，所述多个切块的并集为所述配准脑影像，且相邻切块存在交集；
S13、将每一切块输入相应的肿瘤分割模型，得到肿瘤分割结果；其中，每一切块的对应预先训练了一个肿瘤分割模型；
S14、将各切块的肿瘤分割结果进行融合，得到所述待处理脑影像的肿瘤分割结果。
2.根据权利要求1所述的肿瘤分割方法，其特征在于，所述肿瘤分割模型是通过如下方式得到的：
构建第一编码器网络、第一解码器网络；
在所述第一编码器网络的下采样层中设置配对注意力模块，得到第二编码器网络；在所述第一解码器网络的上采样层中设置配对注意力模块得到第二编码器网络；
基于所述第二编码器网络构建BT-Unet结构，利用所述BT-Unet结构对所述第二编码器网络进行自监督预训练，得到第三编码器网络；
将所述第三编码器网络连接所述第二编码器网络，进行有监督训练，得到所述肿瘤分割模型。
3.根据权利要求2所述的肿瘤分割方法，其特征在于，所述构建第一编码器网络、第二解码器网络，包括：
从TBraTS模型框架中获取所述第一编码器网络、第二解码器网络。
4.根据权利要求2所述的肿瘤分割方法，其特征在于，所述第二编码器网络的至少一个下采样层设置有所述配对注意力模块，所述第二解码器网络的至少部分采样层设置有所述配对注意力模块；
所述配对注意力模块包括空间注意力分支和通道注意力分支。
5.根据权利要求2所述的肿瘤分割方法，其特征在于，所述肿瘤分割模型的损失函数是采用结合Dice和交叉熵的损失函数，或是采用结合Dice和二分类交叉熵的损失函数。
6.根据权利要求2所述的肿瘤分割方法，其特征在于，所述自监督训练和所述有监督训练过程所用的训练样本是配准到标准脑的标准样本中切分出来的。
7.根据权利要求1所述的肿瘤分割方法，其特征在于，在所述S11之前还包括：
获取多种模态的原始脑影像；
提取每一模态的原始脑影像的独有特征以及各模态的原始脑影像的共同特征；
将所述多种模态的原始脑图像输入融合网络，并将所述共同特征以及所述每一模态原始脑影像的独有特征输入到所述融合网络的注意力模块中，融合得到所述待处理脑影像。
8.根据权利要求7所述的肿瘤分割方法，其特征在于，所述提取每一模态的原始脑影像的独有特征以及各模态的原始脑影像的共同特征，包括：
将每一模态的原始脑影像输入到相应模态的U-net网络中，得到相应模态图像的特征图；其中，相应模态的U-net网络的下采样层权重直接作为所述融合网络中相应模态通道的下采样层的权重；
根据各模态图像的特征图，以差异化各模态图像的独有特征、强化共同特征为目标构建目标函数，通过优化所述目标函数得到所述每一模态的原始脑影像的独有特征以及所述各模态的原始脑影像的共同特征。
9.根据权利要求8所述的肿瘤分割方法，其特征在于，所述目标函数为:
其中，Lmin为目标函数，Ic是共有特征，Ii是第i模态的特征图，n为模态总数。
10.根据权利要求7所述的肿瘤分割方法，其特征在于，所述注意力模块将各模态通道的特征图依据融合权重进行叠加，并通过跳转连接拼接到对应的上采样层的特征图中；
所述融合权重通过如下方式确定：将所述共有特征以及所述每一模态原始脑影像的独有特征依次进行池化、卷积、链接处理，并将处理结果输入到softmax函数，得到各模态通道的特征图的融合权重。
CN202310866540.7A 2023-07-14 2023-07-14 一种肿瘤分割方法 Pending CN116721117A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310866540.7A CN116721117A (zh) 2023-07-14 2023-07-14 一种肿瘤分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310866540.7A CN116721117A (zh) 2023-07-14 2023-07-14 一种肿瘤分割方法

Publications (1)

Publication Number Publication Date
CN116721117A true CN116721117A (zh) 2023-09-08

Family

ID=87864565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310866540.7A Pending CN116721117A (zh) 2023-07-14 2023-07-14 一种肿瘤分割方法

Country Status (1)

Country Link
CN (1) CN116721117A (zh)

Similar Documents

Publication Publication Date Title
KR102607800B1 (ko) 의료 영상 세그먼트화 방법 및 디바이스, 전자 디바이스 및 저장 매체
EP3916674B1 (en) Brain image segmentation method, apparatus, network device and storage medium
CN108446730B (zh) 一种基于深度学习的ct肺结节检测装置
Zeng et al. DeepEM3D: approaching human-level performance on 3D anisotropic EM image segmentation
CN112150428B (zh) 一种基于深度学习的医学图像分割方法
CN110298844B (zh) X光造影图像血管分割与识别方法及装置
CN111429474B (zh) 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法
CN110363760B (zh) 用于识别医学图像的计算机系统
CN112862830B (zh) 一种多模态图像分割方法、系统、终端及可读存储介质
CN117115045B (zh) 基于互联网生成式人工智能提升医学影像数据质量的方法
CN111862136A (zh) 基于卷积神经网络的多模态核磁影像缺血性脑卒中病变分割方法
CN112132827A (zh) 病理图像的处理方法、装置、电子设备及可读存储介质
CN113393469A (zh) 基于循环残差卷积神经网络的医学图像分割方法和装置
CN112102259A (zh) 一种基于边界引导深度学习的图像分割算法
Shan et al. SCA-Net: A spatial and channel attention network for medical image segmentation
CN113706562A (zh) 图像分割方法、装置、系统及细胞分割方法
CN114283406A (zh) 细胞图像识别方法、装置、设备、介质及计算机程序产品
CN117237351B (zh) 一种超声图像分析方法以及相关装置
CN114677349A (zh) 编解码端边缘信息增强和注意引导的图像分割方法及系统
Chatterjee et al. A survey on techniques used in medical imaging processing
CN113822323A (zh) 脑部扫描图像的识别处理方法、装置、设备及存储介质
CN110992309B (zh) 基于深层信息传递网络的眼底图像分割方法
CN116721117A (zh) 一种肿瘤分割方法
CN114974522A (zh) 医学影像处理方法、装置、电子设备及存储介质
Kalaivani et al. A Deep Ensemble Model for Automated Multiclass Classification Using Dermoscopy Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication