CN116596846A - 图像分割方法、图像分割模型构建方法、装置及介质 - Google Patents

图像分割方法、图像分割模型构建方法、装置及介质 Download PDF

Info

Publication number
CN116596846A
CN116596846A CN202310368554.6A CN202310368554A CN116596846A CN 116596846 A CN116596846 A CN 116596846A CN 202310368554 A CN202310368554 A CN 202310368554A CN 116596846 A CN116596846 A CN 116596846A
Authority
CN
China
Prior art keywords
segmentation
image
processed
medical image
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310368554.6A
Other languages
English (en)
Inventor
张靖
樊瑜波
蔡泽坤
覃羽洁
丁梓星
唐帅
张晓雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202310368554.6A priority Critical patent/CN116596846A/zh
Publication of CN116596846A publication Critical patent/CN116596846A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像分割方法、图像分割模型构建方法、装置及介质，涉及图像分割技术领域，该方法包括：获取待处理医学图像；对待处理医学图像进行预处理；将预处理后的待处理医学图像输入到构建的多个分割模型中，得到每个分割模型对应的预分割结果，每个分割模型中嵌入有自注意力机制模块；对每个分割模型对应的预分割结果进行融合，得到待处理医学图像的分割结果。本发明利用嵌入的自注意力机制模块计算待处理医学图像中的各个特征的权重表示，进而提供至神经网络模型中的主干结构，使得其能够根据权重表示，实现对待处理医学图像的特征之间的全局学习，进而实现待处理医学图像的高精度分割，最终提升神经网络识别模型的稳定性及可靠性。

Description

图像分割方法、图像分割模型构建方法、装置及介质
技术领域
本发明涉及图像分割技术领域，具体而言，涉及一种图像分割方法、图像分割模型构建方法、装置及介质。
背景技术
卷积神经网络(CNN)在图像分割领域取得了很大的成功。逐渐发展出了全卷积神经网络(FCN)，即一个用于像素级图像分类的神经网络，解决了输入数据为任意大小的语义分割问题。基于FCN的U-Net框架应运而生，它融合了浅层和深层的特征，且在医学图像识别分割领域中被广泛采用。
在此基础上，具有更优秀的前处理和后处理的nnU-Net框架被提出且迅速展现了较U-Net的优势。nnU-Net结构的核心是一个3D U-Net，具有编码-解码器结构，并带有SkipConnection，以将两条路径连接起来。
对于上述的nnU-Net结构，由于其通过基于卷积操作，进行特征的单纯提取，使得最终的医学图像分割精度有待提升。
发明内容
本发明解决的问题是如何提高图像的分割精度。
为解决上述问题，第一方面，本发明提供了一种图像分割方法，该方法包括：
获取待处理医学图像；
对获取的待处理医学图像进行预处理；
将预处理后的待处理医学图像输入到构建的多个分割模型中，得到每个分割模型对应的预分割结果，每个分割模型基于nnU-Net构建，且每个分割模型中嵌入有自注意力机制模块，自注意力机制模块用于计算待处理医学图像中特征的权重表示，权重表示用于表征特征在待处理医学图像中的重要程度；
对每个分割模型对应的预分割结果进行融合，得到待处理医学图像的分割结果，分割结果用于表征待处理医学图像中包括的至少一个目标区域在待处理医学图像中的位置。可选地，本发明提供的图像分割方法，每个分割模型包括编码器、解码器及瓶颈层，瓶颈层用于连通编码器及解码器，编码器包括多个卷积层，自注意力机制模块嵌入在瓶颈层和/或编码器的卷积层中。
可选地，本发明提供的图像分割方法，待处理医学图像为多模态的脑部核磁共振图像，目标区域为脑瘤区域，分割结果表示脑瘤区域在脑部核磁共振图像中的位置，分割结果还包括至少一个脑瘤区域对应的脑瘤类型，脑瘤类型包括浮肿区、坏疽和/或增强肿瘤核心。
可选地，本发明提供的图像分割方法，当自注意力机制模块嵌入瓶颈层中时，将预处理后的待处理医学图像输入到构建的分割模型中，得到预分割结果包括：
将预处理后的脑部核磁共振图像输入到编码器中的多个卷积层中进行下采样操作，并在最底层的卷积层中输出脑部核磁共振图像的切片序列；
将切片序列输入到瓶颈层中的自注意力机制模块中，计算脑部核磁共振图像中各特征的权重表示，且以多通道的方式输出，，脑部核磁共振图像的特征包括像素亮度、区域轮廓和/或区域位置；
将自注意力机制模块的多通道输出结果通过瓶颈层中，输入编至码器中的多个反卷积层中进行上采样操作，输出预分割结果。
可选的，本发明提供的图像分割方法，当自注意力机制模块嵌入在编码器中的卷积层中时，将预处理后的待处理医学图像输入到构建的分割模型中，得到预分割结果包括：
将第一卷积层输出的脑部核磁共振图像的切片序列输入到第二卷积层中嵌入的自注意力机制模块中，计算脑部核磁共振图像中各特征的权重表示，且以多通道的方式输出，脑部核磁共振图像的特征包括像素亮度、区域轮廓和/或区域位置；
将自注意力机制模块的多通道输出结果输入到第二卷积层，并将第二卷积层的输出输入到第三卷积层的自注意力机制摸，直至最底层的卷积层输出脑部核磁共振图像的下采样结果；其中，第一卷积层为编码器中的最上层卷积层，第二卷积层为与第一卷积层相邻的下一卷积层，第三卷积层为与第二卷积层相邻的下一卷积层；
将下采样结果输入瓶颈层，以及编码器进行上采样操作，输出预分割结果。
可选地，本发明提供的图像分割方法，计算脑部核磁共振图像中各特征的权重表示包括：
对输入的脑部核磁共振图像的切片序列，进行归一化操作；
对归一化处理后的切片序列进行线性变换，得到变换矩阵，并计算变换矩阵中各行之间的相似度，作为脑部核磁共振图像各特征的权重；
对权重进行加权，得到脑部核磁共振图像特征的加权和；
对加权与输入的切片序列进行残差连接，得到多通道输出，并对多通道输出进行归一化处理；
将归一化处理后的多通道输出进行强化处理，得到脑部核磁共振图像中特征的权重表示。
可选地，本发明提供的图像分割方法，编码器中下一卷积层滤波器的数量为上一卷积层的滤波器数量的2倍。
第二方面，本发明提供一种图像分割模型构建方法，用于构建分割模型，分割模型用于如第一方面所述的图像分割，图像分割模型构建方法包括：
获取样本数据集，样本数据集包括医学图像数据；
基于嵌入自注意力机制模块的nnU-Net神经网络结构，对样本数据集进行训练，构建多个分割模型，自注意力机制模块用于计算待处理医学图像中特征的权重表示，权重表示用于表征特征在待处理医学图像中的重要程度。
第三方面，本发明提供一种图像分割装置，图像分割装置包括：
获取模块，用于获取待处理医学图像；
预处理模块，用于对获取的待处理医学图像进行预处理；
分割模块，用于将预处理后的待处理医学图像输入到构建的至少一个分割模型中，得到每个分割模型对应的预分割结果，每个分割模型基于nnU-Net构建，且每个分割模型中嵌入有自注意力机制模块，自注意力机制模块用于计算待处理医学图像中特征的权重表示，权重表示用于表征特征在待处理医学图像中的重要程度；
融合模块，用于对每个分割模型对应的预分割结果进行融合，得到待处理医学图像的分割结果，分割结果用于表征待处理医学图像中包括的至少一个目标区域在待处理医学图像中的位置。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序用于实现如第一方面所述的方法。
本发明提供的图像分割方法、图像分割模型构建方法、装置及介质，通过构建改进的神经网络结构模型，即构建以nnU-Net为主干结构，并在其中嵌入自注意力机制模块的多个分割模型，使得在实际使用时，将获取的待处理医学图像通过预处理后，输入至本发明的多个改进的神经网络结构模型中，以在识别分割待处理医学图像中的目标区域的过程中，能够利用嵌入的自注意力机制模块计算待处理医学图像中的各个特征的权重表示，以得到能够表征特征在待处理医学图像中的重要程度的特征的新表示，进而将得到的权重表示提供至神经网络模型中的主干结构，使得其能够根据特征的权重表示，关注待处理医学图像的所有特征，以对特征之间的关系进行全局学习，进而能够从整体上抓取待处理医学图像中目标区域及其他区域中特征的关联关系，最终对待处理医学图像中的目标区域进行准确识别及分割，并准确地输出表示待处理医学图像中的目标区域所在位置的分割结果，实现待处理医学图像的高精度分割，提升神经网络识别模型的稳定性及可靠性。
附图说明
图1为本发明一些实施例提供的图像分割方法的应用框架示意图；
图2为本发明实施例提供的图像分割方法的流程示意图；
图3为本发明实施例提供的nnU-Net的结构示意图；
图4为本发明实施例提供的改进的nnU-Net的结构示意图；
图5为本发明一些实施例提供的改进的nnU-Net的结构示意图；
图6为本发明一些实施例提供的图像分割方法的流程示意图；
图7为本发明一些实施例提供的图像分割方法的流程示意图；
图8为本发明实施例提供的自注意力机制模块的结构示意图；
图9为本发明一些实施例提供的图像分割方法的流程示意图；
图10为本发明实施例提供的脑部形态图像的分割结果示意图；
图11为本发明实施例提供的图像分割装置的结构示意图；
图12为本发明实施例提供的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
可以理解，对于通过医疗设备获取的医学图像，如通过非侵入式的核磁共振(MRI)或CT等成像技术生成的图像，通常需要对其进行分割处理，如临床医生需要借助图像分割手段对获取的医学图像进行手动或者半自动的分割，以识别出重点关注的区域，如病灶区等，实现医学图像的实际意义。
例如，对于通过MRI技术，可以生成体现人体器官组织形态的多模态图像，如脑部形态、肺部形态或骨骼形态等医学图像，具体能够生成包括T1加权成像、T2加权成像、T1ce成像和自由水抑制序列(FLAIR)等的多模态图像数据。上述多种模态图像的信息互补，增加了图像分割的必要信息，另外，也不可避免地也增加了大量不必要的信息，加大了识别分割的难度。并且，由于MRI图像呈现的数量很多，而其中能够准确反映目标区域，如病灶区域的图像又占少数，使得实际MRI图像实际使用时的科学意义不足，存在较大的主观差异性。
还可以理解，对于医学图像，其中所包括的各特征之间的关联关系，对于医学图像的分割结果有重要影响。例如，对于通过MRI技术形成的脑部肿瘤形态图像，其中的病灶区的形状、亮度及空间位置等特征与其他区域的形状、亮度及空间位置都具有关联。
而在相关技术中，即基于深度神经网络(DNN)分割方法中，采用较多的是nnU-Net网络。则对于该nnU-Net网络结构，由于单纯基于卷积操作来提取特征，而忽视了特征之间的关系，使得最终的分割精度不高。
因此，本发明中提供的图像分割方法，为了提高医学图像中的目标区域的分割精度，通过以nnU-Net为主干结构，进而在nnU-Net主干结构中嵌入注意力机制(Transformer)模块，从而使得在利用改进的nnU-Net网络模型对医学图像进行可靠高精度的分割处理，即在进行待处理医学图像分割过程中，能够借助嵌入的Transformer模块，通过对特征的权重表示，即对特征的重要程度的新表示计算，以辅助nnU-Net主干结构，对待处理医学图像的所有特征进行全局学习，有效学习及捕捉图像中各特征之间的关联关系，为图像分割提供可靠准确的依据，最终有效提高医学图像分割的准确度。
可以理解，本发明实施例中的图像分割方法可以由具有数据处理能力的计算机设备执行。
在执行过程中，在一些场景下，如图1所示，该计算机设备可以通过无线网络从互联网端获取待处理医学图像，及构建神经网络模型时的数据集。或者，在另一些场景下，待处理医学图像，及构建神经网络模型时的数据集可以直接通过本地存储至该计算机设备。本发明实施例对此不做限制。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
图2为本发明实施例的图像分割方法的流程示意图，该方法具体包括：
S110，获取待处理医学图像。
S120，对获取的待处理医学图像进行预处理。
S130，将预处理后的待处理医学图像输入到构建的至少一个分割模型中，得到每个该分割模型对应的预分割结果，每个该分割模型基于nnU-Net构建，且每个该分割模型中嵌入有自注意力机制模块，该自注意力机制模块用于计算待处理医学图像中特征的权重表示，该权重表示用于表征特征在待处理医学图像中的重要程度。
S140，对每个该分割模型对应的该预分割结果进行融合，得到待处理医学图像的分割结果，该分割结果用于表征待处理医学图像中包括的至少一个目标区域在待处理医学图像中的位置。
具体的，本发明实施例中，在通过如MRI或CT等设备获取到多模态的医学图像后，即获取的医学图像作为待处理医学图像，进行预处理。
例如，获取的脑部形态图像，或肺部形态图像等。本发明实施例对此不做限制。
进一步，在将获取的待处理医学图像进行预处理后，可以将经过预处理的待处理医学图像输入到预先构建的多个分割模型中，以对待处理医学图像进行目标区域的识别分割处理，使得每个分割模型输出对应的预分割结果。每个分割模型输出的预分割结果即表示该分割模型对待处理医学图像中的目标区域的位置的识别，体现了待处理医学图像中的目标区域在待处理医学图像中的位置情况。
例如，每个分割模型输出的预分割结果中可以包括至少一个目标区域的位置信息，该位置信息可以为坐标信息，或可视化的图像信息。本发明实施例对此不做限制。
可以理解，该实施例中的改进的神经网络模型，即分割模型是以nnU-Net为主干，且嵌入有自注意力机制模块。嵌入的该自注意力机制模块可以计算待处理医学图像中的各个特征的权重表示，以有效的辅助神经网络模型中的主干结构，使得其能够对所有特征进行全局学习，即学习到各特征的全局关系。
即该自注意力机制模块能够对待处理医学图像中的特征的权重表示进行计算，进而将这些特征的权重表示作为对应特征在医学图像中的重要程度的新表示，然后提供至神经网络的主干结构，以使得主干结构，在进行目标区域的特征进行识别筛选时，可以基于自注意力机制模块的计算结果，即每个特征的权重表示，识别到目标区域中的特征与其他区域中的特征的关联关系，并快速且准确的捕获到待处理医学图像中的关键特征，即目标区域对应的特征，最终实现待处理医学图像中的目标区域的精确识别及分割。
最后，可以将每个分割模型对应的预分割结果进行融合处理，以得到待处理医学图像对应的最终的分割结果。
则对应的，对每个分割模型输出的预分割结果进行融合后，输出的待处理医学图像的分割结果，即表示待处理医学图像中包括的至少一个目标区域在该待处理医学图像中的位置，具体可以包括至少一个目标区域的坐标位置信息，或可视化的图像信息，以表征待处理医学图像的至少一个目标区域的所在位置。
例如，实际输出的分割结果中可以包括可视化的图像，且在图像中采用不同颜色或线条等方式标记目标区域的位置及轮廓，即实现对待处理医学图像的分割。
例如，在脑部形态的MRI医学图像场景下，需要识别分割的目标区域可以为脑瘤病灶区，则对应的分割结果具体可以包括脑瘤病灶区的位置信息，如输出可视化的分割结果为脑部MRI图像中分割出脑瘤病灶区所在的区域。
可以理解，本发明实施例中的图像分割方法，通过采用改进的神经网络结构，即在nnU-Net模型结构中嵌入自注意力机制模块，以形成能够关注待处理医学图像的特征的关联关系的新型神经网络模型结构，从而使得在对待处理医学图像中的目标区域进行识别分割时，能够利用自注意力机制模块通过权重对特征的重新表示，使得分割模型能够进行特征之间的关联关系的全局学习，以提取更具有语义的特征，从而为识别待处理医学图像中的目标区域提供可靠的依据，最终提高图像的分割精度，提升模型性能。
可选的，一些实施例中，S130中的多个以nnU-Net为主干构建的分割模型，具体结构如图3所示，即包括编码器、解码器及连接该编码器及解码器的瓶颈层(bottle neck)。U型结构左半部分为编码器，右半部分为解码器。
该编码器可以包括多层卷积层，如包括5层卷积层。即为待处理医学图像的下采样过程，解码器同样可以包括多层反卷积层，如5层结构，即为待处理医学图像的上采样过程。
其中，左侧的编码器及水平箭头表示3×3×3的卷积操作，每一次卷积之后采用实例归一化和斜率为0.01的Leaky ReLU(lReLU)激活函数处理，步长(stride)为[1,1,1]。左侧向下的箭头为下采样操作，右侧向上的箭头代表上采样操作，可以为3×3×3的卷积操作及反卷积操作。同样的，每一次卷积之后采用实例归一化和斜率为0.01的lReLU激活函数处理，步长为[2,2,2]。
可以理解，本发明实施例中，为了更加有效的提取待处理医学图像的关键特征，以提升图像分割的精度，在上述的nnU-Net主干结构中嵌入了自注意力机制模块，以对特征之间的关联关系进行识别学习。
可选的，如图4所示，本发明的一些实施例中，为了平衡数据处理的计算量，确保图像分割精度，可以将自注意力机制模块嵌入在如图4所示的nnU-Net主干结构的瓶颈层中，即可以将nnU-Net神经网络中的瓶颈层模块改进为携带有自注意力机制模块的瓶颈层。
可以理解，对于该改进的神经网络结构模型，即在瓶颈层，也就是nnU-Net的U型结构的最底层添加自注意力机制模块，是因为待处理医学图像数据经过编码器后输出的数据有最丰富的通道数和最精炼的特征信息，则在瓶颈层添加自注意力机制模块能最高效的建立特征通道之间的依赖性。
可选的，如图5所示，本发明的另一些实施例中，还可以将自注意力机制模块嵌入至编码器的每一个或部分卷积层中。
可以理解，该实施例中，由于在每一个卷积层中均嵌入了自注意力机制模块，则使得在利用该改进的神经网络结构进行待处理医学图像中的目标区域识别分割时，能够持续不断地进行关联特征的学习，即能够持续不断的抓取及优化关键特征，最终为图像的目标区域的识别处理提供可靠的依据，辅助神经网络结构中的主干结构，以实现目标区域的高精度识别及分割。
可以理解，MRI图像有多种模态，分为T1加权成像、T2加权成像、T1ce成像和自由水抑制序列(FLAIR)等，多模态的信息互补，增加了分割的必要信息。本发明实施例中，可以通过嵌入的自注意力机制模块实现精确的分割。
则为了更好的理解本发明实施例提供的医学图像分割方法，在待处理的医学图像为脑部MRI图像场景下，进行详细阐述。
即在该场景下，本发明的一个实施例，即当自注意力机制模块嵌入瓶颈层中时，如图6所示，S130中分割模型对医学图像的分割，得到预分割结果的具体过程具体包括：
S131，将预处理后的该脑部核磁共振图像输入到编码器中的多个卷积层中进行下采样操作，并在最底层的卷积层中输出该脑部MRI图像的切片序列。
S132，将该切片序列输入到该瓶颈层中的该自注意力机制模块中，计算该脑部核磁共振图像中各特征的权重表示，且以多通道的方式输出，该脑部核磁共振图像的特征包括像素亮度、区域轮廓和/或区域位置等。
S133，将该自注意力机制模块的多通道输出结果通过瓶颈层中，输入编至码器中的多个反卷积层中进行上采样操作，输出该预分割结果。
具体的，如图4所示，当自注意力机制模块被嵌入到瓶颈层后，则对于脑部核磁共振图像，输入到编码器的各个卷积层中，进行下采样操作，且在每个卷积层后，采用实例归一化和斜率为0.01的lReLU激活函数处理，步长为[1,1,1]，输出切片序列。如输出512个通道的切片(patch)。
进一步，将最底层卷积层输出的切片序列，输入到自注意力机制模块，使得其计算输入的MRI图像的各个特征的权重表示，进而通过瓶颈层，输入解码器中的反卷积层，在每一次反卷积之后，还可以采用实例归一化和斜率为0.01的lReLU激活函数处理，步长为[2,2,2]。
可以理解，该实施例中，由于自注意力机制模块被嵌入到神经网络结构最细的位置，即待处理医学图像数据经过编码器后输出的数据有最丰富的通道数和最精炼的特征信息的瓶颈层中，使得整个网络模型能最高效的建立特征通道之间的依赖性。
或者，在另一些实施例中，当自注意力机制模块嵌入在编码器中的卷积层中时，如图7所示，在S130中，将预处理后的待处理医学图像输入到构建的分割模型中，得到预分割结果具体包括：
S134，将第一卷积层输出的该脑部核磁共振图像的切片序列输入到第二卷积层中嵌入的自注意力机制模块中，计算该脑部核磁共振图像中各特征的权重表示，且以多通道的方式输出，特征包括像素亮度、区域轮廓和/或区域位置等。
S135，将该自注意力机制模块的多通道输出结果输入到该第二卷积层，并将该第二卷积层的输出输入到第三卷积层的自注意力机制模块，直至最底层的卷积层输出该脑部核磁共振图像的下采样结果；其中，该第一卷积层为编码器中的最上层卷积层，该第二卷积层为与该第一卷积层相邻的下一卷积层，该第三卷积层为与该第二卷积层相邻的下一卷积层。
S136，将下采样结果经瓶颈层进入解码器进行上采样，输出预分割结果。
具体的，在该实施例中，在编码器的多个卷积层前嵌入了自注意力机制模块，如在第一卷积层以下的所有卷积层中都嵌入有自注意力机制模块。或者，也可以选择性设置，本发明对此不做限制。
则在该神经网络结构下，当第一层的卷积层输出下采样结果后，将操作结果输出到下一层的自注意力机制模块以对脑部核磁共振图像中的特征的权重进行计算，输入卷积层。在每个嵌入有自注意力机制模块的卷积层中进行相同操作，直至最底层的卷积层输出脑部核磁共振图像的下采样结果。
例如，如图5所示的结构，在第二层至第五层的四层卷积层中均嵌入自注意力机制模块，以提升图像分割的精度。
可以理解，编码器的反卷积操作等，与上述实施例类似，在此不再赘述。
可以理解，该实施例中，由于多个卷积层中被嵌入了自注意力机制模块，使得脑部MRI图像的特征处理得到最大化，即能够更加全面的学习到所有特征的全局关系，最终提升分割精度。
可选的，在一些实施例中，可以同时在各卷积层及瓶颈层中嵌入自注意力机制模块，也可以选择性的在部分卷积层，或者仅仅在瓶颈层中嵌入自注意力机制模块，对于具体的嵌入位置，本发明实施例对此不做限制。
可选的，如图8所示，本发明的一些实施例中，如图4及图5所示的实施例中，所嵌入的Transformer模块具体可以包括：实例归一化层，多头注意力层以及前馈神经网络层。则通过将输入的多通道补丁序列映射到新的三维空间中，建立编码器捕捉到的特征之间的依赖关系，使得网络更加灵活。
或者，在另一些实施例中，每层Transformer模块还可以包括两个实例归一化层，多头注意力层以及前馈神经网络层。
可以理解，本发明实施例中，在以nnU-Net神经网络为主干的改进的神经网络结构，具体可以仅仅嵌入一层Transformer模块，或者还可以嵌入多层Transformer模块，本发明实施例对此不做限制。
例如，如图4及图5所示，所嵌入三层连续的自注意力机制模块，以提升网络模型的稳定性及准确性。
具体的，可以在以对应图如图3所示的网络结构可以改进为如图4所示，可以在瓶颈层中嵌入连续的三层Transformer模块，即可以将nnU-Net神经网络中瓶颈层模块改进为带有三个连续Transformer层的瓶颈层模块。
结合图4，每个带有三个连续Transformer层的瓶颈层模块包括：依此连接的三个Transformer注意力机制模块，卷积核大小为3×3×3，步长为1×1×1的卷积层，实例归一化层，Leaky ReLU层。
可以理解，通过在以nnU-Net神经网络为主干的改进的神经网络结构，在卷积层和/或瓶颈层中嵌入Transformer模块，使得在对待处理医学图像进行目标区域的分割处理时利用Transformer模块中的各个单元，将输入的多通道补丁序列映射到新的三维空间中，建立编码器捕捉到的特征之间的依赖关系，从而为高精度的图像分割提供可靠依据，最终使得神经网络模型更加灵活。
可以理解，对于脑部核磁共振图像，对应的目标区域可以为脑部肿瘤的病灶区域。则所获取的待处理医学图像中，目标区域的区域形态、区域像素的亮度及区域的空间位置等特征，与其他区域中对应的特征之间具有关联关系。则该自注意力机制模块可以用于计算MRI的脑部形态图像中像素亮度的权重表示、各区域形状，和/或各区域位置的权重表示。
即在该场景下的上述S132及S134中，对脑部核磁共振图像中的特征的权重表示的计算，如图9所示，具体包括如下步骤：
S01，对输入的该脑部核磁共振图像的切片序列，进行归一化操作。
S02，该变换矩阵中各行之间的相似度，作为该脑部核磁共振图像各特征的权重，该脑部核磁共振图像的特征包括像素亮度、区域轮廓和/或区域位置。
S03，对该权重进行加权，得到该脑部核磁共振图像特征的加权和。
S04，对该加权与输入的该切片序列进行残差连接，得到多通道输出，并对该多通道输出进行归一化处理。
S05，将归一化处理后的多通道输出进行强化处理，得到该脑部核磁共振图像中特征的该权重表示。
具体的，当脑部核磁共振图像通过下采样得到切片序列后将其输入Transformer模块，如连续的三层Transformer层进行处理。且每一层Transformer包括两层实例归一化层，一层多头注意力层以及一层前馈神经网络层。
即对于每一层Transformer中，神经网络结构首先将脑部核磁共振图像通过下采样卷积得到切片序列，如512个patch送入第一个实例归一化层，进而按通道将特定位置的值进行实例归一化。该实例归一化操作可以将正态分布的值归一化为标准正态分布，从而提高模型的训练效果。
进一步，进行归一化操作后，将归一化操作的结果输入第一个多头注意力层。多头注意力层可以将输入通过多个独立的线性变换得到三个矩阵，如Q、K、V。其中，线性变换的具体参数通过网络学习得到。
进而计算矩阵Q、K中任意行的相似度，即对于每个qi值(Q矩阵的第i行)，计算其与所有kj值(K矩阵的第j列)的相似度，得到注意力权重Ai,j使用这些权重对vj进行加权求和得到Oi。最终将Oi拼接在一起，作为特征的加权和，进而通过一个线性变换得到最终的输出。
可以理解，上述三个矩阵元素，表示脑部MRI图像中的特征值，如像素、形态或位置等。注意力权重Ai,j，即可以表示脑部MRI图像中特征的权重值。
进一步，将多头注意力层输出与Transformer层的输入，即卷积层输出的脑部MRI图像的切片序列进行残差连接。残差连接通过将Transformer层输入与多头注意力层输出相加，得到一个多通道的输出，如512通道的输出。
进一步，将上述残差连接后的输出数据通过第二层实例归一化层进行归一化。进而将归一化的处理后的数据输入前馈神经网络层。
该前馈神经网络层首先将输入进行线性变换，变换后的数据通过GELU函数进行激活，随后经过一个drop out层，以对特征进行增强处理，该drop out层能够随机使线性变换中部分神经元失活，增强模型的泛化能力。然后再次经过线性变换和drop out层，得到特征增强的输出结果，即特征的权重表示，即实现能够体现特征重要性的新表示计算。
最后，将上述得到一个多通道的输出，与该drop out层输出进行残差连接，得到一层Transformer模块的输出。
可以理解，当神经网络模型中的自注意力机制模块包括多个Transformer模块时，可以都按照上述流程进行操作，所有线性变换的参数都是可学习的。
可以理解，在脑部核磁共振图像的脑瘤区域识别场景下，即MRI图像中的肿瘤通常具有不规则的形状，可能与其他区域的形状有关。则通过自注意力机制，使得分割模型可以利用得到的加权和，识别目标区域的形状并学习到它们与其他区域形状之间的相关性。
另外，对于像素的亮度，MRI图像中的肿瘤通常具有与周围区域不同的亮度。分割模型可以通过自注意力机制对亮度特征的加权和计算结果，学习到目标区域，即肿瘤区域与其他区域之间的差异，进而识别出与肿瘤相关的区域。
最后，对于空间位置，MRI图像中的特定区域可能与其周围区域位置有关，分割模型可以通过自注意力机制的计算结果，学习到待处理医学图像中区域之间的空间位置关系，从而更好地捕捉肿瘤区域的空间信息。
可以理解，通过自注意力机制模块学习上述特征之间的关系，使得分割模型可以更好地理解MRI图像，从而提高MRI图像分割的准确性。
进一步，在该脑部核磁共振图像分割的场景下，当得到每个分割模型的预分割结果后，可以将每个分割模型对应的预分割结果进行融合处理，以得到脑部核磁共振图像对应的最终的分割结果。
即对每个分割模型输出的预分割结果进行融合后，输出的待处理医学图像的分割结果中，可以包括至少一个脑瘤病灶区域的坐标位置信息，或可视化的图像信息，以表征待处理医学图像的至少一个目标区域的所在位置。
例如，实际输出的分割结果中可以包括可视化的图像，且在图像中采用线条的方式标记脑瘤病灶区域的轮廓，即实现对待处理医学图像的分割。
即对应的分割结果具体可以包括脑瘤病灶区在脑部MRI图像中的所在位置信息，如输出可视化的分割结果为表示脑部MRI图像中分割出脑瘤病灶区。
进一步，在一些实施例中，分割结果中还可以包括每个区域对应的脑瘤类型。例如，还可以输出：浮肿区(Edema，ED)、坏疽(Non-enhancing tumor，NET)、增强肿瘤核心(Enhancing tumour，ET)的标签信息。
可以理解，实际中，在获得上述的分割结果，即三种互不重合的肿瘤区域后，计算出肿瘤核心及全肿瘤的区域，即：肿瘤核心(Tumor core，TC)、全肿瘤(Whole tumor，WT)，其中TC＝ET+NET，WT＝ED+ET+NET。
进一步地，本发明的一些实施例中，为了提升改进后的神经网络模型的稳定性，提高模型的参数量和表示能力，以更好地捕捉输入数据中的细节信息，最终提高图像分割的准确性，还可以对网络模型中的滤波器数量，即卷积层的参数进行调整，使得处理数据量被最大化。
具体实现时，一些实施例中，可以将编码器中下一卷积层滤波器的数量设置为上一卷积层的滤波器数量的2倍。
例如，在数据量增加的情况下，原始的nnU-Net特征上限为320容易导致大量细节信息被丢失，而增加最大滤波器数量到512可以帮助模型更好地保留这些信息，从而提高模型的性能。
可以理解，本身实施例中的主干网络模型，即nnU-Net网络模型，其具有2D和3D U-Net模型，以及级联3D U-Net模型。2D U-Net是在每个图像切片上独立地进行分割的，而3DU-Net利用整个体积的3D上下文进行分割。因此，2D U-Net可以更好地处理细长结构和平面结构，而3D U-Net更适合处理类似于球体和器官的三维结构。级联3D U-Net利用多个U-Net模型的输出进行级联，以更好地处理具有多个分割层次的图像。
则对应地，本发明的一些实施例中，为了提高医学图像的处理精度，扩展模型的应用场景以处理各种形态图像，所构建的多个模型可以包括一个二维神经网络模型、一个三维神经网络模型和/或两个级联的三维神经网络模型。
具体地，本发明实施例中，所提供的改进的神经网络模型，可以包括单独训练的多个分割模型，如一个二维神经网络模型(即2D TransU-Net)、一个三维神经网络模型(即3DTransU-Net)和/或两个三维神经网络级联模型(即3DTransU-Net级联模型)。
其中，2D TransU-Net为普通的TransU-Net；3D TransU-Net可以对一整张图片像素进行操作；3D TransU-Net级联模型的第一个网络对下采样图片进行操作，得到低分辨率的图像分割结果，而第二个网络对前一个网络产生的结果在整个图片的像素上进行调整，得到进一步补充细化的结果。在两个3DTransU-Net级联模型的训练过程中采用填充卷积来实现相同的图像输出和图像输入形状，激活函数可以采用Leaky ReLU。
例如，对于需要处理细长结构的任务，可以使用2D TransU-Net；对于需要处理三维结构的任务，可以使用3D TransU-Net；对于需要处理多层分割的任务，可以使用级联3DTransU-Net。
则本发明实施例的改进神经网络结构，在脑部核磁共振图像的场景下，考虑到MRI成像的立体性，对于单个模型，3D TransU-Net更适用于对脑部MRI图像中的脑瘤区域进行分割，2D TransU-Net和3D TransU-Net级联模型主要在模型集成时做出贡献。
可以理解，所构建的神经网络模型中，具体包括的分割模型，可以根据实际需求进行灵活选择，本发明实施例对此不限制。
进一步，在此基础上，即在S140中，对于多个模型的预分割结果的融合，可以通过投票机制融合来自多个模型的预分割结果，得到最终的分割结果，从而使分割结果能够准确的反应待处理医学图像中的目标区域的位置情况。
即首先可以确定每个分割模型输出的标签值，该标签值即对医学图像中各区域像素点的赋值，以表示各区域为背景或病灶区。标签值可以为任意字符信息，如“0”可以表示为背景色，而其他不同的字符可以表示不同的肿瘤类型。在得到每个预分割结果中的标签值后，进而可以将所有的标签值进行统计集成，以得到最终的分割结果。
本发明实施例提供的通过多个分割模型进行集中处理的方法，由于在数据集有一定噪声或干扰的情况下，单个分割模型的结果可能会出现较大波动。通过集成多个模型的结果可以降低波动性，从而增强整个神经网络模型的鲁棒性，降低每个模型的偏差和方差，最终提高整体模型的准确率。
可以理解，本发明实施例中，在将获取的待处理医学图像输入至构建的神经网络模型进行目标区域的识别分割前，还可以通过样本数据进行神经网络模型的训练构建，即本发明实施例的方法，还包括：
S01，获取图像样本数据集，该图像样本数据集中包括训练集合测试集。
S02，对图像样本数据集中的图像进行预处理。
S03，基于嵌入该自注意力机制模块的nnU-Net神经网络结构，对该样本数据集进行训练，构建多个分割模型，该自注意力机制模块用于计算该待处理医学图像中特征的权重表示，该权重表示用于表征该特征在该待处理医学图像中的重要程度。
具体地，获取图像样本数据集后，如以脑部核磁共振图像数据为样本数据，可以采用五折交叉验证法在样本数据中确定训练集和测试集。进而通过搭建的神经网络模型，即以nnU-Net为主干结构，且嵌入有自注意力机制模块的模型，对训练集进行训练，来分别构建上述的2D TransU-Net，3D TransU-Net和两个3D TransU-Net级联分割模型。
可以理解，上述的多个分割模型可以进行彼此独立的配置、设计与训练。
可选地，在本发明的一些实施例中，对于上述的改进神经网络模型，损失函数的计算，可以考虑两种损失，分别为二元交叉熵损失(BCE)和骰子损失(Dice)，将总体损失表达为：
Loss＝L_BCE+L_Dice
进一步，关于评估指标，采用骰子相似性系数(DCS)，具体公式如下：
DSC＝2|X∩Y|/(|X|+|Y|)
在语义分割任务中，X表示真实掩码图像，Y表示算法分割图像，|X∩Y|则表示真实掩码图像和算法分割图像交集的像素点个数；|X|+|Y|表示真实掩码图像和算法分割图像总像素点的个数。
通过上述公式，当算法分割图像越接近真实掩码图像时，DSC值越接近1。根据公式分别计算上述ET、TC和WT的骰子相似性系数来评估分割结果。
进一步，为了更好地理解本发明实施例提供的图像分割方法，下面以MRI成像技术中获取的脑部形态图像中的脑质瘤的分割为例，即脑部形态图像中的脑质瘤对应区域为目标区域，进行详细阐述。
该实例中，可以选择作为一种示例，为了验证本实施方法对脑胶质瘤分割的有效性，本实施例选取BraTS 2021数据集，对其进行数据预处理，利用五折交叉验证策略划分了训练集与内部验证集，利用训练集进行训练。损失函数采用DICE损失和BCE损失，将每个epoch设置为250个batch，对于3D UNet和UNet级联的第一阶段，每个样本单独计算DICEloss，然后在一个batch上做平均，对于其他网络，计算整个batch的DICE loss，选取Adam优化器，学习率3×10-4，学习率调整策略为计算训练集和验证集的指数移动平均loss，如果训练集的指数移动平均loss在30个epoch内减少不够5×10-3，则学习率衰减5倍，当验证集指数移动平均loss在60个epoch内减少不够5×10-3，或者学习率小于1×10-6，则停止训练，获得相应的训练模型，即分割模型。
将四种模态的脑部核磁共振图像输入到训练好的多个分割模型，包括2DTransU-Net，3D TransU-Net和两个3D TransU-Net级联模型，采用滑动窗口法对测试集中的测试图像进行模型预测，得到多个脑瘤分割结果，利用投票机制集成来自多个模型的预测结果，得到最终的脑胶质瘤分割结果。
实验结果如图10所示，选取了解剖学中的水平面显示，其中，第一至四列分别是：FLAIR模态图像，T1模态图像，T1ce模态图像和T2模态图像，第五列为地面真实标签，第六列为本实例的分割结果，第七列为分割结果的可视化。(a)-(c)分别为：BraTS2021_00003的第90张切片，BraTS2021_00108的第70张切片，BraTS2021_01458的第77张切片。
由图10所示，本实施例所建立的基于改进nnU-Net的多模态特征融合的脑瘤MRI图像分割方法可以有效地对不同区域的脑肿瘤区域进行分割并取得优秀的分割指标，分割的图像也更接近于地面真实标签值。这表明本实施例建立的基于改进nnU-Net的多模态特征融合的脑瘤MRI图像分割方法对脑瘤MRI图像的不同区域分割提供了精准的实现方法，具有一定的实用性。
可以理解，本发明实施例中，通过构建改进的神经网络结构模型，即构建以nnU-Net为主干结构，并在其中嵌入有自注意力机制模块的多个分割模型，使得在实际使用时，即对多模态的待处理医学图像进行目标区域的识别分割处理时，将获取的待处理医学图像预处理后，输入至本发明实施例提供的多个改进的神经网络结构模型中，以在识别分割待处理医学图像中的目标区域的过程中，能够利用嵌入的自注意力机制模块计算待处理医学图像中的各个特征的权重，并通过特征的加权和对特征进行新表示，使得神经网络能够根据特征的加权和对待处理医学图像的特征之间的全局关系进行学习，进而能够从整体上抓取待处理医学图像中目标区域及其他区域中特征的关联关系，进而对待处理医学图像中的目标区域进行准确定位，并准确的输出表示待处理医学图像中的目标区域所在位置的分割结果，实现待处理医学图像的高精度分割，提升了神经网络识别模型的稳定性及可靠性。
还可以理解，对于上述的待处理医学图像的实际处理，或者模型构建过程，即S120，及S02中，对获取的待处理医学图像的预处理，具体可以包括前期的数据增广处理，以及增广处理后的图像裁剪、重采样和/或标准化。
具体地，图像裁剪，将三维的医学图像裁剪到非零区域。该操作对数据集中的图像和标签都要进行。首先根据四维的图像数据生成三维的非零模板(nonzero mask)，标示图像中哪些区域是非零的，整个四维图像的非零模板为各个模态非零模板的并集；然后根据生成的非零模板，确定用于裁剪的边界框(bounding box)大小和位置；最后根据boundingbox对该张图像的每个模态依次进行裁剪，然后重新组合在一起。脑部MRI图像数据集中外围背景相对较多，图像裁剪可以减小图像尺寸，避免无用计算，提高计算效率。
重采样，目的是解决在一些三维医学图像数据集中，不同的图像中单个体素所代表的实际空间大小(spacing)不一致的问题。重采样首先要确定目标空间的大小，在大多数时候使用数据集各个图像不同spacing的中值，
但是在各向异性的数据集中，取数据集10％分位点的spacing值作为spacing最大坐标的目标空间大小；对于各向异性，判断标准是，中值spacing中三个维度，是否有一个维度spacing大于另一个维度spacing的3倍，并且，该维度的中值尺寸小于另一个维度中值尺寸的1/3。接下来，由于每张图像,spacing和shape之间的乘积为一个定值，可以根据目标空间的大小确定每张图像的目标尺寸。最后，调用skimage库中的resize函数对每张图像调整尺寸大小即可,根据图像是否存在各向异性进行不同的resize策略。如果不存在各向异性，对整个三维图像进行3阶spline插值即可。如果图像存在各向异性，设spacing大的维度为z轴，则仅在图像的xy平面进行3阶spline插值，而在z轴采用最近邻插值。而对于分割的标注图像，无论各向异性与否，在三个维度上都采用最近邻插值。
标准化，每张三维图像只利用自身均值和标准差进行z-scoring归一化。如果在数据裁剪阶段图像大小减小了1/4及以上，将仅在裁剪环节的非零区域进行归一化处理。标准化使得数据集中的每张图像的灰度值都能具有相同的分布，避免某些异常样本对于训练模型产生负面的影响。
可以理解，上述的各个预处理方式，实际中可以依次执行，也可以选择性的执行，本发明实施例对具体方式以及执行的先后顺序不做限制。
可选地，一些实施例中，在模型的训练及使用过程中，可以采用区块链进行各个节点的数据存储。
可以理解，区块链(Blockchain)是分布式数据存储、点对点传输、共识机制等计算机技术的新型应用方式。区块链本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批网络交易的信息，用于验证其信息的有效性和生成下一个区块。本实施例中将交叉验证中所获得的相关数据信息和生成的脑瘤分割模型保存在区块链网络中，提高了数据处理的速度，便于对目标模型和数据进行快速查询与提取。
另一方面，如图11，本发明实施例还提供一种图像分割装置200，包括：
第一获取模块210，用于获取待处理医学图像；
预处理模块220，用于对获取的该待处理医学图像进行预处理；
分割模块230，用于将预处理后的该待处理医学图像输入到构建的至少一个分割模型中，得到每个该分割模型对应的预分割结果，每个该分割模型基于nnU-Net构建，且每个该分割模型中嵌入有至少一层自注意力机制模块，该自注意力机制模块用于计算该待处理医学图像中特征的权重表示，该权重表示用于表征该特征在该待处理医学图像中的重要程度该；
融合模块240，用于对每个该分割模型对应的该预分割结果进行融合，得到该待处理医学图像的分割结果，该分割结果用于表征该待处理医学图像中包括的至少一个目标区域在该待处理医学图像中的位置。
可选地，本发明实施例提供的图像分割装置，每个该识别模型包括编码器、解码器及瓶颈层，该瓶颈层用于连通该编码器及该解码器，该编码器包括多个卷积层，该自注意力机制模块嵌入在瓶颈层和/或编码器的卷积层中。
可选地，本发明实施例提供的图像分割装置，该待处理医学图像为多模态的脑部核磁共振图像，该目标区域为脑瘤区域，该分割结果表示该脑瘤区域在该脑部核磁共振图像中的位置。
可选地，本发明实施例提供的图像分割装置，当该自注意力机制模块嵌入该瓶颈层中时，分割模块具体用于：
将预处理后的该脑部核磁共振图像输入到编码器中的多个卷积层中进行下采样操作，并在最底层的卷积层中输出该脑部核磁共振图像的切片序列；
将该切片序列输入到该瓶颈层中的该自注意力机制模块中，计算该脑部核磁共振图像中各特征的权重表示，且以多通道的方式输出；
将该自注意力机制模块的多通道输出结果通过瓶颈层中，输入编至码器中的多个反卷积层中进行上采样操作，输出该预分割结果。
可选地，本发明实施例提供的图像分割装置，当该自注意力机制模块嵌入在编码器中的卷积层中时，该分割模块具体用于：
将第一卷积层输出的该脑部核磁共振图像的切片序列输入到第二卷积层中嵌入的该自注意力机制模块中，计算该脑部核磁共振图像中各特征的权重表示，且以多通道的方式输出；
将该自注意力机制模块的多通道输出结果输入到该第二卷积层，并将该第二卷积层的输出输入到第三卷积层的自注意力机制摸，直至最底层的卷积层输出该脑部核磁共振图像的下采样结果；其中，该第一卷积层为编码器中的最上层卷积层，该第二卷积层为与该第一卷积层相邻的下一卷积层，该第三卷积层为与该第二卷积层相邻的下一卷积层；
将该下采样结果输入瓶颈层以及编码器进行上采样，输出该预分割结果。
可选地，本发明实施例提供的图像分割装置，分割模块具体用于：
对输入的该脑部核磁共振图像的切片序列，进行归一化操作；
对归一化处理后的该切片序列进行线性变换，得到变换矩阵，并计算该变换矩阵中各行之间的相似度，作为该脑部核磁共振图像各特征的权重，该脑部核磁共振图像的特征包括像素亮度、区域轮廓和/或区域位置；
对该权重进行加权，得到该脑部核磁共振图像特征的加权和；
对该加权与输入的该切片序列进行残差连接，得到多通道输出，并对该多通道输出进行归一化处理；
将归一化处理后的多通道输出进行强化处理，得到该脑部核磁共振图像中特征的该权重表示。
可选地，本发明实施例提供的图像分割装置，该分割模型包括一个二维神经网络模型、一个三维神经网络模型及两个三维神经网络级联模型。
可选地，本发明实施例提供的图像分割装置，该分割结果还包括至少一个脑瘤区域对应的脑瘤类型，该脑瘤类型包括浮肿区、坏疽和/或增强肿瘤核心。
可选地，本发明实施例提供的图像分割装置，该编码器中下一卷积层滤波器的数量为上一卷积层的滤波器数量的2倍。
另一方面，本发明实施例还提供一种图像分割模型构建装置，该图像分割模型构建装置包括：
第二获取模块，用于获取样本数据集，该样本数据集包括医学图像数据；
构建模块，用于基于嵌入该自注意力机制模块的nnU-Net神经网络结构，对该样本数据集进行训练，构建多个该分割模型，该自注意力机制模块用于计算该待处理医学图像中特征的权重表示，该权重表示用于表征该特征在该待处理医学图像中的重要程度。
另一方面，本发明实施例提供的计算机设备，该终端设备还包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行该程序时实现如上所述的图像方法。
下面参考图12，图12为本发明实施例的计算机设备的结构示意图。
如图12所示，电子设备包括中央处理单元(CPU)301，其可以根据存储在只读存储器(ROM)302中的程序或者从存储部分308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有电子设备300操作所需的各种程序和数据。CPU 301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。在一些实施例中，以下部件连接至I/O接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分307；包括硬盘等的存储部分308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储部分308。特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在机器可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分309从网络上被下载和安装，和/或从可拆卸介质311被安装。在该计算机程序被中央处理单元(CPU)301执行时，执行本发明的电子设备中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的电子设备、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行电子设备、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行电子设备、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的电子设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的电子设备来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器，包括：第一获取模块、预处理模块、分割模块及融合模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，分割模块还可以被描述为“用于将预处理后的待处理医学图像输入到构建的至少一个分割模型中，得到每个分割模型对应的预分割结果，每个分割模型基于nnU-Net构建，且每个分割模型中嵌入有至少一层自注意力机制模块，自注意力机制模块用于计算待处理医学图像中特征的权重表示，权重表示用于表征特征在待处理医学图像中的重要程度”。
作为另一方面，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中的。上述计算机可读存储介质存储有一个或者多个计算机程序，当上述计算机程序被一个或者一个以上的处理器用来执行描述本发明上述实施例提供的图像分割方法；或用来执行描述于本发明上述实施例提供的图像分割模型构建方法。
综上所述，本发明提供的图像分割方法、图像分割模型构建方法、装置及介质，利用嵌入的自注意力机制模块计算待处理医学图像中的各个特征的权重表示，进而提供至神经网络模型中的主干结构，使得其能够根据权重表示，实现对待处理医学图像的特征之间的全局学习，进而实现待处理医学图像的高精度分割，最终提升神经网络识别模型的稳定性及可靠性。
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种图像分割方法，其特征在于，所述图像分割方法包括：
获取待处理医学图像；
对获取的所述待处理医学图像进行预处理；
将预处理后的所述待处理医学图像输入到构建的至少一个分割模型中，得到每个所述分割模型对应的预分割结果，每个所述分割模型基于nnU-Net构建，且每个所述分割模型中嵌入有自注意力机制模块，所述自注意力机制模块用于计算所述待处理医学图像中特征的权重表示，所述权重表示用于表征所述特征在所述待处理医学图像中的重要程度；
对每个所述分割模型对应的所述预分割结果进行融合，得到所述待处理医学图像的分割结果，所述分割结果用于表征所述待处理医学图像中包括的至少一个目标区域在所述待处理医学图像中的位置。
2.根据权利要求1所述的图像分割方法，其特征在于，每个所述分割模型包括编码器、解码器及瓶颈层，所述瓶颈层用于连通所述编码器及所述解码器，所述编码器包括多个卷积层，所述自注意力机制模块嵌入在所述瓶颈层和/或所述编码器中的所述卷积层中。
3.根据权利要求2所述的图像分割方法，其特征在于，所述待处理医学图像为脑部核磁共振图像，所述目标区域为脑瘤区域，所述分割结果表示所述脑瘤区域在所述脑部核磁共振图像中的位置，所述分割结果还包括至少一个脑瘤区域对应的脑瘤类型，所述脑瘤类型包括浮肿区、坏疽和/或增强肿瘤核心。
4.根据权利要求3所述的图像分割方法，其特征在于，当所述自注意力机制模块嵌入在所述瓶颈层中时，所述将预处理后的所述待处理医学图像输入到构建的至少一个分割模型中，得到每个所述分割模型对应的预分割结果包括：
将预处理后的所述脑部核磁共振图像输入到所述编码器中的多个卷积层中进行下采样操作，并在最底层的卷积层中输出所述脑部核磁共振图像的切片序列；
将所述切片序列输入到所述瓶颈层中的所述自注意力机制模块中，计算所述脑部核磁共振图像中各特征的权重表示，且以多通道的方式输出，所述脑部核磁共振图像的特征包括像素亮度、区域形状和/或区域位置；
将所述自注意力机制模块的多通道输出结果通过所述瓶颈层中，输入至所述编码器中的多个反卷积层中进行上采样操作，输出所述预分割结果。
5.根据权利要求3所述的图像分割方法，其特征在于，当所述自注意力机制模块嵌入在编码器中的卷积层中时，所述将预处理后的所述待处理医学图像输入到构建的至少一个分割模型中，得到每个所述分割模型对应的预分割结果包括：
将第一卷积层输出的所述脑部核磁共振图像的切片序列输入到第二卷积层中嵌入的所述自注意力机制模块中，计算所述脑部核磁共振图像中各特征的权重表示，且以多通道的方式输出，所述脑部核磁共振图像的特征包括像素亮度、区域形状和/或区域位置；
将所述自注意力机制模块的多通道输出结果输入到所述第二卷积层，并将所述第二卷积层的输出输入到第三卷积层的自注意力机制摸，直至最底层的卷积层输出所述脑部核磁共振图像的下采样结果；其中，所述第一卷积层为所述编码器中的最上层卷积层，所述第二卷积层为与所述第一卷积层相邻的下一卷积层，所述第三卷积层为与所述第二卷积层相邻的下一卷积层；
将所述下采样结果输入所述瓶颈层以及所述编码器进行上采样操作，输出所述预分割结果。
6.根据权利要求4或5所述的图像分割方法，其特征在于，所述计算所述脑部核磁共振图像中各特征的权重表示包括：
对输入的所述脑部核磁共振图像的切片序列，进行归一化操作；
对归一化处理后的所述切片序列进行线性变换，得到变换矩阵，并计算所述变换矩阵中各行之间的相似度，作为所述脑部核磁共振图像中各特征的权重；
对所述权重进行加权，得到所述脑部核磁共振图像特征的加权和；
对所述加权与输入的所述切片序列进行残差连接，得到多通道输出，并对所述多通道输出进行归一化处理；
将归一化处理后的多通道输出进行特征强化处理，得到所述脑部核磁共振图像中各特征的所述权重表示。
7.根据权利要求1-5任一项所述的图像分割方法，其特征在于，所述编码器中下一卷积层滤波器的数量为上一卷积层的滤波器数量的2倍。
8.一种图像分割模型构建方法，其特征在于，用于构建分割模型，所述分割模型用于如权利要求1-7任一项所述的图像分割，所述图像分割模型构建方法包括：
获取样本数据集，所述样本数据集包括医学图像；
基于嵌入自注意力机制模块的nnU-Net神经网络结构，对所述样本数据集进行训练，构建多个所述分割模型，所述自注意力机制模块用于计算所述医学图像中特征的权重表示，所述权重表示用于表征所述特征在所述待处理医学图像中的重要程度。
9.一种图像分割装置，其特征在于，所述图像分割装置包括：
获取模块，用于获取待处理医学图像；
预处理模块，用于对获取的所述待处理医学图像进行预处理；
分割模块，用于将预处理后的所述待处理医学图像输入到构建的至少一个分割模型中，得到每个所述分割模型对应的预分割结果，每个所述分割模型基于nnU-Net构建，且每个所述分割模型中嵌入有自注意力机制模块，所述自注意力机制模块用于计算所述待处理医学图像中特征的权重表示，所述权重表示用于表征所述特征在所述待处理医学图像中的重要程度；
融合模块，用于对每个所述分割模型对应的所述预分割结果进行融合，得到所述待处理医学图像的分割结果，所述分割结果用于表征所述待处理医学图像中包括的至少一个目标区域在所述待处理医学图像中的位置。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序用于实现如权利要求1-8任一项所述的方法。
CN202310368554.6A 2023-04-07 2023-04-07 图像分割方法、图像分割模型构建方法、装置及介质 Pending CN116596846A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310368554.6A CN116596846A (zh) 2023-04-07 2023-04-07 图像分割方法、图像分割模型构建方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310368554.6A CN116596846A (zh) 2023-04-07 2023-04-07 图像分割方法、图像分割模型构建方法、装置及介质

Publications (1)

Publication Number Publication Date
CN116596846A true CN116596846A (zh) 2023-08-15

Family

ID=87594476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310368554.6A Pending CN116596846A (zh) 2023-04-07 2023-04-07 图像分割方法、图像分割模型构建方法、装置及介质

Country Status (1)

Country Link
CN (1) CN116596846A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758100A (zh) * 2023-08-17 2023-09-15 神州医疗科技股份有限公司 一种3d医学图像分割系统及方法
CN117152181A (zh) * 2023-10-31 2023-12-01 北京智源人工智能研究院 肿瘤图像分割方法、装置、电子设备和可读存储介质
CN117635952A (zh) * 2024-01-25 2024-03-01 英瑞云医疗科技(烟台)有限公司 一种多模态脑瘤图像分割方法
CN117876370A (zh) * 2024-03-11 2024-04-12 南京信息工程大学 基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统
CN117876370B (zh) * 2024-03-11 2024-06-07 南京信息工程大学 基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758100A (zh) * 2023-08-17 2023-09-15 神州医疗科技股份有限公司 一种3d医学图像分割系统及方法
CN117152181A (zh) * 2023-10-31 2023-12-01 北京智源人工智能研究院 肿瘤图像分割方法、装置、电子设备和可读存储介质
CN117152181B (zh) * 2023-10-31 2024-02-20 北京智源人工智能研究院 肿瘤图像分割方法、装置、电子设备和可读存储介质
CN117635952A (zh) * 2024-01-25 2024-03-01 英瑞云医疗科技(烟台)有限公司 一种多模态脑瘤图像分割方法
CN117876370A (zh) * 2024-03-11 2024-04-12 南京信息工程大学 基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统
CN117876370B (zh) * 2024-03-11 2024-06-07 南京信息工程大学 基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统

Similar Documents

Publication Publication Date Title
Yang et al. Underwater image enhancement based on conditional generative adversarial network
CN111612754B (zh) 基于多模态图像融合的mri肿瘤优化分割方法及系统
CN116596846A (zh) 图像分割方法、图像分割模型构建方法、装置及介质
Chan et al. Texture-map-based branch-collaborative network for oral cancer detection
WO2022001237A1 (zh) 鼻咽癌原发肿瘤图像自动识别方法及系统
CN111932529B (zh) 一种图像分类分割方法、装置及系统
CN112288011A (zh) 一种基于自注意力深度神经网络的图像匹配方法
CN114494296A (zh) 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
CN110648331A (zh) 用于医学图像分割的检测方法、医学图像分割方法及装置
Li et al. DFENet: A dual-branch feature enhanced network integrating transformers and convolutional feature learning for multimodal medical image fusion
Wu et al. FW-GAN: Underwater image enhancement using generative adversarial network with multi-scale fusion
CN114972378A (zh) 一种基于掩码注意力机制的脑肿瘤mri图像分割方法
CN112132878A (zh) 基于卷积神经网络的端到端大脑核磁共振图像配准方法
Ali et al. Multi-level kronecker convolutional neural network (ml-kcnn) for glioma segmentation from multi-modal mri volumetric data
Ramadan et al. DGCU–Net: A new dual gradient-color deep convolutional neural network for efficient skin lesion segmentation
Gao A method for face image inpainting based on generative adversarial networks
WO2024104035A1 (zh) 基于长短期记忆自注意力模型的三维医学图像分割方法及系统
Zhang et al. Deep joint neural model for single image haze removal and color correction
Wang et al. An efficient swin transformer-based method for underwater image enhancement
CN117649385A (zh) 一种基于全局和局部注意力机制的肺部ct图像分割方法
CN116883303A (zh) 基于特征差分补偿与融合的红外与可见光图像融合方法
CN116563189A (zh) 一种基于深度学习的医学图像跨对比度合成方法及系统
CN116580198A (zh) 基于跨尺度交互式融合Transformer模型的医学图像实例分割方法
Bai et al. SL-HarDNet: Skin lesion segmentation with HarDNet

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination