CN115147606A - 医学图像的分割方法、装置、计算机设备和存储介质 - Google Patents

医学图像的分割方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN115147606A
CN115147606A CN202210914575.9A CN202210914575A CN115147606A CN 115147606 A CN115147606 A CN 115147606A CN 202210914575 A CN202210914575 A CN 202210914575A CN 115147606 A CN115147606 A CN 115147606A
Authority
CN
China
Prior art keywords
feature
feature map
module
aggregation
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210914575.9A
Other languages
English (en)
Other versions
CN115147606B (zh
Inventor
梅立锋
吕孟叶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Technology University
Original Assignee
Shenzhen Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Technology University filed Critical Shenzhen Technology University
Priority to CN202210914575.9A priority Critical patent/CN115147606B/zh
Publication of CN115147606A publication Critical patent/CN115147606A/zh
Application granted granted Critical
Publication of CN115147606B publication Critical patent/CN115147606B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种医学图像的分割方法、装置、计算机设备和存储介质。所述方法包括：将三维医学图像输入至分割模型；所述分割模型包括编码器和解码器；通过所述编码器中的各特征提取模块对所述三维医学图像进行特征提取，得到不同尺寸的特征图；通过所述解码器中的特征融合模块对相应尺寸的特征图进行上采样处理和聚合处理，得到第一聚合特征图；对所述第一聚合特征图中的各像素进行分类，得到各所述像素的分类结果；依据所述分类结果为目标类别的像素对所述三维医学图像进行分割。采用本方法能够提升医学图像分割的精度和效率。

Description

医学图像的分割方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理领域，特别是涉及一种医学图像的分割方法、装置、计算机设备和存储介质。
背景技术
随着医学的发展，对磁共振图像(Magnetic Resonance Imaging，MRI)中的病变进行分割有了更高的要求，在临床判断之中，医学图像的分割普遍是医生依据自身经验以手工实现，要求医生拥有丰富的临床知识，由此，不可避免的存在以下问题：(1)因为医学图像数据量大，医生的手工分割效率低。(2)手工分割的结果大部分是无法重复的，相同的医生多次分割的结果可能有所差别，分割不精确。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提升医学图像的分割精度和效率的医学图像的分割方法、装置、计算机设备和计算机可读存储介质。
第一方面，本申请提供了一种医学图像的分割方法。所述方法包括：
将三维医学图像输入至分割模型；所述分割模型包括编码器和解码器；
通过所述编码器中的各特征提取模块对所述三维医学图像进行特征提取，得到不同尺寸的特征图；
通过所述解码器中的特征融合模块对相应尺寸的特征图进行上采样处理和聚合处理，得到第一聚合特征图；
对所述第一聚合特征图中的各像素进行分类，得到各所述像素的分类结果；
依据所述分类结果为目标类别的像素对所述三维医学图像进行分割。
在其中一个实施例中，所述编码器中的特征提取模块包括第一特征提取模块、第二特征提取模块、第三特征提取模块和第四特征提取模块；所述通过所述编码器中的各特征提取模块对所述三维医学图像进行特征提取，得到不同尺寸的特征图包括：
通过所述第一特征提取模块，从所述三维医学图像中提取第一尺寸的特征图；
在基于所述第一特征提取模块对所述第一尺寸的特征图进行三维医学图像融合后，通过所述第二特征提取模块，从融合后的特征图中提取第二尺寸的特征图；
在基于所述第二特征提取模块对所述第二尺寸的特征图进行三维医学图像融合后，通过所述第三特征提取模块，从融合后的特征图中提取第三尺寸的特征图；
在基于所述第三特征提取模块对所述第三尺寸的特征图进行三维医学图像融合后，通过所述第四特征提取模块，从融合后的特征图中提取第四尺寸的特征图。
在其中一个实施例中，所述通过所述第一特征提取模块，从所述三维医学图像中提取第一尺寸的特征图之前，所述方法包括：
通过所述编码器的图像块嵌入层对所述三维医学图像进行图像嵌入处理，得到嵌入图；
所述通过所述第一特征提取模块，从所述三维医学图像中提取第一尺寸的特征图包括：
通过所述第一特征提取模块中的动态位置嵌入层将所述嵌入图进行动态位置嵌入，得到第一动态特征图；
通过所述第一特征提取模块中的多头相关性聚合层对所述第一动态特征图进行局部聚合处理，得到第二聚合特征图；
将所述第二聚合特征图输入所述第一特征提取模块中的前馈网络层进行图像块表征，得到第一尺寸的特征图。
在其中一个实施例中，所述解码器中的特征融合模块包括第一特征融合模块、第二特征融合模块、第三特征融合模块和第四特征融合模块；所述通过所述解码器中的特征融合模块对相应尺寸的特征图进行上采样处理和聚合处理包括：
通过所述第一特征融合模块对所述第四尺寸的特征图进行全局聚合处理后，通过所述第二特征融合模块对全局聚合后的特征图进行上采样处理，得到第一展开特征图；
在基于所述第二特征融合模块对所述第一展开特征图进行全局聚合处理后，通过所述第三特征融合模块，对全局聚合后的特征图进行上采样处理，得到第二展开特征图；
在基于所述第三特征融合模块对所述第二展开特征图进行局部聚合处理后，通过所述第四特征融合模块，对局部聚合后的特征图进行上采样处理，得到第三展开特征图；
基于所述第四特征融合模块对所述第三展开特征图进行局部聚合处理。
在其中一个实施例中，所述第二特征融合模块包括第二聚合模块；所述基于所述第二特征融合模块对所述第一展开特征图进行全局聚合处理包括：
通过所述第二聚合模块对所述第三尺寸的特征图进行位置编码处理和归一化处理，以及所述第一展开特征图进行位置编码处理和归一化处理，得到第三尺寸的预处理特征图和预处理的第一展开特征图；
将所述第三尺寸的预处理特征图输入所述第二聚合模块中的第一全连接层，以得到查询特征图；
将所述预处理的第一展开特征图输入所述第二聚合模块中的第二全连接层，以得到关键特征图和值特征图；
对所述查询特征图、所述关键特征图和所述值特征图进行全局聚合处理。
在其中一个实施例中，所述第三特征融合模块包括第三聚合模块；所述第四特征融合模块包括第四聚合模块；所述基于所述第三特征融合模块对所述第二展开特征图进行局部聚合处理包括：
通过所述第三聚合模块，对所述第二尺寸的特征图和所述第二展开特征图进行局部聚合处理；
所述基于所述第四特征融合模块对所述第三展开特征图进行局部聚合处理包括：
通过所述第四聚合模块，对所述第一尺寸的特征图和所述第三展开特征图进行局部聚合处理。
第二方面，本申请还提供了一种医学图像的分割装置。所述装置包括：
输入模块，用于将三维医学图像输入至分割模型；所述分割模型包括编码器和解码器；
特征提取模块，用于通过所述编码器中的各特征提取模块对所述三维医学图像进行特征提取，得到不同尺寸的特征图；
上采样与聚合模块，用于通过所述解码器中的特征融合模块对相应尺寸的特征图进行上采样处理和聚合处理，得到第一聚合特征图；
分类模块，用于对所述第一聚合特征图中的各像素进行分类，得到各所述像素的分类结果；
分割模块，用于依据所述分类结果为目标类别的像素对所述三维医学图像进行分割。
在其中一个实施例中，所述编码器中的特征提取模块包括第一特征提取模块、第二特征提取模块、第三特征提取模块和第四特征提取模块；所述特征提取模块还用于通过所述第一特征提取模块，从所述三维医学图像中提取第一尺寸的特征图；在基于所述第一特征提取模块对所述第一尺寸的特征图进行三维医学图像融合后，通过所述第二特征提取模块，从融合后的特征图中提取第二尺寸的特征图；在基于所述第二特征提取模块对所述第二尺寸的特征图进行三维医学图像融合后，通过所述第三特征提取模块，从融合后的特征图中提取第三尺寸的特征图；在基于所述第三特征提取模块对所述第三尺寸的特征图进行三维医学图像融合后，通过所述第四特征提取模块，从融合后的特征图中提取第四尺寸的特征图。
在其中一个实施例中，所述通过所述第一特征提取模块，从所述三维医学图像中提取第一尺寸的特征图之前，所述特征提取模块还用于通过所述编码器的图像块嵌入层对所述三维医学图像进行图像嵌入处理，得到嵌入图；所述特征提取模块还用于通过所述第一特征提取模块中的动态位置嵌入层将所述嵌入图进行动态位置嵌入，得到第一动态特征图；通过所述第一特征提取模块中的多头相关性聚合层对所述第一动态特征图进行局部聚合处理，得到第二聚合特征图；将所述第二聚合特征图输入所述第一特征提取模块中的前馈网络层进行图像块表征，得到第一尺寸的特征图。
在其中一个实施例中，所述解码器中的特征融合模块包括第一特征融合模块、第二特征融合模块、第三特征融合模块和第四特征融合模块；所述上采样与聚合模块还用于通过所述第一特征融合模块对所述第四尺寸的特征图进行全局聚合处理后，通过所述第二特征融合模块对全局聚合后的特征图进行上采样处理，得到第一展开特征图；在基于所述第二特征融合模块对所述第一展开特征图进行全局聚合处理后，通过所述第三特征融合模块，对全局聚合后的特征图进行上采样处理，得到第二展开特征图；在基于所述第三特征融合模块对所述第二展开特征图进行局部聚合处理后，通过所述第四特征融合模块，对局部聚合后的特征图进行上采样处理，得到第三展开特征图；基于所述第四特征融合模块对所述第三展开特征图进行局部聚合处理。
在其中一个实施例中，所述第二特征融合模块包括第二聚合模块；所述上采样与聚合模块还用于通过所述第二聚合模块对所述第三尺寸的特征图进行位置编码处理和归一化处理，以及所述第一展开特征图进行位置编码处理和归一化处理，得到第三尺寸的预处理特征图和预处理的第一展开特征图；将所述第三尺寸的预处理特征图输入所述第二聚合模块中的第一全连接层，以得到查询特征图；将所述预处理的第一展开特征图输入所述第二聚合模块中的第二全连接层，以得到关键特征图和值特征图；对所述查询特征图、所述关键特征图和所述值特征图进行全局聚合处理。
在其中一个实施例中，所述第三特征融合模块包括第三聚合模块；所述第四特征融合模块包括第四聚合模块；所述上采样与聚合模块还用于通过所述第三聚合模块，对所述第二尺寸的特征图和所述第二展开特征图进行局部聚合处理；所述上采样与聚合模块还用于通过所述第四聚合模块，对所述第一尺寸的特征图和所述第三展开特征图进行局部聚合处理。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
上述医学图像的分割方法、装置、计算机设备和存储介质，通过将三维医学图像输入至分割模型；分割模型包括编码器和解码器；通过编码器中的各特征提取模块对三维医学图像进行特征提取，得到不同尺寸的特征图；通过解码器中的特征融合模块对相应尺寸的特征图进行上采样处理和聚合处理，得到第一聚合特征图；对第一聚合特征图中的各像素进行分类，得到各像素的分类结果；依据分类结果为目标类别的像素对三维医学图像进行分割。实现了通过设计的分割模型自动化对医学图像进行分割，提升了分割图像的精确度和效率。
附图说明
图1为一个实施例中医学图像的分割方法的应用环境图；
图2为一个实施例中医学图像的分割方法的流程示意图；
图3为一个实施例中分割模型的结构示意图；
图4为一个实施例中预测的肿瘤分割的可视化结果；
图5为一个实施例中特征提取步骤的流程示意图；
图6为一个实施例中医学图像的分割装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的医学图像的分割方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。本申请可由终端102或服务器104执行，本实施例以终端102执行为例进行说明。
终端102将三维医学图像输入至分割模型；分割模型包括编码器和解码器；终端102通过编码器中的各特征提取模块对三维医学图像进行特征提取，得到不同尺寸的特征图；终端102通过解码器中的特征融合模块对相应尺寸的特征图进行上采样处理和聚合处理，得到第一聚合特征图；终端102对第一聚合特征图中的各像素进行分类，得到各像素的分类结果；终端102依据分类结果为目标类别的像素对三维医学图像进行分割。
其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种医学图像的分割方法，以该方法应用于图1中的终端102为例进行说明，包括以下步骤：
S202，将三维医学图像输入至分割模型；分割模型包括编码器和解码器。
其中，三维医学图像可以指多模态的磁共振图像。分割模型可以指用于对医学图像进行分割的图像。图3为一个实施例中分割模型的结构示意图；如图所示，编码器可为分割模型的左半部分，解码器可为分割模型的右半部分。编码器可以包括分割模型中图像块嵌入层和特征提取模块。特征提取模块包括第一特征提取模块、第二特征提取模块、第三特征提取模块和第四特征提取模块。第一特征提取模块包括两个局部相关性聚合模块和图像块融合模块；第二特征提取模块包括两个局部相关性聚合模块和图像块融合模块；第三特征提取模块包括两个全局相关性聚合模块和图像块融合模块；第四特征提取模块包括一个全局相关性聚合模块。解码器可以包括分割模型中的特征融合模块、图像块展开模块和分类层。特征融合模块包括第一特征融合模块、第二特征融合模块、第三特征融合模块和第四特征融合模块。第一特征融合模块包括全局相关性聚合模块；第二特征融合模块包括两个全局相关性聚合模块和图像块展开模块；第三特征融合模块包括两个局部相关性聚合模块和图像块展开模块；第四特征融合模块包括两个局部相关性聚合模块和图像块展开模块。
具体地，终端可响应于医学图像的分割指令，将用户上传的三维医学图像输入至分割模型；终端还可以将自身存储的三维医学图像输入至分割模型。
S204，通过编码器中的各特征提取模块对三维医学图像进行特征提取，得到不同尺寸的特征图。
其中，不同尺寸的特征图可以包括第一尺寸的特征图，第二尺寸的特征图，第三尺寸的特征图和第四尺寸的特征图。
具体地，终端通过编码器中的第一特征提取模块对三维医学图像进行特征提取，得到第一尺寸的特征图，通过编码器中的第一特征提取模块对三维医学图像进行特征提取，得到第一尺寸的特征图，通过编码器中的第二特征提取模块对第一尺寸的特征图进行特征提取，得到第二尺寸的特征图，通过编码器中的第三特征提取模块对第二尺寸的特征图进行特征提取，得到第三尺寸的特征图。
S206，通过解码器中的特征融合模块对相应尺寸的特征图进行上采样处理和聚合处理，得到第一聚合特征图。
其中，第一聚合特征图可以指相应尺寸的特征图经过特征融合模块的上采样处理和聚合处理后得到的特征图。
具体地，终端通过第一特征融合模块的全局相关性聚合模块对第四尺寸的特征图进行全局聚合处理后，通过第二特征融合模块中的图像块展开模块对全局聚合后的特征图进行上采样处理，得到第一展开特征图；在基于第二特征融合模块中的全局相关性聚合模块对第一展开特征图进行全局聚合处理后，通过第三特征融合模块中的图像块展开模块对全局聚合后的特征图进行上采样处理，得到第二展开特征图；在基于第三特征融合模块中的局部相关性聚合模块对第二展开特征图进行局部聚合处理后，通过第四特征融合模块中的图像块展开模块，对局部聚合后的特征图进行上采样处理，得到第三展开特征图；基于第四特征融合模块中的局部相关性聚合模块对第三展开特征图进行局部聚合处理。
其中，第一展开特征图可以指通过第二特征融合模块中的图像块展开模块对相应的特征图进行上采样处理后得到的特征图。第二展开特征图可以指通过第三特征融合模块中的图像块展开模块对相应的特征图进行上采样处理后得到的特征图。第三展开特征图可以指通过第四特征融合模块中的图像块展开模块对相应的特征图进行上采样处理后得到的特征图。
在一个实施例中，通过第二特征融合模块中的图像块展开模块对全局聚合后的特征图进行上采样处理，得到第一展开特征图包括通过第二特征融合模块中的图像块展开模块依据第一转置卷积对全局聚合后的特征图进行上采样处理，得到第一展开特征图。
其中，第一转置卷积、第二转置卷积和第三转置卷积是不同的转置卷积。
在一个实施例中，第二特征融合模块包括第二聚合模块；第二聚合模块可以为全局相关性聚合模块，基于第二特征融合模块对第一展开特征图进行全局聚合处理包括：终端通过第二聚合模块对第三尺寸的特征图进行位置编码处理和归一化处理，以及第一展开特征图进行位置编码处理和归一化处理，得到第三尺寸的预处理特征图和预处理的第一展开特征图；将第三尺寸的预处理特征图输入第二聚合模块中的第一全连接层，以得到查询特征图；将预处理的第一展开特征图输入第二聚合模块中的第二全连接层，以得到关键特征图和值特征图；对查询特征图、关键特征图和值特征图进行全局聚合处理。
其中，第三尺寸的预处理特征图可以指第三尺寸的特征图进行位置编码和归一化处理后特征图。预处理的第一展开特征图可以指第一展开特征图进行位置编码和归一化处理后的特征图。第一全连接层可以指用于对第三尺寸的预处理特征图进行处理的全连接层。查询特征图可以指第三尺寸的预处理特征图经过第一全连接层处理后输出的特征图。第二全连接层可以指用于对预处理的第一展开特征图进行处理的全连接层。关键特征图和值特征图可以指预处理的第一展开特征图经过第二全连接处理后输出的特征图。
例如，如图3所示，第三尺寸的特征图(F3)为[320,8,8,8],第一展开特征图为[320,8,8,8],一同输入到特殊的全局相关性聚合模块(第二聚合模块)中，在这模块内部，首先F3和第一展开特征图分别做一次动态位置编码X＝DPE(Xin)+Xin，随后分别将他们展平成图像块序列并做矩阵变换得到两个[512,320]数组，分别对他们做正则化，接着输入到交叉自注意力机制(Cross-Attention)内，F3对应的[512,320]通过一个输入320，输出为320的全连接层得到(query)Q，即查询特征图,其大小为[512,320]，第一展开特征图通过一个输入320，输出为640的全连接层得到大小为[512,640]的数组,将其划分为两个[512,320,320]作为(key)K，即关键特征图，(value)V，即值特征图，得到Q，K，V后，后面的流程与自注意力机制/本文提到全局相关性聚合模块一致。即Q，K，V从原先的一个输入变成两个输入，一个得到Q,一个得到K，关键特征图和V。
在一个实施例中，通过第三特征融合模块中的图像块展开模块对全局聚合后的特征图进行上采样处理，得到第二展开特征图包括通过第三特征融合模块中的图像块展开模块依据第二转置卷积对全局聚合后的特征图进行上采样处理，得到第二展开特征图。
在一个实施例中，通过第四特征融合模块中的图像块展开模块，对局部聚合后的特征图进行上采样处理，得到第三展开特征图包括通过第四特征融合模块中的图像块展开模块依据第三转置卷积对局部聚合后的特征图进行上采样处理，得到第三展开特征图。
在一个实施例中，第三特征融合模块包括第三聚合模块；第三聚合模块可以为局部相关性聚合模块；第四特征融合模块包括第四聚合模块；第四聚合模块可以为局部相关性聚合模块；基于第三特征融合模块对第二展开特征图进行局部聚合处理包括：终端通过第三聚合模块，对第二尺寸的特征图和第二展开特征图进行局部聚合处理；基于第四特征融合模块对第三展开特征图进行局部聚合处理包括：终端通过第四聚合模块，对第一尺寸的特征图和第三展开特征图进行局部聚合处理。
在一个实施例中，通过第三聚合模块，对第二尺寸的特征图和第二展开特征图进行局部聚合处理包括通过第三聚合模块对第二尺寸的特征图进行归一化处理，得到归一化后的第二尺寸的特征图，将归一化后的第二尺寸的特征图和第二展开特征图依据第一预设通道进行连接处理，得到第一连接特征图，对第一连接特征图进行局部聚合处理。
其中，预设通道可以指预先设置的通道，第一预设通道与第二预设通道为不同的预设通道。第一连接特征图可以指归一化后的第二尺寸的特征图和第二展开特征图连接后的特征图。
在一个实施例中，通过第四聚合模块，对第一尺寸的特征图和第三展开特征图进行局部聚合处理包括通过第四聚合模块对第一尺寸的特征图进行归一化处理，得到归一化后的第一尺寸的特征图，将归一化的第一尺寸的特征图和第三展开特征图依据第二预设通道进行连接处理，得到第二连接特征图，对第二连接特征图进行局部聚合处理。
在一个实施例中，在S206之后，终端通过图像块展开模块对第一聚合特征图进行上采样处理，得到用于对像素进行分类的第四展开特征图。
其中，第四展开特征图可以指分割模型的解码器中的最后一个图像块展开模块进行处理后输出的特征图。
S208，对第一聚合特征图中的各像素进行分类，得到各像素的分类结果。
其中，分类结果可以指三维医学图像中的像素是否为目标类别的结果。
具体地，终端可先确定分类类别，依据分类类别对第一聚合特征图中的各像素进行分类，得到各像素的分类结果。
其中，分类类别包括非目标类别和目标类别，分类类别可以指预设的像素类别。例如非目标类别为非增强型肿瘤时，目标肿瘤为增强型肿瘤；非目标类别为非肿瘤核心时，目标肿瘤为肿瘤核心；非目标类别为非完整肿瘤时，目标肿瘤为完整肿瘤。
在一个实施例中，终端对第四展开特征图中的各像素进行分类，得到各像素的分类结果。
S210，依据分类结果为目标类别的像素对三维医学图像进行分割。
具体地，终端判断依次判断三维医学图像对应的像素的分类结果是否为目标类别，当所有像素判断完毕后，依据分类结果为目标类别的像素形成的范围对三维医学图像进行分割，得到分割的三维医学图像。
上述医学图像的分割方法中，通过将三维医学图像输入至分割模型；分割模型包括编码器和解码器；通过编码器中的各特征提取模块对三维医学图像进行特征提取，得到不同尺寸的特征图；通过解码器中的特征融合模块对相应尺寸的特征图进行上采样处理和聚合处理，得到第一聚合特征图；对第一聚合特征图中的各像素进行分类，得到各像素的分类结果；依据分类结果为目标类别的像素对三维医学图像进行分割。实现了通过设计的分割模型自动化对医学图像进行分割，提升了分割图像的精确度和效率。
在一个实施例中，如图5所示，特征提取步骤包括：
S502，通过第一特征提取模块，从三维医学图像中提取第一尺寸的特征图。
在一个实施例中，在S502之前，终端可以通过编码器的图像块嵌入层对三维医学图像进行图像嵌入处理，得到嵌入图。
其中，图像块嵌入层可用于对医学图像进行图像嵌入处理。嵌入图可以指进行图像嵌入处理后的图像。
具体地，终端通过第一特征提取模块中的动态位置嵌入层将嵌入图进行动态位置嵌入，得到第一动态特征图；通过第一特征提取模块中的多头相关性聚合层对第一动态特征图进行局部聚合处理，得到第二聚合特征图；将第二聚合特征图输入第一特征提取模块中的前馈网络层进行图像块表征，得到第一尺寸的特征图。
其中，动态位置嵌入层可用于对图像进行动态位置嵌入，动态位置嵌入可通过零填充的深度卷积位置编码来实现，且适用于任意分辨率。第一动态特征图可以指进行动态位置嵌入后输出的特征图。第一动态特征图、第二动态特征图和第三动态特征图是不同的动态特征图。多头相关性聚合层可实现图像的上下文编码与相关性学习，多头指的是将图像块分成多组，每个头都分别处理一组通道的信息。第二聚合特征图可以指第一动态特征图进行局部聚合处理后输出的特征图。前馈网络层可用于进一步表征图像。
S504，在基于第一特征提取模块对第一尺寸的特征图进行三维医学图像融合后，通过第二特征提取模块，从融合后的特征图中提取第二尺寸的特征图。
在一个实施例中，基于第一特征提取模块对第一尺寸的特征图进行三维医学图像融合包括基于第一特征提取模块中的图像块融合模块对第一尺寸的特征图进行下采样处理，得到第一融合特征图。
其中，第一融合特征图可以指第一尺寸的特征图进行下采样处理后的特征图。
在一个实施例中，通过第二特征提取模块，从融合后的特征图中提取第二尺寸的特征图包括终端通过第二特征提取模块中的动态位置嵌入层将嵌入图进行动态位置嵌入，得到第二动态特征图；通过第二特征提取模块中的多头相关性聚合层对第二动态特征图进行局部聚合处理，得到第三聚合特征图；将第三聚合特征图输入第二特征提取模块中的前馈网络层进行图像块表征，得到第二尺寸的特征图。
其中，第三聚合特征图可以指第二动态特征图进行局部聚合处理后输出的特征图。
S506，在基于第二特征提取模块对第二尺寸的特征图进行三维医学图像融合后，通过第三特征提取模块，从融合后的特征图中提取第三尺寸的特征图。
在一个实施例中，基于第二特征提取模块对第二尺寸的特征图进行三维医学图像融合包括基于第二特征提取模块中的图像块融合模块对第二尺寸的特征图进行下采样处理，得到第二融合特征图。
其中，第一融合特征图可以指第二尺寸的特征图进行下采样处理后的特征图。
在一个实施例中，通过第三特征提取模块，从融合后的特征图中提取第三尺寸的特征图包括终端通过第三特征提取模块中的动态位置嵌入层将嵌入图进行动态位置嵌入，得到第三动态特征图；通过第三特征提取模块中的多头相关性聚合层对第三动态特征图进行全局聚合处理，得到第四聚合特征图；将第四聚合特征图输入第三特征提取模块中的前馈网络层进行图像块表征，得到第三尺寸的特征图。
其中，第四聚合特征图可以指第三动态特征图进行局部聚合处理后输出的特征图。
S508，在基于第三特征提取模块对第三尺寸的特征图进行三维医学图像融合后，通过第四特征提取模块，从融合后的特征图中提取第四尺寸的特征图。
在一个实施例中，在基于第三特征提取模块对第三尺寸的特征图进行三维医学图像融合包括基于第三特征提取模块中的图像块融合模块对第三尺寸的特征图进行下采样处理，得到第三融合特征图。
其中，第一融合特征图可以指第三尺寸的特征图进行下采样处理后的特征图。
在一个实施例中，通过第四特征提取模块，从融合后的特征图中提取第四尺寸的特征图包括终端通过第四特征提取模块中的动态位置嵌入层将嵌入图进行动态位置嵌入，得到第四动态特征图；通过第四特征提取模块中的多头相关性聚合层对第四动态特征图进行全局聚合处理，得到第五聚合特征图；将第五聚合特征图输入第四特征提取模块中的前馈网络层进行图像块表征，得到第四尺寸的特征图。
其中，第五聚合特征图可以指第四动态特征图进行局部聚合处理后输出的特征图。
本实施例中，通过第一特征提取模块，从三维医学图像中提取第一尺寸的特征图，在基于第一特征提取模块对第一尺寸的特征图进行三维医学图像融合后，通过第二特征提取模块，从融合后的特征图中提取第二尺寸的特征图，在基于第二特征提取模块对第二尺寸的特征图进行三维医学图像融合后，通过第三特征提取模块，从融合后的特征图中提取第三尺寸的特征图，在基于第三特征提取模块对第三尺寸的特征图进行三维医学图像融合后，通过第四特征提取模块，从融合后的特征图中提取第四尺寸的特征图，能够精确提取不同尺寸的特征图，进而为后续解码步骤做良好铺垫。
作为一个示例，本实施例如下
一些实施例中，3D图像块嵌入层的实现方法是：以三维图像
Figure BDA0003775154440000141
作为输入，为模型设计一个可学习的图像块嵌入函数f(·)，从而将x作为输入，得到图像特征
Figure BDA0003775154440000142
f(·)是卷积核大小为k×k×k，步长s，padding为p的三维卷积运算。图像特征f(x)的通道数为嵌入维度Dim，深、高和宽分别为：：
Figure BDA0003775154440000143
接着f(x)被展平为dhw×Dim的图像块序列，并通过层归一化方法(Layer Normalization，LN)进行归一化，以输入到后续模块中。
相关性聚合模块由三个关键组件组成：动态位置嵌入(Dynamic PositionEmbedding，DPE)、多头相关性聚合(Multi-Head Relation Aggregator，MHRA)、前馈网络(Feed-Forward Network，FFN)。对于输入Xin∈RC×D×H×W，首先引入动态位置嵌入将位置信息动态集成进上文得到的图像块序列中，动态位置嵌入通常使用的是零填充的深度卷积位置编码，它适用于任意输入分辨率，可充分利用特征顺序进行更好视觉识别，式子表达为：X＝DPE(Xin)+Xin；接着使用多头相关性聚合来实现图像块的上下文编码与相关性学习，多头指的是将图像块分成多组，每个头都分别处理一组通道的信息，局部相关性聚合通常使用大卷积核实现，全局相关性聚合通常使用自注意力机制实现，式子表达为：Y＝MHRA(Norm(X))+X；最后，类似于Transformer结构，我们添加前馈网络进一步表征图像块，式子表达为：Z＝FFN(Norm(Y))+Y。
图像块融合与展开模块可以使用卷积层或者全连接层实现，其功能为图像特征的升维或降维。
由于显存的限制，通常在模型训练过程中将图像裁剪到一定尺寸，如128×128×128后再进行训练。在模型推理阶段则采用50％重叠度的滑动窗口策略，按照训练输入的尺寸作为窗口大小，依次滑动窗口来选出图像区域，对重叠区域的预测用高斯重要性加权平均，使得中心体素的权重具有更高的重要性。
将大小为128×128×128×4的多模态MRI图像输入到分割模型中，3D图像块嵌入模块使用内核大小为4×4×4，步长为4×4×4，填充为0，通道数为64的深度卷积来对输入图像做动态位置嵌入，并且在深度卷积的后面紧接一个正则化LN层对数据进行归一化，将其转化成均值为0方差为1的数据以加快网络的训练速度。
3D图像块嵌入模块输出得到32×32×32×64的特征图，随后输入到两个局部相关性聚合模块中，对特征进行局部相关性聚合，输出的特征图记为F1。F1先输入到3D图像块融合模块中做特征下采样得到16×16×16×128的特征图，每个3D图像块融合模块都采用内核大小和步长都为2×2×2的卷积。除此之外，下采样卷积后接正则化LN层。接着步骤与前面类似，将下采样得到的特征图输入到两个局部相关性聚合模块中得到特征图记为F2，F2在3D图像块融合模块中做特征下采样得到8×8×8×320的特征图。随后将其输入到两个全局相关性聚合模块中，进行全局特征建模，输出的特征图记为F3。F3经过特征下采样得到4×4×4×512的特征图，输入到两个全局相关性聚合模块中，输出结果输入到3D图像块展开模块中做特征上采样，该模块使用内核大小为2×2×2，步长为2×2×2，填充为0，通道数为320的转置卷积来实现上采样，并且在转置卷积的后面紧接一个正则化LN层对数据进行归一化，
输出8×8×8×320的特征图，将其与经过LN归一化后的F3一同输入到两个特殊的全局相关性聚合模块中，该模块不使用自注意力机制做全局相关性聚合，而是利用Transformer结构的特殊性，以交叉注意力方式聚合跳层连接的特征。然后输出结果在3D图像块展开模块中做特征上采样，通过转置卷积操作使得特征图的分辨率变为16×16×16×128，将经过归一化后的F2与3D图像块展开模块的输出按通道进行了连接(Concatenate)得到大小为16×16×16×256的特征图，随后输入到内核大小为3×3×3，步长为1×1×1，填充为1×1×1，通道数为128的卷积中，实现特征融合的同时减少通道数维度，为了使该卷积提取到的特征更加有效，加入一个GeLU非线性激活函数与LN层以提高网络性能。
后面步骤与前文类似，最后一个3D图像块展开模块使用内核大小为4×4×4，步长为4×4×4，填充为0，通道数为64的转置卷积来实现上采样，将图像恢复到128×128×128×64，经过LN归一化后通过内核大小为1×1×1，步长为1×1×1，通道数为3(分割类别为3)的卷积生成分割掩码，输出图像大小为128×128×128×3。
输出的128×128×128×3的图像中，3是肿瘤的类别数，也就是说每一类肿瘤都有对应的大小为[128,128,128]数组(图像矩阵)，内部数值只有0/1,在这个数组中的每个值对应图像的像素值，如果其中一个像素所在位置是属于这个类别肿瘤的区域，则数值为1，不是则为0。
分割模型训练时可以基于交叉熵损失和集合相似度度量(Dice)损失函数，使用自适应梯度法(AdamW)优化模型参数直到收敛。
图4为一个实施例中预测的肿瘤分割的可视化结果；如图所示，左数第一列中T2Image是指未分割的医学图像，左数第二列中Ground Truth是指人工分割的医学图像，左数第三列中Proposed是指本申请的分割模型分割的医学图像，Dice为90.45，左数第四列中UNet是指基于UNet的分割模型分割的医学图像，Dice为84.72。由图可知，本申请的分割模型的分割精确度大于基于UNet的分割模型。
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的医学图像的分割方法的医学图像的分割装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个医学图像的分割装置实施例中的具体限定可以参见上文中对于医学图像的分割方法的限定，在此不再赘述。
在一个实施例中，如图6所示，提供了一种医学图像的分割装置，包括：输入模块602、特征提取模块604、上采样与聚合模块606、分类模块608和分割模块610，其中：
输入模块602，用于将三维医学图像输入至分割模型；分割模型包括编码器和解码器；
特征提取模块604，用于通过编码器中的各特征提取模块对三维医学图像进行特征提取，得到不同尺寸的特征图；
上采样与聚合模块606，用于通过解码器中的特征融合模块对相应尺寸的特征图进行上采样处理和聚合处理，得到第一聚合特征图；
分类模块608，用于对第一聚合特征图中的各像素进行分类，得到各像素的分类结果；
分割模块610，用于依据分类结果为目标类别的像素对三维医学图像进行分割。
在其中一个实施例中，编码器中的特征提取模块包括第一特征提取模块、第二特征提取模块、第三特征提取模块和第四特征提取模块；特征提取模块604还用于通过第一特征提取模块，从三维医学图像中提取第一尺寸的特征图；在基于第一特征提取模块对第一尺寸的特征图进行三维医学图像融合后，通过第二特征提取模块，从融合后的特征图中提取第二尺寸的特征图；在基于第二特征提取模块对第二尺寸的特征图进行三维医学图像融合后，通过第三特征提取模块，从融合后的特征图中提取第三尺寸的特征图；在基于第三特征提取模块对第三尺寸的特征图进行三维医学图像融合后，通过第四特征提取模块，从融合后的特征图中提取第四尺寸的特征图。
在其中一个实施例中，通过第一特征提取模块，从三维医学图像中提取第一尺寸的特征图之前，特征提取模块604还用于通过编码器的图像块嵌入层对三维医学图像进行图像嵌入处理，得到嵌入图；特征提取模块604还用于通过第一特征提取模块中的动态位置嵌入层将嵌入图进行动态位置嵌入，得到第一动态特征图；通过第一特征提取模块中的多头相关性聚合层对第一动态特征图进行局部聚合处理，得到第二聚合特征图；将第二聚合特征图输入第一特征提取模块中的前馈网络层进行图像块表征，得到第一尺寸的特征图。
在其中一个实施例中，解码器中的特征融合模块包括第一特征融合模块、第二特征融合模块、第三特征融合模块和第四特征融合模块；上采样与聚合模块606还用于通过第一特征融合模块对第四尺寸的特征图进行全局聚合处理后，通过第二特征融合模块对全局聚合后的特征图进行上采样处理，得到第一展开特征图；在基于第二特征融合模块对第一展开特征图进行全局聚合处理后，通过第三特征融合模块，对全局聚合后的特征图进行上采样处理，得到第二展开特征图；在基于第三特征融合模块对第二展开特征图进行局部聚合处理后，通过第四特征融合模块，对局部聚合后的特征图进行上采样处理，得到第三展开特征图；基于第四特征融合模块对第三展开特征图进行局部聚合处理。
在其中一个实施例中，第二特征融合模块包括第二聚合模块；上采样与聚合模块606还用于通过第二聚合模块对第三尺寸的特征图进行位置编码处理和归一化处理，以及第一展开特征图进行位置编码处理和归一化处理，得到第三尺寸的预处理特征图和预处理的第一展开特征图；将第三尺寸的预处理特征图输入第二聚合模块中的第一全连接层，以得到查询特征图；将预处理的第一展开特征图输入第二聚合模块中的第二全连接层，以得到关键特征图和值特征图；对查询特征图、关键特征图和值特征图进行全局聚合处理。
在其中一个实施例中，第三特征融合模块包括第三聚合模块；第四特征融合模块包括第四聚合模块；上采样与聚合模块606还用于通过第三聚合模块，对第二尺寸的特征图和第二展开特征图进行局部聚合处理；上采样与聚合模块还用于通过第四聚合模块，对第一尺寸的特征图和第三展开特征图进行局部聚合处理。
通过将三维医学图像输入至分割模型；分割模型包括编码器和解码器；通过编码器中的各特征提取模块对三维医学图像进行特征提取，得到不同尺寸的特征图；通过解码器中的特征融合模块对相应尺寸的特征图进行上采样处理和聚合处理，得到第一聚合特征图；对第一聚合特征图中的各像素进行分类，得到各像素的分类结果；依据分类结果为目标类别的像素对三维医学图像进行分割。实现了通过设计的分割模型自动化对医学图像进行分割，提升了分割图像的精确度和效率。
上述医学图像的分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端或服务器，本实施例以计算机设备为终端进行说明，其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种医学图像的分割方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各实施例。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各实施例。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各实施例。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种医学图像的分割方法，其特征在于，所述方法包括：
将三维医学图像输入至分割模型；所述分割模型包括编码器和解码器；
通过所述编码器中的各特征提取模块对所述三维医学图像进行特征提取，得到不同尺寸的特征图；
通过所述解码器中的特征融合模块对相应尺寸的特征图进行上采样处理和聚合处理，得到第一聚合特征图；
对所述第一聚合特征图中的各像素进行分类，得到各所述像素的分类结果；
依据所述分类结果为目标类别的像素对所述三维医学图像进行分割。
2.根据权利要求1所述的方法，其特征在于，所述编码器中的特征提取模块包括第一特征提取模块、第二特征提取模块、第三特征提取模块和第四特征提取模块；所述通过所述编码器中的各特征提取模块对所述三维医学图像进行特征提取，得到不同尺寸的特征图包括：
通过所述第一特征提取模块，从所述三维医学图像中提取第一尺寸的特征图；
在基于所述第一特征提取模块对所述第一尺寸的特征图进行三维医学图像融合后，通过所述第二特征提取模块，从融合后的特征图中提取第二尺寸的特征图；
在基于所述第二特征提取模块对所述第二尺寸的特征图进行三维医学图像融合后，通过所述第三特征提取模块，从融合后的特征图中提取第三尺寸的特征图；
在基于所述第三特征提取模块对所述第三尺寸的特征图进行三维医学图像融合后，通过所述第四特征提取模块，从融合后的特征图中提取第四尺寸的特征图。
3.根据权利要求2所述的方法，其特征在于，所述通过所述第一特征提取模块，从所述三维医学图像中提取第一尺寸的特征图之前，所述方法包括：
通过所述编码器的图像块嵌入层对所述三维医学图像进行图像嵌入处理，得到嵌入图；
所述通过所述第一特征提取模块，从所述三维医学图像中提取第一尺寸的特征图包括：
通过所述第一特征提取模块中的动态位置嵌入层将所述嵌入图进行动态位置嵌入，得到第一动态特征图；
通过所述第一特征提取模块中的多头相关性聚合层对所述第一动态特征图进行局部聚合处理，得到第二聚合特征图；
将所述第二聚合特征图输入所述第一特征提取模块中的前馈网络层进行图像块表征，得到第一尺寸的特征图。
4.根据权利要求2所述的方法，其特征在于，所述解码器中的特征融合模块包括第一特征融合模块、第二特征融合模块、第三特征融合模块和第四特征融合模块；所述通过所述解码器中的特征融合模块对相应尺寸的特征图进行上采样处理和聚合处理包括：
通过所述第一特征融合模块对所述第四尺寸的特征图进行全局聚合处理后，通过所述第二特征融合模块对全局聚合后的特征图进行上采样处理，得到第一展开特征图；
在基于所述第二特征融合模块对所述第一展开特征图进行全局聚合处理后，通过所述第三特征融合模块，对全局聚合后的特征图进行上采样处理，得到第二展开特征图；
在基于所述第三特征融合模块对所述第二展开特征图进行局部聚合处理后，通过所述第四特征融合模块，对局部聚合后的特征图进行上采样处理，得到第三展开特征图；
基于所述第四特征融合模块对所述第三展开特征图进行局部聚合处理。
5.根据权利要求4所述的方法，其特征在于，所述第二特征融合模块包括第二聚合模块；所述基于所述第二特征融合模块对所述第一展开特征图进行全局聚合处理包括：
通过所述第二聚合模块对所述第三尺寸的特征图进行位置编码处理和归一化处理，以及所述第一展开特征图进行位置编码处理和归一化处理，得到第三尺寸的预处理特征图和预处理的第一展开特征图；
将所述第三尺寸的预处理特征图输入所述第二聚合模块中的第一全连接层，以得到查询特征图；
将所述预处理的第一展开特征图输入所述第二聚合模块中的第二全连接层，以得到关键特征图和值特征图；
对所述查询特征图、所述关键特征图和所述值特征图进行全局聚合处理。
6.根据权利要求4所述的方法，其特征在于，所述第三特征融合模块包括第三聚合模块；所述第四特征融合模块包括第四聚合模块；所述基于所述第三特征融合模块对所述第二展开特征图进行局部聚合处理包括：
通过所述第三聚合模块，对所述第二尺寸的特征图和所述第二展开特征图进行局部聚合处理；
所述基于所述第四特征融合模块对所述第三展开特征图进行局部聚合处理包括：
通过所述第四聚合模块，对所述第一尺寸的特征图和所述第三展开特征图进行局部聚合处理。
7.一种医学图像的分割装置，其特征在于，所述装置包括：
输入模块，用于将三维医学图像输入至分割模型；所述分割模型包括编码器和解码器；
特征提取模块，用于通过所述编码器中的各特征提取模块对所述三维医学图像进行特征提取，得到不同尺寸的特征图；
上采样与聚合模块，用于通过所述解码器中的特征融合模块对相应尺寸的特征图进行上采样处理和聚合处理，得到第一聚合特征图；
分类模块，用于对所述第一聚合特征图中的各像素进行分类，得到各所述像素的分类结果；
分割模块，用于依据所述分类结果为目标类别的像素对所述三维医学图像进行分割。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202210914575.9A 2022-08-01 2022-08-01 医学图像的分割方法、装置、计算机设备和存储介质 Active CN115147606B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210914575.9A CN115147606B (zh) 2022-08-01 2022-08-01 医学图像的分割方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210914575.9A CN115147606B (zh) 2022-08-01 2022-08-01 医学图像的分割方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN115147606A true CN115147606A (zh) 2022-10-04
CN115147606B CN115147606B (zh) 2024-05-14

Family

ID=83414930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210914575.9A Active CN115147606B (zh) 2022-08-01 2022-08-01 医学图像的分割方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN115147606B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117952969A (zh) * 2024-03-26 2024-04-30 济南大学 一种基于选择注意力的子宫内膜癌分析方法及系统
WO2024104035A1 (zh) * 2022-11-17 2024-05-23 华中科技大学 基于长短期记忆自注意力模型的三维医学图像分割方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369532A (zh) * 2020-03-05 2020-07-03 北京深睿博联科技有限责任公司 乳腺x射线影像的处理方法和装置
CN113421276A (zh) * 2021-07-02 2021-09-21 深圳大学 一种图像处理方法、装置及存储介质
CN113688813A (zh) * 2021-10-27 2021-11-23 长沙理工大学 多尺度特征融合遥感影像分割方法、装置、设备和存储器
CN114119638A (zh) * 2021-12-02 2022-03-01 上海理工大学 一种融合多尺度特征和注意力机制的医学图像分割方法
CN114463341A (zh) * 2022-01-11 2022-05-10 武汉大学 一种基于长短距离特征的医学图像分割方法
CN114581662A (zh) * 2022-02-17 2022-06-03 华南理工大学 一种脑肿瘤图像的分割方法、系统、装置及存储介质
CN114638842A (zh) * 2022-03-15 2022-06-17 桂林电子科技大学 一种基于mlp的医学图像分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369532A (zh) * 2020-03-05 2020-07-03 北京深睿博联科技有限责任公司 乳腺x射线影像的处理方法和装置
CN113421276A (zh) * 2021-07-02 2021-09-21 深圳大学 一种图像处理方法、装置及存储介质
CN113688813A (zh) * 2021-10-27 2021-11-23 长沙理工大学 多尺度特征融合遥感影像分割方法、装置、设备和存储器
CN114119638A (zh) * 2021-12-02 2022-03-01 上海理工大学 一种融合多尺度特征和注意力机制的医学图像分割方法
CN114463341A (zh) * 2022-01-11 2022-05-10 武汉大学 一种基于长短距离特征的医学图像分割方法
CN114581662A (zh) * 2022-02-17 2022-06-03 华南理工大学 一种脑肿瘤图像的分割方法、系统、装置及存储介质
CN114638842A (zh) * 2022-03-15 2022-06-17 桂林电子科技大学 一种基于mlp的医学图像分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HU CAO ET AL.: "Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation", 《ARXIV:2105.05537V1》, 12 May 2021 (2021-05-12), pages 3 - 4 *
KUNCHANG LI ET AL.: "UniFormer: Unifying Convolution and Self-attention for Visual Recognition", 《ARXIV:2201.09450V2》, 19 February 2022 (2022-02-19), pages 3 - 5 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024104035A1 (zh) * 2022-11-17 2024-05-23 华中科技大学 基于长短期记忆自注意力模型的三维医学图像分割方法及系统
CN117952969A (zh) * 2024-03-26 2024-04-30 济南大学 一种基于选择注意力的子宫内膜癌分析方法及系统
CN117952969B (zh) * 2024-03-26 2024-06-21 济南大学 一种基于选择注意力的子宫内膜癌分析方法及系统

Also Published As

Publication number Publication date
CN115147606B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
US11200424B2 (en) Space-time memory network for locating target object in video content
US20230245266A1 (en) Generating digital images utilizing high-resolution sparse attention and semantic layout manipulation neural networks
CN115147606B (zh) 医学图像的分割方法、装置、计算机设备和存储介质
CN110838125B (zh) 医学图像的目标检测方法、装置、设备、存储介质
CN111104962A (zh) 图像的语义分割方法、装置、电子设备及可读存储介质
WO2023116231A1 (zh) 图像分类方法、装置、计算机设备及存储介质
CN115272250B (zh) 确定病灶位置方法、装置、计算机设备和存储介质
WO2020042004A1 (en) Training one-shot instance segmenters using synthesized images
Zhu et al. A multilayer backpropagation saliency detection algorithm and its applications
CN112256899B (zh) 图像重排序方法、相关设备及计算机可读存储介质
Qin et al. Depth estimation by parameter transfer with a lightweight model for single still images
CN113111885B (zh) 一种动态分辨率实例分割方法及计算机可读存储介质
CN114240949A (zh) 宫颈细胞分割网络训练方法、宫颈细胞分割方法、装置
CN116740069B (zh) 基于多尺度显著信息和双向特征融合的表面缺陷检测方法
CN111274936B (zh) 多光谱图像地物分类方法、系统、介质及终端
CN116894974A (zh) 图像分类方法、装置、计算机设备及其存储介质
CN116310308A (zh) 图像分割方法、装置、计算机设备和存储介质
CN116269312A (zh) 基于脑图谱融合模型的个体脑图谱绘制方法及装置
CN116612287B (zh) 图像识别方法、装置、计算机设备和存储介质
CN116486090B (zh) 肺癌脊柱转移图像处理方法、装置、设备、存储介质
KR102485872B1 (ko) 컨텍스트 벡터를 활용하여 이미지 화질을 개선시키는 이미지 화질 개선 방법 및 이를 수행하는 이미지 화질 개선 모듈
Hu et al. Multi-phase attention network for face super-resolution
CN118365957A (zh) 一种皮肤病图像分类方法、设备、介质及产品
Mousavi Retargeting Low-Resolution Aerial Imagery by Distribution-Preserving Perceptual Feature Selection
CN117974992A (zh) 抠图处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant