CN113808143A - 图像分割方法、装置、可读存储介质及电子设备 - Google Patents

图像分割方法、装置、可读存储介质及电子设备 Download PDF

Info

Publication number
CN113808143A
CN113808143A CN202111040374.2A CN202111040374A CN113808143A CN 113808143 A CN113808143 A CN 113808143A CN 202111040374 A CN202111040374 A CN 202111040374A CN 113808143 A CN113808143 A CN 113808143A
Authority
CN
China
Prior art keywords
module
image
segmentation
sampling
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111040374.2A
Other languages
English (en)
Other versions
CN113808143B (zh
Inventor
朱宝峰
何光宇
程万军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Neusoft Intelligent Medical Technology Research Institute Co Ltd
Original Assignee
Shenyang Neusoft Intelligent Medical Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Neusoft Intelligent Medical Technology Research Institute Co Ltd filed Critical Shenyang Neusoft Intelligent Medical Technology Research Institute Co Ltd
Priority to CN202111040374.2A priority Critical patent/CN113808143B/zh
Publication of CN113808143A publication Critical patent/CN113808143A/zh
Application granted granted Critical
Publication of CN113808143B publication Critical patent/CN113808143B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及一种图像分割方法、装置、可读存储介质及电子设备。方法包括:获取待分割的心脏磁共振电影短轴图像;将该心脏磁共振电影短轴图像输入到预先训练好的分割模型中,得到对应的心室结构分割图像;分割模型为包括下采样网络和上采样网络的U型网络,下采样网络包括卷积模块和位于卷积模块与上采样网络之间的至少一个类残差模块。这样,很好地解决了模型训练过程中的过拟合及梯度消失爆炸的问题,且能最大程度保留前一模块的特征图的特征信息,提升后续分割准确率,进而为心功能诊断评估提供有效参考依据。另外,只需将待分割的心脏磁共振电影短轴图像输入到分割模型中即可自动获取到对应的心室结构分割图像,显著提升了分割效率。

Description

图像分割方法、装置、可读存储介质及电子设备
技术领域
本公开涉及图像处理技术领域,具体地,涉及一种图像分割方法、装置、可读存储介质及电子设备。
背景技术
心脏磁共振成像(Cardiac magnetic resonance,CMR)是指用磁共振成像技术诊断心脏及大血管疾病的方法,是一种无创的成像技术,具有良好的软组织对比分辨率,扫描视野大,可获各个方位及不同角度的斜断面图像,已成为无创性评价心脏结构和功能的金标准。
心脏通常包括左心室血腔、右心室血腔、左心室心肌、左心房血腔、右心房血腔等心室结构,通过分析心脏不同心室结构的状态,可以实现心功能一体化评估、心肌活性一体化评估、冠脉微循环障碍定量分析等辅助诊断评估。其中,准确分辨心室结构是保证后续心脏功能诊断评估的前提。但是,现阶段心室结构分割不能实现全自动化,需要人工参与,不仅效率低,而且存在人为主观因素带来的误差,分割准确率偏低。
发明内容
为了克服相关技术中存在的问题,本公开提供一种图像分割方法、装置、可读存储介质及电子设备。
为了实现上述目的,第一方面,本公开提供一种图像分割方法,包括:
获取待分割的心脏磁共振电影短轴图像;
将所述待分割的心脏磁共振电影短轴图像输入到预先训练好的分割模型中,得到所述心脏磁共振电影短轴图像对应的心室结构分割图像;
其中,所述分割模型为包括下采样网络和上采样网络的U型网络,所述下采样网络包括卷积模块和位于所述卷积模块与所述上采样网络之间的至少一个类残差模块,当所述类残差模块的数量为多个时,多个所述类残差模块为串联;
所述卷积模块用于对所述待分割的心脏磁共振电影短轴图像进行特征提取,得到第一特征图,并将所述第一特征图输入至与所述卷积模块连接的所述类残差模块;
每一所述类残差模块分别用于对来自前一模块的特征图进行下采样,得到第二特征图,并将所述第二特征图输入至下一模块;
所述上采样网络用于对从与其连接的所述类残差模块输入的所述第二特征图进行上采样,得到所述心室结构分割图像。
可选地,所述类残差模块包括依次连接的特征提取网络、连接模块以及下采样模块;
其中,所述特征提取网络用于对来自前一模块的特征图进行特征提取,得到第三特征图;
所述连接模块用于将所述特征提取网络的输入和输出进行拼接,并将拼接结果输入至所述下采样模块;
所述下采样模块用于对所述拼接结果进行下采样,得到所述第二特征图,并将所述第二特征图输入至下一模块。
可选地,所述卷积模块为带孔卷积。
可选地,所述心室结构分割图像包括左心室血腔、左心室心肌、右心室血腔以及其他区域中的至少一者。
可选地,所述分割模型通过以下方式训练得到:
获取通用样本图像和所述通用样本图像对应的类别分割图像;
通过将所述通用样本图像作为所述卷积模块的输入,将所述类别分割图像作为所述上采样网络的目标输出的方式进行模型训练,得到初始模型;
获取用于训练的心脏磁共振电影短轴图像和所述用于训练的心脏磁共振电影短轴图像对应的目标心室结构分割图像;
通过将所述用于训练的心脏磁共振电影短轴图像作为所述初始模型的所述卷积模块的输入,将所述目标心室结构分割图像作为所述初始模型的所述上采样网络的目标输出的方式进行模型训练,得到所述分割模型。
可选地,所述分割模型通过以下方式训练得到:
获取通用样本图像和所述通用样本图像对应的类别分割图像;
通过将所述通用样本图像作为所述卷积模块的输入,将所述类别分割图像作为所述上采样网络的目标输出的方式进行模型训练,得到初始模型;
获取心电图和所述心电图对应的波形分割图像;
通过将所述心电图作为所述初始模型的所述卷积模块的输入,将所述波形分割图像作为所述初始模型的所述上采样网络的目标输出的方式进行模型训练,得到中间模型;
获取用于训练的心脏磁共振电影短轴图像和所述用于训练的心脏磁共振电影短轴图像对应的目标心室结构分割图像;
通过将所述用于训练的心脏磁共振电影短轴图像作为所述中间模型的所述卷积模块的输入,将所述目标心室结构分割图像作为所述中间模型的所述上采样网络的目标输出的方式进行模型训练,得到所述分割模型。
第二方面,本公开提供一种图像分割装置,包括:
获取模块,用于获取待分割的心脏磁共振电影短轴图像;
分割模块,用于将所述获取模块获取到的所述待分割的心脏磁共振电影短轴图像输入到预先训练好的分割模型中,得到所述心脏磁共振电影短轴图像对应的心室结构分割图像;
其中,所述分割模型为包括下采样网络和上采样网络的U型网络,所述下采样网络包括卷积模块和位于所述卷积模块与所述上采样网络之间的至少一个类残差模块,当所述类残差模块的数量为多个时,多个所述类残差模块为串联;
所述卷积模块用于对所述待分割的心脏磁共振电影短轴图像进行特征提取,得到第一特征图,并将所述第一特征图输入至与所述卷积模块连接的所述类残差模块;
每一所述类残差模块分别用于对来自前一模块的特征图进行下采样,得到第二特征图,并将所述第二特征图输入至下一模块;
所述上采样网络用于对从与其连接的所述类残差模块输入的所述第二特征图进行上采样,得到所述心室结构分割图像。
可选地,所述类残差模块包括依次连接的特征提取网络、连接模块以及下采样模块;
其中,所述特征提取网络用于对来自前一模块的特征图进行特征提取,得到第三特征图;
所述连接模块用于将所述特征提取网络的输入和输出进行拼接,并将拼接结果输入至所述下采样模块;
所述下采样模块用于对所述拼接结果进行下采样,得到所述第二特征图,并将所述第二特征图输入至下一模块。
第三方面,本公开提供一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本公开第一方面提供的所述方法的步骤。
第四方面,本公开提供一种电子设备,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现本公开第一方面提供的所述方法的步骤。
在上述技术方案中,在获取到待分割的心脏磁共振电影短轴图像后,将其输入到预先训练好的分割模型中,得到该心脏磁共振电影短轴图像对应的心室结构分割图像。其中,分割模型为包括下采样网络和上采样网络的U型网络,下采样网络包括卷积模块和位于卷积模块与上采样网络之间的至少一个类残差模块,卷积模块用于对待分割的心脏磁共振电影短轴图像进行特征提取,得到第一特征图,并将第一特征图输入至与卷积模块连接的类残差模块;每一类残差模块分别用于对来自前一模块的特征图进行下采样,得到第二特征图,并将第二特征图输入至下一模块;上采样网络用于对从与其连接的类残差模块输入的第二特征图进行上采样,得到心室结构分割图像。由于类残差模块像残差网络一样引入了残差连接,因此,很好地解决了分割模型训练过程中的过拟合以及梯度消失爆炸的问题,并且,能够最大程度保留来自前一模块的特征图的特征信息,从而提升后续心室结构分割图像的分割准确率,进而为心功能一体化评估、心肌活性一体化评估、冠脉微循环障碍定量分析等辅助诊断评估提供有效参考依据,提高精准医学科研量化分析能力。另外,只需将待分割的心脏磁共振电影短轴图像输入到预先训练好的分割模型中即可自动获取到该心脏磁共振电影短轴图像对应的心室结构分割图像,显著提升了分割效率。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是根据一示例性实施例示出的一种图像分割方法的流程图。
图2是根据一示例性实施例示出的一种分割模型的结构示意图。
图3是根据一示例性实施例示出的一种分割模型训练方法的流程图。
图4是根据另一示例性实施例示出的一种分割模型训练方法的流程图。
图5是根据一示例性实施例示出的一种图像分割装置的框图。
图6是根据一示例性实施例示出的一种电子设备的框图。
图7是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
正如背景技术中论述的那样,现阶段心室结构分割不能实现全自动化,需要人工参与,不仅效率低,而且存在人为主观因素带来的误差,分割准确率偏低。
鉴于此,本公开提供一种图像分割方法、装置、可读存储介质及电子设备。
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
图1是根据一示例性实施例示出的一种图像分割方法的流程图。如图1所示,该方法包括S101和S102。
在S101中,获取待分割的心脏磁共振电影短轴图像。
在本公开中,CMR通常采用电影序列(Cine序列)进行心室结构分割,即通过心脏磁共振电影短轴图像进行心室结构分割。其中,待分割的心脏磁共振电影短轴图像可以通过运行磁共振电影成像(CineMagnetic Resonance,Cine-MR)设备采集得到。
在S102中,将待分割的心脏磁共振电影短轴图像输入到预先训练好的分割模型中,得到心脏磁共振电影短轴图像对应的心室结构分割图像。
在本公开中,心脏磁共振电影短轴图像对应的心室结构分割图像可以包括左心室血腔、左心室心肌、右心室血腔以及其他区域(例如包括左心房血腔、右心房血腔等)中的至少一者。示例地,心脏磁共振电影短轴图像对应的心室结构分割图像包括左心室血腔、左心室心肌、右心室血腔以及其他区域,这样,通过分割图像能够同时得到左心室血腔、左心室心肌、右心室血腔以及其他区域。
如图2所示,上述分割模型可以为包括下采样网络和上采样网络的U型网络,其中,下采样网络包括卷积模块和位于该卷积模块与上采样网络之间的至少一个类残差模块,当类残差模块的数量为多个时,多个类残差模块为串联(图2中以下采样网络包括两个类残差模块为例进行说明)。
具体来说,上述下采样网络中的卷积模块用于对待分割的心脏磁共振电影短轴图像进行特征提取,得到第一特征图,并将第一特征图输入至与下采样网络中的卷积模块连接的类残差模块;每一类残差模块分别用于对来自前一模块的特征图进行下采样,得到第二特征图,并将第二特征图输入至下一模块;上采样网络用于对从与其连接的类残差模块输入的第二特征图进行上采样,得到心脏磁共振电影短轴图像对应的心室结构分割图像。
示例地,上述下采样网络中的卷积模块可以包括48个7*7的卷积核。
在上述技术方案中,在获取到待分割的心脏磁共振电影短轴图像后,将其输入到预先训练好的分割模型中,得到该心脏磁共振电影短轴图像对应的心室结构分割图像。其中,分割模型为包括下采样网络和上采样网络的U型网络,下采样网络包括卷积模块和位于卷积模块与上采样网络之间的至少一个类残差模块,卷积模块用于对待分割的心脏磁共振电影短轴图像进行特征提取,得到第一特征图,并将第一特征图输入至与卷积模块连接的类残差模块;每一类残差模块分别用于对来自前一模块的特征图进行下采样,得到第二特征图,并将第二特征图输入至下一模块;上采样网络用于对从与其连接的类残差模块输入的第二特征图进行上采样,得到心室结构分割图像。由于类残差模块像残差网络一样引入了残差连接,因此,很好地解决了分割模型训练过程中的过拟合以及梯度消失爆炸的问题,并且,能够最大程度保留来自前一模块的特征图的特征信息,从而提升后续心室结构分割图像的分割准确率,进而为心功能一体化评估、心肌活性一体化评估、冠脉微循环障碍定量分析等辅助诊断评估提供有效参考依据,提高精准医学科研量化分析能力。另外,只需将待分割的心脏磁共振电影短轴图像输入到预先训练好的分割模型中即可自动获取到该心脏磁共振电影短轴图像对应的心室结构分割图像,显著提升了分割效率。
另外,上述类残差模块可以为各种不同的结构,在一种实施方式中,类残差模块可以为高速网络(Highway net)。
在另一种实施方式中,如图2所示,上述类残差模块可以包括依次连接的特征提取网络、连接模块以及下采样模块。其中,该类残差模块中的特征提取网络用于对来自前一模块(即卷积模块或下采样模块)的特征图进行特征提取,得到第三特征图;连接模块用于将与其连接的特征提取网络的输入和输出进行拼接,并将拼接结果输入至与其连接的下采样模块;下采样模块用于对拼接结果进行下采样,得到第二特征图,并将第二特征图输入至下一模块(即该类残差模块中的特征提取网络或下采样网络)。
由于类残差模块中的连接模块将与其连接的特征提取网络的输入和输出进行拼接后输入到与其连接的下采样模块,这样,与该连接模块连接的下采样模块能够同时学习到输入到该特征提取网络中的特征图和该特征提取网络输出的特征图的图像特征,即能够最大程度保留原有特征图的特征信息,从而提升后续心室结构分割图像的分割准确率。
其中,上述特征提取网络可以例如是稠密连接网络(Densely Connectednetwork,Dense net)、GoogLeNet等。
优选地,上述类残差模块中的特征提取网络可以为Dense net,这样,不仅可以缓解分割模型训练时的梯度消失问题,而且由于其加强特征传播、鼓励特征重用,因此,能够提取到更加丰富全面的图像特征,进一步提升后续心室结构分割图像的分割准确率,并且,Dense net参数少,可以提升分割模型的训练效率。
此外,上述U型网络的上采样网络与下采样网络对称,示例地,如图2所示,上述上采样网络可以包括依次连接的特征提取网络、上采样模块、连接模块、特征提取网络、上采样模块、连接模块、特征提取网络以及卷积模块。
其中,上采样网络中的特征提取网络用于对来自前一模块(即下采样模块或连接模块)的特征图进行特征提取,得到第三特征图;上采样网络中的连接模块用于将与其连接的特征提取网络的输出以及下采样网络中与该连接模块对应的连接模块的输出进行拼接,并将拼接结果输入至与其连接的上采样模块;上采样模块对用于从与其连接的连接模块输入的拼接结果进行上采样,得到第五特征图,并将第五特征图输入至下一模块(即连接模块)。
上采样网络中的卷积模块,用于对从与其连接的特征提取网络的输出的特征图输入的特征图进行特征提取,从而得到待分割的心脏磁共振电影短轴图像对应的心室结构分割图像。
示例地,上述上采样网络中的卷积模块可以包括4个1*1的卷积核。
其中,如图2所示,上述分割模型引入了跳层连接(即类残差模块中的连接模块与上采样网络中的对应连接模块进行跳层连接),跳层连接将不同层次的特征拼接在一起,能够达到增加特征多样性、提升分割模型训练效率的目的,并且能够进一步提升后续心室结构分割图像的分割准确率。
另外,为了增大感受野,以进一步提升后续心室结构分割图像的分割准确率,上述上采样网络中的卷积模块、下采样网络中的卷积模块可以均为带孔卷积。
下面针对上述分割模型的训练方法进行详细说明。具体来说,可以通过多种方式来训练上述分割模型。在一种实施方式中,先获取用于训练的心脏磁共振电影短轴图像和用于训练的心脏磁共振电影短轴图像对应的目标心室结构分割图像,然后,通过将用于训练的心脏磁共振电影短轴图像作为分割模型中下采样网络中的卷积模块的输入,将目标心室结构分割图像作为初始模型的上采样网络的目标输出的方式进行模型训练,得到分割模型。
在本公开中,用于训练的心脏磁共振电影短轴图像可以包括心脏正常者的心脏磁共振电影短轴图像和心脏异常者的心脏磁共振电影短轴图像。其中,心脏异常者的心脏磁共振电影短轴图像可以包括不同心脏异常情况下的心脏磁共振电影短轴图像,例如包括:心肌梗死者的心脏磁共振电影短轴图像、扩张型心肌者的心脏磁共振电影短轴图像、肥厚型心肌者的心脏磁共振电影短轴图像、右心室异常者的心脏磁共振电影短轴图像。
另外,用于训练的心脏磁共振电影短轴图像对应的目标心室结构分割图像可以包括左心室血腔、左心室心肌、右心室血腔以及其他区域中的至少一者。示例地,目标心室结构分割图像包括左心室血腔、左心室心肌、右心室血腔以及其他区域,这样,通过分割图像能够同时得到左心室血腔、左心室心肌、右心室血腔以及其他区域。
在另一种实施方式中,为了进一步提升分割模型训练效率,可以先利用包含各类图像(例如,风景图像、动物图像、人物图像等)的通用样本图像对分割模型进行预训练,之后,再利用用于训练的心脏磁共振电影短轴图像和用于训练的心脏磁共振电影短轴图像对应的目标心室结构分割图像对预训练后的分割模型进行模型训练。具体来说,可以通过图3中所示的S301~S304来进行分割模型训练。
在S301中,获取通用样本图像和通用样本图像对应的类别分割图像。
在本公开中,通用样本图像对应的类别分割图像中包括至少一个类别的对象,例如,风景图像包括山、水、树等类别。
在S302中,通过将通用样本图像作为下采样网络中的卷积模块的输入,将类别分割图像作为上采样网络的目标输出的方式进行模型训练,得到初始模型。
在S303中,获取用于训练的心脏磁共振电影短轴图像和用于训练的心脏磁共振电影短轴图像对应的目标心室结构分割图像。
在S304中,通过将用于训练的心脏磁共振电影短轴图像作为初始模型的下采样网络中的卷积模块的输入,将目标心室结构分割图像作为初始模型的上采样网络的目标输出的方式进行模型训练,得到分割模型。
在又一种实施方式中,可以通过图4中所示的S401~S405来训练上述图像分割模型。
在S401中,获取通用样本图像和通用样本图像对应的类别分割图像。
在S402中,通过将通用样本图像作为下采样网络中的卷积模块的输入,将类别分割图像作为上采样网络的目标输出的方式进行模型训练,得到初始模型。
在S403中,获取心电图和心电图对应的波形分割图像。
在本公开中,心电图对应的波形分割图像可以包括P波、T波以及QS波中的至少一者。
在S404中,通过将心电图作为初始模型的下采样网络中的卷积模块的输入,将波形分割图像作为初始模型的上采样网络的目标输出的方式进行模型训练,得到中间模型。
在S405中,获取用于训练的心脏磁共振电影短轴图像和用于训练的心脏磁共振电影短轴图像对应的目标心室结构分割图像。
在S406中,通过将用于训练的心脏磁共振电影短轴图像作为中间模型的下采样网络中的卷积模块的输入,将目标心室结构分割图像作为中间模型的上采样网络的目标输出的方式进行模型训练,得到分割模型。
在该种实施方式中,由于心电图是心脏异常评估中的第一步,因此,利用心电图预训练得到的中间模型的权重更接近分割模型的期望权重,由此,可以最大程度提升后续分割模型的训练效率,并能够保证分割准确率。
基于同样的发明构思,本公开还提供一种图像分割装置。如图5所示,该装置500包括:获取模块501,用于获取待分割的心脏磁共振电影短轴图像;分割模块502,用于将所述获取模块501获取到的所述待分割的心脏磁共振电影短轴图像输入到预先训练好的分割模型中,得到所述心脏磁共振电影短轴图像对应的心室结构分割图像;其中,所述分割模型为包括下采样网络和上采样网络的U型网络,所述下采样网络包括卷积模块和位于所述卷积模块与所述上采样网络之间的至少一个类残差模块,当所述类残差模块的数量为多个时,多个所述类残差模块为串联;所述卷积模块用于对所述待分割的心脏磁共振电影短轴图像进行特征提取,得到第一特征图,并将所述第一特征图输入至与所述卷积模块连接的所述类残差模块;每一所述类残差模块分别用于对来自前一模块的特征图进行下采样,得到第二特征图,并将所述第二特征图输入至下一模块;所述上采样网络用于对从与其连接的所述类残差模块输入的所述第二特征图进行上采样,得到所述心室结构分割图像。
在上述技术方案中,在获取到待分割的心脏磁共振电影短轴图像后,将其输入到预先训练好的分割模型中,得到该心脏磁共振电影短轴图像对应的心室结构分割图像。其中,分割模型为包括下采样网络和上采样网络的U型网络,下采样网络包括卷积模块和位于卷积模块与上采样网络之间的至少一个类残差模块,卷积模块用于对待分割的心脏磁共振电影短轴图像进行特征提取,得到第一特征图,并将第一特征图输入至与卷积模块连接的类残差模块;每一类残差模块分别用于对来自前一模块的特征图进行下采样,得到第二特征图,并将第二特征图输入至下一模块;上采样网络用于对从与其连接的类残差模块输入的第二特征图进行上采样,得到心室结构分割图像。由于类残差模块像残差网络一样引入了残差连接,因此,很好地解决了分割模型训练过程中的过拟合以及梯度消失爆炸的问题,并且,能够最大程度保留来自前一模块的特征图的特征信息,从而提升后续心室结构分割图像的分割准确率,进而为心功能一体化评估、心肌活性一体化评估、冠脉微循环障碍定量分析等辅助诊断评估提供有效参考依据,提高精准医学科研量化分析能力。另外,只需将待分割的心脏磁共振电影短轴图像输入到预先训练好的分割模型中即可自动获取到该心脏磁共振电影短轴图像对应的心室结构分割图像,显著提升了分割效率。
可选地,所述类残差模块包括依次连接的特征提取网络、连接模块以及下采样模块;其中,所述特征提取网络用于对来自前一模块的特征图进行特征提取,得到第三特征图;所述连接模块用于将所述特征提取网络的输入和输出进行拼接,并将拼接结果输入至所述下采样模块;所述下采样模块用于对所述拼接结果进行下采样,得到所述第二特征图,并将所述第二特征图输入至下一模块。
可选地,所述卷积模块为带孔卷积。
可选地,所述心室结构分割图像包括左心室血腔、左心室心肌、右心室血腔以及其他区域中的至少一者。
可选地,所述分割模型可以通过第一模型训练装置训练得到。其中,该第一模型训练装置包括:第一样本获取模块,用于获取通用样本图像和所述通用样本图像对应的类别分割图像;第一训练模块,用于通过将所述通用样本图像作为所述下采样网络中的所述卷积模块的输入,将所述类别分割图像作为所述上采样网络的目标输出的方式进行模型训练,得到初始模型;第二样本获取模块,用于获取用于训练的心脏磁共振电影短轴图像和所述用于训练的心脏磁共振电影短轴图像对应的目标心室结构分割图像;第二训练模块,用于通过将所述用于训练的心脏磁共振电影短轴图像作为所述初始模型的所述下采样网络中的所述卷积模块的输入,将所述目标心室结构分割图像作为所述初始模型的所述上采样网络的目标输出的方式进行模型训练,得到所述分割模型。
可选地,所述分割模型可以通过第二模型训练装置训练得到。其中,该第二模型训练装置包括:第三样本获取模块,用于获取通用样本图像和所述通用样本图像对应的类别分割图像;第三训练模块,用于通过将所述通用样本图像作为所述下采样网络中的所述卷积模块的输入,将所述类别分割图像作为所述上采样网络的目标输出的方式进行模型训练,得到初始模型;第四样本获取模块,可用于获取心电图和所述心电图对应的波形分割图像;第四训练模块,用于通过将所述心电图作为所述初始模型的所述下采样网络中的所述卷积模块的输入,将所述波形分割图像作为所述初始模型的所述上采样网络的目标输出的方式进行模型训练,得到中间模型;第五样本获取模块,用于获取用于训练的心脏磁共振电影短轴图像和所述用于训练的心脏磁共振电影短轴图像对应的目标心室结构分割图像;第五训练模块,用于通过将所述用于训练的心脏磁共振电影短轴图像作为所述中间模型的所述下采样网络中的卷积模块的输入,将所述目标心室结构分割图像作为所述中间模型的所述上采样网络的目标输出的方式进行模型训练,得到所述分割模型。
另外,需要说明的是,上述第一模型训练装置可以集成在上述图像分割装置500中,还可以独立于上述图像分割装置500,上述第二模型训练装置可以集成在上述图像分割装置500中,还可以独立于上述图像分割装置500,对此,本公开不作具体限定。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本公开还提供一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本公开提供的上述图像分割方法的步骤。
图6是根据一示例性实施例示出的一种电子设备600的框图。如图6所示,该电子设备600可以包括:处理器601,存储器602。该电子设备600还可以包括多媒体组件603,输入/输出(I/O)接口604,以及通信组件605中的一者或多者。
其中,处理器601用于控制该电子设备600的整体操作,以完成上述的图像分割方法中的全部或部分步骤。存储器602用于存储各种类型的数据以支持在该电子设备600的操作,这些数据例如可以包括用于在该电子设备600上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器602可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件603可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器602或通过通信组件605发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口604为处理器601和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件605用于该电子设备600与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near FieldCommunication,简称NFC),2G、3G、4G、NB-IOT、eMTC、或其他5G等等,或它们中的一种或几种的组合,在此不做限定。因此相应的该通信组件605可以包括:Wi-Fi模块,蓝牙模块,NFC模块等等。
在一示例性实施例中,电子设备600可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的图像分割方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的图像分割方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器602,上述程序指令可由电子设备600的处理器601执行以完成上述的图像分割方法。
图7是根据一示例性实施例示出的一种电子设备700的框图。例如,电子设备700可以被提供为一服务器。参照图7,电子设备700包括处理器722,其数量可以为一个或多个,以及存储器732,用于存储可由处理器722执行的计算机程序。存储器732中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理器722可以被配置为执行该计算机程序,以执行上述的图像分割方法。
另外,电子设备700还可以包括电源组件726和通信组件750,该电源组件726可以被配置为执行电子设备700的电源管理,该通信组件750可以被配置为实现电子设备700的通信,例如,有线或无线通信。此外,该电子设备700还可以包括输入/输出(I/O)接口758。电子设备700可以操作基于存储在存储器732的操作系统,例如Windows ServerTM,Mac OSXTM,UnixTM,LinuxTM等等。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的图像分割方法的步骤。例如,该非临时性计算机可读存储介质可以为上述包括程序指令的存储器732,上述程序指令可由电子设备700的处理器722执行以完成上述的图像分割方法。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的图像分割方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。

Claims (10)

1.一种图像分割方法,其特征在于,包括:
获取待分割的心脏磁共振电影短轴图像;
将所述待分割的心脏磁共振电影短轴图像输入到预先训练好的分割模型中,得到所述心脏磁共振电影短轴图像对应的心室结构分割图像;
其中,所述分割模型为包括下采样网络和上采样网络的U型网络,所述下采样网络包括卷积模块和位于所述卷积模块与所述上采样网络之间的至少一个类残差模块,当所述类残差模块的数量为多个时,多个所述类残差模块为串联;
所述卷积模块用于对所述待分割的心脏磁共振电影短轴图像进行特征提取,得到第一特征图,并将所述第一特征图输入至与所述卷积模块连接的所述类残差模块;
每一所述类残差模块分别用于对来自前一模块的特征图进行下采样,得到第二特征图,并将所述第二特征图输入至下一模块;
所述上采样网络用于对从与其连接的所述类残差模块输入的所述第二特征图进行上采样,得到所述心室结构分割图像。
2.根据权利要求1所述的方法,其特征在于,所述类残差模块包括依次连接的特征提取网络、连接模块以及下采样模块;
其中,所述特征提取网络用于对来自前一模块的特征图进行特征提取,得到第三特征图;
所述连接模块用于将所述特征提取网络的输入和输出进行拼接,并将拼接结果输入至所述下采样模块;
所述下采样模块用于对所述拼接结果进行下采样,得到所述第二特征图,并将所述第二特征图输入至下一模块。
3.根据权利要求1所述的方法,其特征在于,所述卷积模块为带孔卷积。
4.根据权利要求1所述的方法,其特征在于,所述心室结构分割图像包括左心室血腔、左心室心肌、右心室血腔以及其他区域中的至少一者。
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述分割模型通过以下方式训练得到:
获取通用样本图像和所述通用样本图像对应的类别分割图像;
通过将所述通用样本图像作为所述卷积模块的输入,将所述类别分割图像作为所述上采样网络的目标输出的方式进行模型训练,得到初始模型;
获取用于训练的心脏磁共振电影短轴图像和所述用于训练的心脏磁共振电影短轴图像对应的目标心室结构分割图像;
通过将所述用于训练的心脏磁共振电影短轴图像作为所述初始模型的所述卷积模块的输入,将所述目标心室结构分割图像作为所述初始模型的所述上采样网络的目标输出的方式进行模型训练,得到所述分割模型。
6.根据权利要求1-4中任一项所述的方法,其特征在于,所述分割模型通过以下方式训练得到:
获取通用样本图像和所述通用样本图像对应的类别分割图像;
通过将所述通用样本图像作为所述卷积模块的输入,将所述类别分割图像作为所述上采样网络的目标输出的方式进行模型训练,得到初始模型;
获取心电图和所述心电图对应的波形分割图像;
通过将所述心电图作为所述初始模型的所述卷积模块的输入,将所述波形分割图像作为所述初始模型的所述上采样网络的目标输出的方式进行模型训练,得到中间模型;
获取用于训练的心脏磁共振电影短轴图像和所述用于训练的心脏磁共振电影短轴图像对应的目标心室结构分割图像;
通过将所述用于训练的心脏磁共振电影短轴图像作为所述中间模型的所述卷积模块的输入,将所述目标心室结构分割图像作为所述中间模型的所述上采样网络的目标输出的方式进行模型训练,得到所述分割模型。
7.一种图像分割装置,其特征在于,包括:
获取模块,用于获取待分割的心脏磁共振电影短轴图像;
分割模块,用于将所述获取模块获取到的所述待分割的心脏磁共振电影短轴图像输入到预先训练好的分割模型中,得到所述心脏磁共振电影短轴图像对应的心室结构分割图像;
其中,所述分割模型为包括下采样网络和上采样网络的U型网络,所述下采样网络包括卷积模块和位于所述卷积模块与所述上采样网络之间的至少一个类残差模块,当所述类残差模块的数量为多个时,多个所述类残差模块为串联;
所述卷积模块用于对所述待分割的心脏磁共振电影短轴图像进行特征提取,得到第一特征图,并将所述第一特征图输入至与所述卷积模块连接的所述类残差模块;
每一所述类残差模块分别用于对来自前一模块的特征图进行下采样,得到第二特征图,并将所述第二特征图输入至下一模块;
所述上采样网络用于对从与其连接的所述类残差模块输入的所述第二特征图进行上采样,得到所述心室结构分割图像。
8.根据权利要求7所述的装置,其特征在于,所述类残差模块包括依次连接的特征提取网络、连接模块以及下采样模块;
其中,所述特征提取网络用于对来自前一模块的特征图进行特征提取,得到第三特征图;
所述连接模块用于将所述特征提取网络的输入和输出进行拼接,并将拼接结果输入至所述下采样模块;
所述下采样模块用于对所述拼接结果进行下采样,得到所述第二特征图,并将所述第二特征图输入至下一模块。
9.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-6中任一项所述方法的步骤。
10.一种电子设备,其特征在于,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1-6中任一项所述方法的步骤。
CN202111040374.2A 2021-09-06 2021-09-06 图像分割方法、装置、可读存储介质及电子设备 Active CN113808143B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111040374.2A CN113808143B (zh) 2021-09-06 2021-09-06 图像分割方法、装置、可读存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111040374.2A CN113808143B (zh) 2021-09-06 2021-09-06 图像分割方法、装置、可读存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN113808143A true CN113808143A (zh) 2021-12-17
CN113808143B CN113808143B (zh) 2024-05-17

Family

ID=78940484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111040374.2A Active CN113808143B (zh) 2021-09-06 2021-09-06 图像分割方法、装置、可读存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN113808143B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023116585A1 (zh) * 2021-12-20 2023-06-29 中国科学院深圳先进技术研究院 基于动态自适应网络的多参数乳腺磁共振图像分割方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018015414A1 (en) * 2016-07-21 2018-01-25 Siemens Healthcare Gmbh Method and system for artificial intelligence based medical image segmentation
WO2018140596A2 (en) * 2017-01-27 2018-08-02 Arterys Inc. Automated segmentation utilizing fully convolutional networks
CN109584254A (zh) * 2019-01-07 2019-04-05 浙江大学 一种基于深层全卷积神经网络的心脏左心室分割方法
CN109785334A (zh) * 2018-12-17 2019-05-21 深圳先进技术研究院 心脏磁共振图像分割方法、装置、终端设备及存储介质
CN110766691A (zh) * 2019-12-06 2020-02-07 北京安德医智科技有限公司 一种心脏磁共振影像分析及心肌病预测的方法、装置
CN111222474A (zh) * 2020-01-09 2020-06-02 电子科技大学 一种任意尺度的高分辨率图像小目标检测方法
WO2020119679A1 (zh) * 2018-12-14 2020-06-18 深圳先进技术研究院 三维左心房分割方法、装置、终端设备及存储介质
CN111639692A (zh) * 2020-05-25 2020-09-08 南京邮电大学 一种基于注意力机制的阴影检测方法
CN112183635A (zh) * 2020-09-29 2021-01-05 南京农业大学 一种多尺度反卷积网络实现植物叶部病斑分割与识别方法
CN112465834A (zh) * 2020-11-26 2021-03-09 中科麦迪人工智能研究院(苏州)有限公司 一种血管分割方法及装置
CN114943670A (zh) * 2021-02-09 2022-08-26 杭州三坛医疗科技有限公司 医学图像的识别方法、装置、电子设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018015414A1 (en) * 2016-07-21 2018-01-25 Siemens Healthcare Gmbh Method and system for artificial intelligence based medical image segmentation
WO2018140596A2 (en) * 2017-01-27 2018-08-02 Arterys Inc. Automated segmentation utilizing fully convolutional networks
WO2020119679A1 (zh) * 2018-12-14 2020-06-18 深圳先进技术研究院 三维左心房分割方法、装置、终端设备及存储介质
CN109785334A (zh) * 2018-12-17 2019-05-21 深圳先进技术研究院 心脏磁共振图像分割方法、装置、终端设备及存储介质
CN109584254A (zh) * 2019-01-07 2019-04-05 浙江大学 一种基于深层全卷积神经网络的心脏左心室分割方法
CN110766691A (zh) * 2019-12-06 2020-02-07 北京安德医智科技有限公司 一种心脏磁共振影像分析及心肌病预测的方法、装置
CN111222474A (zh) * 2020-01-09 2020-06-02 电子科技大学 一种任意尺度的高分辨率图像小目标检测方法
CN111639692A (zh) * 2020-05-25 2020-09-08 南京邮电大学 一种基于注意力机制的阴影检测方法
CN112183635A (zh) * 2020-09-29 2021-01-05 南京农业大学 一种多尺度反卷积网络实现植物叶部病斑分割与识别方法
CN112465834A (zh) * 2020-11-26 2021-03-09 中科麦迪人工智能研究院(苏州)有限公司 一种血管分割方法及装置
CN114943670A (zh) * 2021-02-09 2022-08-26 杭州三坛医疗科技有限公司 医学图像的识别方法、装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
NAGA RAJU GUDHE ET.AL: "Multi-level dilated residual network for biomedical image segmentation", 《NATURE》, 8 July 2021 (2021-07-08) *
张涵: "基于半监督深度学习的冠状动脉分割方法研究", 《中国优秀硕士学位论文全文数据库(信息科技)》, no. 02, 15 February 2021 (2021-02-15) *
橘色闪光: "图像分割技术之上采样技术", 《CSDN博客》, 18 April 2021 (2021-04-18) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023116585A1 (zh) * 2021-12-20 2023-06-29 中国科学院深圳先进技术研究院 基于动态自适应网络的多参数乳腺磁共振图像分割方法

Also Published As

Publication number Publication date
CN113808143B (zh) 2024-05-17

Similar Documents

Publication Publication Date Title
CN107137107B (zh) 多模态医学图像获取方法及多模态医学图像成像系统
WO2022127071A1 (zh) 网络训练方法、图像分割方法、装置、设备、介质及产品
JP2022502739A (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
CN109492675B (zh) 医学影像的识别方法、装置、存储介质和电子设备
CN110766691A (zh) 一种心脏磁共振影像分析及心肌病预测的方法、装置
CN109712217B (zh) 一种医学图像可视化方法和系统
US10997720B2 (en) Medical image classification method and related device
KR102483585B1 (ko) 초기 동적 영상데이터 기반 진단용 영상 생성방법 및 프로그램
CN112766377B (zh) 左心室磁共振影像智能分类方法、装置、设备和介质
CN113658175B (zh) 一种征象数据的确定方法及装置
US11449210B2 (en) Method for providing an image base on a reconstructed image group and an apparatus using the same
CN113808143A (zh) 图像分割方法、装置、可读存储介质及电子设备
CN116469545A (zh) 使用医学图像进行辅助疾病预测的方法、装置及设备
CN111448614B (zh) 用于分析超声心动图的方法和装置
CN112137613B (zh) 异常位置的确定方法、装置、存储介质及电子设备
CN113469948A (zh) 左心室节段识别方法及装置、电子设备和存储介质
CN113205488A (zh) 血流特性预测方法、装置、电子设备及存储介质
CN115965837A (zh) 图像重建模型训练方法、图像重建方法及相关设备
CN115861283A (zh) 医学影像的分析方法、装置、设备及存储介质
CN113096132B (zh) 图像处理的方法、装置、存储介质和电子设备
CN113538395A (zh) 图像处理方法、装置、设备、可读存储介质
CN116325009A (zh) 医疗系统和方法
CN114612373A (zh) 一种图像识别方法及服务器
CN116468603A (zh) 图像处理方法、装置、存储介质及电子设备
CN111833251B (zh) 一种三维医学图像超分辨率重建方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant