CN111161279A - 医学图像分割方法、装置及服务器 - Google Patents

医学图像分割方法、装置及服务器 Download PDF

Info

Publication number
CN111161279A
CN111161279A CN201911292823.5A CN201911292823A CN111161279A CN 111161279 A CN111161279 A CN 111161279A CN 201911292823 A CN201911292823 A CN 201911292823A CN 111161279 A CN111161279 A CN 111161279A
Authority
CN
China
Prior art keywords
image
features
boundary
segmented
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911292823.5A
Other languages
English (en)
Other versions
CN111161279B (zh
Inventor
王如心
李烨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201911292823.5A priority Critical patent/CN111161279B/zh
Publication of CN111161279A publication Critical patent/CN111161279A/zh
Application granted granted Critical
Publication of CN111161279B publication Critical patent/CN111161279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请属于图像分割的技术领域,提供了一种医学图像分割方法、装置及服务器,该方法包括:将待分割图像输入图像分割模型,对所述待分割图像进行特征提取生成图像特征;对所述图像特征进行边界特征提取得到边界特征;融合所述图像特征、所述边界特征和所述待分割图像得到全局特征数据;融合所述图像特征和所述全局特征数据生成特征图像;根据所述特征图像对所述待分割图像进行病灶区域分割,输出病灶区域图像。本申请实施例解决图像的病灶区域分割准确率低的问题。

Description

医学图像分割方法、装置及服务器
技术领域
本发明涉及图像分割的技术领域,尤其涉及一种医学图像分割方法、装置及服务器。
背景技术
随着医学影像学设备的快速发展和普及,成像技术包括磁共振成像(MR)、计算机断层扫描(CT)、超声、正电子发射断层扫描(PET)等,成为医疗机构开展疾病诊断、手术计划制定、预后评估、随访不可或缺的设备。医学图像处理是分析医学图像的首要步骤,基于医学图像的病灶分割是一项重要的辅助诊断技术,好的分割结果能够帮助医生更快更好的“识图”。在处理医学图像分割问题时,传统方法通常以特征点、边缘检测等为基础进行分析,其缺点是易受成像对比度、噪声以及一些人工效应的干扰,分析精度低。
现有方法通过深度学习医学图像构建深度网络模型,但该模型往往只利用编码器对图像提取特征并编码得到的高级特征进行(逐级)解码得到预测分割模板,虽然高级特征具有更加丰富的语义信息,但是由于多次的连续卷积、池化,它们同样损失了许多空间信息,由此一来影响了分割的效果,造成图像病灶区域分割的准确率低。
发明内容
有鉴于此,本发明实施例提供了一种医学图像分割方法、装置及服务器,以解决图像的病灶区域分割准确率低的问题。
本发明实施例的第一方面提供了一种医学图像分割方法,包括:
将待分割图像输入图像分割模型,对所述待分割图像进行特征提取生成图像特征;
对所述图像特征进行边界特征提取得到边界特征;
融合所述图像特征、所述边界特征和所述待分割图像得到全局特征数据;
融合所述图像特征和所述全局特征数据生成特征图像;
根据所述特征图像对所述待分割图像进行病灶区域分割,输出病灶区域图像。
在一个实施示例中,所述将待分割图像输入图像分割模型,对所述待分割图像进行特征提取生成图像特征,包括:
所述将待分割图像输入图像分割模型后,通过编码器中图像特征提取网络的N个残差卷积模块逐级对所述待分割图像进行特征提取,生成N级所述图像特征;N≥1。
在一个实施示例中,在融合所述图像特征和所述全局特征数据生成特征图像之前,还包括:
通过所述编码器中多尺度池化模块对N级所述特征图进行多尺度卷积,得到包含多尺度信息的图像特征。
在一个实施示例中,所述对所述特征图像进行边界特征提取得到边界特征,包括:
通过所述编码器中边界特征提取网络对每一级所述图像特征进行边界特征提取,得到N级边界特征。
在一个实施示例中,所述融合所述图像特征、所述边界特征和所述待分割图像得到全局特征数据,包括:
通过所述编码器中全局特征生成模块逐级融合N级所述图像特征、N级所述边界特征和所述待分割图像,得到全局特征数据。
在一个实施示例中,所述根据所述特征图像对所述待分割图像进行病灶区域分割,输出病灶区域图像,包括:
通过解码器根据所述特征图像对所述待分割图像进行病灶区域分割,输出病灶区域图像。
在一个实施示例中,所述通过所述编码器中边界特征提取网络对每一级所述图像特征进行边界特征提取,得到N级边界特征,包括:
对于每一级所述图像特征,确定所述图像特征与所述图像特征平均池化后的数据之间的差值为所述图像特征对应的边界特征。
在一个实施示例中,所述通过所述编码器中全局特征生成模块逐级融合N级所述图像特征、N级所述边界特征和所述待分割图像,得到全局特征数据,包括:
通过门函数结合所述待分割图像对每一级所述图像特征和每一级所述边界特征进行逐级融合,得到全局特征数据。
本发明实施例的第二方面提供了一种医学图像分割装置,包括:
图像特征提取模块,用于将待分割图像输入图像分割模型,对所述待分割图像进行特征提取生成图像特征;
边界特征提取模块,用于对所述图像特征进行边界特征提取得到边界特征;
全局特征生成模块,用于融合所述图像特征、所述边界特征和所述待分割图像得到全局特征数据;
特征融合模块,用于融合所述图像特征和所述全局特征数据生成特征图像;
病灶分割模块,用于根据所述特征图像对所述待分割图像进行病灶区域分割,输出病灶区域图像。
本发明实施例的第三方面提供了一种服务器,包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现第一方面中医学图像分割方法。
本发明实施例提供的一种医学图像分割方法、装置及服务器,通过将待分割图像输入图像分割模型,对所述待分割图像进行特征提取生成图像特征;
对所述图像特征进行边界特征提取得到边界特征;融合所述图像特征、所述边界特征和所述待分割图像得到全局特征数据;融合所述图像特征和所述全局特征数据生成特征图像;根据所述特征图像对所述待分割图像进行病灶区域分割,输出病灶区域图像。通过对图像特征进行边界特征提取并融合图像特征、所述边界特征和所述待分割图像得到全局特征数据,有效的整合了待分割图像的全局特征和边界特征,实现不同水平的特征信息互补。融合图像特征和全局特征数据生成的特征图像具有丰富的图像上下文信息。根据具有丰富的图像上下文信息的特征图像对待分割图像进行病灶分割,提升图像病灶区域的分割精度。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的医学图像分割方法的流程示意图;
图2是本发明实施例一提供的图像分割模型的结构示意图;
图3是本发明实施例二提供的医学图像分割方法的流程示意图;
图4是本发明实施例三提供的医学图像分割装置的结构示意图;
图5是本发明实施例四提供的服务器的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“包括”以及它们任何变形,意图在于覆盖不排他的包含。例如包含一系列步骤或单元的过程、方法或系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外,术语“第一”、“第二”和“第三”等是用于区别不同对象,而非用于描述特定顺序。
实施例一
如图1所示,是本发明实施例一提供的医学图像分割方法的流程示意图。本实施例可适用于对医学图像中的病灶区域进行分割的应用场景,该方法可以由医学图像分割装置执行,该装置可为服务器、智能终端、平板或PC等;在本申请实施例中以医学图像分割装置作为执行主体进行说明,该方法具体包括如下步骤:
S110、将待分割图像输入图像分割模型,对所述待分割图像进行特征提取生成图像特征;
现有的医学图像分割方法中可通过深度学习病灶图像构建深度网络模型,但该模型往往只利用编码器对图像提取特征并编码得到的高级特征进行(逐级)解码得到预测分割模板,虽然高级特征具有更加丰富的语义信息,但是由于多次的连续卷积、池化,它们同样损失了许多空间信息,由此一来影响了图像的分割效果。为解决这一技术问题,可通过整合待分割图像的局部信息与其全局相关性,提取更加更加丰富的上下文信息用于医学图像的语义分割。
具体地,可通过根据病灶图像预先训练好的图像分割模型对待分割图像进行病灶区域分割。待分割图像输入图像分割模型后,需对待分割图像的图像信息进行特征提取生成图像特征。
在一个实施示例中,图像分割模型可由对称的编码器和解码器构成;编码器和解码器之间通过图像通道维度拼接。如图2所示为图像分割模型的结构示意图。对待分割图像的图像信息进行特征提取生成图像特征的具体过程可为:通过编码器中图像特征提取网络的N个残差卷积模块逐级对所述待分割图像进行特征提取,生成N级所述图像特征;N≥1。
具体地,编码器中特征提取网络可包括N个残差卷积模块实现对待分割图像进行特征提取生成图像特征。其中,编码器中的编码网络可采用deeplabV3主体结构;每一残差卷积模块中包括多个卷积层。通过编码器中N个残差卷积模块逐级对待分割图像进行特征提取生成图像特征的过程中,第i个残差卷积模块对输入的图像进行卷积计算后生成i级图像特征,并将该级图像特征输入第i+1个残差卷积模块进行卷积计算;其中,0<i<N。因此,通过编码器中图像特征提取网络的N个残差卷积模块逐级对待分割图像进行特征提取,生成N级图像特征。
S120、对所述图像特征进行边界特征提取得到边界特征;
为实现不同水平的特征信息互补,提取更为丰富的图像特征,增强特征提取的效果。可通过对图像特征进行边界特征提取,避免特征损失。
在一个实施示例中,对所述图像特征进行边界特征提取得到边界特征的具体过程可为:通过所述编码器中边界特征提取网络对每一级所述图像特征进行边界特征提取,得到N级边界特征。具体地,编码器还可包括边界特征提取网络。由于编码器中的特征提取网络可包括N个残差卷积模块,对应于N个残差卷积模块逐级对待分割图像进行特征提取得到的N级图像特征,可通过边界特征提取网络对每一级图像特征进行边界特征提取,从而得到对应的N级边界特征。
在一个实施示例中,边界特征提取网络对每一级图像特征进行边界特征提取,得到对应的N级边界特征的计算过程可为:对于每一级所述图像特征,确定所述图像特征与所述图像特征平均池化后的数据之间的差值为所述图像特征对应的边界特征。举例说明,当边界特征提取网络对第i级图像特征进行边界特征提取时,可对第i级图像特征进行平均池化,并确定第i级图像特征与第i级图像特征平均池化后的数据的差值为第i级边界特征。
S130、融合所述图像特征、所述边界特征和所述待分割图像得到全局特征数据;
通过对待分割图像进行图像特征提取和边界特征提取得到图像特征以边界特征后,还需将图像特征、边界特征和待分割图像进行融合得到全局特征数据,以实现整合待分割图像的特征信息与待分割图像全局相关性。
在一个实施示例中,编码器还可包括全局特征生成模块。由于编码器中的特征提取网络可包括N个残差卷积模块,对应于N个残差卷积模块逐级对待分割图像进行特征提取得到的N级图像特征;通过边界特征提取网络对每一级图像特征进行边界特征提取,得到对应的N级边界特征。融合所述图像特征、所述边界特征和所述待分割图像得到全局特征数据的具体过程可为:通过所述编码器中全局特征生成模块逐级融合N级所述图像特征、N级所述边界特征和所述待分割图像,得到全局特征数据。
在一个实施示例中,全局特征生成模块逐级融合N级图像特征、N级边界特征和待分割图像的过程可为:通过门函数结合所述待分割图像对每一级所述图像特征和每一级所述边界特征进行逐级融合,得到全局特征数据。具体地,通过门函数结合待分割图像对每一级图像特征和每一级边界特征进行逐级融合,避免特征简单拼接造成数据冗余,并且通过门限控制可以选择“更重要的特征”进行融合,类似于加权处理。可选的,编码器中的特征提取网络可包括4个残差卷积模块,对应于4个残差卷积模块逐级对待分割图像进行特征提取得到的4级图像特征;通过边界特征提取网络对每一级图像特征进行边界特征提取,得到对应的4级边界特征。举例说明,预设4级图像特征为Res_1-Res_4;4级边界特征为f_e1-f_e4;待分割图像为f_I;通过门函数F逐级融合4级图像特征、4级边界特征以及待分割图像得到全局特征数据F_g的过程可为:
F1=F(F0,f_1,f_I,f_e1);其中,预设F0=0;
F2=F(F1,f_2,f_I,f_e2);
F3=F(F2,f_3,f_I,f_e3);
F_g=F(F3,f_4,f_I,f_e4)。
S140、融合所述图像特征和所述全局特征数据生成特征图像;
由于图像分割模型可由编码器和解码器构成,解码器需根据编码器发送的上下文信息对待分割图像进行病灶区域分割。可通过编码器中池化层融合图像特征和全局特征数据生成特征图像,编码器从而根据特征图像编码生成上下文信息发送至解码器。
在一个实施示例中,为获得待分割图像的多尺度特征信息,融合所述图像特征和所述全局特征数据生成特征图像之前,可通过所述编码器中多尺度池化模块对N级所述特征图进行多尺度卷积,得到包含多尺度信息的图像特征。
具体地,由于编码器中的特征提取网络可包括N个残差卷积模块,对应于N个残差卷积模块逐级对待分割图像进行特征提取得到的N级图像特征。多尺度池化模块包括若干不同尺度的卷积层和一个全局池化层,通过多尺度池化模块中若干不同尺度的卷积层对N级图像特征进行卷积计算,从而得到包含多尺度信息的图像特征。可选的,多尺度池化模块可包括四个多尺度的卷积层,分别为1x1卷积层,3x3卷积层,7x7卷积层和11x11卷积层。
编码器中池化层融合包含多尺度信息的图像特征和全局特征数据生成特征图像,编码器从而根据特征图像编码生成上下文信息发送至解码器,使得网络提取得到的上下文信息更加的有效。
S150、根据所述特征图像对所述待分割图像进行病灶区域分割,输出病灶区域图像。
由于图像分割模型可包括编码器和解码器,且编码器与解码器为对称结构。解码器对应编码器中的卷积层结构设置有对应的转置卷积层。在一个实施示例中,通过解码器根据编码器编码的上下文信息对所述待分割图像进行病灶区域分割,输出病灶区域掩膜。若需具体图像,可根据解码器输出的病灶区域掩膜对待分割图像进行分割得到病灶区域图像。融合图像特征和全局特征数据生成的特征图像具有丰富的图像上下文信息。根据具有丰富的图像上下文信息的特征图像对待分割图像进行病灶分割,提升图像病灶区域的分割精度。
本发明实施例提供的一种医学图像分割方法,通过将待分割图像输入图像分割模型,对所述待分割图像进行特征提取生成图像特征;对所述图像特征进行边界特征提取得到边界特征;融合所述图像特征、所述边界特征和所述待分割图像得到全局特征数据;融合所述图像特征和所述全局特征数据生成特征图像;根据所述特征图像对所述待分割图像进行病灶区域分割,输出病灶区域图像。通过对图像特征进行边界特征提取并融合图像特征、所述边界特征和所述待分割图像得到全局特征数据,有效的整合了待分割图像的全局特征和边界特征,实现不同水平的特征信息互补。融合图像特征和全局特征数据生成的特征图像具有丰富的图像上下文信息。根据具有丰富的图像上下文信息的特征图像对待分割图像进行病灶分割,提升图像病灶区域的分割精度。
实施例二
如图3所示的是本发明实施例二提供的医学图像分割方法的流程示意图。在实施例一的基础上,本实施例还提供了优化图像分割模型中参数的过程,从而进一步提高分割图像中病灶区域的准确率。该方法具体包括:
S210、将预设图像训练数据输入图像分割模型,对图像训练数据进行特征提取生成图像特征;
为实现图像分割模型更准确的分割医学图像中的病灶区域,需对该图像分割模型进行训练。选取若干原始医学图像,并对原始医学图像进行预处理生成图像训练数据。预处理主要包括规范化、随机翻转,随机裁剪等数据增强手段,完成对图像训练数据中样本的扩充和增强。图像训练数据输入图像分割模型后,可通过图像分割模型的编码器中图像特征提取网络的N个残差卷积模块逐级对图像训练数据进行特征提取,生成N级所述图像特征。
S220、对所述图像特征进行边界特征提取得到边界特征;
编码器还可包括边界特征提取网络。由于编码器中的特征提取网络可包括N个残差卷积模块,对应于N个残差卷积模块逐级对图像训练数据进行特征提取得到的N级图像特征,可通过边界特征提取网络对每一级图像特征进行边界特征提取,从而得到对应的N级边界特征。
S230、融合所述图像特征、所述边界特征和图像训练数据得到全局特征数据;
编码器还可包括全局特征生成模块。通过所述编码器中全局特征生成模块逐级融合N级所述图像特征、N级所述边界特征和图像训练数据,得到全局特征数据。
S240、融合所述图像特征和所述全局特征数据生成特征图像;
由于图像分割模型可由编码器和解码器构成,解码器需根据编码器发送的上下文信息对待分割图像进行病灶区域分割。可通过编码器中池化层融合图像特征和全局特征数据生成特征图像,编码器从而根据特征图像编码生成上下文信息发送至解码器。
在一个实施示例中,为获得待分割图像的多尺度特征信息,融合所述图像特征和所述全局特征数据生成特征图像之前,可通过所述编码器中多尺度池化模块对N级所述特征图进行多尺度卷积,得到包含多尺度信息的图像特征。
S250、根据所述特征图像对图像训练数据进行病灶区域分割,输出病灶区域图像;
解码器对应编码器中的卷积层结构设置有对应的转置卷积层。通过解码器对上下文信息进行解码并对所述待分割图像进行病灶区域分割,输出病灶区域预测掩膜。
S260、根据病灶区域预测图像与图像训练数据对应的目标掩膜反向计算梯度,以更新图像分割模型的参数。
由于预设的图像训练数据具有确定的病灶区域掩膜,将确定的病灶区域掩膜作为目标掩膜。可根据病灶区域预测掩膜与图像训练数据对应的目标掩膜反向计算梯度,从而根据计算得到的梯度更新图像分割模型中编码器和解码器的图像特征提取网络的N个残差卷积模块、边界特征提取网络、全局特征生成模块、以及多尺度池化模块的参数。并采用参数更新后的图像分割模型中编码器和解码器进行医学图像的病灶区域分割或进行下一次迭代训练。实现对图像分割模型的优化,进一步提高分割医学图像中病灶区域的准确率。
实施例三
如图4所示的是本发明实施例三提供的医学图像分割装置。在实施例一或二的基础上,本发明实施例还提供了一种医学图像分割装置4,该装置包括:
图像特征提取模块401,用于将待分割图像输入图像分割模型,对所述待分割图像进行特征提取生成图像特征;
在一个实施示例中,将待分割图像输入图像分割模型,对所述待分割图像进行特征提取生成图像特征时,图像特征提取模块401包括:
图像特征提取单元,用于所述将待分割图像输入图像分割模型后,通过编码器中图像特征提取网络的N个残差卷积模块逐级对所述待分割图像进行特征提取,生成N级所述图像特征;N≥1。
边界特征提取模块402,用于对所述图像特征进行边界特征提取得到边界特征;
在一个实施示例中,对所述图像特征进行边界特征提取得到边界特征时,边界特征提取模块402包括:
边界特征提取单元,用于通过所述编码器中边界特征提取网络对每一级所述图像特征进行边界特征提取,得到N级边界特征。
在一个实施示例中,边界特征提取单元包括:
边界特征提取子单元,用于对于每一级所述图像特征,确定所述图像特征与所述图像特征平均池化后的数据之间的差值为所述图像特征对应的边界特征。
全局特征生成模块403,用于融合所述图像特征、所述边界特征和所述待分割图像得到全局特征数据;
在一个实施示例中,融合所述图像特征、所述边界特征和所述待分割图像得到全局特征数据时,全局特征生成模块403包括:
全局特征生成单元,用于通过所述编码器中全局特征生成模块逐级融合N级所述图像特征、N级所述边界特征和所述待分割图像,得到全局特征数据。
在一个实施示例中,全局特征生成单元包括:
全局特征生成子单元,用于通过门函数结合所述待分割图像对每一级所述图像特征和每一级所述边界特征进行逐级融合,得到全局特征数据。
特征融合模块404,用于融合所述图像特征和所述全局特征数据生成特征图像;
在一个实施示例中,特征融合模块404融合所述图像特征和所述全局特征数据生成特征图像之前,该装置还包括:
多尺度信息提取模块,用于通过所述编码器中多尺度池化模块对N级所述特征图进行多尺度卷积,得到包含多尺度信息的图像特征。
病灶分割模块405,用于根据所述特征图像对所述待分割图像进行病灶区域分割,输出病灶区域图像。
在一个实施示例中,根据所述特征图像对所述待分割图像进行病灶区域分割,输出病灶区域图像时,病灶分割模块405包括:
病灶分割单元,用于通过解码器根据所述特征图像对所述待分割图像进行病灶区域分割,输出病灶区域图像。
本发明实施例提供的一种医学图像分割装置,通过将待分割图像输入图像分割模型,对所述待分割图像进行特征提取生成图像特征;对所述图像特征进行边界特征提取得到边界特征;融合所述图像特征、所述边界特征和所述待分割图像得到全局特征数据;融合所述图像特征和所述全局特征数据生成特征图像;根据所述特征图像对所述待分割图像进行病灶区域分割,输出病灶区域图像。通过对图像特征进行边界特征提取并融合图像特征、所述边界特征和所述待分割图像得到全局特征数据,有效的整合了待分割图像的全局特征和边界特征,实现不同水平的特征信息互补。融合图像特征和全局特征数据生成的特征图像具有丰富的图像上下文信息。根据具有丰富的图像上下文信息的特征图像对待分割图像进行病灶分割,提升图像病灶区域的分割精度。
实施例四
图5是本发明实施例四提供的服务器的结构示意图。该服务器包括:处理器51、存储器52以及存储在所述存储器52中并可在所述处理器51上运行的计算机程序53,例如用于医学图像分割方法的程序。所述处理器51执行所述计算机程序53时实现上述医学图像分割方法实施例中的步骤,例如图1所示的步骤S110至S150。
示例性的,所述计算机程序53可以被分割成一个或多个模块,所述一个或者多个模块被存储在所述存储器52中,并由所述处理器51执行,以完成本申请。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序53在所述服务器中的执行过程。例如,所述计算机程序53可以被分割成图像特征提取模块、边界特征提取模块、全局特征生成模块、特征融合模块和病灶分割模块,各模块具体功能如下:
图像特征提取模块,用于将待分割图像输入图像分割模型,对所述待分割图像进行特征提取生成图像特征;
边界特征提取模块,用于对所述图像特征进行边界特征提取得到边界特征;
全局特征生成模块,用于融合所述图像特征、所述边界特征和所述待分割图像得到全局特征数据;
特征融合模块,用于融合所述图像特征和所述全局特征数据生成特征图像;
病灶分割模块,用于根据所述特征图像对所述待分割图像进行病灶区域分割,输出病灶区域图像。
所述服务器可包括,但不仅限于,处理器51、存储器52以及存储在所述存储器52中的计算机程序53。本领域技术人员可以理解,图5仅仅是服务器的示例,并不构成对服务器的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述服务器还可以包括输入输出设备、网络接入设备、总线等。
所述处理器51可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器52可以是所述服务器的内部存储单元,例如服务器的硬盘或内存。所述存储器52也可以是外部存储设备,例如服务器上配备的插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器52还可以既包括服务器的内部存储单元也包括外部存储设备。所述存储器52用于存储所述计算机程序以及医学图像分割方法所需的其他程序和数据。所述存储器52还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种医学图像分割方法,其特征在于,包括:
将待分割图像输入图像分割模型,对所述待分割图像进行特征提取生成图像特征;
对所述图像特征进行边界特征提取得到边界特征;
融合所述图像特征、所述边界特征和所述待分割图像得到全局特征数据;
融合所述图像特征和所述全局特征数据生成特征图像;
根据所述特征图像对所述待分割图像进行病灶区域分割,输出病灶区域图像。
2.如权利要求1所述的医学图像分割方法,其特征在于,所述将待分割图像输入图像分割模型,对所述待分割图像进行特征提取生成图像特征,包括:
所述将待分割图像输入图像分割模型后,通过编码器中图像特征提取网络的N个残差卷积模块逐级对所述待分割图像进行特征提取,生成N级所述图像特征;N≥1。
3.如权利要求2所述的医学图像分割方法,其特征在于,在融合所述图像特征和所述全局特征数据生成特征图像之前,还包括:
通过所述编码器中多尺度池化模块对N级所述特征图进行多尺度卷积,得到包含多尺度信息的图像特征。
4.如权利要求2或3所述的医学图像分割方法,其特征在于,所述对所述特征图像进行边界特征提取得到边界特征,包括:
通过所述编码器中边界特征提取网络对每一级所述图像特征进行边界特征提取,得到N级边界特征。
5.如权利要求4所述的医学图像分割方法,其特征在于,所述融合所述图像特征、所述边界特征和所述待分割图像得到全局特征数据,包括:
通过所述编码器中全局特征生成模块逐级融合N级所述图像特征、N级所述边界特征和所述待分割图像,得到全局特征数据。
6.如权利要求5所述的医学图像分割方法,其特征在于,所述根据所述特征图像对所述待分割图像进行病灶区域分割,输出病灶区域图像,包括:
通过解码器根据所述特征图像对所述待分割图像进行病灶区域分割,输出病灶区域图像。
7.如权利要求4所述的医学图像分割方法,其特征在于,所述通过所述编码器中边界特征提取网络对每一级所述图像特征进行边界特征提取,得到N级边界特征,包括:
对于每一级所述图像特征,确定所述图像特征与所述图像特征平均池化后的数据之间的差值为所述图像特征对应的边界特征。
8.如权利要求5所述的医学图像分割方法,其特征在于,所述通过所述编码器中全局特征生成模块逐级融合N级所述图像特征、N级所述边界特征和所述待分割图像,得到全局特征数据,包括:
通过门函数结合所述待分割图像对每一级所述图像特征和每一级所述边界特征进行逐级融合,得到全局特征数据。
9.一种医学图像分割装置,其特征在于,包括:
图像特征提取模块,用于将待分割图像输入图像分割模型,对所述待分割图像进行特征提取生成图像特征;
边界特征提取模块,用于对所述图像特征进行边界特征提取得到边界特征;
全局特征生成模块,用于融合所述图像特征、所述边界特征和所述待分割图像得到全局特征数据;
特征融合模块,用于融合所述图像特征和所述全局特征数据生成特征图像;
病灶分割模块,用于根据所述特征图像对所述待分割图像进行病灶区域分割,输出病灶区域图像。
10.一种服务器,其特征在于,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述医学图像分割方法的步骤。
CN201911292823.5A 2019-12-12 2019-12-12 医学图像分割方法、装置及服务器 Active CN111161279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911292823.5A CN111161279B (zh) 2019-12-12 2019-12-12 医学图像分割方法、装置及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911292823.5A CN111161279B (zh) 2019-12-12 2019-12-12 医学图像分割方法、装置及服务器

Publications (2)

Publication Number Publication Date
CN111161279A true CN111161279A (zh) 2020-05-15
CN111161279B CN111161279B (zh) 2023-05-26

Family

ID=70557202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911292823.5A Active CN111161279B (zh) 2019-12-12 2019-12-12 医学图像分割方法、装置及服务器

Country Status (1)

Country Link
CN (1) CN111161279B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968137A (zh) * 2020-10-22 2020-11-20 平安科技(深圳)有限公司 头部ct图像分割方法、装置、电子设备及存储介质
CN112634289A (zh) * 2020-12-28 2021-04-09 华中科技大学 一种基于非对称空洞卷积的快速可行域分割方法
CN112949654A (zh) * 2021-02-25 2021-06-11 上海商汤智能科技有限公司 图像检测方法及相关装置、设备
CN113113119A (zh) * 2021-03-23 2021-07-13 中国科学院深圳先进技术研究院 语义分割网络的训练方法、图像处理方法及其设备
CN113158802A (zh) * 2021-03-22 2021-07-23 安徽理工大学 智慧场景分割技术
CN113674289A (zh) * 2021-07-16 2021-11-19 浙江大华技术股份有限公司 目标分割方法、目标分割模型的训练方法及相关设备
WO2022247007A1 (zh) * 2021-05-25 2022-12-01 平安科技(深圳)有限公司 医学图像分级方法、装置、电子设备及可读存储介质
CN116188479A (zh) * 2023-02-21 2023-05-30 北京长木谷医疗科技有限公司 基于深度学习的髋关节图像分割方法及系统
CN116229189A (zh) * 2023-05-10 2023-06-06 深圳市博盛医疗科技有限公司 基于荧光内窥镜的图像处理方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN109543685A (zh) * 2018-10-16 2019-03-29 深圳大学 图像语义分割方法、装置和计算机设备
CN109872306A (zh) * 2019-01-28 2019-06-11 腾讯科技(深圳)有限公司 医学图像分割方法、装置和存储介质
CN109919000A (zh) * 2019-01-23 2019-06-21 杭州电子科技大学 一种基于多尺度融合策略的舰船目标检测方法
CN110120047A (zh) * 2019-04-04 2019-08-13 平安科技(深圳)有限公司 图像分割模型训练方法、图像分割方法、装置、设备及介质
CN110148145A (zh) * 2019-03-25 2019-08-20 东南大学 一种融合边界信息的图像目标区提取方法及应用
CN110378913A (zh) * 2019-07-18 2019-10-25 深圳先进技术研究院 图像分割方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN109543685A (zh) * 2018-10-16 2019-03-29 深圳大学 图像语义分割方法、装置和计算机设备
CN109919000A (zh) * 2019-01-23 2019-06-21 杭州电子科技大学 一种基于多尺度融合策略的舰船目标检测方法
CN109872306A (zh) * 2019-01-28 2019-06-11 腾讯科技(深圳)有限公司 医学图像分割方法、装置和存储介质
CN110148145A (zh) * 2019-03-25 2019-08-20 东南大学 一种融合边界信息的图像目标区提取方法及应用
CN110120047A (zh) * 2019-04-04 2019-08-13 平安科技(深圳)有限公司 图像分割模型训练方法、图像分割方法、装置、设备及介质
CN110378913A (zh) * 2019-07-18 2019-10-25 深圳先进技术研究院 图像分割方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ALI HATAMIZADEH,DEMETRI TERZOPOULOS, AND ANDRIY MYRONENKO: "End-to-End Boundary Aware Networks for Medical Image Segmentation" *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968137A (zh) * 2020-10-22 2020-11-20 平安科技(深圳)有限公司 头部ct图像分割方法、装置、电子设备及存储介质
CN112634289A (zh) * 2020-12-28 2021-04-09 华中科技大学 一种基于非对称空洞卷积的快速可行域分割方法
CN112634289B (zh) * 2020-12-28 2022-05-27 华中科技大学 一种基于非对称空洞卷积的快速可行域分割方法
CN112949654A (zh) * 2021-02-25 2021-06-11 上海商汤智能科技有限公司 图像检测方法及相关装置、设备
CN113158802A (zh) * 2021-03-22 2021-07-23 安徽理工大学 智慧场景分割技术
CN113113119A (zh) * 2021-03-23 2021-07-13 中国科学院深圳先进技术研究院 语义分割网络的训练方法、图像处理方法及其设备
WO2022247007A1 (zh) * 2021-05-25 2022-12-01 平安科技(深圳)有限公司 医学图像分级方法、装置、电子设备及可读存储介质
CN113674289A (zh) * 2021-07-16 2021-11-19 浙江大华技术股份有限公司 目标分割方法、目标分割模型的训练方法及相关设备
CN116188479A (zh) * 2023-02-21 2023-05-30 北京长木谷医疗科技有限公司 基于深度学习的髋关节图像分割方法及系统
CN116188479B (zh) * 2023-02-21 2024-04-02 北京长木谷医疗科技股份有限公司 基于深度学习的髋关节图像分割方法及系统
CN116229189A (zh) * 2023-05-10 2023-06-06 深圳市博盛医疗科技有限公司 基于荧光内窥镜的图像处理方法、装置、设备及存储介质
CN116229189B (zh) * 2023-05-10 2023-07-04 深圳市博盛医疗科技有限公司 基于荧光内窥镜的图像处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111161279B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN111161279B (zh) 医学图像分割方法、装置及服务器
US11488021B2 (en) Systems and methods for image segmentation
CN110188760B (zh) 一种图像处理模型训练方法、图像处理方法及电子设备
US11593943B2 (en) RECIST assessment of tumour progression
CN114120102A (zh) 边界优化的遥感图像语义分割方法、装置、设备及介质
CN115661144B (zh) 基于可变形U-Net的自适应医学图像分割方法
CN111080654B (zh) 图像的病变区域分割方法、装置及服务器
CN109410189B (zh) 图像分割方法以及图像的相似度计算方法、装置
EP4141790A1 (en) Method, device and system for automated segmentation of prostate in medical images for tumor detection
CN113920148B (zh) 基于多边形的建筑物边界提取方法、设备及存储介质
CN116797607A (zh) 图像分割方法和装置
CN110189332B (zh) 基于权重图设计的前列腺磁共振图像分割方法及系统
CN116524295A (zh) 一种图像处理方法、装置、设备及可读存储介质
CN113256662B (zh) 病理切片图像分割方法、装置、计算机设备和存储介质
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
CN113920147B (zh) 基于深度学习的遥感影像建筑物提取方法及设备
CN113160199B (zh) 影像识别方法、装置、计算机设备和存储介质
Feng et al. Improved deep fully convolutional network with superpixel-based conditional random fields for building extraction
CN115131708A (zh) 基于融合编码网络的视频分割方法、装置、设备及介质
CN114820666A (zh) 一种增加抠图精确度的方法、装置、计算机设备及存储介质
CN112734697A (zh) 图像处理方法、装置、存储介质和电子设备
CN113723415B (zh) 一种生存时长预测方法、装置、设备及介质
CN113408595B (zh) 病理图像处理的方法、装置、电子设备及可读存储介质
US20230298326A1 (en) Image augmentation method, electronic device and readable storage medium
CN116115915B (zh) 基于多级模态交叉融合网络的剂量验证方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant