CN112150470B - 图像分割方法、装置、介质及电子设备 - Google Patents

图像分割方法、装置、介质及电子设备 Download PDF

Info

Publication number
CN112150470B
CN112150470B CN202011003119.6A CN202011003119A CN112150470B CN 112150470 B CN112150470 B CN 112150470B CN 202011003119 A CN202011003119 A CN 202011003119A CN 112150470 B CN112150470 B CN 112150470B
Authority
CN
China
Prior art keywords
module
image
segmentation
segmentation result
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011003119.6A
Other languages
English (en)
Other versions
CN112150470A (zh
Inventor
张楠
王健宗
瞿晓阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202011003119.6A priority Critical patent/CN112150470B/zh
Priority to PCT/CN2020/124890 priority patent/WO2021139351A1/zh
Publication of CN112150470A publication Critical patent/CN112150470A/zh
Application granted granted Critical
Publication of CN112150470B publication Critical patent/CN112150470B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Abstract

本申请提供了一种图像分割方法、装置、介质及电子设备。该方法包括：获取待分割图像，将待分割图像输入多个上下文模块得到粗糙分割结果，将粗糙分割结果输入第一上采样模块，将第一上采样模块的输出与倒数第一个下采样模块的输入融合，以此类推，直至最后一个上采样模块的输出与第一个下采样模块输入融合，再经过三维卷积模块和预备分割模块得到预备分割结果，将排序位于中间的局部模块输出结果输入中间分割模块得到第一附加分割结果，将第一附加分割结果输入第一中间上采样模块得到第二附加分割结果，将第一附加分割结果与第二附加分割求和后输入第二中间上采样模块后与预备分割结果相加，基于相加后的结果得到的最终分割结果进行图像分割。

Description

图像分割方法、装置、介质及电子设备
技术领域
本申请涉及人工智能领域，特别涉及一种图像分割方法、装置、介质及电子设备。
背景技术
脑肿瘤是一类常见的肿瘤类疾病，发病率和死亡率较高，如果不及时治疗可能造成视力障碍、偏瘫、甚至危及生命。脑肿瘤发现的越早、肿瘤的级别越低，治愈率也就越高。通常情况下，医生会选择通过外科手术对脑肿瘤进行切除治疗，并尽最大可能将肿瘤完全切除，防止肿瘤的复发。
发明人发现，现有技术中分割核磁共振图像中脑肿瘤图像时，通常通过人的主观意识去理解图像进行分割，分割效率低。
发明内容
本申请旨在提供一种图像分割方法、装置、介质及电子设备，其能够在一定程度上提高分割效率。
根据本申请实施例的一个方面，提供了一种图像分割方法包括：获取待分割图像；将所述待分割图像输入多个上下文模块，每两个所述上下文模块之间通过一个下采样模块连接，得到粗糙分割结果；将所述粗糙分割结果输入第一上采样模块，将所述第一上采样模块的输出与倒数第一个下采样模块的输入融合，融合后再经过第一局部模块和第二上采样模块，将所述第二上采样模块的输出与倒数第二个下采样模块输入融合，融合后再经过第二局部模块和第三上采样模块，直至最后一个上采样模块的输出与所述第一个下采样模块输入融合，融合后再经过三维卷积模块和预备分割模块得到预备分割结果，其中，上采样模块的数量与下采样模块的数量相同；将排序位于中间的局部模块的输出结果输入中间分割模块得到第一附加分割结果，将所述第一附加分割结果输入第一中间上采样模块得到第二附加分割结果，将所述第一附加分割结果与所述第二附加分割求和后输入第二中间上采样模块，将所述第二中间上采样模块的输出与所述预备分割结果相加，基于相加后的结果得到最终分割结果；根据所述最终分割结果进行图像分割。
根据本申请实施例的一个方面，提供了一种图像分割装置，包括：获取模块、粗糙分割模块、最终分割模块和图像分割模块，获取模块，配置为获取待分割图像；粗糙分割模块，配置为将所述待分割图像输入多个上下文模块，每两个所述上下文模块之间通过一个下采样模块连接，得到粗糙分割结果；最终分割模块，配置为将所述粗糙分割结果输入第一上采样模块，将所述第一上采样模块的输出与倒数第一个下采样模块的输入融合，融合后再经过第一局部模块和第二上采样模块，将所述第二上采样模块的输出与倒数第二个下采样模块输入融合，融合后再经过第二局部模块和第三上采样模块，直至最后一个上采样模块的输出与第一个下采样模块输入融合，融合后再经过三维卷积模块和预备分割模块得到预备分割结果，其中，上采样模块的数量与下采样模块的数量相同；将排序位于中间的局部模块的输出输入中间分割模块得到第一附加分割结果，将所述第一附加分割结果输入第一中间上采样模块得到第二附加分割结果，将所述第一附加分割结果与所述第二附加分割求和后输入第二中间上采样模块，将所述第二中间上采样模块的输出与所述预备分割结果相加，基于相加后的结果得到最终分割结果；图像分割模块，配置为根据所述最终分割结果进行图像分割。
在本申请的一些实施例中，基于前述方案，所述获取模块配置为：获取FLAIR、T1、T1c和T2四个模态的核磁共振图像；基于所述四个模态的核磁共振图像得到四通道图像；将所述四通道图像作为所述待分割图像。
在本申请的一些实施例中，基于前述方案，所述获取模块配置为：将所述四个模态的核磁共振图像进行组合成所述四通道图像。
在本申请的一些实施例中，基于前述方案，所述获取模块配置为：分别获取所述四个模态的核磁共振图像的三维图像；将所述四个模态的核磁共振图像的三维图像进行组合成所述四通道图像。
在本申请的一些实施例中，基于前述方案，所述获取模块配置为：对T1和T2两个模态的核磁共振图像进行场偏移校正；根据校正后的T1、T2两个模态的核磁共振图像的二维稀疏序列图和未进行校正FLAIR、T1c两个模态的核磁共振图像的二维稀疏序列图，构建所述四个模态的核磁共振图像的各向同性的三维图像。
在本申请的一些实施例中，基于前述方案，所述获取模块配置为：将所述四个模态的核磁共振图像的三维图像执行数据归一化操作；将数据归一化后的三维图像按照设定顺序组合成所述四通道图像。
在本申请的一些实施例中，基于前述方案，所述图像分割模块配置为：将所述相加后的结果输入至输出模块得到所述最终分割结果，所述输出模块的损失函数为多类别Dice损失函数。
根据本申请实施例的一个方面，提供了一种计算机可读程序介质，其存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行上任一项所述的方法。
根据本申请实施例的一个方面，提供了一种电子装置，包括：处理器；存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如上任一项所述的方法。
本申请的实施例提供的技术方案可以包括以下有益效果：
在本申请的一些实施例所提供的技术方案中，通过获取待分割图像，将待分割图像输入多个上下文模块，每两个上下文模块之间通过一个下采样模块连接，得到粗糙分割结果，将粗糙分割结果输入第一上采样模块，将第一上采样模块的输出与倒数第一个下采样模块的输入融合，融合后再经过第一局部模块和第二上采样模块，将第二上采样模块的输出与倒数第二个下采样模块输入融合，融合后再经过第二局部模块和第三上采样模块，直至最后一个上采样模块的输出与第一个下采样模块输入融合，融合后再经过三维卷积模块和预备分割模块得到预备分割结果，其中，上采样模块的数量与下采样模块的数量相同，预备分割结果中能够包括每一层次的模块的特征；将排序位于中间的局部模块的输出结果输入中间分割模块得到第一附加分割结果，将第一附加分割结果输入第一中间上采样模块得到第二附加分割结果，将第一附加分割结果与第二附加分割求和后输入第二中间上采样模块，将第二中间上采样模块的输出与预备分割结果相加，基于相加后的结果得到最终分割结果，使最终分割结果与位于中间层次模块的特征，根据最终分割结果进行图像分割，能够准确的分割图像，通过以上步骤能够自动分割图像，使用上述方法分割脑肿瘤图像，能够提高脑肿瘤图像分割的效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并于说明书一起用于解释本申请的原理。
图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图；
图2示意性示出了根据本申请的一个实施例的图像分割方法的流程图；
图3示意性示出了本申请一个实施例的图像分割方法流程图；
图4示意性示出了本申请一个实施例的卷积网络模型结构示意图；
图5示意性示出了根据本申请的一个实施例的图像分割装置的框图；
图6是根据一示例性实施例示出的一种电子装置的硬件图；
图7是根据一示例性实施例示出的一种用于实现方法的计算机可读存储介质。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
图1示出了可以应用本申请实施例的技术方案的示例性系统架构100的示意图。
如图1所示，系统架构100可以包括终端设备101(可以是智能手机、平板电脑和便携式计算机中的一种或多种，当然也可以是台式计算机等等)、网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线通信链路、无线通信链路等等。
应该理解，图1中的终端设备101、网络102和服务器103的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备101、网络102和服务器103。比如服务器103可以是多个服务器组成的服务器集群等。
在本申请的一个实施例中，服务器103通过获取待分割图像，将待分割图像输入多个上下文模块，每两个上下文模块之间通过一个下采样模块连接，得到粗糙分割结果，将粗糙分割结果输入第一上采样模块，将第一上采样模块的输出与倒数第一个下采样模块的输入融合，融合后再经过第一局部模块和第二上采样模块，将第二上采样模块的输出与倒数第二个下采样模块输入融合，融合后再经过第二局部模块和第三上采样模块，直至最后一个上采样模块的输出与第一个下采样模块输入融合，融合后再经过三维卷积模块和预备分割模块得到预备分割结果，其中，上采样模块的数量与下采样模块的数量相同，预备分割结果中能够包括每一层次的模块的特征；将排序位于中间的局部模块的输出结果输入中间分割模块得到第一附加分割结果，将第一附加分割结果输入第一中间上采样模块得到第二附加分割结果，将第一附加分割结果与第二附加分割求和后输入第二中间上采样模块，将第二中间上采样模块的输出与预备分割结果相加，基于相加后的结果得到最终分割结果，使最终分割结果与位于中间层次模块的特征，根据最终分割结果进行图像分割，能够准确的分割图像，通过以上步骤能够自动分割图像，使用上述方法分割脑肿瘤图像，能够提高脑肿瘤图像分割的效率。
需要说明的是，本申请实施例所提供的图像分割方法一般由服务器103执行，相应地，图像分割装置一般设置于中服务器103。但是，在本申请的其它实施例中，终端设备101也可以与服务器103具有相似的功能，从而执行本申请实施例所提供的图像分割方法。
以下对本申请实施例的技术方案的实现细节进行详细阐述：
图2示意性示出了根据本申请的一个实施例的图像分割方法的流程图，该图像分割方法的执行主体可以是服务器，比如可以是图1中所示的服务器103。
参照图2所示，该机器人控制方法至少包括步骤S210至步骤S250，详细介绍如下：
在步骤S210中，获取待分割图像。
在本申请的一个实施例中，可以获取FLAIR、T1、T1c和T2四个模态的核磁共振(Magnetic Resonance Imaging,MRI)图像，基于四个模态的核磁共振图像得到四通道图像，将四通道图像作为待分割图像。
在本申请的一个实施例中，可以将四个模态的核磁共振图像进行组合成四通道图像。
在本申请的一个实施例中，可以分别获取四个模态的核磁共振图像的三维图像，将四个模态的核磁共振图像的三维图像进行组合成四通道图像。
在本申请的一个实施例中，可以对T1和T2两个模态的核磁共振图像进行场偏移校正，根据校正后的T1、T2两个模态的核磁共振图像的二维稀疏序列图和未进行校正FLAIR、T1c两个模态的核磁共振图像的二维稀疏序列图，构建四个模态的核磁共振图像的各向同性的三维图像。
在本申请的一个实施例中，可以对FLAIR、T1、T1c和T2四个模态的核磁共振图像进行场偏移校正，根据校正后的四个模态的核磁共振图像的二维稀疏序列图，构建四个模态的核磁共振图像的各向同性的三维图像。
在本申请的一个实施例中，可以使用三维插值或者超分辨率等重建方法重建三维图像。
在本申请的一个实施例中，可以将四个模态的核磁共振图像的三维图像执行数据归一化操作；将数据归一化后的三维图像按照设定顺序组合成四通道图像。
在步骤S220中，将待分割图像输入多个上下文模块，每两个上下文模块之间通过一个下采样模块连接，得到粗糙分割结果。
在本申请的一个实施例中，上下文模块的数量可以为5个，下采样模块的数量可以为4个。
在本申请的一个实施例中，可以将待分割图像作为第一上下文模块的输入，第一上下文模块的输出作为第一下采样模块的输入，第一下采样模块的输出作为第二上下文模块的输入，第二上下文模块的输出作为第二下采样模块的输入，第二下采样模块的输出作为第三上下文模块的输入，第三上下文模块的输出作为第三下采样模块的输入，第三下采样模块的输出作为第四上下文模块的输入，第四上下文模块的输出作为第四下采样模块的输入，第四下采样模块的输出作为第五上下文模块的输入，将第五下采样模块的输出作为粗糙分割结果。
在本申请的一个实施例中，在上下文模块之前可以设置输入层，输入层大小为4*128*128*128，可以处理128*128*128大小的体素。
在步骤S230中，将粗糙分割结果输入第一上采样模块，将第一上采样模块的输出与倒数第一个下采样模块的输入融合，融合后再经过第一局部模块和第二上采样模块，将第二上采样模块的输出与倒数第二个下采样模块输入融合，融合后再经过第二局部模块和第三上采样模块，直至最后一个上采样模块的输出与第一个下采样模块输入融合，融合后再经过三维卷积模块和预备分割模块得到预备分割结果，其中，上采样模块的数量与下采样模块的数量相同。
在本申请的一个实施例中，可以在粗糙分割图后添加第一上采样模块得到第一预分割结果，第一预分割结果与第四个下采样模块的输入融合，融合后再经过第一局部模块和第二上采样模块得到第二预分割结果，第二预分割结果与第三个下采样模块的输入融合，融合后再经过第二局部模块和第三上采样模块得到第三预分割结果，第三预分割结果与第四个下采样模块的输入融合，融合后再经过第三局部模块和第四上采样模块得到第四预分割结果，第四预分割结果与第一下采样模块的输入融合，经过一次3D卷积和分割层得到预备分割结果。
在步骤S240中，将排序位于中间的局部模块的输出结果输入中间分割模块得到第一附加分割结果，将第一附加分割结果输入第一中间上采样模块得到第二附加分割结果，将第一附加分割结果与第二附加分割求和后输入第二中间上采样模块，将第二中间上采样模块的输出与预备分割结果相加，基于相加后的结果得到最终分割结果。
在本申请的一个实施例中，可以对第二局部模块的输出经过中间分割模块和中间上采样模块得到附加第二附加分割结果，对第二个局部模块的输出经过中间分割层之后的输出的第一附加分割结果与第二附加分割结果逐元素相加之后经过上采样层得到第三附加分割结果，预备分割结果和第三附加分割结果逐元素后经过输出模块输出最终分割结果，该结果是与语义分割类别数量相对应且与原图像相同大小的概率分布矩阵。
在本申请的一个实施例中，可以将相加后的结果输入至输出模块得到最终分割结果，输出模块的损失函数为多类别Dice损失函数，以解决训练数据类别不平衡问题。
在本申请的一个实施例中，可以对多个上下文模块、多个上采样模块、多个下采样模块、多个局部模块、中间分割模块、第一中间上采样模块、第二中间上采样模块、输出模块构成的神经网络模型进行网络训练与参数调优，以使得到的最终分割结果更加准确。
在该实施例中，训练该神经网络模型可以采用随机采样的batch size为2大小为128*128*128的体素，每一轮超过100个batches，一共训练300轮。
在该实施例中，可以使用ADAM优化器,训练该神经网络模型。
在步骤S250中，根据最终分割结果进行图像分割。
在本申请的一个实施例中，最终分割结果可以是与语义分割类别数量相对应且与原图像相同大小的概率分布矩阵，可以根据这些矩阵值，分割出脑肿瘤及内部结构图像。
在本申请的一个实施例中，最终分割结果可以是与神经网络模型的语义分割类别数量相对应的预测分数矩阵，根据这些矩阵值，分割出脑肿瘤及内部结构图像。
在本申请的一个实施例中，可以通过检索待分割图像中每个像素属于各类的概率来判定最终分类，形成最终的分割结果。
在本申请的一个实施例中，分类可以包括是肿瘤和不是肿瘤两类。
在本申请的一个实施例中，分类可以包括肿瘤严重等级。
在本申请的一个实施例中，可以通过设置输出模块通道数量设置输出类别的数量。
在本申请的一个实施例中，多个上下文模块均是预先经过训练的卷积神经网络中的上下文模块，多个上采样模块均是预先经过训练的卷积神经网络中的上采样模块，多个下采样模块均是预先经过训练的卷积神经网络中的下采样模块，多个局部模块均是预先经过训练的卷积神经网络中的局部模块，中间分割模块是预先经过训练的卷积神经网络中的分割模块，第一中间上采样模块是预先经过训练的卷积神经网络中的上采样模块，第二中间上采样模块是预先经过训练的卷积神经网络中的上采样模块，输出模块预先经过训练的卷积神经网络中的输出模块。
在图2的实施例中，通过获取待分割图像，将待分割图像输入多个上下文模块，每两个上下文模块之间通过一个下采样模块连接，得到粗糙分割结果，将粗糙分割结果输入第一上采样模块，将第一上采样模块的输出与倒数第一个下采样模块的输入融合，融合后再经过第一局部模块和第二上采样模块，将第二上采样模块的输出与倒数第二个下采样模块输入融合，融合后再经过第二局部模块和第三上采样模块，直至最后一个上采样模块的输出与第一个下采样模块输入融合，融合后再经过三维卷积模块和预备分割模块得到预备分割结果，其中，上采样模块的数量与下采样模块的数量相同，预备分割结果中能够包括每一层次的模块的特征；将排序位于中间的局部模块的输出结果输入中间分割模块得到第一附加分割结果，将第一附加分割结果输入第一中间上采样模块得到第二附加分割结果，将第一附加分割结果与第二附加分割求和后输入第二中间上采样模块，将第二中间上采样模块的输出与预备分割结果相加，基于相加后的结果得到最终分割结果，使最终分割结果与位于中间层次模块的特征，根据最终分割结果进行图像分割，能够准确的分割图像，通过以上步骤能够自动分割图像，使用上述方法分割脑肿瘤图像，能够提高脑肿瘤图像分割的效率。
应用本申请的图像分割方法分割脑肿瘤图像时，通过将归一化后的待分割三维脑肿瘤四通道图像输入到具有已优化网络权值的神经网络模型中，得到与语义分割类别数量相对应的预测分数矩阵，根据这些矩阵值，分割出脑肿瘤及内部结构图像，与现有传统分割方法相比，本申请提供的图像分割方法，包括脑肿瘤多模态核磁共振图像预处理、神经网络模型构造、网络训练与参数调优和脑肿瘤图像自动分割步骤，具体为将核磁共振图像脑肿瘤的分割转换为像素级三维图像语义标注问题，对核磁共振不同模态强调的差异信息，将Flair、T1、T1c和T2四个模态的三维图像合成四通道输入图像，利用已经训练好的卷积神经网络的上下文模块和下采样模块作为神经网络模型的基础特征层，使得中间层输出与语义分割类别数量相对应的粗糙分割图，并在中间层的后面添加转置卷积层，用于对粗糙分割图进行上采样得到与原图像大小一样的分割图。
本申请不仅不需要人工的干预，也不必逐个切片进行分割，是一个自动的、简单的脑肿瘤分割方法，不仅提高了分割精度，还大大提高了分割的效率，以整个脑部立体图像作为输入图像，既能节省分割脑部的时间，更能考虑空间相关性，得到更高的分割精确度。
图3示意性示出了本申请一个实施例的图像分割方法流程图，如图3所示，首先获取多模态的MRI图像，将图像预处理，再将预处理后的图像输入至预先构建和训练好的的卷积网络模型中，根据卷积网络模型的输出结果进行图像自动分割，以实现自动分割MRI图像。
图4示意性示出了本申请一个实施例的卷积网络模型结构示意图，如图4所示，可以包括膨胀卷积(dilated covolution)、编码模块(encoding module)、步幅为2的卷积层(stride 2convolution)、上采样模块(up sampling moudle)、解码模块(decodingmodule)、分割层(segmentation layer)、softmax层，图中加号“+”为求和关系(element-wise sum)、“c”为具有相关关系(concatenation)，图中箭头为融合关系(upscal)。
以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的机器人控制方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的机器人控制方法的实施例。
图5示意性示出了根据本申请的一个实施例的图像分割装置的框图。
参照图5所示，根据本申请的一个实施例的图像分割装置500，包括获取模块501、粗糙分割模块502、最终分割模块503和图像分割模块504。
在本申请的一些实施例中，基于前述方案，获取模块501配置为获取待分割图像；粗糙分割模块502配置为将待分割图像输入多个上下文模块，每两个上下文模块之间通过一个下采样模块连接，得到粗糙分割结果；最终分割模块503配置为将粗糙分割结果输入第一上采样模块，将第一上采样模块的输出与倒数第一个下采样模块的输入融合，融合后再经过第一局部模块和第二上采样模块，将第二上采样模块的输出与倒数第二个下采样模块输入融合，融合后再经过第二局部模块和第三上采样模块，直至最后一个上采样模块的输出与第一个下采样模块输入融合，融合后再经过三维卷积模块和预备分割模块得到预备分割结果，其中，上采样模块的数量与下采样模块的数量相同；将排序位于中间的局部模块的输出输入中间分割模块得到第一附加分割结果，将第一附加分割结果输入第一中间上采样模块得到第二附加分割结果，将第一附加分割结果与第二附加分割求和后输入第二中间上采样模块，将第二中间上采样模块的输出与预备分割结果相加，基于相加后的结果得到最终分割结果；图像分割模块504配置为根据最终分割结果进行图像分割。
在本申请的一些实施例中，基于前述方案，获取模块501配置为：获取FLAIR、T1、T1c和T2四个模态的核磁共振图像；基于四个模态的核磁共振图像得到四通道图像；将四通道图像作为待分割图像。
在本申请的一些实施例中，基于前述方案，获取模块501配置为：将四个模态的核磁共振图像进行组合成四通道图像。
在本申请的一些实施例中，基于前述方案，获取模块501配置为：分别获取四个模态的核磁共振图像的三维图像；将四个模态的核磁共振图像的三维图像进行组合成四通道图像。
在本申请的一些实施例中，基于前述方案，获取模块501配置为：对T1和T2两个模态的核磁共振图像进行场偏移校正；根据校正后的T1、T2两个模态的核磁共振图像的二维稀疏序列图和未进行校正FLAIR、T1c两个模态的核磁共振图像的二维稀疏序列图，构建四个模态的核磁共振图像的各向同性的三维图像。
在本申请的一些实施例中，基于前述方案，获取模块501配置为：将四个模态的核磁共振图像的三维图像执行数据归一化操作；将数据归一化后的三维图像按照设定顺序组合成四通道图像。
在本申请的一些实施例中，基于前述方案，图像分割模块504配置为：将相加后的结果输入至输出模块得到最终分割结果，输出模块的损失函数为多类别Dice损失函数。
所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图6来描述根据本申请的这种实施方式的电子设备60。图6显示的电子设备60仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，电子设备60以通用计算设备的形式表现。电子设备60的组件可以包括但不限于：上述至少一个处理单元61、上述至少一个存储单元62、连接不同系统组件(包括存储单元62和处理单元61)的总线63、显示单元64。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元61执行，使得所述处理单元61执行本说明书上述“实施例方法”部分中描述的根据本申请各种示例性实施方式的步骤。
存储单元62可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)621和/或高速缓存存储单元622，还可以进一步包括只读存储单元(ROM)623。
存储单元62还可以包括具有一组(至少一个)程序模块625的程序/实用工具624，这样的程序模块625包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线63可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备60也可以与一个或多个外部设备(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备60交互的设备通信，和/或与使得该电子设备60能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口65进行。并且，电子设备60还可以通过网络适配器66与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器66通过总线63与电子设备60的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备60使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本申请实施方式的方法。
根据本申请一个实施例，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本申请的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本申请各种示例性实施方式的步骤。
参考图7所示，描述了根据本申请的实施方式的用于实现上述方法的程序产品70，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本申请示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像分割方法，其特征在于，包括：
获取待分割图像；
将所述待分割图像输入多个上下文模块，每两个所述上下文模块之间通过一个下采样模块连接，得到粗糙分割结果；
将所述粗糙分割结果输入第一上采样模块，将所述第一上采样模块的输出与倒数第一个下采样模块的输入融合，融合后再经过第一局部模块和第二上采样模块，将所述第二上采样模块的输出与倒数第二个下采样模块输入融合，融合后再经过第二局部模块和第三上采样模块，直至最后一个上采样模块的输出与所述第一个下采样模块输入融合，融合后再经过三维卷积模块和预备分割模块得到预备分割结果，其中，上采样模块的数量与下采样模块的数量相同；
将排序位于中间的局部模块的输出结果输入中间分割模块得到第一附加分割结果，将所述第一附加分割结果输入第一中间上采样模块得到第二附加分割结果，将所述第一附加分割结果与所述第二附加分割结果求和后输入第二中间上采样模块，将所述第二中间上采样模块的输出与所述预备分割结果相加，基于相加后的结果得到最终分割结果；
根据所述最终分割结果进行图像分割。
2.根据权利要求1所述的图像分割方法，其特征在于，所述获取待分割图像包括：
获取FLAIR、T1、T1c和T2四个模态的核磁共振图像；
基于所述四个模态的核磁共振图像得到四通道图像；
将所述四通道图像作为所述待分割图像。
3.根据权利要求2所述的图像分割方法，其特征在于，所述基于所述四个模态的核磁共振图像得到四通道图像，包括：
将所述四个模态的核磁共振图像进行组合成所述四通道图像。
4.根据权利要求2所述的图像分割方法，其特征在于，所述基于所述四个模态的核磁共振图像得到四通道图像，包括：
分别获取所述四个模态的核磁共振图像的三维图像；
将所述四个模态的核磁共振图像的三维图像进行组合成所述四通道图像。
5.根据权利要求4所述的图像分割方法，其特征在于，所述分别获取所述四个模态的核磁共振图像的三维图像，包括
对T1和T2两个模态的核磁共振图像进行场偏移校正；
根据校正后的T1、T2两个模态的核磁共振图像的二维稀疏序列图和未进行校正FLAIR、T1c两个模态的核磁共振图像的二维稀疏序列图，构建所述四个模态的核磁共振图像的各向同性的三维图像。
6.根据权利要求5所述的图像分割方法，其特征在于，所述将所述四个模态的核磁共振图像的三维图像按照设定顺序组合成所述四通道图像，包括：
将所述四个模态的核磁共振图像的三维图像执行数据归一化操作；
将数据归一化后的三维图像按照设定顺序组合成所述四通道图像。
7.根据权利要求1所述的图像分割方法，其特征在于，所述基于相加后的结果得到最终分割结果，包括：
将所述相加后的结果输入至输出模块得到所述最终分割结果，所述输出模块的损失函数为多类别Dice损失函数。
8.一种图像分割装置，其特征在于，包括：
获取模块，配置为获取待分割图像；
粗糙分割模块，配置为将所述待分割图像输入多个上下文模块，每两个所述上下文模块之间通过一个下采样模块连接，得到粗糙分割结果；
最终分割模块，配置为将所述粗糙分割结果输入第一上采样模块，将所述第一上采样模块的输出与倒数第一个下采样模块的输入融合，融合后再经过第一局部模块和第二上采样模块，将所述第二上采样模块的输出与倒数第二个下采样模块输入融合，融合后再经过第二局部模块和第三上采样模块，直至最后一个上采样模块的输出与第一个下采样模块输入融合，融合后再经过三维卷积模块和预备分割模块得到预备分割结果，其中，上采样模块的数量与下采样模块的数量相同；将排序位于中间的局部模块的输出输入中间分割模块得到第一附加分割结果，将所述第一附加分割结果输入第一中间上采样模块得到第二附加分割结果，将所述第一附加分割结果与所述第二附加分割结果求和后输入第二中间上采样模块，将所述第二中间上采样模块的输出与所述预备分割结果相加，基于相加后的结果得到最终分割结果；
图像分割模块，配置为根据所述最终分割结果进行图像分割。
9.一种计算机可读存储介质，其上存储有用户特征群中用户特征寻优程序，其特征在于，所述用户特征群中用户特征寻优程序被处理器执行时实现权利要求1-7任一项所述的方法。
10.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的用户特征群中用户特征寻优程序；其中，所述处理器配置为经由执行所述用户特征群中用户特征寻优程序来执行权利要求1-7任一项所述的方法。
CN202011003119.6A 2020-09-22 2020-09-22 图像分割方法、装置、介质及电子设备 Active CN112150470B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011003119.6A CN112150470B (zh) 2020-09-22 2020-09-22 图像分割方法、装置、介质及电子设备
PCT/CN2020/124890 WO2021139351A1 (zh) 2020-09-22 2020-10-29 图像分割方法、装置、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011003119.6A CN112150470B (zh) 2020-09-22 2020-09-22 图像分割方法、装置、介质及电子设备

Publications (2)

Publication Number Publication Date
CN112150470A CN112150470A (zh) 2020-12-29
CN112150470B true CN112150470B (zh) 2023-10-03

Family

ID=73896225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011003119.6A Active CN112150470B (zh) 2020-09-22 2020-09-22 图像分割方法、装置、介质及电子设备

Country Status (2)

Country Link
CN (1) CN112150470B (zh)
WO (1) WO2021139351A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112790782B (zh) * 2021-02-02 2022-06-24 广州柏视医疗科技有限公司 基于深度学习的盆腔肿瘤ctv的自动勾画系统
CN115829980B (zh) * 2022-12-13 2023-07-25 深圳核韬科技有限公司 一种眼底照片的图像识别方法、装置、设备及存储介质
CN115995002B (zh) * 2023-03-24 2023-06-16 南京信息工程大学 一种网络构建方法及城市场景实时语义分割方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363780A (zh) * 2019-07-23 2019-10-22 腾讯科技（深圳）有限公司 图像分割方法、装置、计算机可读存储介质和计算机设备
CN110490203A (zh) * 2019-07-05 2019-11-22 平安科技（深圳）有限公司 图像分割方法及装置、电子设备和计算机可读存储介质
CN111062964A (zh) * 2019-11-28 2020-04-24 深圳市华尊科技股份有限公司 图像分割方法及相关装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10624558B2 (en) * 2017-08-10 2020-04-21 Siemens Healthcare Gmbh Protocol independent image processing with adversarial networks
US10628919B2 (en) * 2017-08-31 2020-04-21 Htc Corporation Image segmentation method and apparatus
CN108171711A (zh) * 2018-01-17 2018-06-15 深圳市唯特视科技有限公司 一种基于完全卷积网络的婴幼儿脑部磁共振图像分割方法
CN109598728B (zh) * 2018-11-30 2019-12-27 腾讯科技（深圳）有限公司 图像分割方法、装置、诊断系统及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490203A (zh) * 2019-07-05 2019-11-22 平安科技（深圳）有限公司 图像分割方法及装置、电子设备和计算机可读存储介质
CN110363780A (zh) * 2019-07-23 2019-10-22 腾讯科技（深圳）有限公司 图像分割方法、装置、计算机可读存储介质和计算机设备
CN111062964A (zh) * 2019-11-28 2020-04-24 深圳市华尊科技股份有限公司 图像分割方法及相关装置

Also Published As

Publication number Publication date
WO2021139351A1 (zh) 2021-07-15
CN112150470A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN112150470B (zh) 图像分割方法、装置、介质及电子设备
Zhang et al. Light-Weight Hybrid Convolutional Network for Liver Tumor Segmentation.
CN110599492B (zh) 图像分割模型的训练方法、装置、电子设备及存储介质
CN111862251B (zh) 医学图像重建技术的方法、装置、存储介质和电子设备
CN108629772B (zh) 图像处理方法及装置、计算机设备和计算机存储介质
CN110598714B (zh) 一种软骨图像分割方法、装置、可读存储介质及终端设备
CN109242863B (zh) 一种缺血性脑卒中图像区域分割方法及装置
CN111932546A (zh) 图像分割模型训练方法、图像分割方法、装置、设备及介质
CN109146891B (zh) 一种应用于mri的海马体分割方法、装置及电子设备
US11430123B2 (en) Sampling latent variables to generate multiple segmentations of an image
CN111145186A (zh) 神经网络结构、图像分割方法、装置及存储介质
Hsu Segmentation-based compression: New frontiers of telemedicine in telecommunication
CN112241955B (zh) 三维图像的碎骨分割方法、装置、计算机设备及存储介质
CN111311613A (zh) 图像分割模型训练方法、图像分割方法及装置
CN110706214A (zh) 融合条件随机与残差的三维U-Net大脑肿瘤分割方法
Wazir et al. HistoSeg: Quick attention with multi-loss function for multi-structure segmentation in digital histology images
CN111489406B (zh) 生成高能ct图像模型的训练及生成方法、设备、存储介质
CN110599495B (zh) 一种基于语义信息挖掘的图像分割方法
JP2023062150A (ja) 文字認識モデルトレーニング、文字認識方法、装置、機器及び媒体
CN113409307A (zh) 基于异质噪声特性的图像去噪方法、设备及介质
CN111209946B (zh) 三维图像处理方法、图像处理模型训练方法及介质
CN112560731A (zh) 特征聚类方法、数据库更新方法、电子设备及存储介质
CN110490876B (zh) 一种基于轻量级神经网络的图像分割方法
CN114399501B (zh) 基于深度学习卷积神经网络的自动分割前列腺全腺体方法
CN115239655A (zh) 一种甲状腺超声影像肿瘤分割分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant