CN110378913B - 图像分割方法、装置、设备及存储介质 - Google Patents
图像分割方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110378913B CN110378913B CN201910650761.4A CN201910650761A CN110378913B CN 110378913 B CN110378913 B CN 110378913B CN 201910650761 A CN201910650761 A CN 201910650761A CN 110378913 B CN110378913 B CN 110378913B
- Authority
- CN
- China
- Prior art keywords
- feature
- feature map
- image
- segmented
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种图像分割方法、装置、设备及存储介质,该方法包括:获取包含目标分割区域的待分割医学图像;将待分割医学图像输入至已训练的分割模型,从而使所述已训练的分割模型对所述待分割医学图像进行图像分割以得到所述目标分割区域图像;其中,所述分割模型为卷积神经网络模型,包括特征提取模块和特征解码模块,所述特征提取模块用于从所述待分割医学图像中提取不同尺寸的特征图,所述特征解码模块用于基于自身生成的中间特征图的上下文信息,实现对所接收的来自特征提取模块相应尺寸的特征图和该中间特征图的图像融合,以逐步得到目标尺寸的特征图。解决了现有技术的医学图像分割方法的普适性较低的问题。
Description
技术领域
本发明实施例涉及图像处理领域,尤其涉及一种图像分割方法、装置、设备及存储介质。
背景技术
随着科学技术的发展,大量成像设备被应用到了医院里,从而使各种医学图像成为临床疾病诊断的重要参考资料,由于直接采集的扫描数据所对应的医学图像通常包含很多细节信息,这些信息有目标器官组织的信息,也有非目标器官组织的信息。在医生临床诊断中,有时候会受非目标器官组织的信息的影响,从而使做出的诊断结论可能有问题。因此需要对医学图像进行分割,将目标器官组织从扫描数据所对应的医学图像中提取出来,以便于医生根据所提取的图像进行临床诊断。
现有技术的医学图像分割方法通常为机器学习方法,主要为:通过预处理的方法对图像进行增强,使得目标分割区域和非分割区域产生差别,或者设计出特定的算法对原始图像进行处理。这些方法通常仅适用于部分医学图像,普适性较低。
发明内容
本发明实施例提供了一种图像分割方法、装置、设备及存储介质,解决了现有技术的医学图像分割方法的普适性较低的问题。
第一方面,本发明实施例提供了一种图像分割方法,包括:
获取包含目标分割区域的待分割医学图像;
将所述待分割医学图像输入至已训练的分割模型,从而使所述已训练的分割模型对所述待分割医学图像进行图像分割以得到所述目标分割区域图像;其中,所述分割模型为卷积神经网络模型,包括特征提取模块和特征解码模块,所述特征提取模块用于从所述待分割医学图像中提取不同尺寸的特征图,所述特征解码模块用于基于自身生成的中间特征图的上下文信息,实现对所接收的来自特征提取模块相应尺寸的特征图和该中间特征图的图像融合以逐步得到目标尺寸的特征图。
第二方面,本发明实施例还提供了一种图像分割装置,包括:
获取部,用于获取包含目标分割区域的待分割医学图像;
输出部,用于将所述待分割医学图像输入至已训练的分割模型,从而使所述已训练的分割模型对所述待分割医学图像进行图像分割以得到所述目标分割区域图像;其中,所述分割模型为卷积神经网络模型,包括特征提取模块和特征解码模块,所述特征提取模块用于从所述待分割医学图像中提取不同尺寸的特征图,所述特征解码模块用于基于自身生成的中间特征图的上下文信息,实现对所接收的来自特征提取模块相应尺寸的特征图和该中间特征图的图像融合以逐步得到目标尺寸的特征图。
第三方面,本发明实施例还提供了一种设备,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的图像分割方法。
第四方面,本发明实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的图像分割方法。
相较于现有技术,本发明实施例在进行医学图像分割时所使用的分割模型为卷积神经网络模块,其包括特征提取模块和特征解码模块,特征提取模块用于从待分割医学图像中提取不同尺寸的特征图,特征解码模块用于基于自身生成的中间特征图的上下文信息,实现对所接收的来自特征提取模块相应尺寸的特征图和该中间特征图的图像融合以逐步得到目标尺寸的特征图。通过上下文信息使该卷积网络模型最后用于分类判别的特征同时具有高层特征的上下文信息和低层特征的位置信息,有助于提高分割模型的鲁棒性,从而提高医学图像分割的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图做一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的图像分割方法的流程图;
图2是本发明实施例一提供的分割模型的结构示意图;
图3是本发明实施例一提供的金字塔池单元的示意图;
图4是本发明实施例一提供的上下文子单元的示意图;
图5A是本发明实施例一提供的分割出来的颅内动脉血管示意图;
图5B是本发明实施例一提供的分割出来的眼底血管示意图;
图5C是本发明实施例一提供的分割出来的细胞壁示意图;
图6是本发明实施例二提供的图像分割装置的结构框图;
图7是本发明实施例三提供的设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,以下将参照本发明实施例中的附图,通过实施方式清楚、完整地描述本发明的技术方案,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
图1是本发明实施例一提供的图像分割方法的流程图。本实施例的技术方案适用于对医学图像进行分割以得到目标分割区域图像的情况。该方法可以由本发明实施例提供的图像分割装置来执行,该装置可以采用软件和/或硬件的方式实现,并配置在处理器中应用。该方法具体包括如下步骤:
S101、获取包含目标分割区域的待分割医学图像。
其中,待分割医学图像为临床诊断医学图像,比如CT((Computed Tomography,简称CT,电子计算机断层扫描)、MRI(Magnetic Resonance Imaging,简称MRI,磁共振成像)和PET(Positron Emission Computed Tomography,简称PET,正电子发射型计算机断层成像)。目标分割区域通常为医生比较关注的组织器官,比如,颅内动脉血管、眼底血管、细胞壁、肺部、肝部等。
S102、将待分割医学图像输入至已训练的分割模型,从而使已训练的分割模型对待分割医学图像进行图像分割以得到目标分割区域图像;其中,分割模型包括特征提取模块和特征解码模块,特征提取模块用于从待分割医学图像中提取不同尺寸的特征图,特征解码模块用于基于自身生成的中间特征图的上下文信息,实现对所接收的来自特征提取模块相应尺寸的特征图和该中间特征图的图像融合以逐步得到目标尺寸的特征图。
为了便于医生获得目标分割区域的细节信息,通常需要对待分割医学图像进行图像分割,以将目标分割区域从待分割医学图像中提取出来,为此本实施例引入了基于上下文信息的卷积神经网络模型,即分割模型,使用该分割模型对应的已训练的分割模型对待分割医学图像进行分割。具体为,如图2所示,将待分割医学图像10输入至该已训练的分割模型,以使该已训练的分割模型对待分割医学图像进行图像分割以得到目标分割区域图像11。
其中,如图2所示,本实施例的分割模型包括特征提取模块21和特征解码模块22,该特征提取模块21包括单向级联的多个特征提取单元211,并通过各个特征提取单元211对所接收的待分割医学图像10和特征图进行特征提取以得到不同尺寸的特征图。其中,特征提取单元211优选通过卷积与批标准化(Batch Normalization,简称BN)相结合的方式进行特征提取。
可以理解的是,位于首端的特征提取单元用于从待分割医学图像中提取特征信息以形成第一尺寸的特征图,并将该第一尺寸的特征图输入至下一个特征提取单元,即第二特征提取单元。即非首端特征提取单元用于从所接收的特征图提取特征信息以形成相应尺寸的特征图,且后一特征提取单元输出的特征图的尺寸小于前一特征提取单元输出的特征图。
示例性的,以特征提取模块包括四个级联的特征提取单元、待分割医学图像为512×512\卷积核大小为3×3为例,第一特征提取单元的输入为512×512的待分割医学图像,输出为256×256的特征图,第二特征提取单元接收该256×256的特征图,并输出128×128的特征图;第三特征提取单元接收该128×128的特征图,并输出64×64的特征图,第四特征提取单元接收该64×64的特征图,并输出32×32的特征图。
示例性的,以特征提取模块包括四个级联的特征提取单元、待分割医学图像为400×400\卷积核大小为3×3为例,第一特征提取单元的输入为400×400的待分割医学图像,输出为200×200的特征图,第二特征提取单元接收该200×200的特征图,并输出100×100的特征图;第三特征提取单元接收该100×100的特征图,并输出50×50的特征图,第四特征提取单元接收该50×50的特征图,并输出25×25的特征图。
其中,特征解码模块22包括上下文单元221和金字塔池单元222,其中,金字塔池单元222用于接收末端特征提取单元输出的特征图。该金字塔池单元222优选采用压缩与解压金字塔池结构,该金字塔池单元优选包括三个通道,如图3所示,在接收来自末端特征提取单元的特征图之后,通过每个通道的带孔卷积网络从该特征图上提取特征信息,经压缩与解压之后的特征信息与带孔卷积网络输出的特征信息组合生成过程特征图,将各个通道的过程特征图组合在一起形成金字塔池单元输出的中间特征图。可以理解的是,该中间特征图包含多个尺度的图像信息。可选地,带孔卷积网络包括扩张卷积核,附图3自上向下的三个通道的扩展倍数分别为6、12、12。经过扩张卷积操作,特征图的尺度没有发生改变,但保留了更多的图像空间信息,有助于提高整个分割模型的鲁棒性和网络的感受野。
上下文单元221包括多个单向级联的上下文子单元2211,上下文子单元2211和金字塔池单元222的数量和与特征提取单元211的数量相等,且上下文单元中的末端上下文子单元的输入端接收金字塔池单元所输出的中间特征图,因此特征解码模块自身输出的中间特征图为来自上游上下文子单元或金字塔池单元输出的特征图。上下文子单元接收来自对应特征提取单元所输出的特征图以及来自上游上下文子单元或金字塔池单元输出的中间特征图,并根据来自上游上下文子单元或金字塔池单元所输出的中间特征图的上下文信息,对所接收的两特征图进行图像融合,并输出对应的中间特征图,且该特征图的尺寸为其所接收的特征图尺寸的两倍。从而实现通过各个上下文子单元和金字塔池单元逐步恢复各个特征提取单元所输出的特征图的尺寸,直至目标尺寸。其中,上下文子单元所接收的两特征图的尺寸相同。
可选地,如图4所示,上下文子单元于对所接收的来自上游上下文子单元或金字塔池单元输出的特征图(高层特征图)进行全局池化以得到第一上下文信息,对第一上下文信息进行插值以生成第一过程特征图,将第一过程特征图与该特征图相乘以得到第二过程特征图;以及对第二过程特征图进行全局池化以得到第二上下文信息,对第二上下文信息和来自对应特征提取单元的特征图(低层特征图)进行图像融合以得到第三过程特征图,基于该高层特征图和该第三过程特征图确定本单元的输出特征图。
其中,插值后的第一上下文信息所对应的特征图的尺寸与当前上下文子单元所接收的特征图的维度相同。沿着数据流的方向,后一单元或模块输出的特征图的层级高于前一单元或特征图输出的特征图的层级,因此上下文子单元接收的来自上游上下文子单元或金字塔池单元的中间特征图的层级,高于其所接收的来自对应特征提取单元的特征图的层级。高层特征通常包含更多的语义信息,低层特征包含更多的细节信息,比如位置信息,低层特征存在着背景混乱和语义模糊的问题。低层特征被选择性地连接到包含高层特征上下文信息的第二过程特征图像上,以有效克服背景混乱和语义歧义的缺陷。
可选地,上下文子单元在基于高层特征图和第三过程特征图确定本单元的输出特征图时,可以先对高层特征图进行图像插值,以使插值后的特征图相对于所接收的特征图的尺寸扩大两倍;然后基于跳跃连接,根据插值后的特征图与该第三过程特征图确定本单元的输出特征图。
优选地,本实施例分割模型还包括连接在特征解码模块之后的输出模块,该输出模块通过Softmax确定待分割医学图像中输出目标分割区域的像素,其中,优化函数采用Adam算法,损失函数包括相结合的主函数和辅助函数。其中,主函数为:
其中,N为待分割医学图像的像素数量,i为像素坐标,p(k,i)∈[0,1]和q(k,i)∈[0,1]分别代表着分类得到的概率和金标准;
辅助函数为:
其中,TP为真正,即预测为正,实际也为正,TN为真负,即预测为负,实际也为负Np为分割区域,Nn为非分割区域;
基于上述主函数和辅助函数的目标函数为:
Lall=Ldic+λLr
λ取值范围为0-1,且优选为0.5。
可以理解的是,该分割模型可以通过各种编程语言实现,比如C语言、python语言等,当然也可以在各种操作系统中完成。
使用本实施例前述分割模型对脑部增强CT图像进行颅内血管分割,分割出来的颅内动脉血管如图5A所示;使用前述分割模型对眼部增强CT图像进行眼底血管分割,分割出来的眼底血管如图5B所示;使用前述分割模型对组织切片图像进行细胞壁分割,分割出来的细胞壁如图5C所示。
相较于现有技术,本发明实施例在进行医学图像分割时所使用的分割模型为卷积神经网络模块,其包括特征提取模块和特征解码模块,特征提取模块用于从待分割医学图像中提取不同尺寸的特征图,特征解码模块用于基于自身生成的中间特征图的上下文信息,实现对所接收的来自特征提取模块相应尺寸的特征图和该中间特征图的图像融合以逐步得到目标尺寸的特征图。通过上下文信息使该卷积网络模型最后用于分类判别的特征同时具有高层特征的上下文信息和低层特征的位置信息,有助于提高分割模型的鲁棒性,从而提高医学图像分割的准确性。
实施例二
图6是本发明实施例二提供的图像分割装置的结构框图。该装置用于执行上述任意实施例所提供的图像分割方法,该装置可选为软件或硬件实现。该装置包括:
获取部31,用于获取包含目标分割区域的待分割医学图像;
输出部32,用于将待分割医学图像输入至已训练的分割模型,从而使已训练的分割模型对待分割医学图像进行图像分割以得到目标分割区域图像;其中,分割模型为卷积神经网络模型,包括特征提取模块和特征解码模块,特征提取模块用于从待分割医学图像中提取不同尺寸的特征图,特征解码模块用于基于自身生成的中间特征图的上下文信息,实现对所接收的来自特征提取模块相应尺寸的特征图和该中间特征图的图像融合以逐步得到目标尺寸的特征图。
其中,特征提取模块包括至少四个单向级联的特征提取单元,特征提取单元用于对所接收的待分割医学图像或特征图进行特征提取以输出对应尺寸的特征图,其中,后一特征提取单元输出的特征图的尺寸小于前一特征提取单元输出的特征图的尺寸。
其中,特征解码模块还包括金字塔池单元,上下文单元包括至少三个单向级联连接的上下文子单元;金字塔池单元用于对末端的特征提取单元输出的特征图进行处理以输出两倍于该特征图尺寸的中间特征图,特征解码模块自身输出的中间特征图为来自上游上下文子单元或金字塔池单元输出的特征图,且上下文子单元所接收的两特征图的尺寸相同。
其中,上下文子单元具体用于对所接收的来自上游上下文子单元或金字塔池单元输出的特征图进行全局池化以得到第一上下文信息,对第一上下文信息进行插值并将插值后的第一上下文信息与该特征图相乘以得到第一中间特征图;以及对第一中间特征图进行全局池化以得到第二上下文信息,对第二上下文信息和来自对应特征提取单元的特征图进行图像融合以得到第二中间特征图,基于来自上游上下文子单元或金字塔池单元输出的中间特征图和第二中间特征图确定本单元的输出特征图。
其中,分割模型还包括连接在特征解码模块之后的输出模块;输出模块通过Softmax确定所述待分割医学图像中属于目标分割区域的像素,其中,优化函数采用Adam算法,损失函数包括相结合的主函数和辅助函数。
所述主函数为:
其中,N为待分割医学图像的像素数量,i为像素坐标,p(k,i)∈[0,1]和q(k,i)∈[0,1]分别代表着分类得到的概率和金标准;
所述辅助函数为:
其中,TP为真正,即预测为正,实际也为正,TN为真负,即预测为负,实际也为负Np为分割区域,Nn为非分割区域;
基于上述主函数和辅助函数的目标函数为:
Lall=Ldic+λLr
λ取值范围为0-1,且优选为0.5。
相较于现有技术,本发明实施例在进行医学图像分割时所使用的分割模型为卷积神经网络模块,其包括特征提取模块和特征解码模块,特征提取模块用于从待分割医学图像中提取不同尺寸的特征图,特征解码模块用于基于自身生成的中间特征图的上下文信息,实现对所接收的来自特征提取模块相应尺寸的特征图和该中间特征图的图像融合以逐步得到目标尺寸的特征图。通过上下文信息使该卷积网络模型最后用于分类判别的特征同时具有高层特征的上下文信息以及低层特征的位置信息,从而提高了分割模型的鲁棒性,进而提高了图像分割的准确性。
本发明实施例所提供的图像分割装置可执行本发明任意实施例所提供的图像分割方法,具备执行方法相应的功能模块和有益效果。
实施例三
图7为本发明实施例三提供的设备的结构示意图,如图7所示,该设备包括处理器301、存储器302、输入装置303以及输出装置304;设备中处理器301的数量可以是一个或多个,图7中以一个处理器301为例;设备中的处理器301、存储器302、输入装置303以及输出装置304可以通过总线或其他方式连接,图7中以通过总线连接为例。
存储器302作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的图像分割方法对应的程序指令/模块(例如,获取部31和输出部32)。处理器301通过运行存储在存储器302中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的图像分割方法。
存储器302可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器302可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器302可进一步包括相对于处理器301远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置303可用于接收输入的数字或字符信息,以及产生与设备的用户设置以及功能控制有关的键信号输入。
输出装置304可包括显示屏等显示设备,例如,用户终端的显示屏。
实施例四
本发明实施例四还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种图像分割方法,该方法包括:
获取包含目标分割区域的待分割医学图像;
将所述待分割医学图像输入至已训练的分割模型,从而使所述已训练的分割模型对所述待分割医学图像进行图像分割以得到所述目标分割区域图像;其中,所述分割模型为卷积神经网络模型,包括特征提取模块和特征解码模块,所述特征提取模块用于从所述待分割医学图像中提取不同尺寸的特征图,所述特征解码模块用于基于自身生成的中间特征图的上下文信息,实现对所接收的来自特征提取模块相应尺寸的特征图和该中间特征图的图像融合以逐步得到目标尺寸的特征图。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的图像分割方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(RandomAccess Memory,简称RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的图像分割方法。
值得注意的是,上述图像分割装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (8)
1.一种图像分割方法,其特征在于,包括:
获取包含目标分割区域的待分割医学图像;
将所述待分割医学图像输入至已训练的分割模型,从而使所述已训练的分割模型对所述待分割医学图像进行图像分割以得到所述目标分割区域图像;其中,所述分割模型为卷积神经网络模型,包括特征提取模块和特征解码模块,所述特征提取模块用于从所述待分割医学图像中提取不同尺寸的特征图,所述特征解码模块用于基于自身生成的中间特征图的上下文信息,实现对所接收的来自特征提取模块相应尺寸的特征图和该中间特征图的图像融合,以逐步得到目标尺寸的特征图;
所述分割模型还包括连接在特征解码模块之后的输出模块;所述输出模块通过Softmax确定所述待分割医学图像中属于目标分割区域的像素,其中,优化函数采用Adam算法,损失函数包括相结合的主函数和辅助函数;
所述主函数为:
其中,N为待分割医学图像的像素数量,i为像素坐标,p(k,i)∈[0,1]和q(k,i)∈[0,1]分别代表着分类得到的概率和金标准;
所述辅助函数为:
其中,TP为真正,即预测为正,实际也为正,TN为真负,即预测为负,实际也为负,Np为分割区域,Nn为非分割区域;
基于上述主函数和辅助函数的目标函数为:
Lall=Ldic+λLr
λ取值范围为0-1。
2.根据权利要求1所述的方法,其特征在于,所述特征提取模块包括至少四个单向级联的特征提取单元,所述特征提取单元用于对所接收的待分割医学图像或特征图进行特征提取以输出对应尺寸的特征图,其中,后一特征提取单元输出的特征图的尺寸小于前一特征提取单元输出的特征图的尺寸。
3.根据权利要求2所述的方法,其特征在于,所述特征解码模块还包括金字塔池单元和上下文单元,所述上下文单元包括至少三个单向级联连接的上下文子单元;
所述金字塔池单元用于对位于末端的特征提取单元输出的特征图进行处理以输出两倍于该特征图尺寸的中间特征图,所述特征解码模块自身输出的中间特征图为来自上游上下文子单元或金字塔池单元输出的特征图,所述上下文子单元接收来自对应特征提取单元所输出的特征图以及来自上游上下文子单元或金字塔池单元输出的中间特征图,且所述上下文子单元所接收的两特征图的尺寸相同。
4.根据权利要求3所述的方法,其特征在于,所述上下文子单元具体用于对所接收的来自上游上下文子单元或金字塔池单元输出的特征图进行全局池化以得到第一上下文信息,对所述第一上下文信息进行插值以生成第一过程特征图,并将该第一过程特征图与该特征图相乘以得到第二过程特征图;以及对所述第二过程特征图进行全局池化以得到第二上下文信息,对所述第二上下文信息和来自对应特征提取单元的特征图进行图像融合以得到第三过程特征图,基于来自上游上下文子单元或金字塔池单元输出的中间特征图和所述第三过程特征图确定本单元的输出特征图。
5.根据权利要求4所述的方法,其特征在于,所述基于来自上游上下文子单元或金字塔池单元输出的特征图和所述第三过程特征图与确定本单元的输出特征图,包括:
对接收的基于来自上游上下文子单元或金字塔池单元输出的特征图进行图像插值,以使插值后的特征图相对于所接收的特征图像的尺寸扩大两倍;
基于跳跃连接,根据插值后的特征图与所述第三过程特征图确定本单元的输出特征图。
6.一种图像分割装置,其特征在于,包括:
获取部,用于获取包含目标分割区域的待分割医学图像;
输出部,用于将所述待分割医学图像输入至已训练的分割模型,从而使所述已训练的分割模型对所述待分割医学图像进行图像分割以得到所述目标分割区域图像;其中,所述分割模型为卷积神经网络模型,包括特征提取模块和特征解码模块,所述特征提取模块用于从所述待分割医学图像中提取不同尺寸的特征图,所述特征解码模块用于基于自身生成的中间特征图的上下文信息,实现对所接收的来自特征提取模块相应尺寸的特征图和该中间特征图的图像融合以逐步得到目标尺寸的特征图;
所述分割模型还包括连接在特征解码模块之后的输出模块;所述输出模块通过Softmax确定所述待分割医学图像中属于目标分割区域的像素,其中,优化函数采用Adam算法,损失函数包括相结合的主函数和辅助函数;
所述主函数为:
其中,N为待分割医学图像的像素数量,i为像素坐标,p(k,i)∈[0,1]和q(k,i)∈[0,1]分别代表着分类得到的概率和金标准;
所述辅助函数为:
其中,TP为真正,即预测为正,实际也为正,TN为真负,即预测为负,实际也为负,Np为分割区域,Nn为非分割区域;
基于上述主函数和辅助函数的目标函数为:
Lall=Ldic+λLr
λ取值范围为0-1。
7.一种图像分割设备,其特征在于,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一所述的图像分割方法。
8.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-5中任一所述的图像分割方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910650761.4A CN110378913B (zh) | 2019-07-18 | 2019-07-18 | 图像分割方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910650761.4A CN110378913B (zh) | 2019-07-18 | 2019-07-18 | 图像分割方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110378913A CN110378913A (zh) | 2019-10-25 |
CN110378913B true CN110378913B (zh) | 2023-04-11 |
Family
ID=68253945
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910650761.4A Active CN110378913B (zh) | 2019-07-18 | 2019-07-18 | 图像分割方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110378913B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111047602A (zh) * | 2019-11-26 | 2020-04-21 | 中国科学院深圳先进技术研究院 | 图像分割方法、装置及终端设备 |
CN111161279B (zh) * | 2019-12-12 | 2023-05-26 | 中国科学院深圳先进技术研究院 | 医学图像分割方法、装置及服务器 |
CN111161270B (zh) * | 2019-12-24 | 2023-10-27 | 上海联影智能医疗科技有限公司 | 医学影像的血管分割方法、计算机设备和可读存储介质 |
CN111754526B (zh) * | 2020-06-23 | 2023-06-30 | 广东博智林机器人有限公司 | 户型图分割方法、分类方法、分割装置、设备和存储介质 |
CN113326851B (zh) * | 2021-05-21 | 2023-10-27 | 中国科学院深圳先进技术研究院 | 图像特征提取方法、装置、电子设备及存储介质 |
CN113192069A (zh) * | 2021-06-03 | 2021-07-30 | 清华大学 | 三维断层扫描图像中树状结构的语义分割方法和装置 |
CN114565592A (zh) * | 2021-12-08 | 2022-05-31 | 深圳科亚医疗科技有限公司 | 一种对医学图像进行血管分割的方法、装置及介质 |
CN117934855A (zh) * | 2024-03-22 | 2024-04-26 | 北京壹点灵动科技有限公司 | 医学图像分割方法和装置、存储介质及电子设备 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109690554B (zh) * | 2016-07-21 | 2023-12-05 | 西门子保健有限责任公司 | 用于基于人工智能的医学图像分割的方法和系统 |
US10140544B1 (en) * | 2018-04-02 | 2018-11-27 | 12 Sigma Technologies | Enhanced convolutional neural network for image segmentation |
CN109191476B (zh) * | 2018-09-10 | 2022-03-11 | 重庆邮电大学 | 基于U-net网络结构的生物医学图像自动分割新方法 |
CN109447994B (zh) * | 2018-11-05 | 2019-12-17 | 陕西师范大学 | 结合完全残差与特征融合的遥感图像分割方法 |
CN109584246B (zh) * | 2018-11-16 | 2022-12-16 | 成都信息工程大学 | 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法 |
CN109886273B (zh) * | 2019-02-26 | 2022-12-16 | 四川大学华西医院 | 一种cmr图像分割分类系统 |
-
2019
- 2019-07-18 CN CN201910650761.4A patent/CN110378913B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110378913A (zh) | 2019-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110378913B (zh) | 图像分割方法、装置、设备及存储介质 | |
CN110232383B (zh) | 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统 | |
US11880972B2 (en) | Tissue nodule detection and tissue nodule detection model training method, apparatus, device, and system | |
CN109978037B (zh) | 图像处理方法、模型训练方法、装置、和存储介质 | |
Enokiya et al. | Automatic liver segmentation using U-Net with Wasserstein GANs | |
US20230104173A1 (en) | Method and system for determining blood vessel information in an image | |
US8761475B2 (en) | System and method for automatic recognition and labeling of anatomical structures and vessels in medical imaging scans | |
CN111951280B (zh) | 图像分割方法、装置、设备及存储介质 | |
CN110570407B (zh) | 图像处理方法、存储介质及计算机设备 | |
CN109242863B (zh) | 一种缺血性脑卒中图像区域分割方法及装置 | |
EP3975117A1 (en) | Image segmentation method and apparatus, and training method and apparatus for image segmentation model | |
WO2022032824A1 (zh) | 图像分割方法、装置、设备及存储介质 | |
CN112308846B (zh) | 血管分割方法、装置及电子设备 | |
CN110570394A (zh) | 医学图像分割方法、装置、设备及存储介质 | |
CN111862033A (zh) | 医学图像处理方法、装置、图像处理设备及存储介质 | |
CN110827283B (zh) | 基于卷积神经网络的头颈血管分割方法及装置 | |
Pham et al. | Chest x-rays abnormalities localization and classification using an ensemble framework of deep convolutional neural networks | |
CN112884702A (zh) | 一种基于内窥镜图像的息肉识别系统和方法 | |
CN111209946A (zh) | 三维图像处理方法、图像处理模型训练方法及介质 | |
CN115546149A (zh) | 肝脏分割方法及装置、电子设备及存储介质 | |
CN108765277B (zh) | 图像拼接方法、装置、计算机设备和存储介质 | |
CN113192099B (zh) | 一种组织提取方法、装置、设备和介质 | |
CN115965785A (zh) | 图像分割方法、装置、设备、程序产品及介质 | |
CN113096132B (zh) | 图像处理的方法、装置、存储介质和电子设备 | |
CN113379770A (zh) | 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |