CN112767422B - 图像分割模型的训练方法及装置,分割方法及装置,设备 - Google Patents
图像分割模型的训练方法及装置,分割方法及装置,设备 Download PDFInfo
- Publication number
- CN112767422B CN112767422B CN202110136982.7A CN202110136982A CN112767422B CN 112767422 B CN112767422 B CN 112767422B CN 202110136982 A CN202110136982 A CN 202110136982A CN 112767422 B CN112767422 B CN 112767422B
- Authority
- CN
- China
- Prior art keywords
- trachea
- label
- image segmentation
- network
- segmentation model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请公开了一种图像分割模型的训练方法及装置,分割方法及装置,设备。该训练方法包括:通过对医学样本图像上的目标物体的原始标签进行形态学操作,获得所述目标物体的新标签,其中,所述目标物体的新标签仅包括正确标注的标签;基于所述目标物体的新标签,训练所述图像分割模型。通过该图像分割模型对医学样本图像上的目标物体进行分割,能够提高目标物体的分割的准确率。
Description
技术领域
本申请涉及深度学习技术领域,具体涉及一种图像分割模型的训练方法及装置,分割方法及装置,设备。
背景技术
图像分割在影像学诊断中大有用处,但是现有的图像分割的结果并不理想。例如,肺血管特别是肺动脉,大多伴行于气管,由于气管壁较薄,且在平扫CT中,气管壁的HU(Hounsfield Unit)值与肺血管的HU值相近,因此,在肺血管分割过程中,经常会将气管壁错误分割为肺血管,从而导致在两根肺血管中间形成通路(即,气管壁假阳),降低了肺血管分割的准确率。
发明内容
有鉴于此,本申请的实施例致力于提供一种图像分割模型的训练方法及装置,分割方法及装置,设备,能够提高医学图像上的目标物体的分割的准确率。
根据本申请实施例的第一方面,提供了一种图像分割模型的训练方法,包括:通过对医学样本图像上的目标物体的原始标签进行形态学操作,获得所述目标物体的新标签,其中,所述目标物体的新标签仅包括正确标注的标签;基于所述目标物体的新标签,训练所述图像分割模型。
在一实施例中,所述目标物体包括背景、血管、气管以及气管壁,其中,所述通过对医学样本图像上的目标物体的原始标签进行形态学操作,获得所述目标物体的新标签,包括:对所述气管的原始标签进行第一膨胀操作,以获得所述气管相关的新标签,其中,所述气管相关的新标签包括所述气管的原始标签和所述气管壁的新标签;对所述气管的原始标签进行第二膨胀操作,以获得所述气管相关的辅助标签,并将所述气管相关的辅助标签被所述气管相关的新标签进行差集操作,以获得不确定为所述气管壁还是所述血管的不确定标签,其中,所述第一膨胀操作的膨胀系数小于所述第二膨胀操作的膨胀系数;将所述血管的原始标签被所述不确定标签进行所述差集操作,以得到所述血管的新标签;将所述背景的原始标签被所述不确定标签进行所述差集操作,以得到所述背景的新标签。
在一实施例中,所述基于所述目标物体的新标签,训练所述图像分割模型,包括:通过神经网络中的第一分支子网络,获取所述血管和所述背景的第一分割结果,并根据所述第一分割结果、所述背景的新标签以及所述血管的新标签,获取所述第一分支子网络的损失函数值;通过所述神经网络中的第二分支子网络,获取所述气管、所述气管壁以及所述背景的第二分割结果,并根据所述第二分割结果、所述背景的新标签以及所述气管相关的新标签,获取所述第二分支子网络的损失函数值;根据所述第一分支子网络的损失函数值和所述第二分支子网络的损失函数值,更新所述神经网络中的参数,以获得所述图像分割模型。
在一实施例中,所述训练方法还包括:通过所述神经网络中的第三分支子网络,获取所述气管、所述气管壁以及所述血管的分类结果,并根据所述分类结果、所述血管的新标签和所述气管相关的新标签,获取所述第三分支子网络的损失函数值,其中,所述根据所述第一分支子网络的损失函数值和所述第二分支子网络的损失函数值,更新所述神经网络中的参数,以获得所述图像分割模型,包括:根据所述第一分支子网络的损失函数值、所述第二分支子网络的损失函数值以及所述第三分支子网络的损失函数值,更新所述神经网络中的参数,以获得所述图像分割模型。
在一实施例中,基于所述目标物体的新标签,训练所述图像分割模型,包括:通过神经网络中的第一分支子网络,获取所述血管和所述背景的第一分割结果,并根据所述第一分割结果、所述背景的新标签以及所述血管的新标签,获取所述第一分支子网络的损失函数值;通过所述神经网络中的第二分支子网络,获取所述气管壁和所述背景的第三分割结果,并根据所述第三分割结果、所述背景的新标签以及所述气管壁的新标签,获取所述第二分支子网络的损失函数值;根据所述第一分支子网络的损失函数值和所述第二分支子网络的损失函数值,更新所述神经网络中的参数,以获得所述图像分割模型。
在一实施例中,所述训练方法还包括:通过所述神经网络中的第三分支子网络,获取所述气管壁和所述血管的分类结果,并根据所述分类结果、所述血管的新标签以及所述气管壁的新标签,获取所述第三分支子网络的损失函数值,其中,所述根据所述第一分支子网络的损失函数值和所述第二分支子网络的损失函数值,更新所述神经网络中的参数,以获得所述图像分割模型,包括:根据所述第一分支子网络的损失函数值、所述第二分支子网络的损失函数值以及所述第三分支子网络的损失函数值,更新所述神经网络中的参数,以获得所述图像分割模型。
在一实施例中,所述基于所述目标物体的新标签,训练所述图像分割模型,包括:通过神经网络,获取所述血管和所述背景的分割结果;根据所述血管和所述背景的分割结果、所述背景的新标签以及所述血管的新标签,获取所述神经网络的损失函数值;根据所述神经网络的损失函数值,更新所述神经网络中的参数,以获得所述图像分割模型。
根据本申请实施例的第二方面,提供了一种图像分割方法,包括:将待分割医学图像输入图像分割模型,其中,所述图像分割模型通过上述任一实施例所述的图像分割模型的训练方法训练得到;采用所述图像分割模型对所述待分割医学图像进行分割。
根据本申请实施例的第三方面,提供了一种图像分割模型的训练装置,包括:获取模块,配置为通过对医学样本图像上的目标物体的原始标签进行形态学操作,获得所述目标物体的新标签,其中,所述目标物体的新标签仅包括正确标注的标签;训练模块,配置为基于所述目标物体的新标签,训练所述图像分割模型。
在一实施例中,所述训练装置还包括:用于执行上述实施例提及的图像分割模型的训练方法中的各个步骤的模块。
根据本申请实施例的第四方面,提供了一种图像分割装置,包括:输入模块,配置为将待分割医学图像输入图像分割模型,其中,所述图像分割模型通过上述任一实施例所述的图像分割模型的训练方法训练得到;分割模块,配置为采用所述图像分割模型对所述待分割医学图像进行分割。
在一实施例中,所述图像分割装置还包括:用于执行上述实施例提及的图像分割方法中的各个步骤的模块。
根据本申请实施例的第五方面,提供了一种电子设备,包括:处理器;用于存储所述处理器可执行指令的存储器;所述处理器用于执行上述任一实施例所述的图像分割模型的训练方法。
根据本申请实施例的第六方面,提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述任一实施例所述的图像分割模型的训练方法。
本申请的实施例所提供的一种图像分割模型的训练方法,通过对医学样本图像上的目标物体的原始标签进行形态学操作,能够获得仅包括正确标注的标签的目标物体的新标签,再基于目标物体的新标签,训练图像分割模型,通过该图像分割模型对医学样本图像上的目标物体进行分割,能够提高目标物体的分割的准确率。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1所示为本申请实施例所提供的一种实施环境的示意图。
图2所示为本申请一个实施例提供的图像分割模型的训练方法的流程示意图。
图3所示为本申请另一个实施例提供的图像分割模型的训练方法的流程示意图。
图4所示为本申请一个实施例提供的膨胀操作的示意图。
图5所示为本申请一个实施例提供的差集操作的示意图。
图6所示为本申请另一个实施例提供的图像分割模型的训练方法的流程示意图。
图7所示为本申请另一个实施例提供的图像分割模型的训练方法的流程示意图。
图8所示为本申请一个实施例提供的图像分割方法的流程示意图。
图9所示为本申请一个实施例提供的图像分割模型的训练装置的框图。
图10所示为本申请另一个实施例提供的图像分割模型的训练装置的框图。
图11所示为本申请另一个实施例提供的图像分割模型的训练装置的框图。
图12所示为本申请另一个实施例提供的图像分割模型的训练装置的框图。
图13所示为本申请一个实施例提供的图像分割装置的框图。
图14所示为本申请一个实施例提供的电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
申请概述
神经网络是一种运算模型,由大量的节点(或称神经元)之间相互连接构成,每个节点对应一个策略函数,每两个节点间的连接代表一个对于通过该连接信号的加权值,称之为权重。神经网络一般包括多个神经网络层,上下网络层之间相互级联,第i个神经网络层的输出与第i+1个神经网络层的输入相连,第i+1个神经网络层的输出与第i+2个神经网络层的输入相连,以此类推。训练样本输入级联的神经网络层后,通过每个神经网络层输出一个输出结果,该输出结果作为下一个神经网络层的输入,由此,通过多个神经网络层计算获得输出,比较输出层的输出的预测结果与真正的目标值,再根据预测结果与目标值之间的差异情况来调整每一层的权重矩阵和策略函数,神经网络利用训练样本不断地经过上述调整过程,使得神经网络的权重等参数得到调整,直到神经网络输出的预测结果与真正的目标结果相符,该过程就被称为神经网络的训练过程。神经网络经过训练后,可得到神经网络模型。
如前文所述,气管壁的HU(Hounsfield Unit)值与肺血管的HU值相近,在对肺血管进行标记时,很容易将气管壁错误地标记为肺血管,从而导致在肺血管分割过程中,分割模型将气管壁的特征错误地学习为肺血管的特征,进而导致在两根肺血管中间形成通路(即,气管壁假阳),现有技术中大多采用如下方法,去除肺血管分割中出现的气管壁假阳,以提高肺血管分割的准确率。
第一种方案如下:精确标记气管壁,在肺血管分割模型的训练过程中,将气管壁作为背景标签进行训练,这样模型输出的肺血管分割结果中就不包含气管壁。
但是,气管壁为气管外薄薄的一层,且气管壁的HU值与肺血管的HU值差别不大,因此,想要精确标记气管壁比较困难,需要花费大量的人力和物力。
第二种方案如下:先完成气管分割与肺血管分割,再将气管分割结果进行形态学膨胀,由于气管壁是气管外薄薄的一层,那么经过形态学膨胀后的气管分割结果中就包含了气管壁,而肺血管分割结果与膨胀后的气管分割结果相交的区域则为气管壁假阳。
但是,在得到了气管分割结果和肺血管分割结果后,再通过形态学膨胀,去除肺血管分割结果中的气管壁假阳,这需要对膨胀参数进行精心设计,如果膨胀参数设计较小,则没有办法完全清除气管壁假阳,如果膨胀参数设计较大,则容易导致肺血管分割结果出现断裂。
针对上述问题,为了提高肺血管分割的准确率,本申请实施例提供了一种图像分割模型的训练方法,通过对医学样本图像上的目标物体的原始标签进行形态学操作,能够获得仅包括正确标注的标签的目标物体的新标签,再基于目标物体的新标签,训练图像分割模型,通过该图像分割模型对医学样本图像上的肺血管进行分割,能够提高肺血管的分割的准确率。
在介绍了本申请的基本原理之后,下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图1是本申请实施例所提供的一种实施环境的示意图。该实施环境包括CT扫描仪130、服务器120和计算机设备110。
计算机设备110可以从CT扫描仪130处获取医学图像,同时,计算机设备110还可以与服务器120之间通过通信网络相连。可选的,通信网络是有线网络或无线网络。
CT扫描仪130用于对人体组织进行X线扫描,得到人体组织的CT图像。在一实施例中,通过CT扫描仪130对肺部进行扫描,可以得到肺部医学图像。
计算机设备110可以是通用型计算机或者由专用的集成电路组成的计算机装置等,本申请实施例对此不做限定。例如,计算机设备110可以是平板电脑等移动终端设备,或者也可以是个人计算机(Personal Computer,PC),比如膝上型便携计算机和台式计算机等等。
本领域技术人员可以知晓,上述计算机设备110的数量可以一个或多个,其类型可以相同或者不同。比如上述计算机设备110可以为一个,或者上述计算机设备110为几十个或几百个,或者更多数量。本申请实施例对计算机设备110的数量和设备类型不加以限定。
服务器120是一台服务器,或者由若干台服务器组成,或者是一个虚拟化平台,或者是一个云计算服务中心。
在一些可选的实施例中,计算机设备110从CT扫描仪130处获取医学图像,再通过人工标注的方式,对医学图像上的目标物体进行标记,例如,对肺血管、气管、气管壁以及背景进行标记,以获得医学样本图像,该医学样本图像上具有目标物体的原始标签。
在一些可选的实施例中,服务器120或者计算机设备110还可以从ImageNet项目中获取具有目标物体的原始标签的医学样本图像。ImageNet项目是一个用于视觉对象识别软件研究的大型可视化数据库,超过1400万的图像URL被ImageNet手动注释,以指示图片中的对象。
在一些可选的实施例中,计算机设备110对医学样本图像上的目标物体的原始标签进行形态学操作,以获得目标物体的新标签,然后计算机设备110再向服务器120发送医学样本图像上的目标物体的新标签,或者,服务器120直接接收计算机设备110获得的医学样本图像上的目标物体的原始标签,服务器120再对医学样本图像上的目标物体的原始标签进行形态学操作,以获得目标物体的新标签。最后,服务器120基于目标物体的新标签,训练图像分割模型。通过该图像分割模型对医学样本图像上的目标物体进行分割,能够提高目标物体的分割的准确率。
在一些可选的实施例中,计算机设备110可以将其从CT扫描仪130获取到的待分割医学图像发送给服务器120,服务器120利用其上训练得到的图像分割模型对待分割医学图像进行分割,从而获得分割结果,例如,血管、气管、气管壁和背景的分割结果。通过该图像分割模型对医学样本图像上的目标物体进行分割,能够提高目标物体的分割的准确率。
示例性方法
图2是本申请一个实施例提供的图像分割模型的训练方法的流程示意图。图2所述的方法由计算设备(例如,服务器)来执行,但本申请实施例不以此为限。服务器可以是一台服务器,或者由若干台服务器组成,或者是一个虚拟化平台,或者是一个云计算服务中心,本申请实施例对此不作限定。如图2所示,该方法包括如下内容。
S210:通过对医学样本图像上的目标物体的原始标签进行形态学操作,获得所述目标物体的新标签,其中,所述目标物体的新标签仅包括正确标注的标签。
医学样本图像可以为电子计算机断层成像(ComputedTomography,CT)、核磁共振成像(Magnetic Resonance Imaging,MRI)、计算机放射成像(Computed Radiography,CR)或数字放射成像(Digital radiography,DR)等医学影像,本申请实施例对此不作具体限定。
本申请实施例并不限定医学样本图像的具体形式,可以是原始医学图像,也可以是经过预处理后的医学图像,还可以是原始医学图像的一部分。本申请实施例也并不限定目标物体的具体类型,目标物体至少包括血管和背景,当然,目标物体还可以包括气管和气管壁。
该医学样本图像可以为平扫CT,也可以增强CT。增强CT由于血管中有造影剂,即使气管壁的HU值与血管的HU值差异较大,而使得气管壁假阳较平扫CT少,但仍然可以采取本申请的方法来去除气管壁假阳。
形态学操作的基本思想是用具有一定形态的结构元素去度量和提取图像中的对应形状以达到对图像分析和识别的目的,其可以简化图像数据,保持它们基本的形状特性,并除去不相干的结构。
形态学操作的基本运算有:膨胀操作、腐蚀操作、开操作和闭操作,差集操作,补集操作,并集操作等,本申请实施例对此并不作具体限定。
在一实施例中,对医学样本图像上的目标物体的原始标签进行形态学操作,能够保持目标物体的原始标签的基本的形状特性,并除去不相干的标签,从而获得目标物体的新标签。
目标物体的原始标签中可以包括正确标注的标签,也可以包括错误标注的标签(即,需要除去的不相干的标签),而目标物体的新标签中仅包括正确标注的标签。例如,目标物体为血管,血管的原始标签中不仅包括了真实的血管标签(即,正确标注的标签),还包括了气管壁标签(即,错误标注的标签),经过形态学操作后得到的血管的新标签中仅包含真实的血管标签。
S220:基于所述目标物体的新标签,训练所述图像分割模型。
由于目标物体的新标签中仅包括正确标注的标签,在图像分割模型训练的过程中,仅针对目标物体的新标签进行训练,而对于原始标签中的错误标注的标签不参与训练,这样可以使得图像分割模型学习到的特征均是正确的特征。因此,通过该图像分割模型,能够去除血管分割中的气管壁假阳,从而提高血管分割的准确率。
在一实施例中,基于目标物体的新标签,计算神经网络的损失函数值,再基于该损失函数值,更新神经网络的参数,以获得训练完成的图像分割模型。
也就是说,在训练图像分割模型时,仅对目标物体的新标签进行损失函数的计算,而对于错误标注的标签不进行损失函数的计算。
但是,需要说明的是,本申请实施例并不具体图像分割模型的具体网络结构,该图像分割模型可以由任意类型的神经网络构成。可选地,该图像分割模型可以为卷积神经网络(Convolutional Neural Network,CNN)、深度神经网络(Deep Neural Network,DNN)或循环神经网络(Recurrent Neural Network,RNN)等。该图像分割模型可以包括输入层、卷积层、池化层、连接层等神经网络层,本申请实施例对此不作具体限定。另外,本申请实施例对每一种神经网络层的个数也不作限定。
在本申请另一个实施例中,当目标物体包括背景、血管、气管以及气管壁时,如图3所示的方法是图2所示的方法的示例,如图3所示的方法包括如下内容。
S310:对所述气管的原始标签进行第一膨胀操作,以获得所述气管相关的新标签,其中,所述气管相关的新标签包括所述气管的原始标签和所述气管壁的新标签。
在一实施例中,形态学操作包括第一膨胀操作,通过对气管的原始标签进行第一膨胀操作,能够获得气管相关的新标签,气管相关的新标签包括气管的原始标签和气管壁的新标签。
也就是说,通过第一膨胀操作后,将气管的原始标签和与其相接触的气管壁合并到一起,使气管的边界向外部扩张至包含确定为气管壁的区域,从而得到了气管相关的新标签。
由于血管的HU值与气管壁的HU值很相近,因此,为了让图像分割模型能够更好地识别出哪些区域为血管,哪些区域为气管壁,可以使图像分割模型不仅学习血管的特征,还学习气管壁的特征,因此,在训练图像分割模型之前,确定气管壁的新标签是十分必要的。
如前文所述,由于气管壁是气管外很薄的一层,很难对气管壁进行精确地标记,因此,通过对气管的原始标签进行第一膨胀操作,能够精确地获取气管壁的新标签,该气管壁的新标签仅包括真实的气管壁标签(即,正确标注的标签),而并不包括不确定为气管壁还是血管的不确定标签。这可以使得图像分割模型在训练的过程中,学习到的气管壁的特征均是正确的,不会将某些血管的特征学习为气管壁的特征,从而避免了气管壁假阳的情况的出现。
S320:对所述气管的原始标签进行第二膨胀操作,以获得所述气管相关的辅助标签,其中,所述第一膨胀操作的膨胀系数小于所述第二膨胀操作的膨胀系数。
在一实施例中,形态学操作还包括第二膨胀操作,通过对气管的原始标签进行第二膨胀操作,能够获得气管相关的辅助标签。该辅助标签包括如上所述的气管相关的新标签和不确定为气管壁还是血管的不确定标签。
也就是说,通过第二膨胀操作后,将气管的原始标签和与其相接触的气管壁合并到一起,使气管的边界向外部扩张至包含确定为气管壁的区域和不确定为气管壁还是血管的区域,从而得到了气管相关的辅助标签。
通过第一膨胀操作,使得气管向外扩张的范围较小,而通过第二膨胀操作,使得气管向外扩张的范围较大,因此,第一膨胀操作的膨胀系数小于第二膨胀操作的膨胀系数。但是需要说明的是,本申请实施例并不具体限定膨胀系数的大小,本领域技术人员可以根据实际需求,进行不同的选择。
为了更清楚地展示出气管相关的新标签和气管相关的辅助标签之间的关系,请参见图4,其示出了气管的原始标签41、气管壁的新标签42以及不确定为气管壁还是血管的不确定标签43。经过第一膨胀操作后,得到了由气管的原始标签41和气管壁的新标签42共同构成的气管相关的新标签,经过第二膨胀操作后,得到了由气管的原始标签41、气管壁的新标签42和不确定标签43共同构成的气管相关的辅助标签。
但是需要说明的是,本申请实施例并不具体限定膨胀操作的具体实现方式,例如,可以在预设的结构元素的约束下,由原始标签的中心向外均匀地膨胀。
S330:将所述气管相关的辅助标签被所述气管相关的新标签进行差集操作,以获得不确定为所述气管壁还是所述血管的不确定标签。
形态学操作还包括差集操作,其属于形态学中的基础操作,如图5所示,A被B进行差集操作可以理解为是A-B,即,从A的所有元素中减去A与B的交集元素(即,C的元素),以获得A的部分元素。
在一实施例中,通过差集操作,从气管相关的辅助标签中减去气管相关的新标签,从而获得不确定标签。
S340:将所述血管的原始标签被所述不确定标签进行所述差集操作,以得到所述血管的新标签。
在一实施例中,通过差集操作,从血管的原始标签中减去不确定标签,从而获得血管的新标签。
血管的新标签中不包含不确定标签,也就是说,血管的新标签仅包括真实的血管标签(即,正确标注的标签)。这可以使得图像分割模型在训练的过程中,学习到的血管的特征均是正确的,不会将某些气管壁的特征学习为血管的特征,从而避免了气管壁假阳的情况的出现。
S350:将所述背景的原始标签被所述不确定标签进行所述差集操作,以得到所述背景的新标签。
在一实施例中,通过差集操作,从背景的原始标签中减去不确定标签,从而获得背景的新标签。
背景的新标签中不包含不确定标签,也就是说,背景的新标签仅包括真实的背景标签(即,正确标注的标签)。
不确定标签在图像分割模型训练的过程中,不进行学习,即,不确定标签对应的像素点既不作为气管壁标签,又不作为血管标签,还不作为背景标签,而是让图像分割模型自己去判断不确定标签为血管,还是气管壁,还是背景,这样能够让图像分割模型自己学习不确定标签所覆盖的区域的具体分类。
S360:通过神经网络中的第一分支子网络,获取所述血管和所述背景的第一分割结果,并根据所述第一分割结果、所述背景的新标签以及所述血管的新标签,获取所述第一分支子网络的损失函数值。
在一实施例中,将医学样本图像输入神经网络的主干网络中进行特征提取,以获得医学样本图像的特征图。例如,该主干网络以Unet为基本框架,Unet由编码器与解码器两部分组成,使用ResNet作为编码器和解码器的基础网络。编码器负责对医学样本图像进行下采样,提取医学样本图像的层次特征,解码器负责利用编码器提取到的层次特征进行上采样操作,以解码得到医学样本图像的特征图。
在一实施例中,将医学样本图像的特征图输入神经网络的第一分支子网络中,获取血管和背景的第一分割结果,并利用第一损失函数,计算第一分割结果与血管的新标签和背景的新标签(即,目标结果)之间的相似度损失,可以得到第一分支子网络的损失函数值。第一分支子网络的损失函数值越小,代表预测出的第一分割结果越接近目标结果,预测正确的准确率越高。相反,第一分支子网络的损失函数值越大,代表预测正确的准确率越低。
S370:通过所述神经网络中的第二分支子网络,获取所述气管、所述气管壁以及所述背景的第二分割结果,并根据所述第二分割结果、所述背景的新标签以及所述气管相关的新标签,获取所述第二分支子网络的损失函数值。
同理,将医学样本图像的特征图输入神经网络的第二分支子网络中,获取气管、气管壁以及背景的第二分割结果,并利用第二损失函数,计算第二分割结果与气管相关的新标签和背景的新标签(即,目标结果)之间的相似度损失,可以得到第二分支子网络的损失函数值。第二分支子网络的损失函数值越小,代表预测出的第二分割结果越接近目标结果,预测正确的准确率越高。相反,第二分支子网络的损失函数值越大,代表预测正确的准确率越低。
尽管对气管的分割并不是图像分割模型的主要任务,但是由于在一个医学样本图像中,气管壁的像素点的数据量比气管或者血管少很多,如果仅对气管壁进行学习,会存在类不平衡的问题,此外,由于一些尺寸较小的气管,会干扰血管的分割,因此,为了让图像分割模型能够更好地识别出哪些区域为血管,哪些区域为尺寸较小的气管,可以使图像分割模型还学习气管的特征。基于以上两个原因,可以将气管的原始标签和气管壁的新标签合并,让第二分支子网络一起进行学习,从而不仅能够提高第二分支子网络训练时的输入样本的数据量,还能够对尺寸较小的气管的特征进行学习,以提高血管分割的准确率。
S380:根据所述第一分支子网络的损失函数值和所述第二分支子网络的损失函数值,更新所述神经网络中的参数,以获得所述图像分割模型。
在一实施例中,可以将第一分支子网络的损失函数值进行梯度反传,以更新该神经网络中的主干网络和第一分支子网络的参数,例如权重,偏值等,本申请对此不做限定。
在一实施例中,可以将第二分支子网络的损失函数值进行梯度反传,以更新该神经网络中的主干网络和第二分支子网络的参数,例如权重,偏值等,本申请对此不做限定。
在本申请另一个实施例中,图3所示的方法还包括:通过所述神经网络中的第三分支子网络,获取所述气管、所述气管壁以及所述血管的分类结果,并根据所述分类结果、所述血管的新标签和所述气管相关的新标签,获取所述第三分支子网络的损失函数值。
为了能够更加准确地对气管壁、气管和血管进行识别,可以在神经网络中设计第三分支子网络,作为对气管、气管壁以及血管进行分类的额外判别依据。
在一实施例中,将步骤S360中的第一分割结果和步骤S370中的第二分割结果输入到第三分支子网络中,可以输出气管、气管壁以及血管的分类结果。利用第三损失函数,计算该分类结果分别与血管的新标签和气管相关的新标签(即,目标结果)之间的相似度损失,可以得到第三分支子网络的损失函数值。第三分支子网络的损失函数值越小,代表预测出的分类结果越接近目标结果,预测正确的准确率越高。相反,第三分支子网络的损失函数值越大,代表预测正确的准确率越低。
需要说明的是,第一损失函数、第二损失函数和第三损失函数可以为相同类型或不同类型的损失函数,第一损失函数、第二损失函数和第三损失函数也可以为部分类型相同或者部分类型不同的损失函数,例如,第一损失函数、第二损失函数和第三损失函数可以均为交叉熵损失函数或者Dice Loss等等。第一损失函数、第二损失函数和第三损失函数的具体类型可以根据不同应用场景进行选择,本申请实施例对此不作具体限定。
在本申请另一个实施例中,图3所示的方法中的步骤S380具体包括:根据所述第一分支子网络的损失函数值、所述第二分支子网络的损失函数值以及所述第三分支子网络的损失函数值,更新所述神经网络中的参数,以获得所述图像分割模型。
本实施例的具体实施细节与步骤S380的具体实施细节部分相似,具体请参见步骤S380的具体描述,在此只描述不同之处。
在一实施例中,可以将第三分支子网络的损失函数值进行梯度反传,以更新该神经网络中的主干网络、第一分支子网络、第二分支子网络以及第三分支子网络的参数,例如权重,偏值等,本申请对此不做限定。
在本申请另一个实施例中,当目标物体包括背景、血管、气管以及气管壁时,如图6所示的方法是图2所示的方法的示例,如图6所示的方法可以包括如下内容。
S610至S650与图3所示的方法中的S310至S350部分相似,具体请参见步骤S310至S350的具体描述,在此只描述不同之处。
在一实施例中,在得到了气管相关的新标签后,可以通过将气管相关的新标签被气管的原始标签进行差集操作,来获取气管壁的新标签。也就是说,通过差集操作,从气管相关的新标签中减去气管的原始标签,从而获得气管壁的新标签。
S660:通过神经网络中的第一分支子网络,获取所述血管和所述背景的第一分割结果,并根据所述第一分割结果、所述背景的新标签以及所述血管的新标签,获取所述第一分支子网络的损失函数值。
本实施例中的具体实施细节与步骤S360中的具体实施细节相同,在此不再赘述,请参见步骤S360的相关描述。
S670:通过所述神经网络中的第二分支子网络,获取所述气管壁和所述背景的第三分割结果,并根据所述第三分割结果、所述背景的新标签以及所述气管壁的新标签,获取所述第二分支子网络的损失函数值。
本实施例中的具体实施细节与步骤S370中的具体实施细节部分相似,具体请参见步骤S370的具体描述,在此只描述不同之处。
如前文所述,为了能够减少血管分割结果中存在的气管壁假阳,实际上可以只对与血管的HU值很相近的气管壁进行学习,而不对气管进行学习,所以本申请实施例中的第二分支子网络仅对气管壁的特征进行学习。
S680:根据所述第一分支子网络的损失函数值和所述第二分支子网络的损失函数值,更新所述神经网络中的参数,以获得所述图像分割模型。
本实施例中的具体实施细节与步骤S380中的具体实施细节相同,在此不再赘述,请参见步骤S380的相关描述。
在本申请另一个实施例中,图6所示的方法还包括:通过所述神经网络中的第三分支子网络,获取所述气管壁和所述血管的分类结果,并根据所述分类结果、所述血管的新标签以及所述气管壁的新标签,获取所述第三分支子网络的损失函数值。
本实施例中的具体实施细节与上述图3所示的方法中的关于第三分支子网络的具体实施细节部分相似,具体请参见上述实施例的具体描述,在此只描述不同之处。
为了能够更加准确地对气管壁和血管进行识别,可以在神经网络中设计第三分支子网络,作为对气管壁和血管进行分类的额外判别依据。
在一实施例中,将步骤S660中的第一分割结果和步骤S670中的第二分割结果输入到第三分支子网络中,可以输出气管壁和血管的分类结果。利用第三损失函数,计算该分类结果分别与血管的新标签和气管壁的新标签(即,目标结果)之间的相似度损失,可以得到第三分支子网络的损失函数值。
在本申请另一个实施例中,图6所示的方法中的步骤S680具体包括:根据所述第一分支子网络的损失函数值、所述第二分支子网络的损失函数值以及所述第三分支子网络的损失函数值,更新所述神经网络中的参数,以获得所述图像分割模型。
本实施例中的具体实施细节与上述图3所示的方法中的S380的具体实施方式相同,在此不再赘述,请参见步骤S380的具体实施方式。
在本申请另一个实施例中,当目标物体包括背景、血管、气管以及气管壁时,如图7所示的方法是图2所示的方法的示例,如图7所示的方法可以包括如下内容。
S710至S750与图3所示的方法中的S310至S350相同,具体请参见步骤S310至S350的具体描述,在此不再赘述。
S760:通过神经网络,获取所述血管和所述背景的分割结果。
在一实施例中,将医学样本图像输入神经网络中,以获得血管和背景的分割结果。
如前文所述,为了能够减少血管分割结果中存在的气管壁假阳,实际上可以只对与血管进行学习,而不对气管和气管壁进行学习,所以本申请实施例中的神经网络仅对血管的特征进行学习。
S770:根据所述血管和所述背景的分割结果、所述背景的新标签以及所述血管的新标签,获取所述神经网络的损失函数值。
在一实施例中,利用损失函数,计算血管和背景的分割结果与血管的新标签和背景的新标签(即,目标结果)之间的相似度损失,可以得到神经网络的损失函数值。
S780:根据所述神经网络的损失函数值,更新所述神经网络中的参数,以获得所述图像分割模型。
在一实施例中,将神经网络的损失函数值进行梯度反传,以更新该神经网络的参数,例如权重,偏值等,本申请对此不做限定。
图8是本申请一个实施例提供的图像分割方法的流程示意图。图8所述的方法由计算设备(例如,服务器)来执行,但本申请实施例不以此为限。服务器可以是一台服务器,或者由若干台服务器组成,或者是一个虚拟化平台,或者是一个云计算服务中心,本申请实施例对此不作限定。如图8所示,该方法包括如下内容。
S810:将待分割医学图像输入图像分割模型,其中,所述图像分割模型通过上述任一实施例所述的图像分割模型的训练方法训练得到。
在一实施例中,本实施例所述的分割方法还包括上述任一实施例所述的图像分割模型的训练方法,具体实施细节请参见上述实施例所述的训练方法。
S820:采用所述图像分割模型对所述待分割医学图像进行分割。
根据本申请实施例提供的技术方案,通过利用上述图像分割模型的训练方法训练得到的图像分割模型对待分割医学图像进行分割,提高了分割的准确率。
示例性装置
本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
图9所示为本申请一个实施例提供的图像分割模型的训练装置的框图。如图9所示,该训练装置900包括:
获取模块910,配置为通过对医学样本图像上的目标物体的原始标签进行形态学操作,获得所述目标物体的新标签,其中,所述目标物体的新标签仅包括正确标注的标签;
训练模块920,配置为基于所述目标物体的新标签,训练所述图像分割模型。
在本申请另一个实施例中,当所述目标物体包括背景、血管、气管以及气管壁时,如图10所示,图9所示的训练装置中的获取模块910具体包括:
第一膨胀单元9111,配置为对所述气管的原始标签进行第一膨胀操作,以获得所述气管相关的新标签,其中,所述气管相关的新标签包括所述气管的原始标签和所述气管壁的新标签;
第二膨胀单元9121,配置为对所述气管的原始标签进行第二膨胀操作,以获得所述气管相关的辅助标签,其中,所述第一膨胀操作的膨胀系数小于所述第二膨胀操作的膨胀系数;
第一差集单元9131,配置为将所述气管相关的辅助标签被所述气管相关的新标签进行差集操作,以获得不确定为所述气管壁还是所述血管的不确定标签;
第二差集单元9141,配置为将所述血管的原始标签被所述不确定标签进行所述差集操作,以得到所述血管的新标签;
第三差集单元9151,配置为将所述背景的原始标签被所述不确定标签进行所述差集操作,以得到所述背景的新标签。
在本申请另一个实施例中,如图10所示,图9所示的训练装置中的训练模块920可以包括:
第一训练单元9211,配置为通过神经网络中的第一分支子网络,获取所述血管和所述背景的第一分割结果,并根据所述第一分割结果、所述背景的新标签以及所述血管的新标签,获取所述第一分支子网络的损失函数值;
第二训练单元9221,配置为通过所述神经网络中的第二分支子网络,获取所述气管、所述气管壁以及所述背景的第二分割结果,并根据所述第二分割结果、所述背景的新标签以及所述气管相关的新标签,获取所述第二分支子网络的损失函数值;
第一参数更新单元9231,配置为根据所述第一分支子网络的损失函数值和所述第二分支子网络的损失函数值,更新所述神经网络中的参数,以获得所述图像分割模型。
在本申请另一个实施例中,如图10所示,图9所示的训练装置中的训练模块920还包括:
第三训练单元9241,配置为通过所述神经网络中的第三分支子网络,获取所述气管、所述气管壁以及所述血管的分类结果,并根据所述分类结果、所述血管的新标签和所述气管相关的新标签,获取所述第三分支子网络的损失函数值。
在本申请另一个实施例中,第一参数更新单元9231具体配置为:根据所述第一分支子网络的损失函数值、所述第二分支子网络的损失函数值以及所述第三分支子网络的损失函数值,更新所述神经网络中的参数,以获得所述图像分割模型。
在本申请另一个实施例中,如图11所示,图10所示的训练装置中的训练模块920可以包括:
第四训练单元9212,配置为通过神经网络中的第一分支子网络,获取所述血管和所述背景的第一分割结果,并根据所述第一分割结果、所述背景的新标签以及所述血管的新标签,获取所述第一分支子网络的损失函数值;
第五训练单元9222,配置为通过所述神经网络中的第二分支子网络,获取所述气管壁和所述背景的第三分割结果,并根据所述第三分割结果、所述背景的新标签以及所述气管壁的新标签,获取所述第二分支子网络的损失函数值;
第二参数更新单元9232,配置为根据所述第一分支子网络的损失函数值和所述第二分支子网络的损失函数值,更新所述神经网络中的参数,以获得所述图像分割模型。
在本申请另一个实施例中,如图11所示,图10所示的训练装置中的训练模块920还包括:
第六训练单元9242,配置为通过所述神经网络中的第三分支子网络,获取所述气管壁和所述血管的分类结果,并根据所述分类结果、所述血管的新标签以及所述气管壁的新标签,获取所述第三分支子网络的损失函数值。
在本申请另一个实施例中,第二参数更新单元9232具体配置为:根据所述第一分支子网络的损失函数值、所述第二分支子网络的损失函数值以及所述第三分支子网络的损失函数值,更新所述神经网络中的参数,以获得所述图像分割模型。
在本申请另一个实施例中,如图12所示,图10所示的训练装置中的训练模块920可以包括:
结果获取单元9213,配置为通过神经网络,获取所述血管和所述背景的分割结果;
损失值获取单元9223,配置为根据所述血管和所述背景的分割结果、所述背景的新标签以及所述血管的新标签,获取所述神经网络的损失函数值;
第三参数更新单元9233,配置为根据所述神经网络的损失函数值,更新所述神经网络中的参数,以获得所述图像分割模型。
图13所示为本申请一个实施例提供的图像分割装置的框图。如图13所示,该装置1300包括:
输入模块1310,配置为将待分割医学图像输入图像分割模型,其中,所述图像分割模型通过上述任一实施例所述的图像分割模型的训练方法训练得到;
分割模块1320,配置为采用所述图像分割模型对所述待分割医学图像进行分割。
示例性电子设备
下面,参考图14来描述根据本申请实施例的电子设备。图14图示了根据本申请实施例的电子设备的框图。
如图14所示,电子设备1400包括一个或多个处理器1410和存储器1420。
处理器1410可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备1400中的其他组件以执行期望的功能。
存储器1420可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器1410可以运行所述程序指令,以实现上文所述的本申请的各个实施例的图像分割模型的训练方法、图像分割方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中,电子设备1400还可以包括:输入装置1430和输出装置1440,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
例如,该输入装置1430可以是上述的麦克风或麦克风阵列,用于捕捉声源的输入信号。在该电子设备是单机设备时,该输入装置1430可以是通信网络连接器。
此外,该输入设备1430还可以包括例如键盘、鼠标等等。
该输出装置1440可以向外部输出各种信息,包括确定出的分割结果等。该输出设备1440可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图14中仅示出了该电子设备1400中与本申请有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备1400还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的图像分割模型的训练方法、图像分割方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的图像分割模型的训练方法、图像分割方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (11)
1.一种图像分割模型的训练方法,其特征在于,包括:
通过对医学样本图像上的目标物体的原始标签进行形态学操作,获得所述目标物体的新标签,其中,所述目标物体的新标签仅包括正确标注的标签;
基于所述目标物体的新标签,训练所述图像分割模型,
其中,所述目标物体包括背景、血管、气管以及气管壁,
其中,所述通过对医学样本图像上的目标物体的原始标签进行形态学操作,获得所述目标物体的新标签,包括:
对所述气管的原始标签进行第一膨胀操作,以获得所述气管相关的新标签,其中,所述气管相关的新标签包括所述气管的原始标签和所述气管壁的新标签;
对所述气管的原始标签进行第二膨胀操作,以获得所述气管相关的辅助标签,其中,所述第一膨胀操作的膨胀系数小于所述第二膨胀操作的膨胀系数,所述气管相关的辅助标签包括所述气管相关的新标签和不确定为所述气管壁还是所述血管的不确定标签;
将所述气管相关的辅助标签被所述气管相关的新标签进行差集操作,以获得不确定为所述气管壁还是所述血管的不确定标签;
将所述血管的原始标签被所述不确定标签进行所述差集操作,以得到所述血管的新标签;
将所述背景的原始标签被所述不确定标签进行所述差集操作,以得到所述背景的新标签,
其中,所述不确定标签在所述图像分割模型训练的过程中,不进行学习,以使所述图像分割模型自己学习所述不确定标签所覆盖的区域的具体分类。
2.根据权利要求1所述的训练方法,其特征在于,所述基于所述目标物体的新标签,训练所述图像分割模型,包括:
通过神经网络中的第一分支子网络,获取所述血管和所述背景的第一分割结果,并根据所述第一分割结果、所述背景的新标签以及所述血管的新标签,获取所述第一分支子网络的损失函数值;
通过所述神经网络中的第二分支子网络,获取所述气管、所述气管壁以及所述背景的第二分割结果,并根据所述第二分割结果、所述背景的新标签以及所述气管相关的新标签,获取所述第二分支子网络的损失函数值;
根据所述第一分支子网络的损失函数值和所述第二分支子网络的损失函数值,更新所述神经网络中的参数,以获得所述图像分割模型。
3.根据权利要求2所述的训练方法,其特征在于,还包括:
通过所述神经网络中的第三分支子网络,获取所述气管、所述气管壁以及所述血管的分类结果,并根据所述分类结果、所述血管的新标签和所述气管相关的新标签,获取所述第三分支子网络的损失函数值,
其中,所述根据所述第一分支子网络的损失函数值和所述第二分支子网络的损失函数值,更新所述神经网络中的参数,以获得所述图像分割模型,包括:
根据所述第一分支子网络的损失函数值、所述第二分支子网络的损失函数值以及所述第三分支子网络的损失函数值,更新所述神经网络中的参数,以获得所述图像分割模型。
4.根据权利要求1所述的训练方法,其特征在于,所述基于所述目标物体的新标签,训练所述图像分割模型,包括:
通过神经网络中的第一分支子网络,获取所述血管和所述背景的第一分割结果,并根据所述第一分割结果、所述背景的新标签以及所述血管的新标签,获取所述第一分支子网络的损失函数值;
通过所述神经网络中的第二分支子网络,获取所述气管壁和所述背景的第三分割结果,并根据所述第三分割结果、所述背景的新标签以及所述气管壁的新标签,获取所述第二分支子网络的损失函数值;
根据所述第一分支子网络的损失函数值和所述第二分支子网络的损失函数值,更新所述神经网络中的参数,以获得所述图像分割模型。
5.根据权利要求4所述的训练方法,其特征在于,还包括:
通过所述神经网络中的第三分支子网络,获取所述气管壁和所述血管的分类结果,并根据所述分类结果、所述血管的新标签以及所述气管壁的新标签,获取所述第三分支子网络的损失函数值,
其中,所述根据所述第一分支子网络的损失函数值和所述第二分支子网络的损失函数值,更新所述神经网络中的参数,以获得所述图像分割模型,包括:
根据所述第一分支子网络的损失函数值、所述第二分支子网络的损失函数值以及所述第三分支子网络的损失函数值,更新所述神经网络中的参数,以获得所述图像分割模型。
6.根据权利要求1所述的训练方法,其特征在于,所述基于所述目标物体的新标签,训练所述图像分割模型,包括:
通过神经网络,获取所述血管和所述背景的分割结果;
根据所述血管和所述背景的分割结果、所述背景的新标签以及所述血管的新标签,获取所述神经网络的损失函数值;
根据所述神经网络的损失函数值,更新所述神经网络中的参数,以获得所述图像分割模型。
7.一种图像分割方法,其特征在于,包括:
将待分割医学图像输入图像分割模型,其中,所述图像分割模型通过上述权利要求1至6中任一所述的图像分割模型的训练方法训练得到;
采用所述图像分割模型对所述待分割医学图像进行分割。
8.一种图像分割模型的训练装置,其特征在于,包括:
获取模块,配置为通过对医学样本图像上的目标物体的原始标签进行形态学操作,获得所述目标物体的新标签,其中,所述目标物体的新标签仅包括正确标注的标签;
训练模块,配置为基于所述目标物体的新标签,训练所述图像分割模型,
其中,所述目标物体包括背景、血管、气管以及气管壁,
其中,所述获取模块在通过对医学样本图像上的目标物体的原始标签进行形态学操作,获得所述目标物体的新标签时,进一步配置为:
对所述气管的原始标签进行第一膨胀操作,以获得所述气管相关的新标签,其中,所述气管相关的新标签包括所述气管的原始标签和所述气管壁的新标签;
对所述气管的原始标签进行第二膨胀操作,以获得所述气管相关的辅助标签,其中,所述第一膨胀操作的膨胀系数小于所述第二膨胀操作的膨胀系数,所述气管相关的辅助标签包括所述气管相关的新标签和不确定为所述气管壁还是所述血管的不确定标签;
将所述气管相关的辅助标签被所述气管相关的新标签进行差集操作,以获得不确定为所述气管壁还是所述血管的不确定标签;
将所述血管的原始标签被所述不确定标签进行所述差集操作,以得到所述血管的新标签;
将所述背景的原始标签被所述不确定标签进行所述差集操作,以得到所述背景的新标签,
其中,所述不确定标签在所述图像分割模型训练的过程中,不进行学习,以使所述图像分割模型自己学习所述不确定标签所覆盖的区域的具体分类。
9.一种图像分割装置,其特征在于,包括:
输入模块,配置为将待分割医学图像输入图像分割模型,其中,所述图像分割模型通过上述权利要求1至6中任一所述的图像分割模型的训练方法训练得到;
分割模块,配置为采用所述图像分割模型对所述待分割医学图像进行分割。
10.一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于执行上述权利要求1至7中任一项所述的方法。
11.一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1至7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110136982.7A CN112767422B (zh) | 2021-02-01 | 2021-02-01 | 图像分割模型的训练方法及装置,分割方法及装置,设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110136982.7A CN112767422B (zh) | 2021-02-01 | 2021-02-01 | 图像分割模型的训练方法及装置,分割方法及装置,设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112767422A CN112767422A (zh) | 2021-05-07 |
CN112767422B true CN112767422B (zh) | 2022-03-08 |
Family
ID=75704469
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110136982.7A Active CN112767422B (zh) | 2021-02-01 | 2021-02-01 | 图像分割模型的训练方法及装置,分割方法及装置,设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112767422B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113240021B (zh) * | 2021-05-19 | 2021-12-10 | 推想医疗科技股份有限公司 | 一种筛选目标样本的方法、装置、设备及存储介质 |
CN113487656B (zh) * | 2021-07-26 | 2022-11-22 | 推想医疗科技股份有限公司 | 图像配准方法及装置,训练方法及装置,控制方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105701832A (zh) * | 2016-01-19 | 2016-06-22 | 苏州大学 | 三维图割算法结合随机游走算法的pet‐ct肺肿瘤分割方法 |
CN107578416A (zh) * | 2017-09-11 | 2018-01-12 | 武汉大学 | 一种由粗到精级联深度网络的心脏左心室全自动分割方法 |
CN108537793A (zh) * | 2018-04-17 | 2018-09-14 | 电子科技大学 | 一种基于改进的u-net网络的肺结节检测方法 |
CN110378438A (zh) * | 2019-08-07 | 2019-10-25 | 清华大学 | 标签容错下的图像分割模型的训练方法、装置及相关设备 |
CN112016559A (zh) * | 2020-08-26 | 2020-12-01 | 北京推想科技有限公司 | 实例分割模型的训练方法及装置,图像处理的方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040163044A1 (en) * | 2003-02-14 | 2004-08-19 | Nahava Inc. | Method and apparatus for information factoring |
CN109101652B (zh) * | 2018-08-27 | 2022-04-19 | 宜人恒业科技发展(北京)有限公司 | 一种标签创建和管理系统 |
-
2021
- 2021-02-01 CN CN202110136982.7A patent/CN112767422B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105701832A (zh) * | 2016-01-19 | 2016-06-22 | 苏州大学 | 三维图割算法结合随机游走算法的pet‐ct肺肿瘤分割方法 |
CN107578416A (zh) * | 2017-09-11 | 2018-01-12 | 武汉大学 | 一种由粗到精级联深度网络的心脏左心室全自动分割方法 |
CN108537793A (zh) * | 2018-04-17 | 2018-09-14 | 电子科技大学 | 一种基于改进的u-net网络的肺结节检测方法 |
CN110378438A (zh) * | 2019-08-07 | 2019-10-25 | 清华大学 | 标签容错下的图像分割模型的训练方法、装置及相关设备 |
CN112016559A (zh) * | 2020-08-26 | 2020-12-01 | 北京推想科技有限公司 | 实例分割模型的训练方法及装置,图像处理的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112767422A (zh) | 2021-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111899245B (zh) | 图像分割、模型的训练方法及装置,电子设备及存储介质 | |
US11468564B2 (en) | Systems and methods for automatic detection and quantification of pathology using dynamic feature classification | |
JP7279015B2 (ja) | マンモグラフィにおける密度の評価 | |
US10867384B2 (en) | System and method for automatically detecting a target object from a 3D image | |
WO2018108129A1 (zh) | 用于识别物体类别的方法及装置、电子设备 | |
CN107665736B (zh) | 用于生成信息的方法和装置 | |
CN109003267B (zh) | 从3d图像自动检测目标对象的计算机实现方法和系统 | |
US20220199258A1 (en) | Training method for specializing artificial interlligence model in institution for deployment, and apparatus for training artificial intelligence model | |
Sedai et al. | Deep multiscale convolutional feature learning for weakly supervised localization of chest pathologies in x-ray images | |
CN112767422B (zh) | 图像分割模型的训练方法及装置,分割方法及装置,设备 | |
US9269139B2 (en) | Rib suppression in radiographic images | |
US20220198214A1 (en) | Image recognition method and device based on deep convolutional neural network | |
CN111445457B (zh) | 网络模型的训练方法及装置、识别方法及装置、电子设备 | |
Liu et al. | A fully automatic segmentation algorithm for CT lung images based on random forest | |
CN113240696B (zh) | 图像处理方法及装置,模型的训练方法及装置,电子设备 | |
KR102097743B1 (ko) | 인공지능 질환 판독 장치 및 방법 | |
CN111476290A (zh) | 检测模型训练方法、淋巴结检测方法、装置、设备及介质 | |
CN113256670A (zh) | 图像处理方法及装置、网络模型的训练方法及装置 | |
Valiuddin et al. | Improving aleatoric uncertainty quantification in multi-annotated medical image segmentation with normalizing flows | |
CN113240699B (zh) | 图像处理方法及装置,模型的训练方法及装置,电子设备 | |
Xie et al. | An improved fabric defect detection method based on SSD | |
CN111445456A (zh) | 分类模型、网络模型的训练方法及装置、识别方法及装置 | |
Phan et al. | Detection and classification of brain hemorrhage using Hounsfield unit and deep learning techniques | |
Zhou et al. | Wrist ultrasound segmentation by deep learning | |
JP7035569B2 (ja) | 医用画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |