CN115205298B - 肝部区域血管分割的方法及设备 - Google Patents
肝部区域血管分割的方法及设备 Download PDFInfo
- Publication number
- CN115205298B CN115205298B CN202211134452.XA CN202211134452A CN115205298B CN 115205298 B CN115205298 B CN 115205298B CN 202211134452 A CN202211134452 A CN 202211134452A CN 115205298 B CN115205298 B CN 115205298B
- Authority
- CN
- China
- Prior art keywords
- blood vessel
- liver
- segmentation
- network
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种肝部区域血管分割方法及设备,属于数字化医疗技术领域。该方法包括:构建肝部区域血管的分割网络;将肝部图像转化为肝部血管重建分割图;利用肝部区域血管的分割网络,在肝部血管分割公共数据集上进行训练,得到训练完毕的肝部血管分割网络;以及将肝部血管重建分割图输出为肝部区域血管分割图像。本申请将自动提取CT影像中肝部区域多尺度局部特征以及全局特征并使用多任务一致性输出分支建模血管特征转换关系,从而实现肝部血管分割;使用的组合的类别平衡损失函数,针对多任务以及血管数据的特点,缓解了网络的极端类别不平衡问题。
Description
技术领域
本发明涉及数字化医疗技术领域,具体地涉及一种肝部区域血管分割的方法及设备。
背景技术
在现代外科手术中,医生通常需要在手术前预先采集患者肝部医学图像并对患者病变部位进行分析,进行术前手术设计,手术过程中分割识别患者血管区域,利用分割出的血管进行定位或者避免对其造成损伤,其中,血管分割是肝脏手术导航中至关重要的一环。从CT等医学图像中提取血管在可视化、手术导航和手术计划中起着重要作用。但是,一些难点阻碍着该领域的发展:首先,血管可以被视为长的、扭曲的、甚至是具有各种半径的管状结构,这导致血管的拓扑结构非常复杂;其次,血管区域和背景软组织区域的像素强度非常相似,没有明显的差别,这导致血管区域和背景难以区分;最后一点,复杂的形态、低对比度的像素强度和昂贵的分割标注成本导致了血管已有标注数据的稀缺。同时,即使在标注数据集中,属于血管的有效体素也只占极小一部分,因此,对血管区域精确地进行分割仍然是一个具有挑战性的问题。
基于传统方式的医学图像分割方法包括:阈值分割、基于区域生长的分割、基于主动轮廓或者水平集的分割方法等等。然而这些方法各自具备一些缺点,往往只能分割一些简单部位,并需要医生参与交互,如需要医生勾勒出初始轮廓,这限制了传统分割方法在一些复杂的医学图像分割问题中的应用。然而利用基于深度学习的肝部血管分割方法也大致存在两个问题:首先,大部分现有的血管分割方法都基于全卷积网络,基于全卷积网络的方法难以捕捉全局特征,从而难以应对血管纤细复杂的形状;其次,基于正交深度自注意力网络的方法,由于其巨大的参数,在少样本数据集上,容易形成过拟合现象。此外,血管中轴和血管半径是血管重要的特征,现有方法多在后处理阶段进行探索,或者简单的利用多任务机制,而忽略了三个任务之间的联系。
发明内容
为克服现存的肝部区域血管分割存在的问题,本发明专利提出了一种肝部区域血管分割的方法及设备,采用基于正交卷积的U形三维深度自注意力网络,来同时捕捉多尺度局部特征和全局特征,并采用组合类别平衡函数同时减轻类别极度不平衡的问题,并利用多任务一致性分支探索了分割图、血管中轴和血管半径之间的相互转换的关系。基于本发明方法的装置操作简便,成本更低,分割结果更准确,更节约时间且不会给患者带来额外创伤。
为了实现上述目的,本发明实施例提供一种肝部区域血管分割的方法,包括以下步骤:构建肝部区域血管的分割网络,所述肝部区域血管的分割网络具有n层编码器-解码器结构的正交移动窗口的深度自注意力网络和多任务一致性输出分支网络;将肝部图像转化为肝部血管重建分割图;利用所述肝部区域血管的分割网络,在肝部血管分割公共数据集上进行训练,得到训练完毕的肝部血管分割网络;以及根据预测结果和真实标注,利用类别平衡损失函数计算损失,将所述肝部血管重建分割图输出为肝部区域血管分割图像。
可选地,构建肝部区域血管的分割网络,步骤包括:构建包含n层编码器-解码器结构的正交移动窗口的深度自注意力网络作为骨干网络,所述骨干网络由对称的编码器和解码器构成,并具有卷积和深度自注意力的交替运算;所述编码器的第一层是嵌入层,将所述肝部图像进行编码,随后的卷积层将输入的特征下采样为第一阈值尺寸,且所述编码器将所述随后的卷积层输出特征传递给所述解码器对应层,其中所述编码器利用深度自注意力运算以计算所述输出特征间的联系,捕获全局特征;以及所述解码器的最后一层为特征扩展层,将所述输入的特征恢复到指定维度,所述解码器的卷积层接受上一层的输出及所述编码器对应层的输入,并上采样为高维特征或第二阈值尺寸。
可选地,构建肝部区域血管的分割网络,步骤包括:所述多任务一致性输出分支网络接收所述骨干网络输出的所述高维特征或第二阈值尺寸,获得血管半径和血管直接分割图;对所述血管直接分割图进行软骨架化,获得血管中轴;利用所述血管中轴和所述血管半径,利用三个正交平面上的正交卷积替代所述骨干网络和所述多任务一致性输出分支网络中的三维卷积进行计算,获得肝部血管重建分割图。
可选地,三个正交平面包括:横断面、矢状面和冠状面。
可选地,利用所述肝部区域血管的分割网络,在肝部血管分割公共数据集上进行训练,得到训练完毕的肝部血管分割网络,包括:获取所述肝部血管分割公共数据集,其中,所述肝部血管分割公共数据集中包括CT模态下的肝部数据以及对应的血管动脉和静脉标注;对所述肝部血管分割公共数据集中肝部影像进行操作,以增广肝部血管数据,得到扩增后的肝部血管分割公共数据集;将所述扩增后的肝部血管分割公共数据集按照第一比例随机分割,分别获得肝部血管分割训练集和肝部血管分割测试集;以及利用所述肝部血管分割训练集对所述构建肝部区域血管的分割网络进行训练,得到训练完毕的肝部区域血管的分割网络。
可选地,肝部影像进行操作包括明暗度调整、旋转和水平翻转180度。
可选地,第一比例可选4比1。
可选地,利用所述肝部血管分割训练集对所述构建肝部区域血管的分割网络进行训练,得到训练完毕的肝部区域血管的分割网络,包括:采样得到长、宽和深度均为64体素的2个训练数据块,并对所述训练数据块加入微小高斯随机噪声,并输入所述构建肝部区域血管的分割网络,该网络最后输出所述肝部区域血管分割图像,其中所述体素的每个值范围为0到1,表示每个体素属于血管的概率。
其中,是类别平衡的直接血管分割损失,用来控制惩罚力度,是类别平衡
的交叉熵损失函数,是直接血管分割网络对输入的输出,是类别平衡的
骰子损失函数;是类别平衡的血管中轴损失函数,是血管中轴和直接血管分割
符合的信息通路;是类别平衡的血管半径损失函数;是血管重建损失函数,
是类别平衡的均方误差损失函数;是组合类别平衡损失函数,是参数,是
标注真实值、是中轴真实值、为第一比例系数、为第二比例系数、为第三比例系数;
可选地,公共数据集为3DIRCADb。
根据上述肝部区域血管分割的方法,其有益技术效果为:
1、将自动提取CT影像中肝部区域多尺度局部特征以及全局特征并使用多任务一致性输出分支建模血管特征转换关系,从而实现肝部血管分割;
2、使用的多任务一致性算法,相比现有方法,可以编码血管分割、血管半径和血管中轴之间的关系并提升网络精度;
3、正交深度自注意力网络提取输入医学图像底层特征,相比现有方法可以同时提取全局特征和局部特征;
4、使用的正交卷积近似三维卷积,相比现有方法可以减少网络参数并预防过拟合风险;
5、使用的组合的类别平衡损失函数,针对多任务以及血管数据的特点,缓解了网络的极端类别不平衡问题。
另一方面,本发明提供一种肝部区域血管分割的装置,包括:第一模块,用于构建肝部区域血管的分割网络,所述肝部区域血管的分割网络具有n层编码器-解码器结构的正交移动窗口的深度自注意力网络和多任务一致性输出分支网络;第二模块,用于将肝部图像转化为肝部血管重建分割图;第三模块,用于利用所述肝部区域血管的分割网络,在肝部血管分割公共数据集上进行训练,得到训练完毕的肝部血管分割网络;以及第四模块,用于根据预测结果和真实标注,利用类别平衡损失函数计算损失,将所述肝部血管重建分割图输出为肝部区域血管分割图像。
可选地,第一模块被配置为:构建包含n层编码器-解码器结构的正交移动窗口的深度自注意力网络作为骨干网络,所述骨干网络由对称的编码器和解码器构成,并具有卷积和深度自注意力的交替运算;所述编码器的第一层是嵌入层,将所述肝部图像进行编码,随后的卷积层将输入的特征下采样为第一阈值尺寸,且所述编码器将所述随后的卷积层输出特征传递给所述解码器对应层,其中所述编码器利用深度自注意力运算以计算所述输出特征间的联系,捕获全局特征;以及所述解码器的最后一层为特征扩展层,将所述输入的特征恢复到指定维度,所述解码器的卷积层接受上一层的输出及所述编码器对应层的输入,并上采样为高维特征或第二阈值尺寸。
可选地,第一模块被配置为:所述多任务一致性输出分支网络接收所述骨干网络输出的所述高维特征或第二阈值尺寸,获得血管半径和血管直接分割图;对所述血管直接分割图进行软骨架化,获得血管中轴;利用所述血管中轴和所述血管半径,利用三个正交平面上的正交卷积替代所述骨干网络和所述多任务一致性输出分支网络中的三维卷积进行计算,获得肝部血管重建分割图。
可选地,第三模块被配置为:获取所述肝部血管分割公共数据集,其中,所述肝部血管分割公共数据集中包括CT模态下的肝部数据以及对应的血管动脉和静脉标注;对所述肝部血管分割公共数据集中肝部影像进行操作,以增广肝部血管数据,得到扩增后的肝部血管分割公共数据集;将所述扩增后的肝部血管分割公共数据集按照第一比例随机分割,分别获得肝部血管分割训练集和肝部血管分割测试集;以及利用所述肝部血管分割训练集对所述构建肝部区域血管的分割网络进行训练,得到训练完毕的肝部区域血管的分割网络。
可选地,第三模块被配置为:采样得到长、宽和深度均为64体素的2个训练数据块,并对所述训练数据块加入微小高斯随机噪声,并输入所述构建肝部区域血管的分割网络,该网络最后输出所述肝部区域血管分割图像,其中所述体素的每个值范围为0到1,表示每个体素属于血管的概率。
其中,是类别平衡的直接血管分割损失,用来控制惩罚力度,是类别平衡
的交叉熵损失函数,是直接血管分割网络对输入的输出,是类别平衡的
骰子损失函数;是类别平衡的血管中轴损失函数,是血管中轴和直接血管分割
符合的信息通路;是类别平衡的血管半径损失函数;是血管重建损失函数,
是类别平衡的均方误差损失函数;是组合类别平衡损失函数,是参数,是
标注真实值、是中轴真实值、为第一比例系数、为第二比例系数、为第三比例系数;
根据上述肝部区域血管分割的装置,有益技术效果同上,在此不赘述。
另一方面,本发明提供一种机器可读存储介质,该机器可读存储介质上存储有指令,该指令用于使得机器执行本申请上述任一项所述的肝部区域血管分割的方法。
另一方面,本发明提供一种肝部区域血管分割设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行如上述任一项所述的肝部区域血管分割的方法。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本发明实施例,但并不构成对本发明实施例的限制。在附图中:
图1是根据本发明实施例的肝部区域血管分割方法的流程图;
图2是根据本发明实施例的肝部区域血管分割方法的示意图;
图3是根据本发明实施例的正交深度自注意力网络的结构图;
图4是根据本发明实施例的基于多任务一致性输出分支结网络的结构图;
图5是根据本发明实例中血管中轴提取结果的效果图;
图6是根据本发明实施例中血管分割结果效果图;
图7是根据本发明实施例的肝部区域血管分割的装置模块图。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明实施例,并不用于限制本发明实施例。
体素是体积元素(Volume Pixel)的简称,包含体素的立体可以通过立体渲染或者提取给定阈值轮廓的多边形等值面表现出来。一如其名,是数字数据于三维空间分割上的最小单位,体素用于三维成像、科学数据与医学影像等领域。医学影像中指受检体内欲成像的层面上按一定的大小和一定的坐标人为划分的小体积元。对划分好的体素也如同对划分好的像素那样进行空间位置编码,这就形成了编好排序的体素阵列。各体素的坐标排序要与各像素的坐标排序相同,即体素与像素在坐标上要一一对应。体素的数值可以表示不同的特性。在CT扫描中,这些值是Hounsfield单位,表示身体对于X光的不透光性。在MRI或者超声诊断学中会得到不同类型的数值。体素可以包含本质上是向量的多个标量数值。在B模式超声扫描以及多普勒数据中,在同一个体素位置的密度与流速经过独立通道获取。
图1是根据本发明实施例的肝部区域血管分割方法的流程图;图2是根据本发明实施例的肝部区域血管分割方法的示意图。
参见图1和图2,提出一种肝部区域血管分割方法,该方法包括以下步骤:
在S101,构建肝部区域血管的分割网络,肝部区域血管的分割网络具有n层编码器-解码器结构的正交移动窗口的深度自注意力网络和多任务一致性输出分支网络。具体而言,将结合图3,利用3层编码器-解码器结构具体说明。
在S103,将肝部图像转化为肝部血管重建分割图。
在S105,利用肝部区域血管的分割网络,在肝部血管分割公共数据集上进行训练,得到训练完毕的肝部血管分割网络。
根据实施例,公共数据集可以是3DIRCAb或MSD8,具有注释质量属性,如利用3DIRCADb可以设置为包含20张肝脏CT扫描图像,并提供高质量的肝脏和血管标注。
在S107,根据预测结果和真实标注,利用类别平衡损失函数计算损失,将肝部血管重建分割图输出为肝部区域血管分割图像。
方法实施例
图3是根据本发明实施例的正交深度自注意力网络的结构图。
Swin Transformer是一个通用的计算机视觉主干网络,它在各种粒度的识别任务上都有很强的性能,包括区域级的目标检测、像素级的语义分割和图像级的图像分类。SwinTransformer的主要是将几个重要的视觉信号先验引入到vanilla Transformer编码器结构中,包括层次性、局部性和平移不变性。
参见图3,构建上述肝部区域血管的分割网络,步骤包括:
步骤1,构建包含n层编码器-解码器结构的正交移动窗口的深度自注意力网络作为骨干网络Swin-Transformer,骨干网络由对称的编码器和解码器构成,并具有卷积和深度自注意力的交替运算。
根据实施例,整个模型采取层次化的设计,一共包含3个Stage,每个stage都会缩小输入特征图的分辨率,像CNN一样逐层扩大感受野。在输入开始的时候,做了一个Transformer 块*2,将图片切成一个个图块,并嵌入。在每个Stage里,由下采样和多个Block组成。其中Transformer 块*2主要在每个Stage一开始降低图片分辨率。而Block具体结构,可以是LayerNorm,MLP,Window Attention 和 Shifted Window Attention中得一者或多者组成。
根据实施例,编码器可以是多级正交swin编码器。
步骤2,编码器的第一层是嵌入层,将肝部图像进行编码,具体而言可以是五维数
据如:CB(H为高度hight,W为宽度Width,D为深度Deep,C为通道数Channel,
B为batch size)其中,一般来说,在合理的范围之内,越大的 batch size 使下降方向越准
确,震荡越小;batch size 如果过大,则可能会出现局部最优的情况。小的 bath size 引
入的随机性更大,难以达到收敛,极少数情况下可能会效果变好,随后的卷积层将输入的特
征下采样为第一阈值尺寸,在本发明第一阈值为1/2,且编码器将随后的卷积层输出特征传
递给解码器对应层,其中编码器利用深度自注意力运算以计算输出特征间的联系,捕获全
局特征。
步骤3,解码器的最后一层为特征扩展层,将输入的特征恢复到指定维度,解码器的卷积层接受上一层的输出及编码器对应层的输入,并上采样为高维特征或第二阈值尺寸,在本发明第二阈值尺寸为2。
图4是根据本发明实施例的基于多任务一致性输出分支结网络的结构图;图5是根据本发明实例中血管中轴提取结果的效果图。
根据实施例,构建肝部区域血管的分割网络,包括:
多任务一致性输出分支网络接收骨干网络输出的高维特征,获得血管半径和血管
直接分割图。其中,从SDF预测模块得到函数,符号距离函数(sign distance
function),简称SDF一般来说,基本图形的SDF通过平移,旋转,缩放可以得到任意的该类形
状,用于信息加工,获取预测模块特征以计算特征的符号、距离等,从分割模块得到函数
分割概率,函数经过软骨架化得到函数,用于中轴提取,函数和函数经过分割
重建模块,得到血管重建损失函数。
利用血管中轴和血管半径,利用三个正交平面上的正交卷积替代骨干网络和多任务一致性输出分支网络中的三维卷积进行计算,获得肝部血管重建分割图。
根据实施例,三个正交平面包括:横断面、矢状面和冠状面。
根据实施例,利用肝部区域血管的分割网络,在肝部血管分割公共数据集上进行训练,得到训练完毕的肝部血管分割网络,包括:
获取肝部血管分割公共数据集,其中,肝部血管分割公共数据集中包括CT模态下的肝部数据以及对应的血管动脉和静脉标注,其中具体而言在3DIRCADb肝部血管分割数据集上进行训练;
对肝部血管分割公共数据集中肝部影像进行操作,以增广肝部血管数据,得到扩增后的肝部血管分割公共数据集;
将扩增后的肝部血管分割公共数据集按照第一比例随机分割,分别获得肝部血管分割训练集和肝部血管分割测试集;以及
利用肝部血管分割训练集对构建肝部区域血管的分割网络进行训练,得到训练完毕的肝部区域血管的分割网络。
根据实施例,肝部影像进行操作包括明暗度调整、旋转和水平翻转180度,第一比例可选4比1。
根据实施例,利用肝部血管分割训练集对构建肝部区域血管的分割网络进行训练,得到训练完毕的肝部区域血管的分割网络,包括:采样得到长、宽和深度均为64体素的2个训练数据块,并对训练数据块加入微小高斯随机噪声,并输入构建肝部区域血管的分割网络,该网络最后输出肝部区域血管分割图像,其中每个体素的值范围为0到1,表示每个体素属于血管的概率,其中通常概率为0.8以上认为属于血管。
其中,是类别平衡的直接血管分割损失,用来控制惩罚力度,通常在0-1之间,是类别平衡的交叉熵损失函数,是直接血管分割网络对输入的输出,
是类别平衡的骰子损失函数;是类别平衡的血管中轴损失函数,是血管中轴和
直接血管分割符合的信息通路,其是一个复合连续运算关系;是类别平衡的血管半径
损失函数;是血管重建损失函数,是类别平衡的均方误差损失函数;是
组合类别平衡损失函数,是参数,是标注真实值、是中轴真实值、为第一比例系
数、为第二比例系数、为第三比例系数,三个比例系数都在0-1之间调整设置。
图6是根据本发明实施例中血管分割结果效果图。
根据上述肝部区域血管分割的方法,其有益技术效果为:
1、将自动提取CT影像中肝部区域多尺度局部特征以及全局特征并使用多任务一致性输出分支建模血管特征转换关系,从而实现肝部血管分割;
2、使用的多任务一致性算法,相比现有方法,可以编码血管分割、血管半径和血管中轴之间的关系并提升网络精度;
3、正交深度自注意力网络提取输入医学图像底层特征,相比现有方法可以同时提取全局特征和局部特征;
4、使用的正交卷积近似三维卷积,相比现有方法可以减少网络参数并预防过拟合风险;
5、使用的组合的类别平衡损失函数,针对多任务以及血管数据的特点,缓解了网络的极端类别不平衡问题。
装置实施例
图7是根据本发明实施例的肝部区域血管分割的装置模块图。
参见图7,本发明提供一种肝部区域血管分割的装置700,包括第一模块701、第二模块703、第三模块705及第四模块707。
第一模块701,用于构建肝部区域血管的分割网络,肝部区域血管的分割网络具有n层编码器-解码器结构的正交移动窗口的深度自注意力网络和多任务一致性输出分支网络;第二模块703,用于将肝部图像转化为肝部血管重建分割图;第三模块705,用于利用肝部区域血管的分割网络,在肝部血管分割公共数据集上进行训练,得到训练完毕的肝部血管分割网络;以及第四模块707,用于根据预测结果和真实标注,利用类别平衡损失函数计算损失,将肝部血管重建分割图输出为肝部区域血管分割图像。
根据实施例,第一模块701被配置为:构建包含n层编码器-解码器结构的正交移动窗口的深度自注意力网络Swin-Transformer作为骨干网络,骨干网络由对称的编码器和解码器构成,并具有卷积和深度自注意力的交替运算;编码器的第一层是嵌入层,将肝部图像进行编码,随后的卷积层将输入的特征下采样为第一阈值尺寸,且编码器将随后的卷积层输出特征传递给解码器对应层,其中编码器利用深度自注意力运算以计算输出特征间的联系,捕获全局特征;以及解码器的最后一层为特征扩展层,将输入的特征恢复到指定维度,解码器的卷积层接受上一层的输出及编码器对应层的输入,并上采样为高维特征或第二阈值尺寸。
根据实施例,第一模块701被配置为:多任务一致性输出分支网络接收骨干网络输出的高维特征或第二阈值尺寸,获得血管半径和血管直接分割图;对血管直接分割图进行软骨架化,获得血管中轴;利用血管中轴和血管半径,利用三个正交平面上的正交卷积替代骨干网络和多任务一致性输出分支网络中的三维卷积进行计算,获得肝部血管重建分割图。
根据实施例,第三模块705被配置为:获取肝部血管分割公共数据集,其中,肝部血管分割公共数据集中包括CT模态下的肝部数据以及对应的血管动脉和静脉标注;对肝部血管分割公共数据集中肝部影像进行操作,以增广肝部血管数据,得到扩增后的肝部血管分割公共数据集;将扩增后的肝部血管分割公共数据集按照第一比例随机分割,分别获得肝部血管分割训练集和肝部血管分割测试集;以及利用肝部血管分割训练集对构建肝部区域血管的分割网络进行训练,得到训练完毕的肝部区域血管的分割网络。
根据实施例,第三模块705被配置为:采样得到长、宽和深度均为64体素的2个训练数据块,并对训练数据块加入微小高斯随机噪声,并输入构建肝部区域血管的分割网络,该网络最后输出肝部区域血管分割图像,其中每个体素的值范围为0到1,表示每个体素属于血管的概率。
其中,是类别平衡的直接血管分割损失,用来控制惩罚力度,是类别平衡
的交叉熵损失函数,是直接血管分割网络对输入的输出,是类别平衡的
骰子损失函数;是类别平衡的血管中轴损失函数,是血管中轴和直接血管分割
符合的信息通路;是类别平衡的血管半径损失函数;是血管重建损失函数,
是类别平衡的均方误差损失函数;是组合类别平衡损失函数,是参数,是
标注真实值、是中轴真实值、为第一比例系数、为第二比例系数、为第三比例系数;
根据上述肝部区域血管分割的装置,有益技术效果同上,在此不赘述。
上述肝部区域血管分割的装置包括处理器和存储器,上述第一模块701、第二模块703和第三模块705以及第四模块707等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来使得肝部区域血管分割。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现肝部区域血管分割的方法。
本发明实施例提供了一种肝部区域血管分割设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器执行如上述任意一项的肝部区域血管分割的方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体 (transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (9)
1.一种肝部区域血管分割方法,其特征在于,所述方法包括:
构建肝部区域血管的分割网络,所述肝部区域血管的分割网络具有n层编码器-解码器结构的正交移动窗口的深度自注意力网络和多任务一致性输出分支网络;所述深度自注意力网络作为骨干网络,所述骨干网络由对称的编码器和解码器构成,并具有卷积和深度自注意力的交替运算;所述编码器的第一层是嵌入层,用于将肝部图像进行编码,随后的卷积层将输入的特征下采样为第一阈值尺寸,且所述编码器将所述随后的卷积层输出特征传递给所述解码器对应层,其中所述编码器利用深度自注意力运算以计算所述输出特征间的联系,捕获全局特征;所述解码器的最后一层为特征扩展层,将所述输入的特征恢复到指定维度,所述解码器的卷积层接受上一层的输出及所述编码器对应层的输入,并上采样为高维特征或第二阈值尺寸;
所述多任务一致性输出分支网络接收所述骨干网络输出的所述高维特征或第二阈值尺寸,获得血管半径和血管直接分割图;对所述血管直接分割图进行软骨架化,获得血管中轴;利用所述血管中轴和所述血管半径,将三个正交平面上的正交卷积替代所述骨干网络和所述多任务一致性输出分支网络中的三维卷积进行计算,获得肝部血管重建分割图;
利用所述肝部区域血管的分割网络,在肝部血管分割公共数据集上进行训练,得到训练完毕的肝部血管分割网络,训练过程中根据预测结果和真实标注,利用类别平衡损失函数计算损失,将所述肝部血管重建分割图输出为肝部区域血管分割图像。
2.根据权利要求1所述的方法,其特征在于,所述三个正交平面包括:横断面、矢状面和冠状面。
3.根据权利要求1所述的方法,其特征在于,利用所述肝部区域血管的分割网络,在肝部血管分割公共数据集上进行训练,得到训练完毕的肝部血管分割网络,包括:
获取所述肝部血管分割公共数据集,其中,所述肝部血管分割公共数据集中包括CT模态下的肝部数据以及对应的血管动脉和静脉标注;
对所述肝部血管分割公共数据集中肝部影像进行操作,以增广肝部血管数据,得到扩增后的肝部血管分割公共数据集;
将所述扩增后的肝部血管分割公共数据集按照第一比例随机分割,分别获得肝部血管分割训练集和肝部血管分割测试集;以及
利用所述肝部血管分割训练集对所述构建肝部区域血管的分割网络进行训练,得到训练完毕的肝部区域血管的分割网络。
4.根据权利要求3所述的方法,其特征在于,所述肝部影像进行操作包括明暗度调整、旋转和水平翻转180度。
5.根据权利要求3所述的方法,其特征在于,所述第一比例可选4比1。
6.根据权利要求3所述的方法,其特征在于,利用所述肝部血管分割训练集对所述构建肝部区域血管的分割网络进行训练,得到训练完毕的肝部区域血管的分割网络,包括:
采样得到长、宽和深度均为64体素的2个训练数据块,并对所述训练数据块加入高斯随机噪声,并输入到所述构建肝部区域血管的分割网络,该网络最后输出所述肝部区域血管分割图像,其中所述体素的每个值范围为0到1,表示每个体素属于血管的概率。
其中,是类别平衡的直接血管分割损失,用来控制惩罚力度,是类别平衡的交
叉熵损失函数,是直接血管分割网络对输入的输出,是多任务一致性
输出分支网络对输入的输出,是类别平衡的骰子损失函数;是类别平衡的血管
中轴损失函数,是血管中轴和直接血管分割符合的信息通路;是类别平衡的血
管半径损失函数;是血管重建损失函数,是类别平衡的均方误差损失函数,
为多任务一致性损失;是组合类别平衡损失函数,是参数,是标注真实值、是中轴真实值、为第一比例系数、为第二比例系数、为第三比例系数;
8.一种机器可读存储介质,该机器可读存储介质上存储有指令,该指令用于使得机器执行如权利要求1-7中任一项所述的肝部区域血管分割的方法。
9.一种肝部区域血管分割设备,其特征在于,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行如权利要求1-7中任意一项所述的肝部区域血管分割的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211134452.XA CN115205298B (zh) | 2022-09-19 | 2022-09-19 | 肝部区域血管分割的方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211134452.XA CN115205298B (zh) | 2022-09-19 | 2022-09-19 | 肝部区域血管分割的方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115205298A CN115205298A (zh) | 2022-10-18 |
CN115205298B true CN115205298B (zh) | 2022-12-09 |
Family
ID=83573680
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211134452.XA Active CN115205298B (zh) | 2022-09-19 | 2022-09-19 | 肝部区域血管分割的方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115205298B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116342608B (zh) * | 2023-05-30 | 2023-08-15 | 首都医科大学宣武医院 | 基于医学图像的支架贴壁性度量方法、装置、设备及介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111784762B (zh) * | 2020-06-01 | 2023-05-30 | 北京理工大学 | X光造影图像血管中心线提取方法及装置 |
CN112017198B (zh) * | 2020-10-16 | 2021-01-15 | 湖南师范大学 | 基于自注意力机制多尺度特征的右心室分割方法及装置 |
US11837354B2 (en) * | 2020-12-30 | 2023-12-05 | London Health Sciences Centre Research Inc. | Contrast-agent-free medical diagnostic imaging |
CN113012163A (zh) * | 2021-03-11 | 2021-06-22 | 山东大学 | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 |
CN114549987A (zh) * | 2022-02-24 | 2022-05-27 | 中山大学 | 基于多任务的图像处理方法及图像处理装置 |
CN114820450A (zh) * | 2022-03-27 | 2022-07-29 | 浙江大学 | 适宜李氏人工肝治疗的ct血管造影图像分类方法 |
-
2022
- 2022-09-19 CN CN202211134452.XA patent/CN115205298B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN115205298A (zh) | 2022-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yin et al. | U-Net-Based medical image segmentation | |
US20230104173A1 (en) | Method and system for determining blood vessel information in an image | |
CN110475505B (zh) | 利用全卷积网络的自动分割 | |
US9968257B1 (en) | Volumetric quantification of cardiovascular structures from medical imaging | |
CN113870258B (zh) | 一种基于对抗学习的无标签胰腺影像自动分割系统 | |
Huang et al. | Coronary artery segmentation by deep learning neural networks on computed tomographic coronary angiographic images | |
CN109978037B (zh) | 图像处理方法、模型训练方法、装置、和存储介质 | |
CN109003267B (zh) | 从3d图像自动检测目标对象的计算机实现方法和系统 | |
CN111260705B (zh) | 一种基于深度卷积神经网络的前列腺mr图像多任务配准方法 | |
CN112241966A (zh) | 多任务多分类的胸部器官分割模型建立、分割方法及系统 | |
CN113947681A (zh) | 用于分割医学影像的方法、设备和介质 | |
CN114494296A (zh) | 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统 | |
CN112991365B (zh) | 一种冠状动脉分割方法、系统及存储介质 | |
CN116503607B (zh) | 一种基于深度学习的ct图像分割方法和系统 | |
CN112884788B (zh) | 基于丰富上下文网络的视杯视盘分割方法及成像方法 | |
CN115205298B (zh) | 肝部区域血管分割的方法及设备 | |
Jiang et al. | CoLa-Diff: Conditional latent diffusion model for multi-modal MRI synthesis | |
CN114972362A (zh) | 一种基于RMAU-Net网络的医学图像自动分割方法与系统 | |
CN115908449A (zh) | 一种基于改进UNet模型的2.5D医学CT影像分割方法及装置 | |
CN115830163A (zh) | 基于深度学习的确定性引导的渐进式医学图像跨模态生成方法和装置 | |
CN115272389A (zh) | 一种带有内膜瓣注意力模块的主动脉夹层分割方法 | |
Cui et al. | Fully-automatic segmentation of coronary artery using growing algorithm | |
CN113947593B (zh) | 颈动脉超声图像中易损斑块的分割方法和装置 | |
CN115294023A (zh) | 肝脏肿瘤自动分割方法及装置 | |
CN115409859A (zh) | 冠状动脉血管图像分割方法及装置、存储介质和终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address | ||
CP03 | Change of name, title or address |
Address after: Room 806, Research Headquarters Building, Guangdong Macao Cooperative Traditional Chinese Medicine Technology Industrial Park, No. 1 Doukou Road, Hengqin New District, Zhuhai City, Guangdong Province, 519031 Patentee after: True Health (Guangdong Hengqin) Medical Technology Co.,Ltd. Address before: 100192 Room 308, floor 3, building 2, Tiandi Linfeng, No. 1, yongtaizhuang North Road, Haidian District, Beijing Patentee before: ZHENJIANKANG (BEIJING) MEDICAL TECHNOLOGY Co.,Ltd. |