CN111145206B - 肝脏图像分割质量评估方法、装置及计算机设备 - Google Patents
肝脏图像分割质量评估方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN111145206B CN111145206B CN201911380496.9A CN201911380496A CN111145206B CN 111145206 B CN111145206 B CN 111145206B CN 201911380496 A CN201911380496 A CN 201911380496A CN 111145206 B CN111145206 B CN 111145206B
- Authority
- CN
- China
- Prior art keywords
- liver
- mask
- blood vessel
- vein
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004185 liver Anatomy 0.000 title claims abstract description 509
- 238000003709 image segmentation Methods 0.000 title claims abstract description 84
- 238000001303 quality assessment method Methods 0.000 title claims abstract description 50
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 410
- 210000003462 vein Anatomy 0.000 claims abstract description 165
- 230000011218 segmentation Effects 0.000 claims abstract description 162
- 238000004458 analytical method Methods 0.000 claims abstract description 60
- 238000010586 diagram Methods 0.000 claims abstract description 43
- 238000002591 computed tomography Methods 0.000 claims description 283
- 230000002792 vascular Effects 0.000 claims description 164
- 238000000034 method Methods 0.000 claims description 113
- 210000002989 hepatic vein Anatomy 0.000 claims description 97
- 238000013441 quality evaluation Methods 0.000 claims description 72
- 206010028980 Neoplasm Diseases 0.000 claims description 59
- 230000008569 process Effects 0.000 claims description 59
- 210000003240 portal vein Anatomy 0.000 claims description 58
- 210000001631 vena cava inferior Anatomy 0.000 claims description 28
- 206010019695 Hepatic neoplasm Diseases 0.000 claims description 26
- 208000014018 liver neoplasm Diseases 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 7
- 230000007797 corrosion Effects 0.000 claims description 6
- 238000005260 corrosion Methods 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 230000036961 partial effect Effects 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 abstract description 31
- 208000019423 liver disease Diseases 0.000 abstract description 16
- 230000000694 effects Effects 0.000 abstract description 13
- 230000002440 hepatic effect Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000000605 extraction Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请提出了一种肝脏图像分割质量评估方法、装置及计算机设备,将获取的肝脏CT序列图输入图像分割模型,得到各肝脏CT图像包含的血管掩膜和肝脏掩膜之后,通过对各血管掩膜进行连通域分析,利用得到的血管连通域,确定各血管掩膜包含的静脉区域,再利用确定的肝脏掩膜及静脉区域得到本次获取的肝脏CT序列图的肝脏血管分割质量评估结果并输出,以告知医疗人员该肝脏CT序列图的肝脏血管分割质量,从而避免了在肝脏CT序列图的肝脏血管分割质量较差的情况下,医疗人员继续参照该肝脏CT序列图对患者进行诊断治疗,极大提高了肝脏辅助诊断系统在肝脏疾病诊断与手术治疗的辅助效果。
Description
技术领域
本申请主要涉及图像处理技术领域,更具体地说是涉及一种肝脏图像分割质量评估方法、装置及计算机设备。
背景技术
肝脏辅助诊断系统旨在作为分级诊疗系统的一种落地形式,通过部署在基层医院,在降低肿瘤误诊率并辅助肝脏介入手术的同时实现基层首诊,缓解大医院的就医压力。
其中,为了能够有效控制肝脏切除手术中的出血量,并保证术后血管流入流出道的完整性,目前通常是对计算机断层扫描(Computed Tomography,CT)图像进行分析,对其包含的血管进行分割定位,并进行三维立体的直观展示,辅助肝脏疾病的诊断与手术治疗。
然而,CT图像的采集质量通常会受到血流速度、CT设备配置等多方面的影响,使得CT图像血管的能见度难以保证,导致肝脏血管分割和三维立体的展示效果参差不齐,如出现血管不连通、肝静脉一级分支肉眼难以识别等情况,这样,在治疗工作人员不了解CT图像中肝脏血管分割质量情况下,降低了对肝脏疾病诊断与手术治疗的辅助效果,甚至会增大手术治疗的风险。
发明内容
有鉴于此,本申请提供了一种肝脏图像分割质量评估方法,所述方法包括:
获取肝脏计算机断层扫描CT序列图,所述肝脏CT序列图包括第一数量幅连续的肝脏CT图像;
将所述肝脏CT图像输入图像分割模型,得到所述肝脏CT图像的血管掩膜和肝脏掩膜,所述图像分割模型是基于神经网络,对样本肝脏CT图像进行训练得到的;
对各肝脏CT图像的所述血管掩膜进行连通域分析,利用得到的血管连通域,确定各血管掩膜包含的静脉区域,所述静脉区域包括肝静脉掩膜和门静脉掩膜;
利用所述肝脏掩膜和所述静脉区域,得到所述肝脏CT序列图的肝脏血管分割质量评估结果;
输出所述肝脏血管分割质量评估结果。
在一些实施例中,所述对各肝脏CT图像所述血管掩膜进行连通域分析,利用得到的血管连通域,确定各血管掩膜包含的静脉区域,包括:
将各肝脏CT图像的所述血管掩膜输入静脉识别模型,得到相应血管掩膜包含的静脉区域,其中,所述静脉识别模型是基于机器学习算法,对样本肝脏CT图像的样本血管掩膜进行训练得到的;
所述利用所述肝脏掩膜和所述静脉掩膜,得到所述肝脏CT序列图的肝脏血管分割质量评估结果,包括:
将所述各肝脏CT图像的所述肝脏掩膜和所述肝静脉掩膜输入肝脏血管分割质量评估模型,得到肝脏血管分割质量评估结果;
其中,所述肝脏血管分割质量评估模型用于获取肝静脉掩膜与所述肝脏掩膜的重叠度,所述重叠度大小能够表征所述肝脏CT图像中的肝脏血管分割质量高低。
在一些实施例中,所述将各肝脏CT图像的所述血管掩膜输入静脉识别模型,得到相应血管掩膜包含的静脉区域,包括:
对各肝脏CT图像的所述血管掩膜进行连通域分析,提取分析得到的多个血管连通域各自包含的单支血管;
对提取到的各血管掩膜中的多个单支血管进行延伸连接,利用血管延伸连接结果,更新相应血管掩膜包含的血管连通域,直至各血管掩膜包含的血管连通域的数量不变,得到所述各肝脏CT图像的目标血管掩膜;
确定所述目标血管掩膜包含的静脉区域。
在一些实施例中,所述对各肝脏CT图像的所述血管掩膜进行连通域分析,提取分析得到的多个血管连通域各自包含的单支血管,包括:
对各肝脏CT图像的所述血管掩膜进行连通域分析,得到相应血管掩膜包含的多个血管连通域;
从所述多个血管连通域中,剔除像素点数量小于第一阈值的噪声连通域,得到待定血管掩膜;
提取所述待定血管掩膜包含的各血管连通域对应的血管中心线;
利用提取出的多个血管中心线,获取相应血管连通域包含的单支血管。
在一些实施例中,所述利用提取出的多个血管中心线,获取相应血管连通域包含的单支血管,包括:
针对每一个血管中心线,获取所述血管中心线在所述肝脏CT图像上的血管中心点;
依据每个所述肝脏CT图像上的血管中心点的数量,确定相应血管中心线上是否存在血管分支;
如果所述血管中心线上不存在血管分支,将所述血管中心线确定为单支血管;
如果所述血管中心线上存在血管分支,获取所述血管中心线上的血管分叉点以及血管端点;
利用所述血管分叉点、所述血管端点以及不同肝脏CT图像上的血管中心点的数量,获取所述血管中心线对应的多个单支血管。
在一些实施例中,所述确定所述目标血管掩膜包含的静脉区域,包括:
获取各肝脏CT图像的所述目标血管掩膜中下腔静脉中心点的位置信息;
检测所述下腔静脉中心点与相应的所述目标血管掩膜中所述肝脏掩膜的不同方向边缘的距离;
利用所述不同方向边缘的距离,得到所述肝脏掩膜中的血管干扰区域;
对所述血管干扰区域进行三维腐蚀,更新相应的所述目标血管掩膜;
对更新后的目标血管掩膜进行连通域分析,确定出门静脉掩膜及肝静脉掩膜。
在一些实施例中,所述对提取到的各血管掩膜中的多个单支血管进行延伸连接,利用血管延伸连接结果,更新相应血管掩膜包含的血管连通域,直至各血管掩膜包含的血管连通域的数量不变,得到所述各肝脏CT图像的目标血管掩膜,包括:
获取各血管掩膜中每一个单支血管的拟合空间直线;
按照预设延伸步长,在所述肝脏CT图像的序列方向上,对各单支血管的拟合空间直线中不存在分叉点的端点进行延伸,得到相应肝脏CT图像的新血管中心点;
如果存在与所述新血管中心点相交的至少两个第一血管连通域,将所述至少两个第一血管连通域合并,并将所述新血管中心点添加至合并后的血管连通域中;
删除像素点数量小于第二阈值的血管连通域,继续按照预设延伸步长,对各单支血管的拟合空间直线中不存在分叉点的端点进行延伸,直至所述血管连通域的数量不变;
恢复所述新血管中心点的血管直径,得到目标血管掩膜。
在一些实施例中,在对所述肝脏CT图像进行分割处理过程中,所述方法还包括:
获得所述肝脏CT图像的肝脏肿瘤掩膜;
所述利用所述肝脏掩膜和所述静脉区域,得到所述肝脏CT序列图的肝脏血管分割质量评估结果,包括:
对各肝脏CT图像的第一静脉掩膜进行处理,得到所述肝脏CT图像的第一静脉主干,所述第一静脉掩膜是所述肝静脉掩膜或门静脉掩膜;
对所述第一静脉主干进行连通域分析,得到所述肝脏CT图像包含的第一静脉分支;
如果所述第一静脉分支的数量为第一数量,确定所述肝脏CT图像的第一静脉分割质量满足分割要求;
如果所述第一静脉分支的数量小于所述第一数量,检测所述肝脏肿瘤掩膜与所述第一静脉掩膜是否存在至少部分重叠区域;
如果不存在,输出所述第一静脉分割缺少主干的提示信息;
如果存在,获取所述第一静脉中像素点数量大于第三阈值的肿瘤数量;
如果单个肿瘤在所述第一静脉中的区域占比、所述肿瘤数量及所述第一静脉分支的数量满足条件,确定所述肝脏CT图像中的第一静脉分割质量满足分割要求。
本申请还提出了一种肝脏图像分割质量评估装置,所述装置包括:
图像获取模块,用于获取肝脏计算机断层扫描CT序列图,所述肝脏CT序列图包括第一数量幅连续的肝脏CT图像;
分割模块,用于将所述肝脏CT图像输入图像分割模型,得到所述肝脏CT图像的血管掩膜和肝脏掩膜,所述图像分割模型是基于神经网络,对样本肝脏CT图像进行训练得到的;;
静脉确定模块,用于对各肝脏CT图像的所述血管掩膜进行连通域分析,利用得到的血管连通域,确定所述血管掩膜包含的静脉区域,所述静脉区域包括肝静脉掩膜和门静脉掩膜;
分割质量评估模块,用于利用所述肝脏掩膜和所述静脉区域,计算得到所述肝脏CT序列图的肝脏血管分割质量评估结果;
评估结果输出模块,用于输出所述肝脏血管分割质量评估结果。
本申请还提出了一种计算机设备,所述计算机设备包括:
存储器,用于存储实现如上述的肝脏图像分割质量评估方法的程序;
处理器,用于加载并执行所述存储器存储的所述程序,以实现如上述的肝脏图像分割质量评估方法的各个步骤。
由此可见,与现有技术相比,本申请提供了一种肝脏图像分割质量评估方法、装置及计算机设备,将获取的肝脏CT序列图输入图像分割模型,得到各肝脏CT图像包含的血管掩膜和肝脏掩膜之后,本申请可以通过对各血管掩膜进行连通域分析,利用得到的血管连通域,确定各血管掩膜包含的静脉区域,如确定出肝静脉掩膜和门静脉掩膜,再利用确定的肝脏掩膜及静脉区域(如肝静脉掩膜和/或门静脉掩膜),得到本次获取的肝脏CT序列图的肝脏血管分割质量评估结果并输出,以告知医疗人员该肝脏CT序列图的肝脏血管分割质量,从而避免了在肝脏CT序列图的肝脏血管分割质量较差的情况下,医疗人员继续参照该肝脏CT序列图对患者进行诊断治疗,极大提高了肝脏辅助诊断系统在肝脏疾病诊断与手术治疗的辅助效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1示出的实现本申请提出的肝脏图像分割质量评估方法的计算机设备的场景示意图;
图2示出了本申请实施例提出的一种计算机设备的硬件结构示意图;
图3示出了本申请提出的肝脏图像分割质量评估方法的一可选示例的流程示意图;
图4示出了本申请提出的肝脏图像分割质量评估方法的又一可选示例的流程示意图;
图5示出了本申请提出的肝脏图像分割质量评估方法的又一可选示例的流程示意图;
图6示出了本申请提出的肝脏图像分割质量评估方法的又一可选示例的流程示意图;
图7示出了本申请提出的肝脏图像分割质量评估方法中,获取单支血管的一可选方式的实现过程示意图;
图8示出了本申请提出的肝脏图像分割质量评估方法的又一可选示例的流程示意图;
图9示出了本申请提出的肝脏图像分割质量评估方法的又一可选示例的流程示意图;
图10示出了本申请提出的肝脏图像分割质量评估方法的又一可选示例的流程示意图;
图11示出了本申请提出的肝脏图像分割质量评估装置的一可选示例的结构示意图;
图12示出了本申请提出的肝脏图像分割质量评估装置的又一可选示例的结构示意图;
图13示出了本申请提出的肝脏图像分割质量评估装置的又一可选示例的结构示意图;
图14示出了本申请提出的肝脏图像分割质量评估装置的又一可选示例的结构示意图;
图15示出了本申请提出的肝脏图像分割质量评估装置的又一可选示例的结构示意图;
图16示出了本申请提出的肝脏图像分割质量评估装置的又一可选示例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
应当理解,本申请中使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换该词语。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。以下术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
另外,本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
针对背景技术部分描述的现有技术,本申请提出了一种肝脏图像分割质量评估方法,即在得到肝脏CT(Computed Tomography,计算机断层扫描)序列图后,对CT图像各身体部位(如血管、肝脏等)进行分割后,如背景技术部分的分析,血管分割质量的高度直接影响其三维立体展示效果,进而影响对肝脏疾病诊断与手术治疗的辅助效果,所以,为了提高CT图像血管能见度,进而提高肝脏疾病诊断与手术治疗的辅助效果,本申请提出对分割后的肝脏图像的分割质量进行评估,具体可以确定出肝脏CT图像中肝静脉、门静脉、肝脏,以便据此得到该肝脏CT图像的肝脏血管分割质量评估结果,如肝脏CT图像中肝脏、肝静脉和门静脉分割是否清晰,分割后的肝静脉和门静脉是否连通完整,尤其是一级分支静脉的分割情况等等,将得到的肝脏血管分割质量评估结果输出,供对肝脏疾病诊断与手术治疗的工作人员参考,这样,在该肝脏血管分割质量评估结果为肝脏血管分割质量较差的情况下,可以执行如重新获取肝脏CT图像等操作,避免直接据此作为肝脏疾病诊断与手术治疗的依据,导致肝脏疾病诊断结果不准确,手术治疗风险大等问题,也就是说,通过对肝脏图像分割质量进行评估,能够在肝脏图像分割质量较高的情况下,该肝脏CT图像才能够有效提高肝脏疾病诊断与手术治疗的辅助效果,降低手术治疗的风险。
基于此,参照图1示出的实现本申请提出的肝脏图像分割质量评估方法的计算机设备的场景示意图,该计算机设备获取到肝脏CT序列图后,可以按照上文描述的方式对其包含时间连续的肝脏CT图像进行分割处理,再对分割后的肝脏CT图像进行肝脏血管分割质量评估,得到肝脏血管分割质量评估结果。
此时,若该计算机设备具有信息显示功能,如具有显示器的终端设备,可以输出该肝脏血管分割质量评估结果,供工作人员查看;若该计算机设备不具有信息显示功能,如服务器,可以将该肝脏血管分割质量评估结果发送至具有信息显示功能的终端设备输出,以供工作人员查看。
可见,本申请对该计算机设备的产品类型不做限定,且对于上述肝脏CT序列图,可以是CT设备完成对待测对象的肝脏进行CT扫描后得到并反馈至计算机设备,当然,该CT设备也可以将采集到的肝脏CT图像上传到服务器,由该服务器发送至计算机设备,本申请对该肝脏CT序列图的获取方式不做限定。
示例性的,参照图2,示出了本申请实施例提出的一种计算机设备的硬件结构示意图,该计算机设备可以包括存储器11和处理器12,其中:
存储器11和处理器12各自的数量可以是至少一个,相互之间可以通过通信总线实现数据交互。
本申请实施例中,上述存储器11可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件或其他易失性固态存储器件。处理器12,可以为中央处理器(CentralProcessing Unit,CPU)、特定应用集成电路(application-specificintegrated circuit,ASIC)、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件等。
在一种可能的实现方式中,存储器11可以包括程序存储区和数据存储区,该程序存储区可以存储操作系统、以及至少一个功能(如图像分割功能、质量评估功能、质量评估结果输出功能)所需的应用程序、实现本申请提出的肝脏图像分割质量评估方法的程序等;数据存储区可以存储电子设备使用过程中所产生的数据,如获取的肝脏CT序列图、肝脏掩膜、血管掩膜、肝脏血管分割质量评估结果等。
本实施例中,存储器11可以用于存储实现本申请提出的肝脏图像分割质量评估方法的程序,处理器12可以加载并执行存储器11中存储的程序,以实现本申请任一可选实施例提出的肝脏图像分割质量评估方法的各个步骤,具体实现过程可以参照下文相应实施例相应部分的描述。
应该理解,图2所示的计算机设备的结构并不构成对本申请实施例中计算机设备的限定,在实际应用中,计算机设备可以包括比图2所示的更多或更少的部件,或者组合某些部件,如计算机设备是终端设备,其还可以包括:键盘、鼠标、摄像头、拾音器等至少一个输入设备;显示器、扬声器振动机构、灯等至少一个输出设备,以及各种通信接口等等,本申请在此不做一一列举。
参照图3,示出了本申请提出的肝脏图像分割质量评估方法的一可选示例的流程示意图,该方法可以适用于计算机设备,本申请对该计算机设备的产品类型不做限定,如图3所示,该计算机设备可以包括:
步骤S11,获取肝脏计算机断层扫描CT序列图;
其中,肝脏CT序列图可以包括第一数量幅连续的肝脏CT图像,具体可以是时间连续的一系列肝脏CT图像,本申请对该第一数量的具体数值不做限定,且对该肝脏CT序列图的来源及其获取方式不做限定,可以参照但并不局限于上文实施例相应部分的描述。
步骤S12,将肝脏CT图像输入图像分割模型,得到肝脏CT图像的血管掩膜和肝脏掩膜;
本实施例中,预先训练得到的图像分割模型可以是基于神经网络,对样本肝脏CT图像进行训练得到的,本申请对该图像分割模型的具体训练过程不做详述。
在一些实施例中,上述图像分割模型具体是利用卷积神经网络或基于网络的分割线优化算法,对样本肝脏CT图像进行训练得到,将肝脏CT序列图CToriginal输入该图像分割模型,得到该肝脏CT序列图CToriginal包含的各肝脏CT图像中的原始血管掩膜Voriginal,由于肝脏中的静脉通常包括肝静脉、门静脉和下腔静脉,因此,该原始血管掩膜Voriginal包含肝静脉掩膜HVoriginal、门静脉掩膜PVoriginal和下腔静脉掩膜IVCoriginal,但此时并不能从整个血管掩膜Voriginal中确定出哪部分是肝静脉掩膜HVoriginal、哪部分是门静脉掩膜PVoriginal、哪部分是下腔静脉掩膜IVCoriginal。
其中,由于每一幅肝脏CT图像中,除了包含肝脏、血管外,还包含背景图像,对于得到如上血管掩膜Voriginal,为了区别背景图像与血管,可以对不同区域设置不同的像素值,如将肝脏CT图像中属于血管的像素设为1、背景图像的像素设为0等,但并不局限于这种像素配置方式。
在一些实施例中,对于上述肝脏掩膜Livermask的分割获取,具体可以利用如UNet(H-DenseUNet)-3D等神经网络,自动分割得到肝脏CT图像中的肝脏掩膜Livermask,具体实现过程不做详述。基于此,本申请在训练上述图像分割模型时,还可以结合该神经网络对样本肝脏CT图像进行训练,即将该神经网络算法与上述用于获取血管掩膜的分割算法相结合,对样本肝脏CT图像进行训练得到步骤S12中的图像分割模型,但并不局限于上文描述的图像分割算法,本申请对各肝脏CT图像的分割方式不做详述。
在一些实施例中,若被检测对象的肝脏中存在肿瘤,还需要进一步从肝脏掩膜中分割出肝脏肿瘤掩膜Tumororiginal。在一种可能的实现方式中,本申请可以在得到肝脏CT图像中的肝脏掩膜Livermask后,可以将该肝脏CT图中的非肝脏区域的像素置零,然后利用如DeepLab-v3这一深度神经网络算法,对处理后的肝脏CT图像进行分割,得到该肝脏CT图像中的肝脏肿瘤掩膜Tumororiginal。
基于此,在上述对肝脏CT图像进行分割处理过程中,本申请提出的肝脏图像分割质量评估方法还可以包括:获得肝脏CT图像的肝脏肿瘤掩膜,具体获取过程可以参数上下文相应部分的描述。
在实际应用中,对于肝脏CT图像中包含的各区域(如肝脏、血管、肝脏肿瘤等)掩膜的分割获取过程,可以基于如上述深度学习算法,对样本肝脏CT图像进行训练,得到一个图像分割模型。这种情况下,可以将时间连续的一系列肝脏CT图像输入该图像分割模型,得到各肝脏CT图像包含的血管掩膜Voriginal、肝脏掩膜Livermask及肝脏肿瘤掩膜Tumororiginal。
在又一种可能的实现方式中,对于如上述肝脏CT图像包含的血管掩膜Voriginal、肝脏掩膜Livermask及肝脏肿瘤掩膜Tumororiginal,本申请也可以基于如上述分析的相应的深度学习算法,对样本肝脏CT图像进行训练,得到用于分割肝脏CT图像得到相应区域掩膜的子模型,即预先训练得到分别用于提取血管掩膜Voriginal、肝脏掩膜Livermask及肝脏肿瘤掩膜Tumororiginal对应的第一子模型、第二子模型和第三子模型,将肝脏CT序列图分别输入这三个子模型后,可以得到每一个肝脏CT图像包含的血管掩膜Voriginal、肝脏掩膜Livermask及肝脏肿瘤掩膜Tumororiginal,本申请对该这三个子模型的训练过程不做详述。
应该理解的是,由于肝脏CT序列图包括第一数量幅连续的肝脏CT图像,按照上述方式对每一个肝脏CT图像进行图像分割处理后,可以得到一系列时间连续的血管掩膜Voriginal,一系列时间连续的肝脏掩膜Livermask,一系列时间连续的脏肿瘤掩膜Tumororiginal。当然,若肝脏中不存在肿瘤,经过图像分割后不会得到脏肿瘤掩膜Tumororiginal,但其他区域掩膜的获取过程如上述描述。
步骤S13,对各肝脏CT图像的血管掩膜进行连通域分析,利用得到的血管连通域,确定各血管掩膜包含的静脉区域;
需要说明,基于人体肝脏器官的生理结构,其包含的静脉通常分为肝静脉和门静脉,因此,本实施例得到的一血管掩膜Voriginal中的静脉区域包括肝静脉掩膜和门静脉掩膜,在某些血管掩膜Voriginal还可能包括下腔静脉掩膜,本申请对如何从血管掩膜Voriginal,确定中哪些血管是静脉,更具体地,如何确定哪些血管是肝静脉、哪些血管是门静脉,哪些血管是下腔静脉的获取方法不做限定,可以参照但并不局限于下文相应实施例的描述。
在一些实施例中,本申请可以将各肝脏CT图像的血管掩膜输入静脉识别模型,得到相应血管掩膜包含的静脉区域,该静脉识别模型可以是基于机器学习算法,对样本肝脏CT图像的样本血管掩膜进行训练得到的,本申请对该静脉识别模型的具体训练过程不做详述。
步骤S14,利用肝脏掩膜和静脉区域,得到肝脏CT序列图的肝脏血管分割质量评估结果;
步骤S15,输出该肝脏血管分割质量评估结果。
在一些实施例中,对于上述步骤S14可以利用预先训练得到的肝脏血管分割质量评估模型实现,该肝脏血管分割质量评估模型可以基于深度学习算法,对样本肝脏CT图像包含的样本肝脏掩膜和样本静脉区域进行训练得到,具体训练过程不做详述。基于此,在得到每一个肝脏CT图像包含的肝脏掩膜和静脉区域后,可以将其输入该肝脏血管分割质量评估模型,从而得到这些肝脏CT图像即肝脏CT序列图的肝脏血管分割质量评估结果,本申请对该肝脏血管分割质量评估结果的内容及其表示方式不做限定。
在一种可能的实现方式中,本申请可以采用打分制度,为本次获取的肝脏CT序列图的肝脏血管分割质量进行打分,所得分数越高,可以认为该肝脏CT序列图的肝脏血管分割质量越高,若分数达到预设分数,可以认为该肝脏CT序列图的肝脏血管分割质量满足要求,可以作为肝脏疾病诊疗与手术治疗的辅助参考;若所得分数未达到该预设分数,可以认为该肝脏CT序列图的肝脏血管分割质量较差,不能直接作为肝脏疾病诊疗与手术治疗的辅助参考。此时可以输出相应的提示信息,以提醒相应工作人员重新安排相应待测对象进行肝脏CT扫描,重新获取肝脏CT序列图,再按照上述方式重新对该肝脏CT序列图进行肝脏血管分割质量评估。
作为本申请又一种可能的实现方式,本申请也可以将肝脏血管分割质量划分为较高、一般、较差三个等级(根据需要还可以划分更多等级),按照上述方式,可以得到获取的肝脏CT序列图的肝脏血管分割质量等级并输出,以使工作人员据此按照上述方式进行后续操作。
其中,对于肝脏CT序列图的肝脏血管分割质量评估结果的输出方式,本申请不做限定,可以直接显示在计算机设备的显示屏上,也可以生成相应的评估报告后,发送至打印设备打印输出,还可以上传至服务器,以供其他用户调用查看等等。
综上所述,本实施例中,在将获取的肝脏CT序列图输入图像分割模型,得到各肝脏CT图像包含的血管掩膜和肝脏掩膜之后,本实施例可以通过对各血管掩膜进行连通域分析,利用得到的血管连通域,确定各血管掩膜包含的静脉区域,如确定出肝静脉掩膜和门静脉掩膜,再利用确定的肝脏掩膜及静脉区域(如肝静脉掩膜和/或门静脉掩膜),得到本次获取的肝脏CT序列图的肝脏血管分割质量评估结果并输出,以告知医疗人员该肝脏CT序列图的肝脏血管分割质量,从而避免了在肝脏CT序列图的肝脏血管分割质量较差的情况下,医疗人员继续参照该肝脏CT序列图对患者进行诊断治疗,极大提高了肝脏辅助诊断系统在肝脏疾病诊断与手术治疗的辅助效果。
参照图4,示出了本申请提出的肝脏图像分割质量评估方法的又一可选示例的流程示意图,本实施例可以是对上述实施例描述的肝脏图像分割质量评估方法的一可选细化实现方式,如图4所示,细化实现方法可以包括:
步骤S21,获取肝脏计算机断层扫描CT序列图;
其中,肝脏CT序列图可以包括第一数量幅连续的肝脏CT图像。
步骤S22,将肝脏CT图像输入图像分割模型,得到肝脏CT图像的血管掩膜和肝脏掩膜;
其中,图像分割模型是基于神经网络,对样本肝脏CT图像进行训练得到的,具体模型训练过程不做详述。
关于步骤S21和步骤S22的实现过程可以参照上述步骤S11和步骤S12相应部分的描述。
步骤S23,对各肝脏CT图像的血管掩膜进行连通域分析,提取分析得到的多个血管连通域各自包含的单支血管;
结合上述分析,为了提高肝脏辅助诊断系统在肝脏疾病诊断与手术治疗的辅助效果,在肝脏血管的三维立体展示过程中,需要尽可能的连贯血管分支,提高血管管状结构的连续性,所以,本申请经过图像分割得到血管掩膜、肝脏掩膜之后,可以采用连通域分析方式,对时间连续的多个血管掩膜的血管进行连通性分析,得到多个连续的血管掩膜所包含的各支血管。
其中,连通域可以指图像中具有相同像素值且位置相邻的前景像素点组成的图像区域,本实施例中,可以指血管掩膜中,具有相同像素值其位置相邻的血管像素点组成的血管区域。连通域分析可以是将图像中的各连通域找到并标记,即找到各血管掩膜包含的血管区域并标记,以便后续连通各血管掩膜相应的血管,实现血管连通性分析。
需要说明,本申请对步骤S23中连通域分析的具体实现过程不做限定,可以结合连通域分析的原理确定,可以参照但并不局限于下文相应实施例的描述。
步骤S24,对提取到的各血管掩膜中的多个单支血管进行延伸连接,利用血管延伸连接结果,更新相应血管掩膜包含的血管连通域,直至各血管掩膜包含的血管连通域的数量不变,得到各肝脏CT图像的目标血管掩膜;
按照上述方式,提取出每一个血管掩膜中存在的单支血管后,由于相邻肝脏CT图像的差异很小,使得相邻血管掩膜中的血管位置和数量基本不变,所以,在对血管进行连通性分析过程中,可以按照多个血管掩膜的时间顺序,对其包含的单支血管进行延伸连接,即将相邻血管掩膜中属于同一支血管的血管区域进行连通,依次推荐,实现多个血管掩膜中的血管连接。
其中,在对相邻血管掩膜中的多个单支血管进行延伸连接过程中,可能会在延伸到的血管掩膜中出现新的血管中心点,这种情况下,可以检测该新的血管中心点与该血管掩膜中已有的血管连通域是否存在交点,如果存在,说明新的血管中心点是该血管掩膜中已有单支血管中的一像素点,且与该血管中心点相交的血管连通域属于同一支血管,可以将其与相交的血管连通域合并,实现相交血管之间的连通。按照上述方式继续向其他血管掩膜进行血管延伸连接,直至血管掩膜包含的血管连通域的数量不变,即完成多个血管掩膜中同一血管的连接,可以将更新后的血管掩膜记为相应肝脏CT图像的目标血管掩膜。
需要说明,对于步骤24的具体实现方法,并不局限于上段描述的方式,只要能够确定出多个采集时间连续的血管掩膜包含的每一支连贯的血管,即确定出三维立体展示的每一支血管,均属于本申请保护范围,本申请不做一一详述。
步骤S25,识别出各目标血管掩膜包含的肝静脉掩膜;
如上述对静脉区域的描述,在确定出多个血管掩膜实际包含的每一支血管后,本实施例可以依据肝脏血管中肝静脉、门静脉、下腔静脉以及肝脏之间的生理结构,从确定出的多支血管中,识别出肝静脉、门静脉、下腔静脉,本申请对不同静脉的识别过程不做详述,可以参照但并不局限于下文相应实施例的描述。
本实施例主要对如何利用肝静脉掩膜和肝脏掩膜,评估肝脏血管分割质量,因此,步骤S25描述的是对目标血管掩膜包含的肝静脉掩膜进行识别,若需要利用其他类型的静脉掩膜,实现肝脏血管分割质量的评估,也可以按照上文描述的发明构思,识别出相应的静脉掩膜,本申请对不同静脉掩膜的识别过程不做详述。
步骤S26,将各肝脏CT图像的肝脏掩膜及肝静脉掩膜输入肝脏血管分割质量评估模型,得到肝脏血管分割质量评估结果;
步骤S27,输出该肝脏血管分割质量评估结果。
本实施例中,上述肝脏血管分割质量评估模型可以用于获取肝静脉掩膜与肝脏掩膜的重叠度,该重叠度大小能够表征肝脏CT图像中的肝脏血管分割质量高低,本申请对该肝脏血管分割质量评估模型的训练过程不做详述,可以参照但并不局限于上文相应部分的描述。
在本实施例中实际应用中,对于上述步骤S26的实现过程中,可以按照多个肝脏CT图像的时间序列顺序,对多个肝脏CT图像的肝脏掩膜进行处理,得到待评估肝脏掩膜,同理,对多个肝静脉掩膜进行处理,得到待评估肝静脉掩膜,之后,将该待评估肝脏掩膜和肝静脉掩膜输入肝脏血管分割质量评估模型,得到待评估肝静脉掩膜与待评估肝脏掩膜的重叠度,如果该重叠度达到重叠阈值(本申请对该重叠阈值的数值不做限定,如2%等),可以认为肝脏CT序列图中各肝脏CT图像中血管分布均匀,血管分割质量较高;反之,若该重叠度未达到该重叠阈值,可以认为肝脏CT图像呈现出的血管结构不够丰富,存在未显示的血管,血管分割质量较差,这种情况下,可以输出相应的提示信息,后续可以据此进行人工干预,具体操作不作详述。
基于上述分析,在一些实施例中,若肝脏中存在肿瘤区域,由于肿瘤区域通常不存在正常的血管结构,因此,若经过上述分析,确定肝脏区域中的非肿瘤区域内肝静脉均匀分布,可以认为肝静脉分割质量较好;反之,若非肿瘤区域内肝静脉分布不均匀,可以认为肝静脉分割质量较差。
在这种情况下,本申请可以利用如下公式(1)来获取肝静脉掩膜与肝脏掩膜的重叠度Dice:
关于上述公式(1)中各元素的含义,可以参照上述实施例相应部分的解释,不再赘述。
基于此,在本实施例中,可以利用上述公式(1)的运算原理,生成肝脏血管分割质量评估模型,应该理解的是,若肝脏中不存在肿瘤,经过对感知CT图像的图像分割处理后,不会得到肝脏肿瘤掩膜Tumororiginal,这种情况下,利用上述公式(1)进行肝静脉掩膜与肝脏掩膜的重叠度计算时,肝脏肿瘤掩膜Tumororiginal的取值可以为零;若肝脏中存在肿瘤,可以按照上述实施例相应部分的描述得到肝脏肿瘤掩膜Tumororiginal,再按照该公式(1)计算得到肝静脉掩膜与肝脏掩膜的重叠度,具体计算过程本申请不作详述。
需要说明的是,对于肝脏血管分割质量评估结果的获取方式,并不局限于本实施例描述的肝静脉掩膜与肝脏掩膜的重叠度计算方式,其他实现方式可以参照但并不局限于下文实施例相应部分的描述。
综上,在本实施例中,将获取的时间连续的多个肝脏CT图像输入图像分割模型,得到各肝脏CT图像包含的肝脏掩膜及血管掩膜后,基于血管连通性,可以采用连通域分析方式对各血管掩膜进行处理,得到各血管掩膜包含的血管像素点,进而对相邻血管掩膜中的血管像素点进行延伸连接,实现多个血管掩膜中同一支血管的血管连接,得到多个血管掩膜包含的每一支连通的血管,再依据不同类型血管的生理结构,从得到的多支血管中,确定出肝静脉,将肝静脉掩膜和肝脏掩膜输入肝脏血管分割质量评估模型,以便利用肝静脉掩膜与肝脏掩膜的重叠度大小,得到肝脏血管分割质量评估结果并输出,告知医疗人员该肝脏CT序列图的肝脏血管分割质量,以便在当前获取的肝脏CT序列图的肝脏血管分割质量较低的情况下,采取相应的措施,而不是盲目依据该肝脏CT序列图,进行肝脏疾病诊断与手术治疗,提高了肝脏辅助诊断系统在肝脏疾病诊断与手术治疗的辅助效果。
参照图5,示出了本申请提出的肝脏图像分割质量评估方法的又一可选示例的流程示意图,本实施例可以是对上述实施例描述的肝脏图像分割质量评估方法的又一可选细化实现方式,实施例主要对细化步骤进行描述,关于该肝脏图像分割质量评估方法的其他实现步骤,可以参照上述实施例相应部分的描述,不再赘述。
如图5所示,本实施例主要描述上述步骤S23的一可选实现方式,具体可以包括但并不局限于以下步骤:
步骤S31,对各肝脏CT图像的血管掩膜进行连通域分析,得到相应血管掩膜包含的多个血管连通域;
对于每一个血管掩膜Voriginal的分析过程相同,本实施例在此以一个血管掩膜Voriginal的分析过程为例进行说明。在一些实施例中,针对任一个血管掩膜Voriginal,从中选取任一像素值为1像素点p1(即血管区域的像素点),将其计入血管连通域C1中,对该像素点p1周围的6个(但并不局限于该数值,可以依据连通域分析具体采用的方式确定)像素点p2、像素点p3、像素点p4、像素点p5、像素点p6、像素点p7进行搜索,依据搜索结果,将搜索到的像素值为1的像素点计入该血管连通域C1并标记为未被搜索点,将像素点p1标记为已搜索点,之后,从血管连通域C1任意选取一个未被搜索点,重复上述对像素点p1的搜索过程,直至该血管连通域C1中所有像素点均标记为已搜索点,最终得到的血管连通域C1完整。
之后,可以将最终得到的血管连通域C1从该血管掩膜Voriginal中移除,按照上述方式,再任意选择一像素点继续进行搜索,完成对其他血管连通域的搜索,搜索过程类似,本实施例不做一一详述。经过上述搜索,从该血管掩膜Voriginal中得到n个血管连通域,分别记为C1、…、Ck、…、Cn,本申请对n的具体数值不做限定。
应该理解,对于不同肝脏CT图像的血管掩膜Voriginal中血管连通域的获取过程类似,本申请不做一一详述。且不同血管掩膜Voriginal包含的血管连通域的数量可能相同也可能不同,通常情况下,相邻血管掩膜Voriginal包含的血管连通域的数量基本相同,若相邻血管掩膜Voriginal对应的是血管分叉部位,该相邻血管掩膜Voriginal包含的血管连通域的数量可能会存在几个差别,可以根据实际情况确定。
步骤S32,从多个血管连通域中,剔除像素点数量小于第一阈值的噪声连通域,得到待定血管掩膜;
本实施例实际应用,确定每一个血管掩膜Voriginal包含的多个血管连通域后,由于每一个血管连通域是由多个像素值为1的像素点构成,通常认为,一个血管连通域包含的像素点数量小于一定阈值(本实施例记为第一阈值),可以认为该血管连通域为噪声连通域,如级别较低的非常细的血管,其破损基本不会增大肝脏手术治疗风险,所以,本申请可以不对这类血管进行考虑,也就不要求这类血管在三维立体图中清晰展示。可见,该第一阈值可以依据这类血管的血管截面包含的像素点数量确定,如25等,本实施例不限定其具体数值。
基于上述分析,本实施例可以计算每一个血管连通域包含的像素点数量,并将其与第一阈值进行比较,从多个血管掩膜Voriginal各自包含的多个血管连通域中,剔除像素点数量小于第一阈值的噪声连通域,并将剔除噪声连通域后的血管掩膜记为待定血管掩膜Vdevoise。
可见,本申请按照上述方式,从每一个肝脏CT图像中,分割得到相应的血管掩膜后,为了提高处理速度以及质量评估结果的可靠性,本实施例可以先对得到的血管掩膜进行去噪处理,关于去噪处理的实现方法并不局限于本实施例给出的实现方式。
步骤S33,提取待定血管掩膜包含的各血管连通域对应的血管中心线;
步骤S34,利用提取出的多个血管中心线,获取相应血管连通域包含的单支血管。
继上述分析,完成对血管掩膜去噪处理,得到相应的待定血管掩膜后,本实施例需要进一步分析待定血管掩膜实际包含的单支血管,即确定各待定血管掩膜种能够进行延伸连接处理的血管中心点,为后续血管连接处理做准备,以提高三维重建质量。
在一些实施例中,可以采用如3D thinning(三维细化)算法等,对每一个血管连通域Ck提取血管中心线lk,但并不局限于这种算法,本申请对步骤S33的具体实现过程不做详述。应该理解,一个血管中心线lk是由多个待定血管掩膜对应位置的血管连通域的血管中心点构成,并不是一个待定血管掩膜所能够呈现的线。
由于肝脏血管结构中某些血管可能会存在血管分支,所以,为了准确获得多个待定血管掩膜包含的单支血管,可以对各血管中心线是否存在血管分支进行检测,并依据检测结果,获取实际的单支血管。
在一种可能的实现方式中,参照图6,为本申请实施例提出的肝脏图像分割质量评估方法的又一可选示例的流程图,具体可以是实现上述步骤S34的一可选示例的实现方法,但并不局限于图6所示的实现方式,如图6所示,上述步骤S34的一可选实现方法可以包括:
步骤A1,针对每一个血管中心线,获取血管中心线在肝脏CT图像上的血管中心点;
假设血管中心线lk可以分成r个单支血管lk1、lk2、…、lkr,本申请对r的具体数值不做限定,可能是1,也可能大于1。若r为1,该血管中心线上的一个血管分支实际上可以是该血管主干,即该血管不存在分叉。
本实施例中,结合上述对血管中心线lk的分析,可以获取该血管中心线lk在各肝脏CT图像上的血管中心点pk,若将时间连续的多个肝脏CT图像的排序记为z轴,将排序方向记为z轴方向,此处可以获取血管中心线lk在z轴上每一个肝脏CT图像上的血管中心点pk。
步骤A2,依据每个肝脏CT图像上的血管中心点的数量,确定相应血管中心线上是否存在血管分支,如果否,进入步骤A3;如果是,执行步骤A4;
应该理解,若血管中心线上不存在血管分支,仅以一个血管中心线(z轴方向的线),那么,z轴方向上的多个肝脏CT图像通常仅有相应的一个血管中心点;若血管中心线上存在血管分支,z轴方向上的多个肝脏CT图像通常会有多个血管中心点,因此,本实施例可以利用各肝脏CT图像上的血管中心点的数量,检测相应血管中心线上是否存在血管分支。
基于此,若该z轴方向上的多个肝脏CT图像中仅有一个血管中心点,说明该血管中心线上不存在血管分支,r=1;若存在多个血管中心点,存在血管分支,r>1。
步骤A3,将血管中心线确定为单支血管;
步骤A4,获取血管中心线上的血管分叉点以及血管端点;
步骤A5,利用血管分叉点、血管端点以及不同肝脏CT图像上的血管中心点的数量,获取血管中心线对应的多个单支血管。
经过上述分析,若血管中心线上不存在血管分支,即上述r=1,可以直接将该血管中心线确定为单支血管。
若血管中心线上存在血管分支,即上述r>1,本实施例可以先确定血管端点pk_begin,具体的,基于血管分叉结构,如图7所示的血管分叉示意图,可以将从一个血管中心点到多个血管中心点,且多个血管中心点靠近彼此的z轴坐标z0记为血管分叉切面,血管中心线开始的端点pk_begin所在z面zbegin到分叉点z0所在血管分叉切面之间的所有切片,即之间的所有肝脏CT图像中有一个位置连续的血管中心点(可能存在远离大多数血管中心点的血管点)记为1个单支血管lk1,并记录其分叉点z0。
之后,可以沿着zbegin到z0的方向分别对每一个分叉进行追踪,具体实现方式与上段分析过程类似,在该过程中,可以将血管中心点和分叉点计入不同的单支血管中,直至实现对所有血管连通域的血管中心线的处理。
综上,本实施例获取连续的多个肝脏CT图像各自包含的血管掩膜后,将采用连通域分析方式,确定各血管掩膜包含的血管连通域,通过检测各血管连通域包含的像素点数量,据此剔除包含像素点数量小于第一阈值的噪声连通域,即对获取的血管掩膜进行去噪处理,避免对噪声连通域进行分析,提高单支血管获取效率,之后,对得到的待定血管掩膜包含的各血管连通域进行分析,确定各血管连通域包含的单支血管,具体可以依据血管结构特点,即血管分支与血管中心线之间的关系,确定所得到的多个血管连通域包含的单支血管,以便后续进行血管连接,提高三维立体质量。
继上述各实施例的描述,在得到多个血管掩膜包含的多个血管连通域中的单支血管后,可以依据血管结构的特点,采用血管连接的方式,对得到的单支血管做进一步分析,以便将属于同一血管的单支血管(即血管连通域)进行合并,实现对血管掩膜的进一步更新处理。
具体的,参照图8,示出了本申请提出的肝脏图像分割质量评估方法的又一可选示例的流程示意图,如上段描述,本实施例主要对血管连接的实现过程进行描述,即为上述步骤S24的一可选细化实现方式,对于该质量评估方法中的其他步骤的实现过程,可以参照上述实施例相应部分的描述,本实施例不再赘述。如图8所示,血管连接的实现过程可以包括:
步骤S41,获取各血管掩膜中每一个单支血管的拟合空间直线;
在血管连接处理过程中,是将每一个单支血管看作是一条直线进行处理,因此,本实施例可以对得到的每个单支血管进行空间直线拟合处理,得到相应的拟合空间直线,具体处理过程不做限定。
在一种可能的实现方式中,可以对每一个单支血管lkr两端分别选取u个像素点pk1、pk2、…、pku,本实施例对u的具体数值不做限定,之后,可以采用最小二乘法对这u个像素点数据进行空间直线拟合处理,得到该单支血管lkr的拟合空间直线。
其中,本申请可以假设空间直线方程为:
利用最小二乘法可以得到xoffset、yoffset、r1和r2:
其中,x、y和z表示上述选择的u个像素点pk1、pk2、…、pku的三维坐标,本申请对上述公式(2)和公式(3)的空间直线最小二乘拟合的运算过程不做详述,经过运算得到的变量xoffset、yoffset、r1和r2后,可以代入公式(2)中,所得直线表达式记为相应单支血管的拟合空间直线。
步骤S42,按照预设延伸步长,在肝脏CT图像的序列方向上,对各单支血管的拟合空间直线中不存在分叉点的端点进行延伸,得到相应肝脏CT图像的新血管中心点;
其中,肝脏CT图像的序列方向可以是上述如图7所示的z轴方向,该预设延伸步长可以依据CT设备获取肝脏CT图像时,相邻两个肝脏CT图像之间的扫描距离确定,如5mm等。
因此,本实施例在对每一个单支血管lkr进行延伸,即对其空间拟合直线进行延伸处理,可以每次延伸5mm,如果该单支血管lkr存在分叉点,延伸方向可以仅在非分叉点的端点进行,即对单支血管的拟合空间直线中不存在分叉点的端点进行延伸;如果该单支血管lkr不存在分叉点,可以对其拟合空间直线的两端均进行延伸。
举例说明,若某单支血管lkr不存在分叉点,对于5mm的肝脏CT图像,z轴方向进行加减1的操作(即查看该肝脏CT图像的相邻上一个或下一个肝脏CT图像);对于1.5mm的肝脏CT图像,每次延伸操作可以在轴方向进行加减3的操作,以使得每次延伸的步长基本相同。
步骤S43,如果存在与新血管中心点相交的至少两个第一血管连通域,将至少两个第一血管连通域合并,并将新血管中心点添加至合并后的血管连通域中;
结合上述实施例对血管延伸处理的分析,在延伸操作过程中,若产生新的血管中心点pkc,可以通过检测该新的血管中心点pkc与其他血管连通域是否存在交点,来判断已有的血管连通域中是否存在对应同一血管的多个血管连通域,据此实现过程可以参照上述实施例相应部分的描述。
步骤S44,删除像素点数量小于第二阈值的血管连通域,继续按照预设延伸步长,对各单支血管的拟合空间直线中不存在分叉点的端点进行延伸,直至血管连通域的数量不变;
本实施例中,参照上述对噪声连通域的剔除的描述,本实施例可以认为像素点数量小于第二阈值的血管连通域仍为噪声连通域,可以将其剔除。本申请对该第二阈值的具体数值不做限定,可以是各血管连通域包含的像素点平均数量的一半,或者说是各血管连通域平均体积的一半等。
步骤S45,恢复新血管中心点的血管直径,得到目标血管掩膜。
由于新血管中心点是经过上述延伸连接处理后得到的,其他血管中心点是血管掩膜中实际存在的,为了得到高质量的三维立体图,需要对得到的新血管中心点pkc的血管直径进行恢复,具体可以依据该新血管中心点pkc分别连接的血管连通域对应的血管直径确定,如可以将该新血管中心点pkc的血管直径恢复为:该新血管中心点pkc所在单支血管的直径与其相交血管直径的平均值,但恢复到的血管直径并不局限于这种确定方式。
综上,本实施例可以结合人体血管结构特点,通过对各血管掩膜中不同血管连通域包含的单支血管进行延伸处理,即对不连贯的血管进行连接,增加小血管的连通度,并对新增加血管区域的直径进行恢复,提高血管三维重建效果。
参照图9,示出了本申请提出的肝脏图像分割质量评估方法的又一可选示例的流程示意图,本实施例主要对完成血管连通性分析后,如何区别肝静脉、门静脉、下腔静脉等静脉区域的实现过程进行描述,即可以是上述步骤S25的一可选细化实现方式,对于该质量评估方法中的其他步骤的实现过程,可以参照上述实施例相应部分的描述,本实施例不再赘述。如图9所示,确定目标血管掩膜包含的静脉区域的实现过程可以包括:
步骤S51,获取各肝脏CT图像的目标血管掩膜中下腔静脉中心点的位置信息;
本实施例可以依据肝脏内不同静脉之间的生理结构,区分肝静脉和门静脉。由于下腔静脉是沿着z轴的一根大血管,其在肝脏CT图像中的位置基本固定,且每一个肝脏CT图像中仅有一个相应的血管连通域,所以,本实施可以先据此确定出下腔静脉IVCoriginal。具体的,基于肝静脉和门静脉的解剖结构,肝脏下端的肝脏CT图像中,最靠近脊柱侧且位于肝脏右侧的血管连通域为下腔静脉,确定出下腔静脉中心点位置信息,肝脏上端血管的血管中心点距离下端下腔静脉中心点最近的区域即为下腔静脉。需要说明,关于步骤S51的具体实现方式并不局限于此。
步骤S52,检测下腔静脉中心点与相应的目标血管掩膜中肝脏掩膜的不同方向边缘的距离;
步骤S53,利用不同方向边缘的距离,得到肝脏掩膜中的血管干扰区域;
步骤S54,对血管干扰区域进行三维腐蚀,更新相应的目标血管掩膜;
由于在血管连接过程中,可能会出现肝静脉和门静脉的血管末端误连接的情况,为了区别开肝静脉和门静脉,本实施例可以采用三维腐蚀算法实现,关于该三维腐蚀算法的运算原理本实施例不做详述。
具体的,由于肝静脉会汇总于下腔静脉,本实施例可以以下腔静脉IVCoriginal所在位置(即下腔静脉中心点所在位置)为起点,检测肝脏掩膜Livermask与下腔静脉中心点的距离,选择不同方向相应距离的五分之四区域进行保留,靠近肝脏边缘的五分之一区域(即上述肝脏掩膜中的血管干扰区域)进行三维腐蚀。需要说明,对于该血管干扰区域的确定,并不局限于本实施例给出的不同方向边缘的距离的五分之一区域,可以根据实际情况进行灵活调整。
步骤S55,对更新后的目标血管掩膜进行连通域分析,确定出门静脉掩膜及肝静脉掩膜。
按照上述方式,将血管末端腐蚀后,可以对剩余的血管进行连通域分析,具体分析过程可以参照上述实施例相应部分的描述,不再赘述。
其中,在确定门静脉掩膜及肝静脉掩膜过程中,由于门静脉总是位于肝静脉的下方,如存在血管连通域的z位置远低于其他血管连通域,可以将该血管连通域确定为门静脉,其他的血管连通域确定为肝静脉
综上,由于基于肝脏CT图像的肝脏肿瘤诊断及手术治疗中,通常需要重点关注肝静脉和门静脉的一二级血管分支,特别是肿瘤附近的肝静脉和门静脉主干,所以,在进行肝脏血管分割质量评估时,主要集中于一二级血管的分割质量,对于三维展示,需要尽可能的连贯血管高级分支,提高血管管状结构的连续性。因此,本实施例在完成血管连接处理后,可以对确定出各单支血管的血管类型进一步分析识别,以确定出哪个血管是肝静脉、哪个血管是门静脉,具体可以采用三维腐蚀方式,将直径小的血管去除,保留肝静脉和门静脉的一二级血管分支,以便后续快速且可靠地实现血管分割质量评估。
综合上述各实施例描述的肝脏图像分割质量评估方法的实现步骤,对于肝脏CT序列图的肝脏血管分割质量评估结果的获取,除了上文描述的实现方式,本申请还可以利用肝静脉、门静脉自身特有的分支数量,来判断其分割质量是否满足要求,具体实现过程可以参照但并不局限于下文实施例描述的实现方式。
参照图10,示出了本申请提出的肝脏图像分割质量评估方法的又一可选示例的流程示意图,本实施例主要对肝脏CT序列图的肝脏血管分割质量评估结果的获取过程进行描述,具体是在对肝脏CT图像进行分割处理过程中,获得肝脏CT图像的血管掩膜、肝脏掩膜、肝脏肿瘤掩膜的情况下,获取肝脏血管分割质量评估结果的一可选实现方式,关于该血管掩膜、肝脏掩膜、肝脏肿瘤掩膜的获取过程,可以参照上述实施例相应部分的描述,不做赘述。
如图10所示,本实施例提出的肝脏血管分割质量评估结果的获取过程可以包括:
步骤S61,对各肝脏CT图像的第一静脉掩膜进行处理,得到肝脏CT图像的第一静脉主干;
本实施例中,该第一静脉掩膜可以是肝静脉掩膜HVoriginal或门静脉掩膜PVoriginal,应该理解,确定该第一静脉掩膜的静脉类型后,后续处理均利用相应静脉类型的数据进行分析,得到肝脏血管分割质量评估结果。
其中,关于肝静脉掩膜HVoriginal和门静脉掩膜PVoriginal的具体提取过程,可以参照上述实施例相应部分的描述,不再赘述。
在一种可能的实现方式中,本申请可以采用拓扑细化算法,提取肝静脉掩膜HVoriginal和门静脉掩膜PVoriginal各自的静脉主干,具体提取过程可以结合该拓扑细化算法的运算原理实现,本实施例不做详述。
步骤S62,对第一静脉主干进行连通域分析,得到肝脏CT图像包含的第一静脉分支;
关于对第一静脉主干的连通域分析过程,可以参照上述实施例连通域分析原理的描述过程,本实施例不再详述。
步骤S63,检测第一静脉分支的数量是否达到第一数量,如果是,进入步骤S64;如果否,执行步骤S65;
关于该第一数量的数据数值,可以依据该第一静脉掩膜的静来类型确定,若其为肝静脉掩膜,由于肝静脉通常存在三个血管分支,因此,该第一数量可以为3;若为门静脉掩膜,由于门静脉通常为2~3个分支,该第一数量可以为2等,本申请对第一数量的具体数值不做限定。
步骤S64,确定肝脏CT图像的第一静脉分割质量满足分割要求;
经过上述分析,确定肝静脉分支为三个,即肝静脉掩膜中存在三个肝静脉连通域,可以认为肝静脉分割质量良好,即肝静脉分割质量满足分割要求。同理,对于门静脉的分割质量评估,按照上述分析,可以从肝脏下端进行追溯,若门静脉分支数量为2或3个,可以认为门静脉分割质量良好,即门静脉分割质量满足分割要求。
步骤S65,检测肝脏肿瘤掩膜与第一静脉掩膜是否存在至少部分重叠区域,若否,进入步骤S66;若是,执行步骤S67;
步骤S66,输出第一静脉分割缺少主干的提示信息;
按照上述对第一静脉分支数量的检测,若第一静脉分支的数量未达到相应的第一数量,具体可以是第一静脉分支的数量小于相应的第一数量,可以认为该肝脏中可能存在肿瘤,可以进一步检测肿瘤是位于肝静脉区域还是门静脉区域,以便据此确定静脉分支数量是否是由肿瘤区域引起的变化。
基于上述分析,可以通过检测肝脏肿瘤掩膜与第一静脉掩膜之间是否存在至少部分重叠区域,来确定该第一静脉掩膜中是否存在肿瘤区域,是否是肿瘤区域导致第一静脉分支数量减少。
若第一静脉掩膜中不存在肿瘤区域,其第一静脉分支数量仍小于相应第一数量,可以认为该第一静脉分割质量较差,具体可以输出第一静脉分割中缺少主干的提示信息,本申请对该提示信息的输出方式不做限定。
以第一静脉掩膜为肝静脉掩膜为例进行说明:若肝静脉掩膜中不存在三个血管连通域,可以查询肝静脉最下端zmin,若肿瘤所在区域的最上端zmax小于该静脉最下端zmin,即肝脏肿瘤掩膜与肝静脉掩膜不存在重叠区域,可以认为肿瘤区域不在肝静脉区域;反之可以认为肿瘤位于肝静脉区域,可以按照下文相应部分进行分析。
步骤S67,获取第一静脉中像素点数量大于第三阈值的肿瘤数量;
步骤S68,如果单个肿瘤在第一静脉中的区域占比、肿瘤数量及第一静脉分支的数量满足条件,确定肝脏CT图像中的第一静脉分割质量满足分割要求。
本实施例中,为了提高血管分割质量评估速度及可靠性,本申请可以仅对体积较大的肿瘤进行分析,即对像素点数量大于第三阈值的肿瘤进行分析,本实施例对该第三阈值的数值不做限定,如可以认为占静脉掩膜体积(或像素点数量)大于25%的单个肿瘤记为大肿瘤,该第三阈值可以是静脉掩膜包含的像素点数量的25%,但并不局限于此。
在一些实施例中,若第一静脉是肝静脉,为了方便后续描述,可以将步骤S67获取的肿瘤数量记为BIG TumorNumhv_region,本申请可以按照[(3-BIG TumorNumhv_region),0]计算方式,获取各肝脏CT图像的肝静脉掩膜对应的最大值,即max[(3-BIG TumorNumhv_region),0],若按照上述方式得到的肝静脉分支数量不小于该最大值,可以认为肝静脉分割质量良好,即肝静脉分割质量满足分割要求;否则,可以输出肝静脉分割质量较差的提示信息,具体输出方式不做限定。
由此可见,在第一静脉是肝静脉的情况下,上述步骤S68中的条件可以是肝静脉分支数量不小于上述最大值,该最大值可以依据上述获取的肝静脉中的肿瘤数量、肝静脉分支数量等参数确定,需要说明,在第一静脉是肝静脉的情况下,判断肝静脉分割质量是否满足分割要求的实现方法并不局限于本实施例描述的实现方法。
若第一静脉是门静脉,按照上述方式得到的门静脉掩膜中大肿瘤数量可以记为BIG TumorNumpv_region,若检测到的门静脉分支数量不小于max[(2-BIG TumorNumpv_region),0],可以认为门静脉分割质量满足分割要求,否则,可以输出门静脉分割质量较差的提示信息。
由此可见,由于肝脏中实际存在的肝静脉分支数量与门静脉分支数量不同,相应确定上述步骤S68中的条件所对应的静脉分支数量(如上述最大值中的3或2)也会存在差别,关于该条件的具体内容可以依据静脉类型确定,包括并不局限于上文描述的内容。
综上所述,本申请按照上述实施例描述的方式,确定出各肝脏CT图像中肝静脉掩膜、门静脉掩膜、肝脏肿瘤掩膜、肝脏掩膜后,可以依据门静脉和肝静脉的主干结构,以及肝脏肿瘤的位置,实现对血管分割质量的精确评估,提高了三维立体展示精准度,为后续肝脏疾病诊断与手术治疗提供了更加可靠的辅助参考,即进一步提高了肝脏辅助诊断系统在肝脏疾病诊断与手术治疗的辅助效果。
需要说明,在实际应用中,对于肝脏图像分割质量评估,可以根据实际需要,采用上述各实施例描述的肝脏图像分割质量评估方法,或者多个实施例结合后得到的肝脏图像分割质量评估方法实现,具体实现过程本申请不再一一详述。
基于上述肝脏图像分割质量评估方法的描述,下文将对支持上述于肝脏图像分割质量评估方法实现的虚拟装置进行说明。
参照图11,示出了本申请提出的肝脏图像分割质量评估装置的又一可选示例的结构示意图,该装置可以适用于计算机设备,本申请对该计算机设备的产品类型不做限定,如图11所示,该装置可以包括:
图像获取模块21,用于获取肝脏计算机断层扫描CT序列图;
其中,肝脏CT序列图包括第一数量幅连续的肝脏CT图像,具体可以是CT设备对患者肝脏进行CT扫描得到的时间连续的一系列肝脏CT图像,具体获取过程不做详述。
分割模块22,用于将所述肝脏CT图像输入图像分割模型,得到所述肝脏CT图像的血管掩膜和肝脏掩膜;
其中,该图像分割模型是基于神经网络,对样本肝脏CT图像进行训练得到的,具体训练过程不做详述。
静脉确定模块23,用于对各肝脏CT图像的所述血管掩膜进行连通域分析,利用得到的血管连通域,确定所述血管掩膜包含的静脉区域;
其中,该静脉区域可以包括肝静脉掩膜和门静脉掩膜,还可以包括下腔静脉掩膜。
分割质量评估模块24,用于利用所述肝脏掩膜和所述静脉区域,计算得到所述肝脏CT序列图的肝脏血管分割质量评估结果;
评估结果输出模块25,用于输出所述肝脏血管分割质量评估结果。
在一些实施例中,静脉确定模块23可以包括:
静脉识别单元,用于将各肝脏CT图像的所述血管掩膜输入静脉识别模型,得到相应血管掩膜包含的静脉区域;
其中,所述静脉识别模型是基于机器学习算法,对样本肝脏CT图像的样本血管掩膜进行训练得到的,具体训练过程不做详述。
相应地,分割质量评估模块24可以包括:
分割质量评估单元,用于将各肝脏CT图像的所述肝脏掩膜和所述肝静脉掩膜输入肝脏血管分割质量评估模型,得到肝脏血管分割质量评估结果;
其中,肝脏血管分割质量评估模型可以用于获取肝静脉掩膜与所述肝脏掩膜的重叠度,所述重叠度大小能够表征所述肝脏CT图像中的肝脏血管分割质量高低,关于该肝脏血管分割质量评估模型的获取过程可以参照上述方法实施例相应部分的描述。
在一些实施例中,如图12所示,上述静脉识别单元可以包括:
单支血管提取单元231,用于对各肝脏CT图像的所述血管掩膜进行连通域分析,提取分析得到的多个血管连通域各自包含的单支血管;
血管连接单元232,用于对提取到的各血管掩膜中的多个单支血管进行延伸连接,利用血管延伸连接结果,更新相应血管掩膜包含的血管连通域,直至各血管掩膜包含的血管连通域的数量不变,得到所述各肝脏CT图像的目标血管掩膜;
静脉区域确定单元233,用于确定所述目标血管掩膜包含的静脉区域。
进一步地,在一种可能的实现方式中,如图13所示,上述单支血管提取单元231可以包括:
血管连通域得到单元2311,用于对各肝脏CT图像的所述血管掩膜进行连通域分析,得到相应血管掩膜包含的多个血管连通域;
第一去噪单元2312,用于从所述多个血管连通域中,剔除像素点数量小于第一阈值的噪声连通域,得到待定血管掩膜;
其中,在一些实施例中,上述第一去噪单元2312可以包括:
血管中心点获取子单元,用于针对每一个血管中心线,获取所述血管中心线在所述肝脏CT图像上的血管中心点;
血管分支检测子单元,用于依据每个所述肝脏CT图像上的血管中心点的数量,确定相应血管中心线上是否存在血管分支;
第一确定子单元,用于在血管中心线上不存在血管分支的情况下,将所述血管中心线确定为单支血管;
血管分支信息获取子单元,用于血管中心线上存在血管分支的情况下,获取所述血管中心线上的血管分叉点以及血管端点;
单支血管获取子单元,用于利用所述血管分叉点、所述血管端点以及不同肝脏CT图像上的血管中心点的数量,获取所述血管中心线对应的多个单支血管。
血管中心线提取单元2313,用于提取所述待定血管掩膜包含的各血管连通域对应的血管中心线;
单支血管获取单元2314,用于利用提取出的多个血管中心线,获取相应血管连通域包含的单支血管。
在一些实施例中,如图14所示,上述静脉区域确定单元233可以包括:
位置信息获取单元2331,用于获取各肝脏CT图像的所述目标血管掩膜中下腔静脉中心点的位置信息;
距离检测单元2332,用于检测所述下腔静脉中心点与相应的所述目标血管掩膜中所述肝脏掩膜的不同方向边缘的距离;
血管干扰区域得到单元2333,用于利用所述不同方向边缘的距离,得到所述肝脏掩膜中的血管干扰区域;
血管掩膜更新单元2334,用于对所述血管干扰区域进行三维腐蚀,更新相应的所述目标血管掩膜;
静脉掩膜确定单元2335,用于对更新后的目标血管掩膜进行连通域分析,确定出门静脉掩膜及肝静脉掩膜。
在一些实施例中,如图15所示,上述血管连接单元232可以包括:
空间直线拟合单元2321,用于获取各血管掩膜中每一个单支血管的拟合空间直线;
延伸处理单元2322,用于按照预设延伸步长,在所述肝脏CT图像的序列方向上,对各单支血管的拟合空间直线中不存在分叉点的端点进行延伸,得到相应肝脏CT图像的新血管中心点;
血管连通域合并单元2323,用于在存在与所述新血管中心点相交的至少两个第一血管连通域的情况下,将所述至少两个第一血管连通域合并,并将所述新血管中心点添加至合并后的血管连通域中;
血管连通域删除单元2324,用于删除像素点数量小于第二阈值的血管连通域,继续按照预设延伸步长,对各单支血管的拟合空间直线中不存在分叉点的端点进行延伸,直至所述血管连通域的数量不变;
血管直径恢复单元2325,用于恢复所述新血管中心点的血管直径,得到目标血管掩膜。
在上述各实施例的基础上,在肝脏中存在肿瘤的情况下,上述分割模块22还用于获得肝脏CT图像的肝脏肿瘤掩膜;
相应地,如图16所示,上述分割质量评估模块24可以包括:
静脉主干得到单元241,用于对各肝脏CT图像的第一静脉掩膜进行处理,得到所述肝脏CT图像的第一静脉主干;
其中,第一静脉掩膜可以是肝静脉掩膜或门静脉掩膜。
静脉分支得到单元242,用于对所述第一静脉主干进行连通域分析,得到所述肝脏CT图像包含的第一静脉分支;
第一分割质量确定单元243,用于在第一静脉分支的数量为第一数量的情况下,确定所述肝脏CT图像的第一静脉分割质量满足分割要求;
肿瘤检测单元244,用于在第一静脉分支的数量小于所述第一数量的情况下,检测所述肝脏肿瘤掩膜与所述第一静脉掩膜是否存在至少部分重叠区域;
第一提示输出单元245,用于在肿瘤检测单元244的检测结果为不存在的情况下,输出所述第一静脉分割缺少主干的提示信息;
肿瘤数量获取单元246,用于在肿瘤检测单元244的检测结果为存在的情况下,获取所述第一静脉中像素点数量大于第三阈值的肿瘤数量;
第二分割质量确定单元247,用于在单个肿瘤在所述第一静脉中的区域占比、所述肿瘤数量及所述第一静脉分支的数量满足条件的情况下,确定所述肝脏CT图像中的第一静脉分割质量满足分割要求。
需要说明的是,关于上述各装置实施例中的各种模块、单元等,均可以作为程序模块存储在存储器中,由处理器执行存储在存储器中的上述程序模块,以实现相应的功能,关于各程序模块及其组合所实现的功能,以及达到的技术效果,可以参照上述方法实施例相应部分的描述,本实施例不再赘述。
本申请实施例还提出了一种存储介质,该存储介质中存储有程序,该程序被处理器调用并执行,以实现上述方法实施例描述的肝脏图像分割质量评估方法的各个步骤,具体实现过程可以参照上述方法实施例相应部分的描述,不再赘述。
最后,需要说明本说明书中各个实施例采用递进或并列的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、计算机设备而言,由于其与实施例公开的方法对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种肝脏图像分割质量评估方法,所述方法包括:
获取肝脏计算机断层扫描CT序列图,所述肝脏CT序列图包括第一数量幅连续的肝脏CT图像;
将所述肝脏CT图像输入图像分割模型,得到所述肝脏CT图像的血管掩膜和肝脏掩膜,所述图像分割模型是基于神经网络,对样本肝脏CT图像进行训练得到的;
对各肝脏CT图像的所述血管掩膜进行连通域分析,利用得到的血管连通域,确定各血管掩膜包含的静脉区域,所述静脉区域包括肝静脉掩膜和门静脉掩膜;
利用所述肝脏掩膜和所述静脉区域,得到所述肝脏CT序列图的肝脏血管分割质量评估结果;
输出所述肝脏血管分割质量评估结果;
在对所述肝脏CT图像进行分割处理过程中,所述方法还包括:
获得所述肝脏CT图像的肝脏肿瘤掩膜;
所述利用所述肝脏掩膜和所述静脉区域,得到所述肝脏CT序列图的肝脏血管分割质量评估结果,包括:
对各肝脏CT图像的第一静脉掩膜进行处理,得到所述肝脏CT图像的第一静脉主干,所述第一静脉掩膜是所述肝静脉掩膜或门静脉掩膜;
对所述第一静脉主干进行连通域分析,得到所述肝脏CT图像包含的第一静脉分支;
利用所述第一静脉分支的数量,判断第一静脉分割质量是否满足要求;
在第一静脉分割质量不满足要求的情况下,基于所述肝脏肿瘤掩膜与所述第一静脉掩膜是否存在至少部分重叠区域,确定第一静脉分割质量。
2.根据权利要求1所述的方法,所述对各肝脏CT图像所述血管掩膜进行连通域分析,利用得到的血管连通域,确定各血管掩膜包含的静脉区域,包括:
将各肝脏CT图像的所述血管掩膜输入静脉识别模型,得到相应血管掩膜包含的静脉区域,其中,所述静脉识别模型是基于机器学习算法,对样本肝脏CT图像的样本血管掩膜进行训练得到的;
所述利用所述肝脏掩膜和所述静脉掩膜,得到所述肝脏CT序列图的肝脏血管分割质量评估结果,包括:
将所述各肝脏CT图像的所述肝脏掩膜和所述肝静脉掩膜输入肝脏血管分割质量评估模型,得到肝脏血管分割质量评估结果;
其中,所述肝脏血管分割质量评估模型用于获取肝静脉掩膜与所述肝脏掩膜的重叠度,所述重叠度大小能够表征所述肝脏CT图像中的肝脏血管分割质量高低。
3.根据权利要求2所述的方法,所述将各肝脏CT图像的所述血管掩膜输入静脉识别模型,得到相应血管掩膜包含的静脉区域,包括:
对各肝脏CT图像的所述血管掩膜进行连通域分析,提取分析得到的多个血管连通域各自包含的单支血管;
对提取到的各血管掩膜中的多个单支血管进行延伸连接,利用血管延伸连接结果,更新相应血管掩膜包含的血管连通域,直至各血管掩膜包含的血管连通域的数量不变,得到所述各肝脏CT图像的目标血管掩膜;
确定所述目标血管掩膜包含的静脉区域。
4.根据权利要求3所述的方法,所述对各肝脏CT图像的所述血管掩膜进行连通域分析,提取分析得到的多个血管连通域各自包含的单支血管,包括:
对各肝脏CT图像的所述血管掩膜进行连通域分析,得到相应血管掩膜包含的多个血管连通域;
从所述多个血管连通域中,剔除像素点数量小于第一阈值的噪声连通域,得到待定血管掩膜;
提取所述待定血管掩膜包含的各血管连通域对应的血管中心线;
利用提取出的多个血管中心线,获取相应血管连通域包含的单支血管。
5.根据权利要求4所述的方法,所述利用提取出的多个血管中心线,获取相应血管连通域包含的单支血管,包括:
针对每一个血管中心线,获取所述血管中心线在所述肝脏CT图像上的血管中心点;
依据每个所述肝脏CT图像上的血管中心点的数量,确定相应血管中心线上是否存在血管分支;
如果所述血管中心线上不存在血管分支,将所述血管中心线确定为单支血管;
如果所述血管中心线上存在血管分支,获取所述血管中心线上的血管分叉点以及血管端点;
利用所述血管分叉点、所述血管端点以及不同肝脏CT图像上的血管中心点的数量,获取所述血管中心线对应的多个单支血管。
6.根据权利要求3所述的方法,所述确定所述目标血管掩膜包含的静脉区域,包括:
获取各肝脏CT图像的所述目标血管掩膜中下腔静脉中心点的位置信息;
检测所述下腔静脉中心点与相应的所述目标血管掩膜中所述肝脏掩膜的不同方向边缘的距离;
利用所述不同方向边缘的距离,得到所述肝脏掩膜中的血管干扰区域;
对所述血管干扰区域进行三维腐蚀,更新相应的所述目标血管掩膜;
对更新后的目标血管掩膜进行连通域分析,确定出门静脉掩膜及肝静脉掩膜。
7.根据权利要求3~6任一项所述的方法,所述对提取到的各血管掩膜中的多个单支血管进行延伸连接,利用血管延伸连接结果,更新相应血管掩膜包含的血管连通域,直至各血管掩膜包含的血管连通域的数量不变,得到所述各肝脏CT图像的目标血管掩膜,包括:
获取各血管掩膜中每一个单支血管的拟合空间直线;
按照预设延伸步长,在所述肝脏CT图像的序列方向上,对各单支血管的拟合空间直线中不存在分叉点的端点进行延伸,得到相应肝脏CT图像的新血管中心点;
如果存在与所述新血管中心点相交的至少两个第一血管连通域,将所述至少两个第一血管连通域合并,并将所述新血管中心点添加至合并后的血管连通域中;
删除像素点数量小于第二阈值的血管连通域,继续按照预设延伸步长,对各单支血管的拟合空间直线中不存在分叉点的端点进行延伸,直至所述血管连通域的数量不变;
恢复所述新血管中心点的血管直径,得到目标血管掩膜。
8.根据权利要求1所述的方法,在对所述肝脏CT图像进行分割处理过程中,利用所述第一静脉分支的数量,判断第一静脉分割质量是否满足要求,在第一静脉分割质量不满足要求的情况下,基于所述肝脏肿瘤掩膜与所述第一静脉掩膜是否存在至少部分重叠区域,确定第一静脉分割质量包括:
如果所述第一静脉分支的数量为第一数量,确定所述肝脏CT图像的第一静脉分割质量满足分割要求;
如果所述第一静脉分支的数量小于所述第一数量,检测所述肝脏肿瘤掩膜与所述第一静脉掩膜是否存在至少部分重叠区域;
如果不存在,输出所述第一静脉分割缺少主干的提示信息;
如果存在,获取所述第一静脉中像素点数量大于第三阈值的肿瘤数量;
如果单个肿瘤在所述第一静脉中的区域占比、所述肿瘤数量及所述第一静脉分支的数量满足条件,确定所述肝脏CT图像中的第一静脉分割质量满足分割要求。
9.一种肝脏图像分割质量评估装置,所述装置包括:
图像获取模块,用于获取肝脏计算机断层扫描CT序列图,所述肝脏CT序列图包括第一数量幅连续的肝脏CT图像;
分割模块,用于将所述肝脏CT图像输入图像分割模型,得到所述肝脏CT图像的血管掩膜和肝脏掩膜,所述图像分割模型是基于神经网络,对样本肝脏CT图像进行训练得到的;
静脉确定模块,用于对各肝脏CT图像的所述血管掩膜进行连通域分析,利用得到的血管连通域,确定所述血管掩膜包含的静脉区域,所述静脉区域包括肝静脉掩膜和门静脉掩膜;
分割质量评估模块,用于利用所述肝脏掩膜和所述静脉区域,计算得到所述肝脏CT序列图的肝脏血管分割质量评估结果;
评估结果输出模块,用于输出所述肝脏血管分割质量评估结果;
所述分割模块,还用于获得肝脏CT图像的肝脏肿瘤掩膜:
所述分割质量评估模块,具体用于对各肝脏CT图像的第一静脉掩膜进行处理,得到所述肝脏CT图像的第一静脉主干,所述第一静脉掩膜是所述肝静脉掩膜或门静脉掩膜;对所述第一静脉主干进行连通域分析,得到所述肝脏CT图像包含的第一静脉分支;利用所述第一静脉分支的数量,判断第一静脉分割质量是否满足要求;在第一静脉分割质量不满足要求的情况下,基于所述肝脏肿瘤掩膜与所述第一静脉掩膜是否存在至少部分重叠区域,确定第一静脉分割质量。
10.一种计算机设备,所述计算机设备包括:
存储器,用于存储实现如权利要求1~8任一项所述的肝脏图像分割质量评估方法的程序;
处理器,用于加载并执行所述存储器存储的所述程序,以实现如权利要求1~8任一项所述的肝脏图像分割质量评估方法的各个步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911380496.9A CN111145206B (zh) | 2019-12-27 | 2019-12-27 | 肝脏图像分割质量评估方法、装置及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911380496.9A CN111145206B (zh) | 2019-12-27 | 2019-12-27 | 肝脏图像分割质量评估方法、装置及计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111145206A CN111145206A (zh) | 2020-05-12 |
CN111145206B true CN111145206B (zh) | 2024-03-01 |
Family
ID=70521136
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911380496.9A Active CN111145206B (zh) | 2019-12-27 | 2019-12-27 | 肝脏图像分割质量评估方法、装置及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111145206B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111681211B (zh) * | 2020-05-18 | 2024-03-08 | 东软医疗系统股份有限公司 | 一种血管图像处理方法及装置 |
CN111753843A (zh) * | 2020-06-28 | 2020-10-09 | 平安科技(深圳)有限公司 | 基于深度学习的分割效果评估方法、装置、设备及介质 |
CN112489051B (zh) * | 2020-11-13 | 2024-04-05 | 深圳市旭东数字医学影像技术有限公司 | 基于血管及病变区域的肝脏裁切方法及系统 |
CN112967287A (zh) * | 2021-01-29 | 2021-06-15 | 平安科技(深圳)有限公司 | 基于图像处理的胃癌病灶识别方法、装置、设备和存储介质 |
CN112842371A (zh) * | 2021-01-29 | 2021-05-28 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN112967200B (zh) * | 2021-03-05 | 2024-09-13 | 北京字跳网络技术有限公司 | 图像处理方法、装置、电子设备、介质和计算机程序产品 |
CN113361584B (zh) * | 2021-06-01 | 2022-05-27 | 推想医疗科技股份有限公司 | 模型训练的方法及装置、肺动脉高压的测量方法及装置 |
CN113450277B (zh) * | 2021-06-29 | 2023-08-22 | 上海长征医院 | 一种医学图像处理方法、介质及电子设备 |
WO2023032480A1 (ja) * | 2021-08-31 | 2023-03-09 | 富士フイルム株式会社 | 医療画像処理装置、肝区域分割方法およびプログラム |
CN114041761B (zh) * | 2021-10-27 | 2022-12-09 | 北京医准智能科技有限公司 | 一种冠状动脉起源的判断方法、装置及计算机可读介质 |
CN114037774B (zh) * | 2022-01-10 | 2022-03-08 | 雅安市人民医院 | 颅脑横断面影像图片排序、传输方法及装置、存储介质 |
CN114842000A (zh) * | 2022-07-01 | 2022-08-02 | 杭州同花顺数据开发有限公司 | 一种内窥镜图像质量评估方法和系统 |
CN115690143B (zh) * | 2022-09-26 | 2023-07-11 | 推想医疗科技股份有限公司 | 图像分割方法、装置、电子设备及存储介质 |
CN115546149B (zh) * | 2022-10-09 | 2023-11-17 | 推想医疗科技股份有限公司 | 肝脏分割方法及装置、电子设备及存储介质 |
CN117224231B (zh) * | 2023-11-16 | 2024-02-13 | 四川大学华西医院 | 用于肝切除术解剖时的血管暴露分析装置 |
CN117576124B (zh) * | 2024-01-15 | 2024-04-30 | 福建智康云医疗科技有限公司 | 一种基于人工智能的腹部ct图像肝脏分割方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101425186A (zh) * | 2008-11-17 | 2009-05-06 | 华中科技大学 | 一种基于ct图像的肝脏分段方法及其系统 |
CN105741251A (zh) * | 2016-03-17 | 2016-07-06 | 中南大学 | 一种肝脏cta序列图像的血管分割方法 |
CN106469453A (zh) * | 2016-09-12 | 2017-03-01 | 同济大学 | 一种三维可视化展示及属性测量的肝脏功能区域诠析方法 |
CN110176004A (zh) * | 2019-04-24 | 2019-08-27 | 艾瑞迈迪科技石家庄有限公司 | 一种肝脏分段方法和系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101481796B1 (ko) * | 2012-03-02 | 2015-01-14 | 포항공과대학교 산학협력단 | 3차원 가상 간 수술 계획 시스템 |
-
2019
- 2019-12-27 CN CN201911380496.9A patent/CN111145206B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101425186A (zh) * | 2008-11-17 | 2009-05-06 | 华中科技大学 | 一种基于ct图像的肝脏分段方法及其系统 |
CN105741251A (zh) * | 2016-03-17 | 2016-07-06 | 中南大学 | 一种肝脏cta序列图像的血管分割方法 |
CN106469453A (zh) * | 2016-09-12 | 2017-03-01 | 同济大学 | 一种三维可视化展示及属性测量的肝脏功能区域诠析方法 |
CN110176004A (zh) * | 2019-04-24 | 2019-08-27 | 艾瑞迈迪科技石家庄有限公司 | 一种肝脏分段方法和系统 |
Non-Patent Citations (1)
Title |
---|
王双双.基于改进区域生长法的肝脏血管分割算法.《中国知网》.2017,第I、14-38页. * |
Also Published As
Publication number | Publication date |
---|---|
CN111145206A (zh) | 2020-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111145206B (zh) | 肝脏图像分割质量评估方法、装置及计算机设备 | |
US11475560B2 (en) | Method, apparatus, and system to identify branches of a blood vessel | |
CN109741344B (zh) | 血管分割方法、装置、医疗影像设备及存储介质 | |
US9679389B2 (en) | Method and system for blood vessel segmentation and classification | |
US8311307B2 (en) | Structure detection apparatus and method, and computer-readable medium storing program thereof | |
US10157467B2 (en) | System and method for detecting central pulmonary embolism in CT pulmonary angiography images | |
CN108324300B (zh) | 用于血管分段的方法和装置 | |
JP2018534074A (ja) | X線画像特徴検出および位置合わせのシステムおよび方法 | |
CN116051580A (zh) | 一种血管分离方法及系统 | |
JP5748636B2 (ja) | 画像処理装置および方法並びにプログラム | |
JP2022543643A (ja) | 冠動脈カルシウム負荷の縦断的表示 | |
CN109155063A (zh) | 用于生成胆管树形结构的定量数据的方法和设备 | |
CN114299057A (zh) | 血管中心线的提取方法和存储介质 | |
Zheng et al. | Precise segmentation of the left atrium in C-arm CT volumes with applications to atrial fibrillation ablation | |
Calivá et al. | A new tool to connect blood vessels in fundus retinal images | |
Zhou et al. | A framework of myocardial bridge detection with x-ray angiography sequence | |
Habijan et al. | Centerline tracking of the single coronary artery from x-ray angiograms | |
KR102000615B1 (ko) | 관상동맥의 시작점을 자동으로 추출하기 위한 방법 및 그 장치 | |
CN114693648B (zh) | 一种血管中心线提取方法及其系统 | |
US11449995B2 (en) | Method of providing diagnosis assistance information and method of performing the same | |
Du et al. | An automatic extraction method of cerebrovascular centerline for MRA | |
WO2022203814A1 (en) | Systems and methods for automatic blood vessel extraction | |
CN118967654A (zh) | 一种高危斑块的确定方法、装置、电子设备及存储介质 | |
CN117671387A (zh) | 肺段分类方法、装置、设备及非易失性存储介质 | |
JP2022128173A (ja) | 画像処理装置、画像処理プログラム、画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |