CN114565623A - 肺血管分割方法、装置、存储介质及电子设备 - Google Patents
肺血管分割方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN114565623A CN114565623A CN202210204258.8A CN202210204258A CN114565623A CN 114565623 A CN114565623 A CN 114565623A CN 202210204258 A CN202210204258 A CN 202210204258A CN 114565623 A CN114565623 A CN 114565623A
- Authority
- CN
- China
- Prior art keywords
- image
- vessel segmentation
- pulmonary
- mediastinum
- blood vessel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 482
- 210000001147 pulmonary artery Anatomy 0.000 title claims abstract description 187
- 238000000034 method Methods 0.000 title claims abstract description 47
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 318
- 210000001370 mediastinum Anatomy 0.000 claims abstract description 315
- 230000004927 fusion Effects 0.000 claims abstract description 198
- 210000004072 lung Anatomy 0.000 claims abstract description 152
- 239000011159 matrix material Substances 0.000 claims abstract description 148
- 230000002685 pulmonary effect Effects 0.000 claims abstract description 123
- 238000005457 optimization Methods 0.000 claims abstract description 99
- 230000006870 function Effects 0.000 claims description 36
- 238000012549 training Methods 0.000 claims description 22
- 238000005070 sampling Methods 0.000 claims description 15
- 210000003437 trachea Anatomy 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 8
- 230000004580 weight loss Effects 0.000 claims description 6
- 239000003550 marker Substances 0.000 claims 3
- 238000012545 processing Methods 0.000 abstract description 8
- 208000019693 Lung disease Diseases 0.000 abstract description 3
- 238000002591 computed tomography Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 210000003492 pulmonary vein Anatomy 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 210000004224 pleura Anatomy 0.000 description 4
- 230000002792 vascular Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 210000001367 artery Anatomy 0.000 description 2
- 210000000038 chest Anatomy 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 210000003462 vein Anatomy 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000003123 bronchiole Anatomy 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 210000002808 connective tissue Anatomy 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 210000001365 lymphatic vessel Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004088 pulmonary circulation Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000001562 sternum Anatomy 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/68—Analysis of geometric attributes of symmetry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种肺血管分割方法、装置、存储介质及电子设备,涉及图像处理技术领域。该肺血管分割方法包括:利用肺血管纵隔优化模型,处理待分割肺部三维图像、待分割肺部三维图像对应的第一肺血管分割图像、第一肺血管分割图像对应的纵隔掩膜图像,生成第一纵隔血管分割图像、第一肺血管分割图像对应的第一初始像素融合权重矩阵、第一纵隔血管分割图像对应的第二初始像素融合权重矩阵;基于第一肺血管分割图像、第一纵隔血管分割图像、第一初始像素融合权重矩阵、第二初始像素融合权重矩阵,生成待分割肺部三维图像对应的第二肺血管分割图像。本申请中的肺血管分割方法,使纵隔处的分割结果更准确,进而方便医生对病人进行肺部相关疾病的诊断。
Description
技术领域
本申请涉及医学图像处理技术领域,具体涉及一种肺血管分割方法、装置、存储介质及电子设备。
背景技术
医学图像处理是利用图像视觉的处理方法辅助临床诊断的一个重要技术,因此,近年来,医学图像处理逐渐成为研究热点。医学图像分割是医学图像处理的一个分支,通常需要对人体某一部位的电子计算机断层扫描影像(Computed Tomography,CT)进行分割,以更好地辅助医生进行疾病的诊断和治疗等工作。
以肺部CT影像为例,肺部血管密集、细长,且肺部CT影像通常比较大,一般需要先对肺部CT影像进行切块操作,得到多个肺部切块,再利用深度学习模型对肺部切块进行分割,最后将肺部切块的分割结果重构,得到最终的肺血管分割结果。然而,利用上述方法得到的肺血管分割结果在纵膈处有明显的拼接痕迹,导致最终的肺血管分割结果不平滑,影响医生对肺部相关疾病的诊断。
发明内容
为了解决上述技术问题,提出了本申请。本申请实施例提供了一种肺血管分割方法、装置、存储介质及电子设备。
第一方面,本申请一实施例提供了一种肺血管分割方法,包括:确定待分割肺部三维图像、待分割肺部三维图像对应的第一肺血管分割图像、以及第一肺血管分割图像对应的纵膈掩膜图像;基于待分割肺部三维图像、第一肺血管分割图像和纵膈掩膜图像,利用肺血管纵隔优化模型,生成基于第一肺血管分割图像的第一纵膈血管分割图像、第一肺血管分割图像对应的第一初始像素融合权重矩阵、以及第一纵膈血管分割图像对应的第二初始像素融合权重矩阵;基于第一肺血管分割图像、第一纵膈血管分割图像、第一初始像素融合权重矩阵、以及第二初始像素融合权重矩阵,生成待分割肺部三维图像对应的第二肺血管分割图像。
结合第一方面,在第一方面的某些实现方式中,肺血管纵隔优化模型包括骨干网络和纵膈区域优化模块,基于所述待分割肺部三维图像、第一肺血管分割图像和纵膈掩膜图像,利用肺血管纵隔优化模型,生成基于第一肺血管分割图像的第一纵膈血管分割图像、第一肺血管分割图像对应的第一初始像素融合权重矩阵、以及第一纵膈血管分割图像对应的第二初始像素融合权重矩阵,包括:基于待分割肺部三维图像,利用骨干网络,生成待分割肺部三维图像对应的血管中线;利用纵膈区域优化模块,基于纵隔掩膜图像的纵膈边界信息和第一肺血管分割图像,生成第一纵膈血管分割图像,基于血管中线和第一纵膈血管分割图像,生成第一初始像素融合权重矩阵以及第二初始像素融合权重矩阵。
结合第一方面,在第一方面的某些实现方式中,基于第一肺血管分割图像、第一纵膈血管分割图像、第一初始像素融合权重矩阵、以及第二初始像素融合权重矩阵,生成待分割肺部三维图像对应的第二肺血管分割图像,包括:基于第一肺血管分割图像、第一纵膈血管分割图像、第一初始像素融合权重矩阵、以及第二初始像素融合权重矩阵,利用肺血管纵隔优化模型,生成第二纵膈血管分割图像;利用肺血管纵隔优化模型,基于纵膈掩膜图像的纵隔边界信息,截取第一肺血管分割图像,得到位于纵膈区域包围框外的非纵隔区域血管分割图像;利用肺血管纵隔优化模型,确定第二纵膈血管分割图像相对于非纵隔区域血管分割图像的像素位置信息;利用肺血管纵隔优化模型,基于像素位置信息,将第二纵膈血管分割图像与非纵隔区域血管分割图像重构,生成所述第二肺血管分割图像。
结合第一方面,在第一方面的某些实现方式中,基于第一肺血管分割图像、第一纵膈血管分割图像、第一初始像素融合权重矩阵、以及第二初始像素融合权重矩阵,利用肺血管纵隔优化模型,生成第二纵膈血管分割图像,包括:对第一肺血管分割图像、第一纵膈血管分割图像、第一初始像素融合权重矩阵、第二初始像素融合权重矩阵、以及纵膈掩膜图像分别进行相同上采样,得到上采样肺血管分割图像、上采样纵膈血管分割图像、上采样第一像素融合权重矩阵、上采样第二像素融合权重矩阵、以及上采样纵膈掩膜图像;基于上采样纵膈掩膜图像的纵膈边界信息,截取上采样肺血管分割图像,得到位于纵膈边界包围框内的上采样纵膈血管三维图像;针对上采样纵膈血管分割图像的每个当前像素点,将当前像素点的像素值乘以当前像素点对应的上采样第二像素融合权重矩阵中的融合权重数值,得到第一融合数值;确定上采样纵膈血管三维图像中、与当前像素点对应的匹配像素点;将匹配像素点的像素值乘以匹配像素点对应的上采样第一像素融合权重矩阵中的融合权重数值,得到第二融合数值;将第一融合数值和第二融合数值相加,得到第二纵膈血管分割图像中、与当前像素点对应的像素点的像素值;基于第二纵膈血管分割图像包含的所有像素点各自的像素值,生成第二纵膈血管分割图像。
结合第一方面,在第一方面的某些实现方式中,肺血管纵隔优化模型的损失函数包括动脉与静脉的分类损失函数、气管分割损失函数、血管中线分割损失函数、纵膈区域对应的血管分割损失函数、以及纵膈区域对应的血管融合权重损失函数。
结合第一方面,在第一方面的某些实现方式中,在利用肺血管纵隔优化模型之前,还包括:获取M组训练数据集,每组训练数据集包括待分割肺部三维样本图像、与待分割肺部三维样本图像对应的第一肺血管分割样本图像、与第一肺血管分割样本图像对应的纵膈掩膜样本图像,以及与待分割肺部三维样本图像对应的血管中线标记图像、与所述第一肺血管分割样本图像对应的第一纵膈血管分割样本标记图像、第二纵膈血管分割样本标记图像,M为正整数;基于M组训练数据集,对待训练模型进行训练,得到所述肺血管纵隔优化模型。
结合第一方面,在第一方面的某些实现方式中,第一初始像素融合权重矩阵以及第二初始像素融合权重矩阵对应的模型训练约束条件包括:第二纵膈血管分割样本标记图像的纵膈边界内的血管与第一纵膈血管分割样本标记图像的纵膈边界内的血管相同、第二纵膈血管分割样本标记图像的纵膈边界外的血管与第一肺血管分割样本图像的纵膈边界外的血管相同确定的。
第二方面,本申请一实施例提供了一种肺血管分割装置,包括:确定模块,用于确定待分割肺部三维图像、待分割肺部三维图像对应的第一肺血管分割图像、以及第一肺血管分割图像对应的纵膈掩膜图像;第一生成模块,用于基于待分割肺部三维图像、第一肺血管分割图像和纵膈掩膜图像,利用肺血管纵隔优化模型,生成基于第一肺血管分割图像的第一纵膈血管分割图像、第一肺血管分割图像对应的第一初始像素融合权重矩阵、以及第一纵膈血管分割图像对应的第二初始像素融合权重矩阵;第二生成模块,用于基于第一肺血管分割图像、第一纵膈血管分割图像、第一初始像素融合权重矩阵、以及第二初始像素融合权重矩阵,生成待分割肺部三维图像对应的第二肺血管分割图像。
第三方面,本申请一实施例提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序用于执行上述第一方面提及的肺血管分割方法。
第四方面,本申请一实施例提供了一种电子设备,该电子设备包括:处理器;用于存储处理器可执行指令的存储器;该处理器用于执行上述第一方面提及的肺血管分割方法。
本申请提供的肺血管分割方法,首先确定待分割肺部三维图像、待分割肺部三维图像对应的第一肺血管分割图像、第一肺血管分割图像对应的纵隔掩膜图像,将待分割肺部三维图像、第一肺血管分割图像、纵隔掩膜图像作为肺血管纵隔优化模型的输入,肺血管纵隔优化模型生成第一肺血管分割图像对应的第一纵隔血管分割图像、第一肺血管分割图像对应的第一初始像素融合权重矩阵、第一纵隔血管分割图像对应的第二初始像素融合权重矩阵,其中,第一纵隔血管分割图像的纵隔血管分割精度大于第一肺血管分割图像的纵隔血管分割精度。肺血管纵隔优化模型再根据第一肺血管分割图像、第一纵隔血管分割图像、第一初始像素融合权重矩阵、第二初始像素融合权重矩阵,输出第二肺血管分割图像。在本申请实施例中,肺血管纵隔优化模型通过将第一肺血管分割图像和第一纵隔血管分割图像按一定的权重进行融合,最终输出纵隔处血管分割结果更加准确、美观的第二肺血管分割图像,进而更好地辅助医生进行肺部相关疾病的诊断。此外,该方案只需提前确定待分割肺部三维图像、第一肺血管分割图像、纵隔掩膜图像,再利用肺血管纵隔优化模型,即可获取纵隔优化后的第二肺血管分割图像,简单方便、可操作性强。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1所示为本申请实施例所适用的一场景示意图。
图2所示为本申请一示例性实施例提供的肺血管分割方法的流程示意图。
图3为本申请一示例性实施例提供的第一肺血管分割图像的示意图。
图4所示为本申请一示例性实施例提供的生成第一纵隔血管分割图像、第一初始像素融合权重矩阵、第二初始像素融合权重矩阵的流程示意图。
图5所示为本申请一示例性实施例提供的生成待分割肺部三维图像对应的第二肺血管分割图像的流程示意图。
图6所示为本申请一示例性实施例提供的第二肺血管分割图像的示意图。
图7所示为本申请一示例性实施例提供的利用肺血管纵隔优化模型,生成第二纵膈血管分割图像的流程示意图。
图8所示为本申请另一示例性实施例提供的肺血管分割方法的流程示意图。
图9所示为本申请一示例性实施例提供的肺血管纵隔优化模型的结构示意图。
图10所示为本申请一示例性实施例提供的肺血管分割装置的结构示意图。
图11所示为本申请一示例性实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
CT(Computed Tomography),即电子计算机断层扫描,其是利用精确准直的X线束、γ射线、超声波等,与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描,具有扫描时间快,图像清晰等特点,可用于多种疾病的检查。
肺包括五个肺叶,分别为左肺上叶、左肺下叶、右肺上叶、右肺中叶、右肺下叶。每个肺叶之间有脏层胸膜相阻断,以此形成各自独立的肺叶,不同的肺叶还可通过脏层胸膜相互进行物质传输。每个肺叶都是由肺泡、毛细支气管、淋巴管和血管组成。肺血管分为肺动脉血管和肺静脉血管两部分,肺动脉血管和肺静脉血管构成肺循环系统,接受全身各器官的静脉回心血,并在肺内完成气体交换。
纵膈,左右纵膈胸膜之间的器官、结构和结缔组织的总称。纵膈呈矢状位,位于胸腔正中偏左,上窄下宽,前短后长。纵隔的前界为胸骨,后界为脊柱胸段,两侧为纵隔胸膜,上界是胸廓上口,下界是膈。正常情况下,纵隔位置较固定。
肺部血管分割对于医生进行疾病诊断有非常重要的意义,常用的肺血管分割方法通常是使用深度学习模型对肺部CT图像直接进行分割,但是肺部血管较密且长,而肺窗CT通常较大,当对肺部CT图像进行下采样再分割时,会降低图像的分辨率,导致血管大量断开。而通过将肺部CT图像进行切块再分割的方法,还需要对切块的分割结果进行拼接,进而产生很多拼接痕迹,这些拼接痕迹在纵膈处尤其明显,从而导致分割结果不准确、不美观,影响医生对肺部相关疾病的判断。
图1所示为本申请实施例所适用的一场景示意图。该场景包括图像采集设备110和计算机设备120。计算机设备120与图像采集设备110之间存在通信连接关系。通信连接可以是有线连接,也可以是无线连接。
具体而言,图像采集设备110用于采集初始肺部三维图像,图像采集设备110可以是CT扫描仪、X线机,也可以是其它具有图像采集功能的设备,只要是可以采集肺部图像即可,本申请对图像采集设备1的结构不做具体限定。
计算机设备120用于接收图像采集设备110采集的初始肺部三维图像,并基于初始肺部三维图像生成待分割肺部三维图像、待分割肺部三维图像对应的第一肺血管分割图像、以及第一肺血管分割图像对应的纵膈掩膜图像,并基于第一肺血管分割图像、第一纵膈血管分割图像、第一初始像素融合权重矩阵、以及第二初始像素融合权重矩阵,生成待分割肺部三维图像对应的第二肺血管分割图像。计算机设备120可以是通用性计算机或者由专用的集成电路组成的计算机装置等,本申请对此不做限定。例如,计算机设备120可以是平板电脑等移动终端设备、也可以是个人计算机,且计算机设备120的数量可以为一个或多个,其类型可以相同或不同,本申请实施例对计算机设备120的数量和类型不做限定。
图2所示为本申请一示例性实施例提供的肺血管分割方法的流程示意图。如图2所示,本申请实施例提供的肺血管分割方法包括如下步骤。
步骤10,确定待分割肺部三维图像、待分割肺部三维图像对应的第一肺血管分割图像、以及第一肺血管分割图像对应的纵膈掩膜图像。
具体地,待分割肺部三维图像可以为待分割肺部CT图像。
示例性地,获取初始肺部三维图像,对初始肺部三维图像进行下采样,得到待分割肺部三维图像,将待分割肺部三维图像输入肺分割模型,生成左右肺分割图像,其中左右肺分割图像仅含肺部区域。将左右肺分割图像输入肺血管分割模型,肺血管分割模型首先对左右肺分割图像进行切块,再对左右肺分割切块图像进行肺血管分割,生成左右肺分割切块图像对应的切块分割结果,再将左右肺分割切块图像对应的切块结果进行重构,输出左右肺分割图像对应的肺血管三维图像。将肺血管三维图像切分成左肺血管三维图像和右肺血管三维图像,并将左肺血管三维图像和右肺血管三维图像输入血管分类模型,血管分类模型输出左肺血管三维图像对应的左肺动静脉血管分类图像、右肺血管三维图像对应的右肺动静脉血管分类图像,再将左肺动静脉血管分类图像和右肺动静脉血管分类图像重构,得到第一肺血管分割图像。如图3所示,为第一肺血管分割图像的示意图,其中第一肺血管分割图像中的动脉血管和静脉血管以不同的灰度值区别示出。
对第一肺血管分割图像中的血管进行距离变换,即将血管从里至外分为P个单元距离,预设距离阈值为Q,P和Q为正整数,Q<P,基于预设的距离阈值Q,确定纵隔区域。示例性地,P取15,Q取3,即将第一肺血管分割图像中的动静脉血管从里至外分为15个单元距离,设最外层为1,最里层为10,则将大于或等于3个单元距离的区域作为初始纵隔区域。可以理解,本实施例中P和Q的取值仅为示例,本领域技术人员可根据实际需要选择P和Q的数值,本申请实施例对P和Q的取值不做具体限定。
根据第一肺血管分割图像中的纵隔边界信息,确定限定区域,并设置生长步长和生长步数。根据限定区域、生长步长和生长步数,对初始纵隔区域进行生长,得到纵隔掩膜图像。其中,限定区域比第一肺血管分割图像中的纵隔区域大,即纵隔掩膜图像中的纵隔区域比第一肺血管分割图像中的纵隔区域大,如此,纵隔掩膜图像除了纵隔区域血管,还包括较多的纵隔区域外的小血管,可以进一步提高肺血管纵隔优化模型输出的第二肺血管分割图像的血管分割精度。
可以理解,在本申请实施例中,待分割肺部三维图像、第一肺血管分割图像、纵隔掩膜图像都是经过下采样后的图像。
步骤40,基于待分割肺部三维图像、第一肺血管分割图像和纵膈掩膜图像,利用肺血管纵隔优化模型,生成基于第一肺血管分割图像的第一纵膈血管分割图像、第一肺血管分割图像对应的第一初始像素融合权重矩阵、以及第一纵膈血管分割图像对应的第二初始像素融合权重矩阵。
具体地,将待分割肺部三维图像、第一肺血管分割图像和纵隔掩膜图像输入肺血管纵隔优化模型,肺血管纵隔优化模型会生成第一肺血管分割图像对应的第一纵隔血管分割图像、第一肺血管分割图像对应的第一初始像素融合权重矩阵、以及第一纵隔血管分割图像对应的第二初始像素融合权重矩阵。
其中,第一肺血管分割图像上的像素点与第一初始像素融合权重矩阵中的数值是一一对应关系,例如,第一肺血管分割图像(100,100,100)位置处的像素点对应第一初始像素融合权重矩阵(100,100,100)处的融合权重数值。相应地,第一纵隔血管分割图像上的像素点与第二初始像素融合权重矩阵中的数值也为一一对应关系,例如,第一纵隔血管分割图像(60,60,60)位置处的像素点对应第二初始像素融合权重矩阵中(60,60,60)位置处的融合权重数值。
步骤50,基于第一肺血管分割图像、第一纵膈血管分割图像、第一初始像素融合权重矩阵、以及第二初始像素融合权重矩阵,生成待分割肺部三维图像对应的第二肺血管分割图像。
具体地,肺血管纵隔优化模型根据第一肺血管分割图像、第一纵隔血管分割图像、第一初始像素融合权重矩阵、第二初始像素融合权重矩阵,输出与待分割肺部三维图像对应的第二肺血管分割图像。其中,第二肺血管分割图像的分割精度、准确度均大于第一肺血管分割图像。
在本申请实施例中,基于第一肺血管分割图像及其对应的第一初始像素融合权重矩阵、第一纵隔血管分割图像及其对应的第二初始像素融合权重矩阵,生成了第二肺血管分割图像,即第二肺血管分割图像是融合了第一纵隔血管分割图像和第一肺血管分割图像得到的,使得第二肺血管分割图像的精度更高,可更好地辅助医生进行肺部相关疾病的诊断。然后,本申请使用待分割肺部三维图像、第一肺血管分割图像、纵隔掩膜图像作为肺血管纵隔优化模型的输入,肺血管纵隔优化模型直接输出第二肺血管分割图像,该方法简单、方便、可重复性高、可操作性强。
图4所示为本申请一示例性实施例提供的生成第一纵隔血管分割图像、第一初始像素融合权重矩阵、第二初始像素融合权重矩阵的流程示意图。在图2所示实施例的基础上延伸出图4所示实施例,下面着重叙述图4所示实施例与图2所示实施例的不同之处,相同之处不再赘述。
如图4所示,基于待分割肺部三维图像、第一肺血管分割图像和纵膈掩膜图像,利用肺血管纵隔优化模型,生成基于第一肺血管分割图像的第一纵膈血管分割图像、第一肺血管分割图像对应的第一初始像素融合权重矩阵、以及第一纵膈血管分割图像对应的第二初始像素融合权重矩阵,包括如下步骤。
步骤42,基于待分割肺部三维图像,利用骨干网络,生成待分割肺部三维图像对应的血管中线。
具体地,肺血管纵隔优化模型包括骨干网络和纵隔区域优化模块,将待分割肺部三维图像、第一肺血管分割图像、纵隔掩膜图像输入肺血管纵隔优化模型中,骨干网络首先对待分割肺部三维图像进行处理,生成待分割肺部三维图像对应的血管中线,此外,还会生成待分割肺部三维图像对应的气管。
进一步地,骨干网络主要是对输入到肺血管纵隔优化模型中的图像进行特征提取,纵隔区域优化模块根据主干网络提取到的特征生成纵隔区域的优化图像。
步骤44,利用纵膈区域优化模块,基于纵隔掩模图像的纵膈边界信息和第一肺血管分割图像,生成第一纵膈血管分割图像。
具体地,利用纵隔区域优化模块,根据纵隔掩模图像的纵隔边界信息,从第一肺血管分割图像上截取纵隔区域外接包围框的内部区域作为待分割纵隔血管图像,纵隔区域优化模块再对待分割纵隔血管图像进行进一步分割,生成第一纵隔血管分割图像。
进一步地,纵隔区域外接包围框是指纵隔区域的最小外接立方体。
步骤46,基于血管中线和第一纵膈血管分割图像,生成第一初始像素融合权重矩阵以及第二初始像素融合权重矩阵。
具体地,第一纵隔血管分割图像包括纵隔边界内的血管分割结果和纵隔边界外的血管分割结果,纵隔边界外的血管分割结果中细血管占比较大,而纵隔边界内的纵隔血管分割结果通常较粗,故通过肺血管纵隔优化模型内部中的注意力机制,使纵隔区域优化模块多关注纵隔边界外的血管中线,并根据第一纵隔血管分割图像的血管分割结果、以及第一肺血管分割图像上纵隔区域外接包围框内的纵隔血管分割结果,生成第一初始像素融合权重矩阵、第二初始像素融合权重矩阵。
在本申请实施例中,首先应用骨干网络生成待分割肺部三维图像对应的血管中线和气管,其中纵隔区域优化模块可以利用纵隔区域优化模块内的注意力机制,加大第一纵隔血管分割图像中纵隔边界外的血管中线、以及第一肺血管分割图像中纵隔区域外接包围框内的、纵隔边界外的血管中线的权重,并学习在纵隔区域优化模块内的第一纵隔血管分割图像、第一肺血管分割图像,生成更为准确的第一初始像素融合权重矩阵、第二初始像素融合权重矩阵。同时,骨干网络首先分割出气管,也进一步降低了纵隔区域优化模块在分割第一肺血管分割图像时,将气管误分割为血管的概率,提高了第一纵隔血管分割图像中纵隔血管的分割精度。
图5所示为本申请一示例性实施例提供的生成待分割肺部三维图像对应的第二肺血管分割图像的流程示意图。在图2所示实施例的基础上延伸出图5所示实施例,下面着重叙述图5所示实施例与图2所示实施例的不同之处,相同之处不再赘述。
如图5所示,基于第一肺血管分割图像、第一纵膈血管分割图像、第一初始像素融合权重矩阵、以及第二初始像素融合权重矩阵,生成待分割肺部三维图像对应的第二肺血管分割图像,包括如下步骤。
步骤52,基于第一肺血管分割图像、第一纵膈血管分割图像、第一初始像素融合权重矩阵、以及第二初始像素融合权重矩阵,利用肺血管纵隔优化模型,生成第二纵膈血管分割图像。
具体地,肺血管纵隔优化模型根据第一肺血管分割图像、第一纵隔血管分割图像、第一初始像素融合权重矩阵、第二初始像素融合权重矩阵,输出第二纵隔血管分割图像。
步骤54,利用肺血管纵隔优化模型,基于纵膈掩膜图像的纵隔边界信息,截取第一肺血管分割图像,得到位于纵膈区域包围框外的非纵隔区域血管分割图像。
具体地,肺血管纵隔优化模型,根据纵隔掩膜图像的纵隔边界信息,截取第一肺血管分割图像中的纵隔区域外接外围框外的非纵隔区域血管分割图像。
步骤56,利用肺血管纵隔优化模型,确定第二纵膈血管分割图像相对于非纵隔区域血管分割图像的像素位置信息。
具体地,利用肺血管纵隔优化模型,确定第二纵隔血管图像在非纵隔区域血管分割图像上的像素位置信息。
步骤58,利用肺血管纵隔优化模型,基于像素位置信息,将第二纵膈血管分割图像与非纵隔区域血管分割图像重构,生成第二肺血管分割图像。
具体地,根据像素位置信息,肺血管纵隔优化模型将第二纵隔血管分割图像与非纵隔区域血管分割图像拼接在一起,生成第二肺血管分割图像。
图6所示为第二肺血管分割图像的示意图,可以看出,第二肺血管分割图像中的纵隔区域的分割结果比图3中第一肺血管分割图像中的纵隔区域的分割结果更为平滑、准确。
通过本实施例中的技术方案,获取了分割精度更高、更准确的第二纵隔血管分割图像,再根据第二纵隔血管图像相对于非纵隔区域血管分割图像的像素位置信息,将第二纵隔血管分割图像和非纵隔区域血管分割图像进行拼接,生成第二肺血管分割图像。第二肺血管分割图像的纵隔区域的分割精度更好、分割结果更平滑,有利于医生进行肺部相关疾病的诊断。
图7所示为本申请一示例性实施例提供的利用肺血管纵隔优化模型,生成第二纵膈血管分割图像的流程示意图。在图5所示实施例的基础上延伸出图7所示实施例,下面着重叙述图7所示实施例与图5所示实施例的不同之处,相同之处不再赘述。
如图7所示,基于第一肺血管分割图像、第一纵膈血管分割图像、第一初始像素融合权重矩阵、以及第二初始像素融合权重矩阵,利用肺血管纵隔优化模型,生成第二纵膈血管分割图像,包括如下步骤。
步骤581,对第一肺血管分割图像、第一纵膈血管分割图像、第一初始像素融合权重矩阵、第二初始像素融合权重矩阵、以及纵膈掩膜图像分别进行相同上采样,得到上采样肺血管分割图像、上采样纵膈血管分割图像、上采样第一像素融合权重矩阵、上采样第二像素融合权重矩阵、以及上采样纵膈掩膜图像。
具体地,可以使用插值法对第一肺血管分割图像、第一纵隔血管分割图像、第一初始像素融合权重矩阵、第二初始像素融合权重矩阵、纵隔掩膜图像进行相同的上采样,得到的上采样肺血管分割图像、上采样纵隔血管分割图像、上采样纵隔掩膜图像的分辨率可与初始肺部三维图像的分辨率相同,或者比初始肺部三维图像的分辨率大。
进一步地,对第一肺血管分割图像、第一纵膈血管分割图像、第一初始像素融合权重矩阵、第二初始像素融合权重矩阵、以及纵膈掩膜图像分别进行相同上采样是指使用插值法对第一肺血管分割图像、第一纵隔血管分割图像、纵隔掩膜图像进行上采样后,使得上采样肺血管分割图像、上采样纵隔血管分割图像、上采样纵隔掩膜图像的分辨率相同;以及对第一初始像素融合权重矩阵进行与第一肺血管分割图像对应的的上采样、对第二初始像素融合权重矩阵进行与第一纵隔血管分割图像对应的上采样,保证上采样肺血管分割图像中的所有像素点与上采样第一像素融合权重矩阵的融合权重数值是一一对应的、以及上采样纵膈血管分割图像中的所有像素点与上采样第二像素融合权重矩阵中的融合权重数值是一一对应的。
上采样肺血管分割图像上的像素点与上采样第一像素融合权重矩阵中数值是一一对应关系,上采样纵隔血管分割图像上的像素点与上采样第二像素融合权重矩阵中的数值是一一对应关系。
步骤582,基于上采样纵膈掩膜图像的纵膈边界信息,截取上采样肺血管分割图像,得到位于纵膈边界包围框内的上采样纵膈血管三维图像。
具体地,根据上采样纵隔掩膜图像的纵隔边界信息,获取上采样肺血管分割图像上纵隔区域外接包围框内的上采样纵隔血管三维图像。
步骤583,针对上采样纵膈血管分割图像的每个当前像素点,将当前像素点的像素值乘以当前像素点对应的上采样第二像素融合权重矩阵中的融合权重数值,得到第一融合数值。
例如,上采样纵隔血管分割图像包含a×b×c个像素点,对应地,上采样第二像素融合权重矩阵为a×b×c。依次地,将上采样纵隔血管分割图像上(1,1,1)位置处的像素点的像素值乘以上采样第二像素融合权重矩阵中(1,1,1)位置处的融合权重数值,得到第一融合数值W1,……,上采样纵隔血管分割图像上(a,b,c)位置处的像素点的像素值乘以上采样第二像素融合权重矩阵中(a,b,c)位置处的融合权重数值,得到第一融合权重数值Wn。
步骤584,确定上采样纵膈血管三维图像中、与当前像素点对应的匹配像素点。
具体地,上采样纵隔血管三维图像中的像素点与上采样纵隔血管分割图像中的像素点是一一对应关系,也即若上采样纵隔血管分割图像包含a×b×c个像素点,上采样纵隔血管三维图像也包含a×b×c个像素点。示例性地,上采样纵隔血管分割图像上(1,1,1)位置处的像素点对应上采样纵隔血管三维图像上(1,1,1)位置处的像素点,上采样纵隔血管分割图像上(a,b,c)位置处的像素点对应上采样纵隔血管三维图像上(a,b,c)位置处的像素点。
步骤585,将匹配像素点的像素值乘以匹配像素点对应的上采样第一像素融合权重矩阵中的融合权重数值,得到第二融合数值。
具体地,上采样纵隔血管三维图像上的像素点与上采样第一像素融合权重矩阵中的融合权重数值是一一对应关系。例如,若匹配像素点的位置为(1,1,1),则将上采样纵隔血管三维图像上(1,1,1)位置处的像素点的像素值乘以上采样第一像素融合权重矩阵中(1,1,1)位置处的融合权重数值,得到第二融合数值W1。若匹配像素点的位置为(a,b,c),则将上采样纵隔血管三维图像上(a,b,c)位置处的像素点的像素值乘以上采样第一像素融合权重矩阵中(a,b,c)位置处的融合权重数值,得到第二融合数值Wn。
步骤586,将第一融合数值和第二融合数值相加,得到第二纵膈血管分割图像中、与当前像素点对应的像素点的像素值。
示例性地,将第一融合数值W1和第二融合数值W1相加,得到第二纵隔血管分割图像中(1,1,1)位置处的像素点的像素值。将第一融合数值Wn和第二融合数值Wn相加,得到第二纵隔血管分割图像中(a,b,c)位置处的像素点的像素值。
步骤587,基于第二纵膈血管分割图像包含的所有像素点各自的像素值,生成第二纵膈血管分割图像。
在本申请实施例中,第二纵隔血管分割图像中的像素点的像素值是基于上采样纵隔血管分割图像上对应像素点处的第一融合数值和上采样纵隔血管三维图像上对应像素点处的第二融合数值相加后得到的,即第二纵隔血管分割图像的血管分割结果融合了上采样纵隔血管分割图像的血管分割结果和上采样纵隔血管三维图像的血管分割结果,得到的第二纵隔血管分割图像的血管分割精度更高、更平滑。此外,第一肺血管分割图像、第一纵隔血管分割图像、纵隔掩膜图像都是经过下采样的图像,此时,图像的分辨率低,可能会导致在计算第一融合数值和第二融合数值时,肺血管纵隔优化模型忽略一部分细小的血管,进而导致生成的第二纵隔血管分割图像上存在断开的细小血管。对第一肺血管分割图像、第一纵膈血管分割图像、第一初始像素融合权重矩阵、第二初始像素融合权重矩阵、以及纵膈掩膜图像分别进行相同上采样,得到上采样肺血管分割图像、上采样纵膈血管分割图像、上采样第一像素融合权重矩阵、上采样第二像素融合权重矩阵、以及上采样纵膈掩膜图像后再进行权重相乘,可以增大上采样纵隔血管三维图像、上采样纵隔血管分割图像的血管分辨率,提高生成的第二纵隔血管分割图像的血管分割精度。
在本申请一实施例中,肺血管纵隔优化模型的损失函数包括动脉与静脉的分类损失函数、气管分割损失函数、血管中线分割损失函数、纵膈区域对应的血管分割损失函数、以及纵膈区域对应的血管融合权重损失函数。
具体地,肺血管纵隔优化模型包括静脉与动脉的分类损失函数,静脉与气管的分类损失函数,动脉与气管的分类损失函数,这三个分类损失函数可以使肺血管纵隔优化模型的动静脉区分度更大,不易使动静脉串色。
进一步地,肺血管纵隔优化模型还包括气管分割损失函数、血管中线分割损失函数,以使肺血管纵隔优化模型在分割时区分血管和气管,并将血管中线分割出来。
此外,肺血管纵隔优化模型还包括纵隔区域对应的血管分割损失函数,可将第一肺血管分割图像中位于纵隔区域外接包围框内部的纵隔区域血管进行二次分割,得到第一纵隔血管分割图像。
纵膈区域对应的血管融合权重损失函数包括血管在纵隔边界内部计算与第一纵隔血管分割图像的血管分割,在纵隔边界外部计算与第一肺血管分割图像的血管分割,即肺血管纵隔优化模型希望自己输出的第二纵隔血管分割图像的纵隔边界内的血管分割结果与第一纵隔血管分割图像的纵隔边界内的血管分割结果相同、第二纵隔血管分割图像的纵隔边界外的血管分割结果与第一肺血管分割图像的纵隔边界外的血管分割结果相同。纵膈区域对应的血管融合权重损失函数还包括在纵隔边界外部计算与血管中线的分割,使肺血管纵隔优化模型更多地关注纵隔边界外部的小血管。
图8所示为本申请另一示例性实施例提供的肺血管分割方法的流程示意图。在图2所示实施例的基础上延伸出图8所示实施例,下面着重叙述图8所示实施例与图2所示实施例的不同之处,相同之处不再赘述。
如图8所示,在利用肺血管纵隔优化模型之前,还包括如下步骤。
步骤20,获取M组训练数据集,每组训练数据集包括样本图像、以及与样本图像对应的标记图像,样本图像包括待分割肺部三维样本图像、与待分割肺部三维样本图像对应的第一肺血管分割样本图像、与第一肺血管分割样本图像对应的纵膈掩膜样本图像,标记图像包括与待分割肺部三维图像对应的血管中线标记图像、与第一肺血管分割样本图像对应的第一纵膈血管分割样本标记图像、第二纵膈血管分割样本标记图像,M为正整数。
步骤30,基于M组训练数据集,对待训练模型进行训练,得到肺血管纵隔优化模型。
可以理解,待训练模型为预先建立的神经网络模型,待训练模型和肺血管纵隔优化模型在于模型参数的差别,即用M组训练数据集训练调整待训练模型的模型参数,进而得到收敛的肺血管纵隔优化模型。
在本申请实施例中,通过获取的M组训练数据集,对待训练模型进行训练,得到肺血管纵隔优化模型,可使肺血管纵隔优化模型准确输出血管中线、气管,分割出第一纵隔血管分割图像、第二纵隔血管分割图像。
在本申请一实施例中,第一初始像素融合权重矩阵以及第二初始像素融合权重矩阵对应的模型训练约束条件包括:第二纵膈血管分割样本标记图像的纵膈边界内的血管与第一纵膈血管分割样本标记图像的纵膈边界内的血管相同、第二纵膈血管分割样本标记图像的纵膈边界外的血管与第一肺血管分割样本图像的纵膈边界外的血管相同确定的。
具体地,在训练肺血管纵隔优化模型时,第二纵隔血管分割样本标记图像的纵隔边界内的血管与第一纵隔血管分割样本的纵隔边界的血管趋于相同,第二纵隔血管分割样本标记图像的纵隔边界外的血管与第一肺血管分割样本的相应位置处的纵隔边界外的血管趋于相同,此外,利用肺血管纵隔优化模型中的注意力机制,在纵隔边界外部计算与血管中线的分割,使肺血管纵隔优化模型更多关注纵隔边界外的血管融合权重,基于上述,生成第一初始像素融合权重矩阵、第二初始像素融合权重矩阵,以保证第一肺血管分割图像的纵隔边界外接包围框内部的血管分割结果可以与第一纵隔血管分割图像的血管分割结果更好、更准确地融合,生成分割精度更高、纵隔边界处更平滑的第二纵隔血管分割图像。
图9所示为本申请一示例性实施例提供的肺血管纵隔优化模型的结构示意图。
如图9所示,肺血管纵隔优化模型包括骨干网络和纵隔区域优化模块,肺血管纵隔优化模型的三个输入为待分割肺部三维图像、待分割肺部三维图像对应的第一肺血管分割图像、第一肺血管分割图像对应的纵隔掩膜图像。骨干网络根据待分割肺部三维图像分割出对应的血管中线和气管后,待分割肺部三维图像、第一肺血管分割图像、纵隔掩膜图像再输入到纵隔区域优化模块,纵隔区域优化模块生成第一纵隔血管分割图像、第一初始像素融合权重矩阵、第二初始像素融合权重矩阵,再根据第一纵隔血管分割图像、第一初始像素融合权重矩阵、第二初始像素融合权重矩阵、以及第一肺血管分割图像生成第二纵隔血管分割图像。
上文结合图2至图9,详细描述了本申请的肺血管分割方法实施例,下面结合图10,详细描述本申请的肺血管分割装置实施例。应理解,肺血管分割方法实施例的描述与肺血管分割装置实施例的描述相互对应,因此,未详细描述的部分可以参见前面方法实施例。
图10所示为本申请一示例性实施例提供的肺血管分割装置的结构示意图。如图10所示,本申请实施例提供的肺血管分割装置包括:确定模块1010,用于确定待分割肺部三维图像、所述待分割肺部三维图像对应的第一肺血管分割图像、以及所述第一肺血管分割图像对应的纵膈掩膜图像;第一生成模块1020,用于基于所述待分割肺部三维图像、所述第一肺血管分割图像和所述纵膈掩膜图像,利用肺血管纵隔优化模型,生成基于所述第一肺血管分割图像的第一纵膈血管分割图像、所述第一肺血管分割图像对应的第一初始像素融合权重矩阵、以及所述第一纵膈血管分割图像对应的第二初始像素融合权重矩阵;第二生成模块1030,用于基于所述第一肺血管分割图像、所述第一纵膈血管分割图像、所述第一初始像素融合权重矩阵、以及所述第二初始像素融合权重矩阵,生成所述待分割肺部三维图像对应的第二肺血管分割图像。
在本申请一实施例中,第一生成模块1020还用于,基于待分割肺部三维图像,利用骨干网络,生成待分割肺部三维图像对应的血管中线;利用纵膈区域优化模块,基于纵隔掩膜图像的纵膈边界信息和第一肺血管分割图像,生成第一纵膈血管分割图像,基于血管中线和第一纵膈血管分割图像,生成第一初始像素融合权重矩阵以及第二初始像素融合权重矩阵。
在本申请一实施例中,第二生成模块1030还用于,基于第一肺血管分割图像、第一纵膈血管分割图像、第一初始像素融合权重矩阵、以及第二初始像素融合权重矩阵,利用肺血管纵隔优化模型,生成第二纵膈血管分割图像;利用肺血管纵隔优化模型,基于纵膈掩膜图像的纵隔边界信息,截取第一肺血管分割图像,得到位于纵膈区域包围框外的非纵隔区域血管分割图像;利用肺血管纵隔优化模型,确定第二纵膈血管分割图像相对于非纵隔区域血管分割图像的像素位置信息;利用肺血管纵隔优化模型,基于像素位置信息,将第二纵膈血管分割图像与非纵隔区域血管分割图像重构,生成所述第二肺血管分割图像。
在本申请一实施例中,第二生成模块1030还用于,对第一肺血管分割图像、第一纵膈血管分割图像、第一初始像素融合权重矩阵、第二初始像素融合权重矩阵、以及纵膈掩膜图像分别进行相同上采样,得到上采样肺血管分割图像、上采样纵膈血管分割图像、上采样第一像素融合权重矩阵、上采样第二像素融合权重矩阵、以及上采样纵膈掩膜图像;基于上采样纵膈掩膜图像的纵膈边界信息,截取上采样肺血管分割图像,得到位于纵膈边界包围框内的上采样纵膈血管三维图像;针对上采样纵膈血管分割图像的每个当前像素点,将当前像素点的像素值乘以当前像素点对应的上采样第二像素融合权重矩阵中的融合权重数值,得到第一融合数值;确定上采样纵膈血管三维图像中、与当前像素点对应的匹配像素点;将匹配像素点的像素值乘以匹配像素点对应的上采样第一像素融合权重矩阵中的融合权重数值,得到第二融合数值;将第一融合数值和第二融合数值相加,得到第二纵膈血管分割图像中、与当前像素点对应的像素点的像素值;基于第二纵膈血管分割图像包含的所有像素点各自的像素值,生成第二纵膈血管分割图像。
在本申请一实施例中,肺血管纵隔优化模型的损失函数包括动脉与静脉的分类损失函数、气管分割损失函数、血管中线分割损失函数、纵膈区域对应的血管分割损失函数、以及纵膈区域对应的血管融合权重损失函数。
在本申请一实施例中,第一生成模块1020还用于,获取M组训练数据集,每组训练数据集包括样本图像、以及与样本图像对应的标记图像,样本图像包括待分割肺部三维样本图像、与待分割肺部三维样本图像对应的第一肺血管分割样本图像、与第一肺血管分割样本图像对应的纵膈掩膜样本图像,标记图像包括与待分割肺部三维图像对应的血管中线标记图像、与第一肺血管分割样本图像对应的第一纵膈血管分割样本标记图像、第二纵膈血管分割样本标记图像,M为正整数;基于M组训练数据集,对待训练模型进行训练,得到所述肺血管纵隔优化模型。
在本申请一实施例中,第一初始像素融合权重矩阵以及第二初始像素融合权重矩阵对应的模型训练约束条件包括:第二纵膈血管分割样本标记图像的纵膈边界内的血管与第一纵膈血管分割样本标记图像的纵膈边界内的血管相同、第二纵膈血管分割样本标记图像的纵膈边界外的血管与第一肺血管分割样本图像的纵膈边界外的血管相同确定的。
下面,参考图11来描述根据本申请实施例的电子设备。图11所示为本申请一示例性实施例提供的电子设备的结构示意图。
如图11所示,电子设备1100包括一个或多个处理器1101和存储器1102。
处理器1101可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备1100中的其他组件以执行期望的功能。
存储器1102可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器1101可以运行所述程序指令,以实现上文所述的本申请的各个实施例的肺血管分割方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如包括待分割肺部三维图像、待分割肺部三维图像对应的第一肺血管分割图像、以及第一肺血管分割图像对应的纵膈掩膜图像等各种内容。
在一个示例中,电子设备1100还可以包括:输入装置1103和输出装置1104,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置1103可以包括例如键盘、鼠标等等。
该输出装置1104可以向外部输出各种信息,包括第一肺血管分割图像的第一纵膈血管分割图像、第一肺血管分割图像对应的第一初始像素融合权重矩阵、第一纵膈血管分割图像对应的第二初始像素融合权重矩阵、以及待分割肺部三维图像对应的第二肺血管分割图像等。该输出装置1104可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图11中仅示出了该电子设备1100中与本申请有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备1100还可以包括任何其他适当的组件。
除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述描述的根据本申请各种实施例的肺血管分割方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述描述的根据本申请各种实施例的肺血管分割方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种肺血管分割方法,其特征在于,包括:
确定待分割肺部三维图像、所述待分割肺部三维图像对应的第一肺血管分割图像、以及所述第一肺血管分割图像对应的纵膈掩膜图像;
基于所述待分割肺部三维图像、所述第一肺血管分割图像和所述纵膈掩膜图像,利用肺血管纵隔优化模型,生成基于所述第一肺血管分割图像的第一纵膈血管分割图像、所述第一肺血管分割图像对应的第一初始像素融合权重矩阵、以及所述第一纵膈血管分割图像对应的第二初始像素融合权重矩阵;
基于所述第一肺血管分割图像、所述第一纵膈血管分割图像、所述第一初始像素融合权重矩阵、以及所述第二初始像素融合权重矩阵,生成所述待分割肺部三维图像对应的第二肺血管分割图像。
2.根据权利要求1所述的肺血管分割方法,其特征在于,所述肺血管纵隔优化模型包括骨干网络和纵膈区域优化模块,所述基于所述待分割肺部三维图像、所述第一肺血管分割图像和所述纵膈掩膜图像,利用肺血管纵隔优化模型,生成基于所述第一肺血管分割图像的第一纵膈血管分割图像、所述第一肺血管分割图像对应的第一初始像素融合权重矩阵、以及所述第一纵膈血管分割图像对应的第二初始像素融合权重矩阵,包括:
基于所述待分割肺部三维图像,利用所述骨干网络,生成所述待分割肺部三维图像对应的血管中线;
利用所述纵膈区域优化模块,
基于所述纵隔掩膜图像的纵膈边界信息和所述第一肺血管分割图像,生成第一纵膈血管分割图像,
基于所述血管中线和所述第一纵膈血管分割图像,生成所述第一初始像素融合权重矩阵以及所述第二初始像素融合权重矩阵。
3.根据权利要求1所述的肺血管分割方法,其特征在于,所述基于所述第一肺血管分割图像、所述第一纵膈血管分割图像、所述第一初始像素融合权重矩阵、以及所述第二初始像素融合权重矩阵,生成所述待分割肺部三维图像对应的第二肺血管分割图像,包括:
基于所述第一肺血管分割图像、所述第一纵膈血管分割图像、所述第一初始像素融合权重矩阵、以及所述第二初始像素融合权重矩阵,利用所述肺血管纵隔优化模型,生成第二纵膈血管分割图像;
利用所述肺血管纵隔优化模型,基于所述纵膈掩膜图像的纵隔边界信息,截取所述第一肺血管分割图像,得到位于纵膈区域包围框外的非纵隔区域血管分割图像;
利用所述肺血管纵隔优化模型,确定所述第二纵膈血管分割图像相对于所述非纵隔区域血管分割图像的像素位置信息;
利用所述肺血管纵隔优化模型,基于所述像素位置信息,将所述第二纵膈血管分割图像与所述非纵隔区域血管分割图像重构,生成所述第二肺血管分割图像。
4.根据权利要求3所述的肺血管分割方法,其特征在于,所述基于所述第一肺血管分割图像、所述第一纵膈血管分割图像、所述第一初始像素融合权重矩阵、以及所述第二初始像素融合权重矩阵,利用所述肺血管纵隔优化模型,生成第二纵膈血管分割图像,包括:
对所述第一肺血管分割图像、所述第一纵膈血管分割图像、所述第一初始像素融合权重矩阵、所述第二初始像素融合权重矩阵、以及所述纵膈掩膜图像分别进行相同上采样,得到上采样肺血管分割图像、上采样纵膈血管分割图像、上采样第一像素融合权重矩阵、上采样第二像素融合权重矩阵、以及上采样纵膈掩膜图像;
基于所述上采样纵膈掩膜图像的纵膈边界信息,截取所述上采样肺血管分割图像,得到位于纵膈边界包围框内的上采样纵膈血管三维图像;
针对所述上采样纵膈血管分割图像的每个当前像素点,
将所述当前像素点的像素值乘以所述当前像素点对应的所述上采样第二像素融合权重矩阵中的融合权重数值,得到第一融合数值;
确定所述上采样肺血管三维图像中、与所述当前像素点对应的匹配像素点;
将所述匹配像素点的像素值乘以所述匹配像素点对应的所述上采样第一像素融合权重矩阵中的融合权重数值,得到第二融合数值;
将所述第一融合数值和所述第二融合数值相加,得到所述第二纵膈血管分割图像中、与所述当前像素点对应的像素点的像素值;
基于所述第二纵膈血管分割图像包含的所有像素点各自的像素值,生成所述第二纵膈血管分割图像。
5.根据权利要求1至4任一项所述的肺血管分割方法,其特征在于,所述肺血管纵隔优化模型的损失函数包括动脉与静脉的分类损失函数、气管分割损失函数、血管中线分割损失函数、纵膈区域对应的血管分割损失函数、以及纵膈区域对应的血管融合权重损失函数。
6.根据权利要求1至4任一项所述的肺血管分割方法,其特征在于,在所述利用肺血管纵隔优化模型之前,还包括:
获取M组训练数据集,每组所述训练数据集包括待分割肺部三维样本图像、与所述待分割肺部三维样本图像对应的第一肺血管分割样本图像、与所述第一肺血管分割样本图像对应的纵膈掩膜样本图像,以及与所述待分割肺部三维样本图像对应的血管中线标记图像、与所述第一肺血管分割样本图像对应的第一纵膈血管分割样本标记图像、第二纵膈血管分割样本标记图像,M为正整数;
基于所述M组训练数据集,对待训练模型进行训练,得到所述肺血管纵隔优化模型。
7.根据权利要求6所述的肺血管分割方法,其特征在于,所述第一初始像素融合权重矩阵以及所述第二初始像素融合权重矩阵对应的模型训练约束条件包括:所述第二纵膈血管分割样本标记图像的纵膈边界内的血管与所述第一纵膈血管分割样本标记图像的纵膈边界内的血管相同、以及所述第二纵膈血管分割样本标记图像的纵膈边界外的血管与所述第一肺血管分割样本图像的纵膈边界外的血管相同。
8.一种肺血管分割装置,其特征在于,包括:
确定模块,用于确定待分割肺部三维图像、所述待分割肺部三维图像对应的第一肺血管分割图像、以及所述第一肺血管分割图像对应的纵膈掩膜图像;
第一生成模块,用于基于所述待分割肺部三维图像、所述第一肺血管分割图像和所述纵膈掩膜图像,利用肺血管纵隔优化模型,生成基于所述第一肺血管分割图像的第一纵膈血管分割图像、所述第一肺血管分割图像对应的第一初始像素融合权重矩阵、以及所述第一纵膈血管分割图像对应的第二初始像素融合权重矩阵;
第二生成模块,用于基于所述第一肺血管分割图像、所述第一纵膈血管分割图像、所述第一初始像素融合权重矩阵、以及所述第二初始像素融合权重矩阵,生成所述待分割肺部三维图像对应的第二肺血管分割图像。
9.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1至7任一项所述的肺血管分割方法。
10.一种电子设备,其特征在于,所述电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于执行上述权利要求1至7任一项所述的肺血管分割方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210204258.8A CN114565623B (zh) | 2022-03-02 | 2022-03-02 | 肺血管分割方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210204258.8A CN114565623B (zh) | 2022-03-02 | 2022-03-02 | 肺血管分割方法、装置、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114565623A true CN114565623A (zh) | 2022-05-31 |
CN114565623B CN114565623B (zh) | 2024-08-27 |
Family
ID=81717385
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210204258.8A Active CN114565623B (zh) | 2022-03-02 | 2022-03-02 | 肺血管分割方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114565623B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115375705A (zh) * | 2022-08-04 | 2022-11-22 | 北京医准智能科技有限公司 | 一种血管分割方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111899244A (zh) * | 2020-07-30 | 2020-11-06 | 北京推想科技有限公司 | 图像分割、网络模型的训练方法及装置,及电子设备 |
CN112861961A (zh) * | 2021-02-03 | 2021-05-28 | 推想医疗科技股份有限公司 | 肺血管分类方法及装置、存储介质及电子设备 |
WO2021183765A1 (en) * | 2020-03-13 | 2021-09-16 | Genentech, Inc. | Automated detection of tumors based on image processing |
-
2022
- 2022-03-02 CN CN202210204258.8A patent/CN114565623B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021183765A1 (en) * | 2020-03-13 | 2021-09-16 | Genentech, Inc. | Automated detection of tumors based on image processing |
CN111899244A (zh) * | 2020-07-30 | 2020-11-06 | 北京推想科技有限公司 | 图像分割、网络模型的训练方法及装置,及电子设备 |
CN112861961A (zh) * | 2021-02-03 | 2021-05-28 | 推想医疗科技股份有限公司 | 肺血管分类方法及装置、存储介质及电子设备 |
Non-Patent Citations (1)
Title |
---|
陈卉;徐岩;马斌荣;: "针对肺结节检测的肺实质CT图像分割", 中国医学物理学杂志, no. 06, 15 November 2008 (2008-11-15), pages 883 - 886 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115375705A (zh) * | 2022-08-04 | 2022-11-22 | 北京医准智能科技有限公司 | 一种血管分割方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114565623B (zh) | 2024-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111008984B (zh) | 医学影像中正常器官的轮廓线自动勾画方法 | |
KR20210002606A (ko) | 의료 영상 처리 방법 및 장치, 전자 기기 및 저장 매체 | |
EP3432215B1 (en) | Automated measurement based on deep learning | |
EP3614390B1 (en) | Imaging and reporting combination in medical imaging | |
CN112950648B (zh) | 确定磁共振图像中的正中矢状平面的方法和设备 | |
CN114359205B (zh) | 头颈血管分析方法、装置、存储介质及电子设备 | |
US9530238B2 (en) | Image processing apparatus, method and program utilizing an opacity curve for endoscopic images | |
CN114548238A (zh) | 图像三维重建方法、装置、电子设备及存储介质 | |
CN112819818A (zh) | 图像识别模块训练方法和装置 | |
CN115908449A (zh) | 一种基于改进UNet模型的2.5D医学CT影像分割方法及装置 | |
JP7456928B2 (ja) | 胸部x線画像の異常表示制御方法、異常表示制御プログラム、異常表示制御装置、及びサーバ装置 | |
CN114565623B (zh) | 肺血管分割方法、装置、存储介质及电子设备 | |
JP7457011B2 (ja) | 異常検出方法、異常検出プログラム、異常検出装置、サーバ装置及び情報処理方法 | |
CN114596275B (zh) | 肺血管分割方法、装置、存储介质及电子设备 | |
EP2343687B1 (en) | Tomographic image generating apparatus, tomographic image generating method, and program for generating tomographic images | |
CN115761134A (zh) | 孪生模型的生成方法、系统、核磁共振装置和介质 | |
CN114512221A (zh) | 一种牙弓线图像的生成方法、装置及计算机设备 | |
CN112288708B (zh) | Ct图像中淋巴结的检测方法、装置、介质及电子设备 | |
CN114387259A (zh) | 用于预测缺失牙坐标的方法与装置及识别模型的训练方法 | |
US11138736B2 (en) | Information processing apparatus and information processing method | |
JP2021111076A (ja) | Aiを用いる診断装置、診断システム、及び、プログラム | |
CN113129297A (zh) | 基于多期相肿瘤影像的直径自动测量方法及系统 | |
CN114359207B (zh) | 颅内血管分割方法、装置、存储介质及电子设备 | |
Fontanella et al. | Challenges of building medical image datasets for development of deep learning software in stroke | |
CN111915598B (zh) | 一种基于深度学习的医疗图像处理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |