CN113223013A - 一种肺血管分段定位的方法、装置、设备及存储介质 - Google Patents
一种肺血管分段定位的方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113223013A CN113223013A CN202110501096.XA CN202110501096A CN113223013A CN 113223013 A CN113223013 A CN 113223013A CN 202110501096 A CN202110501096 A CN 202110501096A CN 113223013 A CN113223013 A CN 113223013A
- Authority
- CN
- China
- Prior art keywords
- pulmonary
- blood vessel
- positioning
- target
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种肺血管分段定位的方法、装置、设备及存储介质,该方法包括:从获取的肺部三维图像中,分割提取目标肺血管所在三维图像的最大外接立方体区域作为第一输入数据;将第一输入数据输入训练好的肺血管分段定位模型中,得到所述目标肺血管的第一分段结果、第二分段结果以及初始定位结果;利用所述第一分段结果与所述第二分段结果,确定所述目标肺血管的每一血管分支对应的定位候选区域;针对所述目标肺血管的每一血管分支,利用该血管分支对应的所述定位候选区域,对所述初始定位结果中该血管分支对应的起始点坐标进行修正,得到所述目标肺血管的最终定位结果。通过上述方法,可以对目标肺血管进行分段定位,提高分段定位结果的准确度。
Description
技术领域
本申请涉及数据处理技术领域,具体而言,涉及一种肺血管分段定位的方法、装置、设备及存储介质。
背景技术
肺血管是构成肺循环系统的重要组成部分,其中,肺血管可以分为肺动脉和肺静脉,肺血管行走在肺段内,呈树状结构分布。由于肺血管呈树状结构分布,因此,可以按照主干和血管分支,对肺血管进行分段。具体的,对于肺动脉而言,可以将肺动脉分为1个主干和18个血管分支;对于肺静脉而言,肺静脉包括:段内静脉和段间静脉,由于段间静脉位于不同的肺段之间,因此,段间静脉一般不需纳入分段需求,而段内静脉则与肺动脉相似,同样可以分为一个主干和18个血管分支。按照上述方法,在对肺血管进行分段之后,在客户端展示肺血管分段结果时,常常需要利用带有指向的箭头,对每一个血管分支的起始位置坐标进行标记,以便用户可以直观的了解肺血管的分段组成结构。
由此可知,在对肺血管进行分段的同时,还需要对肺血管的每一血管分支进行定位。目前对肺血管进行分段定位的方法,一般是将分段任务与定位任务分开执行,例如,先通过传统算法对肺部图像中的肺血管进行分割,再利用肺血管呈树状结构,提取肺血管的中心线建立血管树结构,对肺血管进行19类别(1个主干和18个血管分支)的分类任务,得到肺血管的分段结果,最后通过人工定位的方式,在分段结果的基础上标出每一血管分支的名称,完成定位任务。这样,一方面,分段任务中对于肺血管中心线的识别精度要求较高,且分类任务的分类数量也较高,使得数据处理量较大,容易导致得到的分段结果准确度降低;另一方面,在分段结果的准确度无法保证的基础上,人工定位的方式,需要工作人员手动标记,其得到的定位结果的精度受人工因素影响较大,因此,利用现有方法得到的肺血管分段定位结果的准确度较低。
发明内容
有鉴于此,本申请的目的在于提供一种肺血管分段定位的方法、装置、设备及存储介质,以提高肺血管分段定位结果的准确度。
第一方面,本申请实施例提供了一种肺血管分段定位的方法,所述方法包括:
从获取的肺部三维图像中,分割提取目标肺血管所在三维图像的最大外接立方体区域作为第一输入数据;
将第一输入数据输入训练好的肺血管分段定位模型中,得到所述目标肺血管的第一分段结果、第二分段结果以及初始定位结果,其中,所述第一分段结果用于确定所述目标肺血管的主干,所述第二分段结果用于确定所述目标肺血管的每一血管分支,所述初始定位结果用于确定所述目标肺血管的每一血管分支对应的起始点坐标;
利用所述第一分段结果与所述第二分段结果,确定所述目标肺血管的每一血管分支对应的定位候选区域;
针对所述目标肺血管的每一血管分支,利用该血管分支对应的所述定位候选区域,对所述初始定位结果中该血管分支对应的起始点坐标进行修正,得到所述目标肺血管的最终定位结果。
可选的,在获取所述肺部三维图像之前,所述方法,还包括:
从历史肺部三维图像中,分割提取历史肺血管所在三维图像的最大外接立方体区域作为第一样本数据;
利用所述历史肺血管的主干所在的图像区域和每一血管分支所在的图像区域,对所述第一样本数据中的所述历史肺血管进行分段标记,得到目标分段数据;
针对所述第一样本数据中历史肺血管的每一血管分支,利用该血管分支对应的历史定位区域,对所述第一样本数据中的所述历史肺血管进行定位标记,得到目标定位数据,其中,所述历史定位区域是所述历史肺血管的每一血管分支的起始横截面所在的球形区域;
按照预先设置的分割比例,对所述第一样本数据进行分割,得到两个第二样本数据,其中,所述第二样本数据是所述历史肺血管的左半部或右半部所在的第一样本数据;
针对每一第二样本数据,对该第二样本数据进行数据扩增处理,得到该第二样本数据对应的第三样本数据;
将每一所述第三样本数据、所述目标分段数据以及所述目标定位数据作为训练样本,对肺血管分段定位模型进行训练,得到训练好的肺血管分段定位模型。
可选的,所述将每一所述第三样本数据、所述目标分段数据以及所述目标定位数据作为训练样本,对肺血管分段定位模型进行训练,包括:
针对每一所述第三样本数据,对该第三样本数据中所述历史肺血管的主干所在的图像区域进行分类预测,得到第一预测结果;
对该第三样本数据中所述历史肺血管的每一血管分支所在的图像区域进行分类预测,得到第二预测结果;
对该第三样本数据中所述历史肺血管的每一血管分支对应的所述历史定位区域进行定位预测,得到第三预测结果;
利用所述目标分段数据,计算第一标准样本与所述第一预测结果之间的第一损失,其中,第一标准样本是所述目标分段数据中所述历史肺血管的主干所在的图像区域;
利用所述目标分段数据,计算第二标准样本与所述第二预测结果之间的第二损失,其中,第二标准样本是所述目标分段数据中所述历史肺血管的每一血管分支所在的图像区域;
利用所述目标定位数据,计算所述目标定位数据与所述第三预测结果之间的第三损失;
根据所述第一损失、所述第二损失以及所述第三损失,对肺血管分段定位模型进行重复训练,直至所述肺血管分段定位模型达到收敛。
可选的,所述将第一输入数据输入训练好的肺血管分段定位模型中,得到所述目标肺血管的第一分段结果、第二分段结果以及初始定位结果,包括:
对所述第一输入数据中所述目标肺血管的主干所在的图像区域进行分类预测,得到所述第一分段结果;
对所述第一输入数据中所述目标肺血管的每一血管分支所在的图像区域进行分类预测,得到所述第二分段结果;
对所述第一输入数据中所述目标肺血管的每一血管分支对应的目标定位区域进行定位预测,得到所述初始定位结果,其中,所述目标定位区域是所述目标肺血管的每一血管分支的起始横截面所在的球形区域,所述起始点坐标是每一所述目标定位区域的质心坐标。
可选的,所述对所述第一输入数据中所述目标肺血管的每一血管分支所在的图像区域进行分类预测,包括:
获取第二输入数据,其中,所述第二输入数据为所述目标肺血管对应的支气管分级数据,其中,所述支气管分级数据中包含每一支气管分支所属的类别标签;
针对所述目标肺血管的每一血管分支,从所述第二输入数据中,提取与该血管分支相伴行的目标支气管分支所在的图像区域作为候选预测区域;
将所述候选预测区域作为分类预测的参考样本,对该血管分支所在的图像区域进行分类预测。
可选的,所述利用所述第一分段结果与所述第二分段结果,确定所述目标肺血管的每一血管分支对应的定位候选区域,包括:
针对所述第二分段结果中的每一血管分支,计算该血管分支所在的图像区域与所述第一分段结果中所述目标肺血管的主干所在的图像区域相交的最大连通域;
将计算结果作为该血管分支对应的所述定位候选区域。
可选的,所述利用该血管分支对应的所述定位候选区域,对所述初始定位结果中该血管分支对应的起始点坐标进行修正,包括:
利用该血管分支对应的所述定位候选区域,判断该血管分支对应的起始点坐标是否位于所述定位候选区域内;
若确定该血管分支对应的起始点坐标位于所述定位候选区域内,则确定所述初始定位结果无需进行修正;
若确定该血管分支对应的起始点坐标位于所述定位候选区域外,则将所述起始点坐标修正为目标截面的中心点坐标,其中,所述目标截面是该血管分支对应的所述定位候选区域与所述初始定位结果的相交截面。
第二方面,本申请实施例还提供了一种模型训练方法,所述模型训练方法,包括:
从历史肺部三维图像中,分割提取历史肺血管所在三维图像的最大外接立方体区域作为第一样本数据;
利用所述历史肺血管的主干所在的图像区域和每一血管分支所在的图像区域,对所述第一样本数据中的所述历史肺血管进行分段标记,得到目标分段数据;
针对所述第一样本数据中历史肺血管的每一血管分支,利用该血管分支对应的历史定位区域,对所述第一样本数据中的所述历史肺血管进行定位标记,得到目标定位数据,其中,所述历史定位区域是所述历史肺血管的每一血管分支的起始横截面所在的球形区域;
按照预先设置的分割比例,对所述第一样本数据进行分割,得到两个第二样本数据,其中,所述第二样本数据是所述历史肺血管的左半部或右半部所在的第一样本数据;
针对每一第二样本数据,对该第二样本数据进行数据扩增处理,得到该第二样本数据对应的第三样本数据;
将每一所述第三样本数据、所述目标分段数据以及所述目标定位数据作为训练样本,对肺血管分段定位模型进行训练,得到训练好的肺血管分段定位模型。
可选的,所述将每一所述第三样本数据、所述目标分段数据以及所述目标定位数据作为训练样本,对肺血管分段定位模型进行训练,包括:
针对每一所述第三样本数据,对该第三样本数据中所述历史肺血管的主干所在的图像区域进行分类预测,得到第一预测结果;
对该第三样本数据中所述历史肺血管的每一血管分支所在的图像区域进行分类预测,得到第二预测结果;
对该第三样本数据中所述历史肺血管的每一血管分支对应的所述历史定位区域进行定位预测,得到第三预测结果;
利用所述目标分段数据,计算第一标准样本与所述第一预测结果之间的第一损失,其中,第一标准样本是所述目标分段数据中所述历史肺血管的主干所在的图像区域;
利用所述目标分段数据,计算第二标准样本与所述第二预测结果之间的第二损失,其中,第二标准样本是所述目标分段数据中所述历史肺血管的每一血管分支所在的图像区域;
利用所述目标定位数据,计算所述目标定位数据与所述第三预测结果之间的第三损失;
根据所述第一损失、所述第二损失以及所述第三损失,对肺血管分段定位模型进行重复训练,直至所述肺血管分段定位模型达到收敛。
第三方面,本申请实施例提供了一种肺血管分段定位的装置,所述装置,包括:
分割提取模块,用于从获取的肺部三维图像中,分割提取目标肺血管所在三维图像的最大外接立方体区域作为第一输入数据;
分段定位模块,用于将第一输入数据输入训练好的肺血管分段定位模型中,得到所述目标肺血管的第一分段结果、第二分段结果以及初始定位结果,其中,所述第一分段结果用于确定所述目标肺血管的主干,所述第二分段结果用于确定所述目标肺血管的每一血管分支,所述初始定位结果用于确定所述目标肺血管的每一血管分支对应的起始点坐标;
区域确定模块,用于利用所述第一分段结果与所述第二分段结果,确定所述目标肺血管的每一血管分支对应的定位候选区域;
结果修正模块,用于针对所述目标肺血管的每一血管分支,利用该血管分支对应的所述定位候选区域,对所述初始定位结果中该血管分支对应的起始点坐标进行修正,得到所述目标肺血管的最终定位结果。
第四方面,本申请实施例提供了一种模型训练装置,所述模型训练装置,包括:
第一分割模块,用于从历史肺部三维图像中,分割提取历史肺血管所在三维图像的最大外接立方体区域作为第一样本数据;
分段标记模块,用于利用所述历史肺血管的主干所在的图像区域和每一血管分支所在的图像区域,对所述第一样本数据中的所述历史肺血管进行分段标记,得到目标分段数据;
定位标记模块,用于针对所述第一样本数据中历史肺血管的每一血管分支,利用该血管分支对应的历史定位区域,对所述第一样本数据中的所述历史肺血管进行定位标记,得到目标定位数据,其中,所述历史定位区域是所述历史肺血管的每一血管分支的起始横截面所在的球形区域;
第二分割模块,用于按照预先设置的分割比例,对所述第一样本数据进行分割,得到两个第二样本数据,其中,所述第二样本数据是所述历史肺血管的左半部或右半部所在的第一样本数据;
第一处理模块,用于针对每一第二样本数据,对该第二样本数据进行数据扩增处理,得到该第二样本数据对应的第三样本数据;
模型训练模块,用于将每一所述第三样本数据、所述目标分段数据以及所述目标定位数据作为训练样本,对肺血管分段定位模型进行训练,得到训练好的肺血管分段定位模型。
第五方面,本申请实施例提供了一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任一所述的肺血管分段定位的方法的步骤,或者执行上述任一所述的模型训练方法的步骤。
第六方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述任一所述的肺血管分段定位的方法的步骤,或者执行上述任一所述的模型训练方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果:
一方面,本申请是先从肺部三维图像中,分割提取目标肺血管所在三维图像的最大外接立方体区域作为第一输入数据;然后,将第一输入数据输入训练好的肺血管分段定位模型中,得到目标肺血管的第一分段结果、第二分段结果以及初始定位结果;利用第一分段结果可以确定目标肺血管的主干,利用第二分段结果可以确定目标肺血管的每一血管分支,利用初始定位结果可以确定每一血管分支对应的起始点坐标。这样,相较于现有技术,本申请是将分段任务与定位任务合并为一个任务执行,无需提取肺血管的中心线,也无需对肺血管进行人工定位,有利于减少数据处理量,提高分段定位结果的准确度。
另一方面,在得到目标肺血管的初始定位结果之后,本申请还利用第一分段结果与第二分段结果,确定出目标肺血管的每一血管分支对应的定位候选区域,然后,利用定位候选区域对每一个血管分支对应的起始点坐标进行修正,进一步的提高了肺血管分段定位结果准确度。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种肺血管分段定位的方法的流程示意图;
图2示出了本申请实施例所提供的一种目标肺血管所在三维图像的最大外接立方体区域的示意图;
图3示出了本申请实施例所提供的一种第一分段结果的结构示意图;
图4示出了本申请实施例所提供的一种第二分段结果的结构示意图;
图5示出了本申请实施例所提供的一种初始定位结果的结构示意图;
图6示出了本申请实施例所提供的一种肺血管分段定位模型的训练方法流程示意图;
图7示出了本申请实施例所提供的一种肺血管的血管分支的分类预测方法的流程示意图;
图8示出了本申请实施例所提供的一种肺血管分段定位的装置的结构示意图;
图9示出了本申请实施例所提供的一种模型训练装置的结构示意图;
图10为本申请实施例提供的一种计算机设备1000的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供了一种肺血管分段定位的方法、装置、设备及存储介质,其中,本申请实施例中提到的目标肺血管以及历史肺血管可以是指肺动脉,也可以是指肺静脉,下面对本申请实施例提供的一种肺血管分段定位的方法进行详细介绍。
参照图1所示,图1示出了本申请实施例所提供的一种肺血管分段定位的方法的流程示意图,其中,该方法包括步骤S101-S104;具体的:
S101,从获取的肺部三维图像中,分割提取目标肺血管所在三维图像的最大外接立方体区域作为第一输入数据。
具体的,本申请实施例中,将肺部三维图像中不属于目标肺血管的三维图像作为背景区域,从获取的肺部三维图像中,先对目标肺血管所在三维图像进行分割,以减少所述背景区域对肺血管分段定位造成的干扰,有利于提高肺血管分段定位结果的准确度。
本申请实施例中,作为一可选实施例,所述从获取的肺部三维图像中,分割提取目标肺血管所在三维图像的最大外接立方体区域作为第一输入数据,包括:
针对获取的所述肺部三维图像,利用该肺部三维图像属于所述目标肺血管的像素点,对该肺部三维图像进行二值化处理,得到该肺部三维图像的二值化图像;
从所述二值化图像中,提取像素值为目标像素值的像素点,得到所述目标肺血管所在三维图像,其中,所述目标像素值是属于所述目标肺血管的像素点所标记的二值化值;
根据所述目标肺血管所在三维图像的前景区域,截取该前景区域的最大外接立方体区域,以得到所述第一输入数据。
示例性的说明,在提取目标肺血管所在三维图像的最大外接立方体区域之前,先对获取的肺部三维图像进行二值化处理,将属于目标肺血管的像素点的像素值标记为1,将属于背景区域的像素点的像素值标记为0,以1作为目标像素值,从肺部三维图像中,分割出像素值为1的像素点所组成的三维图像区域,得到目标肺血管所在三维图像,其中,图2示出了本申请实施例所提供的一种目标肺血管所在三维图像的最大外接立方体区域的示意图,参照图2所示,根据分割出的目标肺血管所在三维图像的前景区域,截取该前景区域的最大外接立方区域,作为第一输入数据。
S102,将第一输入数据输入训练好的肺血管分段定位模型中,得到所述目标肺血管的第一分段结果、第二分段结果以及初始定位结果。
其中,所述第一分段结果用于确定所述目标肺血管的主干,所述第二分段结果用于确定所述目标肺血管的每一血管分支,所述初始定位结果用于确定所述目标肺血管的每一血管分支对应的起始点坐标。
需要说明的是,肺血管分段具有左右对称性,除主干部分外,肺血管的10个血管分支分布于右肺部,肺血管的8个血管分支分布于左肺部,肺血管分段定位的最终目标任务是:
1、识别出肺血管的主干以及18个血管分支;
2、对肺血管的18个血管分支进行定位,确定每一个血管分支对应的起始点坐标。
具体的,本申请实施例在训练肺血管分段定位模型时,可以使用深度学习中的分割网络模型作为待训练的原始模型,使用带有分段标记的历史肺血管所在的三维图像作为分段标准样本,使用带有定位标记的历史肺血管所在的三维图像作为定位标准样本,对无标记的历史肺血管所在的三维图像进行数据扩增处理,例如:随机翻转、弹性形变等,将数据扩增处理后的三维图像作为训练样本,计算原始模型对训练样本的分段预测结果与分段标准样本之间的损失作为分段训练损失,计算原始模型对训练样本的定位预测结果与定位标准样本之间的损失作为定位训练损失,以分段训练损失和定位训练损失的和值作为模型的总体训练损失,对原始模型进行重复训练,直至模型的总体训练损失达到最小,此时,原始模型达到收敛,得到训练好的肺血管分段定位模型。
结合上述肺血管分段定位模型的训练原理,作为一可选实施例,在实际应用过程中,所述将第一输入数据输入训练好的肺血管分段定位模型中,得到所述目标肺血管的第一分段结果、第二分段结果以及初始定位结果,包括:
对所述第一输入数据中所述目标肺血管的主干所在的图像区域进行分类预测,得到所述第一分段结果;
对所述第一输入数据中所述目标肺血管的每一血管分支所在的图像区域进行分类预测,得到所述第二分段结果;
对所述第一输入数据中所述目标肺血管的每一血管分支对应的目标定位区域进行定位预测,得到所述初始定位结果,其中,所述目标定位区域是所述目标肺血管的每一血管分支的起始横截面所在的球形区域,所述起始点坐标是每一所述目标定位区域的质心坐标。
下面结合肺血管分段定位模型的训练原理,对第一分段结果、第二分段结果以及初始定位结果分别进行示例性的说明:
1、对于第一分段结果:
本申请实施例,在训练肺血管分段定位模型时,将上述分段标准样本中属于历史肺血管主干的图像区域标记为1,将上述分段标准样本中的剩余图像区域标记为0,利用上述的分段标准样本以及上述的训练样本,对肺血管分段定位模型进行二分类训练,使得训练好的肺血管分段定位模型可以对第一输入数据中目标肺血管的主干进行识别,对识别出的目标肺血管的主干进行颜色标记,得到第一分段结果。
示例性的说明,图3示出了本申请实施例所提供的一种第一分段结果的结构示意图,通过使用两种不同的颜色,分别标记目标肺血管的主干和血管分支,得到第一分段结果如图3所示。
2、对于第二分段结果:
与第一分段结果相似,本申请实施例,在训练肺血管分段定位模型时,按照历史肺血管的每一血管分支所属的分支类别,对上述分段标准样本中的每一血管分支进行标记,利用标记后的分段标准样本以及上述的训练样本,对肺血管分段定位模型进行多分类训练,使得训练好的肺血管分段定位模型可以对第一输入数据中目标肺血管的每一血管分支进行识别,利用不同的颜色标记不同的血管分支,得到第二分段结果。
其中,作为一可选实施例,考虑到肺血管分段的左右对称性,可以按照肺血管分布于左肺部和右肺部,将训练样本分割成左右两个半部,分别进行训练,此时,由于右肺部包括10个血管分支,左肺部包括8个血管分支,因此,当按照上述方法训练肺血管分段定位模型时,加上识别肺血管的主干部分,只需对肺血管分段定位模型进行11分类训练即可,而无需对肺血管分段定位模型进行19分类训练(1个主干和18个血管分支),有利于降低模型的训练难度,减少模型的数据处理量,从而,提高肺血管分段定位模型输出的分段结果的准确度。
示例性的说明,图4示出了本申请实施例所提供的一种第二分段结果的结构示意图,通过使用不同种类的颜色,分别标记目标肺血管的每一个血管分支,得到第二分段结果如图4所示。
3、对于初始定位结果:
本申请实施例,在训练肺血管分段定位模型时,将上述定位标准样本中属于定位标记的图像区域标记为1,将上述定位标准样本中的剩余图像区域标记为0,利用上述的定位标准样本以及上述的训练样本,对肺血管分段定位模型进行二分类训练,使得训练好的肺血管分段定位模型可以对第一输入数据中每一血管分支对应的目标定位区域进行识别,对识别出的每一目标定位区域进行颜色标记,得到初始定位结果。
需要说明的是,与目标定位区域的定义相同,上述定位标准样本中的定位标记可以是历史肺血管的每一血管分支的起始横截面所在的球形区域。
示例性的说明,图5示出了本申请实施例所提供的一种初始定位结果的结构示意图,通过使用两种不同的颜色,分别标记目标肺血管的每一个血管分支对应的目标定位区域以及除目标定位区域之外的剩余区域,得到初始定位结果如图5所示。
S103,利用所述第一分段结果与所述第二分段结果,确定所述目标肺血管的每一血管分支对应的定位候选区域。
具体的,结合上述步骤S102中对于肺血管分段定位模型的训练过程的描述可知,肺血管分段定位模型是同时进行分段预测以及定位预测,两者互不干扰,因此,将第一输入数据输入训练好的肺血管分段定位模型之后,肺血管分段定位模型输出的第一分段结果和第二分段结果是不会影响初始定位结果的。
此时,为了进一步提高对目标肺血管中每一血管分支定位的准确度,还可以在第一分段结果与第二分段结果的基础上,确定每一个血管分支对应的定位候选区域,然后,利用定位候选区域对初始定位结果进行修正。这里,可以理解为,利用分段任务的结果对定位任务的结果进行校正,以进一步缩小每一血管分支对应的起始点坐标所在的图像区域范围,提高对目标肺血管中每一血管分支的定位准确度。
作为一可选实施例,所述利用所述第一分段结果与所述第二分段结果,确定所述目标肺血管的每一血管分支对应的定位候选区域,包括:
针对所述第二分段结果中的每一血管分支,计算该血管分支所在的图像区域与所述第一分段结果中所述目标肺血管的主干所在的图像区域相交的最大连通域;
将计算结果作为该血管分支对应的所述定位候选区域。
示例性的说明,结合上述步骤S102中对于初始定位结果的描述可知,本申请实施例是将目标肺血管的每一血管分支的起始横截面所在的球形区域作为待预测的目标定位区域,以目标定位区域对应的质心坐标作为该目标定位区域对应的血管分支的起始点坐标;因此,在第一分段结果和第二分段结果的基础上,通过计算所述最大连通域,该最大连通域中包括分段任务中预测出的每一血管分支的起始横截面,从而,确定出每一个目标定位区域对应的候选定位区域。
S104,针对所述目标肺血管的每一血管分支,利用该血管分支对应的所述定位候选区域,对所述初始定位结果中该血管分支对应的起始点坐标进行修正,得到所述目标肺血管的最终定位结果。
具体的,本申请实施例中,所述利用该血管分支对应的所述定位候选区域,对所述初始定位结果中该血管分支对应的起始点坐标进行修正,包括:
利用该血管分支对应的所述定位候选区域,判断该血管分支对应的起始点坐标是否位于所述定位候选区域内;
若确定该血管分支对应的起始点坐标位于所述定位候选区域内,则确定所述初始定位结果无需进行修正;
若确定该血管分支对应的起始点坐标位于所述定位候选区域外,则将所述起始点坐标修正为目标截面的中心点坐标,其中,所述目标截面是该血管分支对应的所述定位候选区域与所述初始定位结果的相交截面。
示例性的说明,血管分支A对应的定位候选区域为S1,血管分支A对应的初始定位结果为目标定位区域a,计算目标定位区域a的质心坐标k为(x,y,z),判断质心坐标k是否位于定位候选区域S1中,若质心坐标k位于定位候选区域S1中,则血管分支A对应的起始点坐标为质心坐标k,无需修正;若质心坐标k位于定位候选区域S1之外,则计算定位候选区域S1与目标定位区域a的相交截面,将计算出的相交截面中心点坐标作为血管分支A对应的起始点坐标。
在一个可行的实施方案中,图6示出了本申请实施例所提供的一种肺血管分段定位模型的训练方法流程示意图,如图6所示,在执行步骤S101之前,在训练所述肺血管分段定位模型时,该方法还包括S601-S606;具体的:
S601,从历史肺部三维图像中,分割提取历史肺血管所在三维图像的最大外接立方体区域作为第一样本数据。
具体的,本申请实施例中第一样本数据的分割提取方法与步骤S101中分割提取第一输入数据的方法相同,在此不再赘述。
S602,利用所述历史肺血管的主干所在的图像区域和每一血管分支所在的图像区域,对所述第一样本数据中的所述历史肺血管进行分段标记,得到目标分段数据。
示例性的说明,按照数字1-19的顺序,使用不同的数字标签,分别对历史肺血管的一个主干和18个血管分支进行分段标记,将带有分段标记的第一样本数据作为目标分段数据。
S603,针对所述第一样本数据中历史肺血管的每一血管分支,利用该血管分支对应的历史定位区域,对所述第一样本数据中的所述历史肺血管进行定位标记,得到目标定位数据,其中,所述历史定位区域是所述历史肺血管的每一血管分支的起始横截面所在的球形区域。
具体的,可以参照图5所示的初始定位结果,对于历史肺血管的每一血管分支,将该血管分支的起始横截面所在的球形区域作为历史定位区域,将确定出的每一个血管分支对应的历史定位区域标记为1,将第一样本数据中除历史定位区域之外的剩余区域标记为0,将标记后的第一样本数据作为目标定位数据。
S604,按照预先设置的分割比例,对所述第一样本数据进行分割,得到两个第二样本数据,其中,所述第二样本数据是所述历史肺血管的左半部或右半部所在的第一样本数据。
具体的,结合步骤S102中关于肺血管分段定位模型的训练过程的描述,本申请实施例中,在训练肺血管分段定位模型时,可以按照肺血管分布于左肺部和右肺部,将第一样本数据分割成左右两个半部,分别进行训练,其中,考虑到分割之后,可能会造成肺段信息的缺失,因此,在实际分割时,可以不按照二分之一的比例进行分割,预先设置的分割比例优选大于50%的比例值,以保证对左肺部或右肺部分别进行预测时,输入的半部肺段信息完整。
示例性的说明,预先设置的分割比例可以是60%,以第二样本数据为历史肺血管的左半部所在的第一样本数据为例,可以在历史肺血管的中间位置处,向右偏移10%,按照60%的分割比例,提取历史肺血管的左半部所在的第一样本数据,以分割后的第二样本数据中能够包括完整的历史肺血管的左半部。
S605,针对每一第二样本数据,对该第二样本数据进行数据扩增处理,得到该第二样本数据对应的第三样本数据。
具体的,考虑到实际训练时,能够收集的肺部三维图像有限,因此,可以通过数据扩增处理的方式,来丰富作为训练样本的第三样本数据的数量,其中,数据扩增处理可以是随机翻转、弹性形变等常规扩增处理方式,对于数据扩增处理的具体处理方式,本申请并不进行限定。
S606,将每一所述第三样本数据、所述目标分段数据以及所述目标定位数据作为训练样本,对肺血管分段定位模型进行训练,得到训练好的肺血管分段定位模型。
具体的,在本申请实施例中,作为一可选实施例,所述将每一所述第三样本数据、所述目标分段数据以及所述目标定位数据作为训练样本,对肺血管分段定位模型进行训练,包括:
针对每一所述第三样本数据,对该第三样本数据中所述历史肺血管的主干所在的图像区域进行分类预测,得到第一预测结果;
对该第三样本数据中所述历史肺血管的每一血管分支所在的图像区域进行分类预测,得到第二预测结果;
对该第三样本数据中所述历史肺血管的每一血管分支对应的所述历史定位区域进行定位预测,得到第三预测结果;
利用所述目标分段数据,计算第一标准样本与所述第一预测结果之间的第一损失,其中,第一标准样本是所述目标分段数据中所述历史肺血管的主干所在的图像区域;
利用所述目标分段数据,计算第二标准样本与所述第二预测结果之间的第二损失,其中,第二标准样本是所述目标分段数据中所述历史肺血管的每一血管分支所在的图像区域;
利用所述目标定位数据,计算所述目标定位数据与所述第三预测结果之间的第三损失;
根据所述第一损失、所述第二损失以及所述第三损失,对肺血管分段定位模型进行重复训练,直至所述肺血管分段定位模型达到收敛。
示例性的说明,结合步骤S102中关于肺血管分段定位模型的训练过程的描述,可以采用分割网络作为肺血管分段定位模型的原始模型,采用交叉熵损失函数或者常用的语义分割损失函数,如:focal loss(灶性损失)损失函数等作为肺血管分段定位模型的损失函数,来计算每次第一损失、第二损失以及第三损失的损失函数值,将第一损失、第二损失以及第三损失的和值作为肺血管分段定位模型的总体损失值,利用反向传播算法,对肺血管分段定位模型进行重复训练,直至计算出的总体损失值达到最小,此时,可以确定肺血管分段定位模型达到收敛,结束模型的训练过程。
在一个可行的实施方案中,图7示出了本申请实施例所提供的一种肺血管的血管分支的分类预测方法的流程示意图,如图7所示,在执行步骤S102时,在对第一输入数据中目标肺血管的每一血管分支所在的图像区域进行分类预测时,该方法还包括S701-S703;具体的:
S701,获取第二输入数据。
其中,所述第二输入数据为所述目标肺血管对应的支气管分级数据,其中,所述支气管分级数据中包含每一支气管分支所属的类别标签。
S702,针对所述目标肺血管的每一血管分支,从所述第二输入数据中,提取与该血管分支相伴行的目标支气管分支所在的图像区域作为候选预测区域。
S703,将所述候选预测区域作为分类预测的参考样本,对该血管分支所在的图像区域进行分类预测。
结合步骤S701-S703,需要说明的是,在肺部循环系统中,肺动脉用于为支气管供血,肺动脉在肺段中的走向几乎与支气管相伴行。
具体的,在本申请实施例中,当目标肺血管为肺动脉时,优选的,还可以将目标肺血管对应的支气管分级数据作为第二输入数据输入肺血管分段定位模型中,当肺血管分段定位模型对第一输入数据中目标肺血管的每一血管分支所在的图像区域进行分类预测时,肺血管分段定位模型可以将支气管分级数据作为参考样本,以对血管分支A进行分类预测为例,肺血管分段定位模型可以从输入的支气管分级数据中获取与血管分支A相伴行的支气管分支a所在的图像区域作为候选预测区域,将该候选预测区域作为参考样本,优先在该候选预测区域附近识别血管分支A对应的图像区域,以缩小分类预测时对图像区域的查找范围,减少模型的数据处理量,提高对目标肺血管进行分段定位的准确度。
需要说明的是,与步骤S701-S703相似,在训练肺血管分段定位模型时,同样也可以引入历史肺血管对应的支气管分级数据作为参考样本,以在训练阶段,进一步提高肺血管分段定位模型的输出结果的准确度。
进一步的,本申请实施例还提供了一种模型训练方法,所述模型训练方法,包括:
从历史肺部三维图像中,分割提取历史肺血管所在三维图像的最大外接立方体区域作为第一样本数据;
利用所述历史肺血管的主干所在的图像区域和每一血管分支所在的图像区域,对所述第一样本数据中的所述历史肺血管进行分段标记,得到目标分段数据;
针对所述第一样本数据中历史肺血管的每一血管分支,利用该血管分支对应的历史定位区域,对所述第一样本数据中的所述历史肺血管进行定位标记,得到目标定位数据,其中,所述历史定位区域是所述历史肺血管的每一血管分支的起始横截面所在的球形区域;
按照预先设置的分割比例,对所述第一样本数据进行分割,得到两个第二样本数据,其中,所述第二样本数据是所述历史肺血管的左半部或右半部所在的第一样本数据;
针对每一第二样本数据,对该第二样本数据进行数据扩增处理,得到该第二样本数据对应的第三样本数据;
将每一所述第三样本数据、所述目标分段数据以及所述目标定位数据作为训练样本,对肺血管分段定位模型进行训练,得到训练好的肺血管分段定位模型。
需要说明的是,关于上述实现方式的详细说明可以参考上述步骤S601-S606中的相关解释,在此不再赘述。
其中,在一个可行的实施方案中,所述将每一所述第三样本数据、所述目标分段数据以及所述目标定位数据作为训练样本,对肺血管分段定位模型进行训练,包括:
针对每一所述第三样本数据,对该第三样本数据中所述历史肺血管的主干所在的图像区域进行分类预测,得到第一预测结果;
对该第三样本数据中所述历史肺血管的每一血管分支所在的图像区域进行分类预测,得到第二预测结果;
对该第三样本数据中所述历史肺血管的每一血管分支对应的所述历史定位区域进行定位预测,得到第三预测结果;
利用所述目标分段数据,计算第一标准样本与所述第一预测结果之间的第一损失,其中,第一标准样本是所述目标分段数据中所述历史肺血管的主干所在的图像区域;
利用所述目标分段数据,计算第二标准样本与所述第二预测结果之间的第二损失,其中,第二标准样本是所述目标分段数据中所述历史肺血管的每一血管分支所在的图像区域;
利用所述目标定位数据,计算所述目标定位数据与所述第三预测结果之间的第三损失;
根据所述第一损失、所述第二损失以及所述第三损失,对肺血管分段定位模型进行重复训练,直至所述肺血管分段定位模型达到收敛。
具体的,关于上述实现方式的详细说明可以参考步骤S606中具体实施例的相关解释,在此不再详细说明。
如图8所示,图8示出了本申请实施例所提供的一种肺血管分段定位的装置的结构示意图,所述装置包括:
分割提取模块801,用于从获取的肺部三维图像中,分割提取目标肺血管所在三维图像的最大外接立方体区域作为第一输入数据;
分段定位模块802,用于将第一输入数据输入训练好的肺血管分段定位模型中,得到所述目标肺血管的第一分段结果、第二分段结果以及初始定位结果,其中,所述第一分段结果用于确定所述目标肺血管的主干,所述第二分段结果用于确定所述目标肺血管的每一血管分支,所述初始定位结果用于确定所述目标肺血管的每一血管分支对应的起始点坐标;
区域确定模块803,用于利用所述第一分段结果与所述第二分段结果,确定所述目标肺血管的每一血管分支对应的定位候选区域;
结果修正模块804,用于针对所述目标肺血管的每一血管分支,利用该血管分支对应的所述定位候选区域,对所述初始定位结果中该血管分支对应的起始点坐标进行修正,得到所述目标肺血管的最终定位结果。
可选的,所述装置,还包括:
第一提取模块(图中未示出),用于从历史肺部三维图像中,分割提取历史肺血管所在三维图像的最大外接立方体区域作为第一样本数据;
第一标记模块(图中未示出),用于利用所述历史肺血管的主干所在的图像区域和每一血管分支所在的图像区域,对所述第一样本数据中的所述历史肺血管进行分段标记,得到目标分段数据;
第二标记模块(图中未示出),用于针对所述第一样本数据中历史肺血管的每一血管分支,利用该血管分支对应的历史定位区域,对所述第一样本数据中的所述历史肺血管进行定位标记,得到目标定位数据,其中,所述历史定位区域是所述历史肺血管的每一血管分支的起始横截面所在的球形区域;
第二提取模块(图中未示出),用于按照预先设置的分割比例,对所述第一样本数据进行分割,得到两个第二样本数据,其中,所述第二样本数据是所述历史肺血管的左半部或右半部所在的第一样本数据;
扩增处理模块(图中未示出),用于针对每一第二样本数据,对该第二样本数据进行数据扩增处理,得到该第二样本数据对应的第三样本数据;
训练模块(图中未示出),用于将每一所述第三样本数据、所述目标分段数据以及所述目标定位数据作为训练样本,对肺血管分段定位模型进行训练,得到训练好的肺血管分段定位模型。
可选的,所述训练模块,还用于:
针对每一所述第三样本数据,对该第三样本数据中所述历史肺血管的主干所在的图像区域进行分类预测,得到第一预测结果;
对该第三样本数据中所述历史肺血管的每一血管分支所在的图像区域进行分类预测,得到第二预测结果;
对该第三样本数据中所述历史肺血管的每一血管分支对应的所述历史定位区域进行定位预测,得到第三预测结果;
利用所述目标分段数据,计算第一标准样本与所述第一预测结果之间的第一损失,其中,第一标准样本是所述目标分段数据中所述历史肺血管的主干所在的图像区域;
利用所述目标分段数据,计算第二标准样本与所述第二预测结果之间的第二损失,其中,第二标准样本是所述目标分段数据中所述历史肺血管的每一血管分支所在的图像区域;
利用所述目标定位数据,计算所述目标定位数据与所述第三预测结果之间的第三损失;
根据所述第一损失、所述第二损失以及所述第三损失,对肺血管分段定位模型进行重复训练,直至所述肺血管分段定位模型达到收敛。
可选的,分段定位模块802,还包括:
第一预测模块(图中未示出),用于对所述第一输入数据中所述目标肺血管的主干所在的图像区域进行分类预测,得到所述第一分段结果;
第二预测模块(图中未示出),用于对所述第一输入数据中所述目标肺血管的每一血管分支所在的图像区域进行分类预测,得到所述第二分段结果;
第三预测模块(图中未示出),用于对所述第一输入数据中所述目标肺血管的每一血管分支对应的目标定位区域进行定位预测,得到所述初始定位结果,其中,所述目标定位区域是所述目标肺血管的每一血管分支的起始横截面所在的球形区域,所述起始点坐标是每一所述目标定位区域的质心坐标。
可选的,所述第一预测模块,还用于:
获取第二输入数据,其中,所述第二输入数据为所述目标肺血管对应的支气管分级数据,其中,所述支气管分级数据中包含每一支气管分支所属的类别标签;
针对所述目标肺血管的每一血管分支,从所述第二输入数据中,提取与该血管分支相伴行的目标支气管分支所在的图像区域作为候选预测区域;
将所述候选预测区域作为分类预测的参考样本,对该血管分支所在的图像区域进行分类预测。
可选的,区域确定模块803,还用于:
针对所述第二分段结果中的每一血管分支,计算该血管分支所在的图像区域与所述第一分段结果中所述目标肺血管的主干所在的图像区域相交的最大连通域;
将计算结果作为该血管分支对应的所述定位候选区域。
可选的,结果修正模块804,还用于:
利用该血管分支对应的所述定位候选区域,判断该血管分支对应的起始点坐标是否位于所述定位候选区域内;
若确定该血管分支对应的起始点坐标位于所述定位候选区域内,则确定所述初始定位结果无需进行修正;
若确定该血管分支对应的起始点坐标位于所述定位候选区域外,则将所述起始点坐标修正为目标截面的中心点坐标,其中,所述目标截面是该血管分支对应的所述定位候选区域与所述初始定位结果的相交截面。
如图9所示,图9示出了本申请实施例所提供的一种模型训练装置的结构示意图,所述模型训练装置包括:
第一分割模块901,用于从历史肺部三维图像中,分割提取历史肺血管所在三维图像的最大外接立方体区域作为第一样本数据;
分段标记模块902,用于利用所述历史肺血管的主干所在的图像区域和每一血管分支所在的图像区域,对所述第一样本数据中的所述历史肺血管进行分段标记,得到目标分段数据;
定位标记模块903,用于针对所述第一样本数据中历史肺血管的每一血管分支,利用该血管分支对应的历史定位区域,对所述第一样本数据中的所述历史肺血管进行定位标记,得到目标定位数据,其中,所述历史定位区域是所述历史肺血管的每一血管分支的起始横截面所在的球形区域;
第二分割模块904,用于按照预先设置的分割比例,对所述第一样本数据进行分割,得到两个第二样本数据,其中,所述第二样本数据是所述历史肺血管的左半部或右半部所在的第一样本数据;
第一处理模块905,用于针对每一第二样本数据,对该第二样本数据进行数据扩增处理,得到该第二样本数据对应的第三样本数据;
模型训练模块906,用于将每一所述第三样本数据、所述目标分段数据以及所述目标定位数据作为训练样本,对肺血管分段定位模型进行训练,得到训练好的肺血管分段定位模型。
可选的,模型训练模块906,还用于:
针对每一所述第三样本数据,对该第三样本数据中所述历史肺血管的主干所在的图像区域进行分类预测,得到第一预测结果;
对该第三样本数据中所述历史肺血管的每一血管分支所在的图像区域进行分类预测,得到第二预测结果;
对该第三样本数据中所述历史肺血管的每一血管分支对应的所述历史定位区域进行定位预测,得到第三预测结果;
利用所述目标分段数据,计算第一标准样本与所述第一预测结果之间的第一损失,其中,第一标准样本是所述目标分段数据中所述历史肺血管的主干所在的图像区域;
利用所述目标分段数据,计算第二标准样本与所述第二预测结果之间的第二损失,其中,第二标准样本是所述目标分段数据中所述历史肺血管的每一血管分支所在的图像区域;
利用所述目标定位数据,计算所述目标定位数据与所述第三预测结果之间的第三损失;
根据所述第一损失、所述第二损失以及所述第三损失,对肺血管分段定位模型进行重复训练,直至所述肺血管分段定位模型达到收敛。
如图10所示,本申请实施例提供了一种计算机设备1000,用于执行本申请中任一所述的肺血管分段定位的方法的步骤,或者执行本申请中任一所述的模型训练方法的步骤,该设备包括存储器1001、处理器1002及存储在该存储器1001上并可在该处理器1002上运行的计算机程序,其中,上述处理器1002执行上述计算机程序时实现上述任一所述的肺血管分段定位的方法的步骤,或者执行上述任一所述的模型训练方法的步骤。
具体地,上述存储器1001和处理器1002可以为通用的存储器和处理器,这里不做具体限定,当处理器1002运行存储器1001存储的计算机程序时,能够执行上述任一所述的肺血管分段定位的方法的步骤,或者执行上述任一所述的模型训练方法的步骤。
对应于本申请中的肺血管分段定位的方法和模型训练方法,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述任一所述的肺血管分段定位的方法的步骤,或者执行上述任一所述的模型训练方法的步骤。
具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的计算机程序被运行时,能够执行上述任一所述的肺血管分段定位的方法的步骤,或者执行上述任一所述的模型训练方法的步骤。
在本申请所提供的实施例中,应该理解到,所揭露系统和方法,可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,系统或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (13)
1.一种肺血管分段定位的方法,其特征在于,所述方法包括:
从获取的肺部三维图像中,分割提取目标肺血管所在三维图像的最大外接立方体区域作为第一输入数据;
将第一输入数据输入训练好的肺血管分段定位模型中,得到所述目标肺血管的第一分段结果、第二分段结果以及初始定位结果,其中,所述第一分段结果用于确定所述目标肺血管的主干,所述第二分段结果用于确定所述目标肺血管的每一血管分支,所述初始定位结果用于确定所述目标肺血管的每一血管分支对应的起始点坐标;
利用所述第一分段结果与所述第二分段结果,确定所述目标肺血管的每一血管分支对应的定位候选区域;
针对所述目标肺血管的每一血管分支,利用该血管分支对应的所述定位候选区域,对所述初始定位结果中该血管分支对应的起始点坐标进行修正,得到所述目标肺血管的最终定位结果。
2.根据权利要求1所述的方法,其特征在于,在获取所述肺部三维图像之前,所述方法,还包括:
从历史肺部三维图像中,分割提取历史肺血管所在三维图像的最大外接立方体区域作为第一样本数据;
利用所述历史肺血管的主干所在的图像区域和每一血管分支所在的图像区域,对所述第一样本数据中的所述历史肺血管进行分段标记,得到目标分段数据;
针对所述第一样本数据中历史肺血管的每一血管分支,利用该血管分支对应的历史定位区域,对所述第一样本数据中的所述历史肺血管进行定位标记,得到目标定位数据,其中,所述历史定位区域是所述历史肺血管的每一血管分支的起始横截面所在的球形区域;
按照预先设置的分割比例,对所述第一样本数据进行分割,得到两个第二样本数据,其中,所述第二样本数据是所述历史肺血管的左半部或右半部所在的第一样本数据;
针对每一第二样本数据,对该第二样本数据进行数据扩增处理,得到该第二样本数据对应的第三样本数据;
将每一所述第三样本数据、所述目标分段数据以及所述目标定位数据作为训练样本,对肺血管分段定位模型进行训练,得到训练好的肺血管分段定位模型。
3.根据权利要求2所述的方法,其特征在于,所述将每一所述第三样本数据、所述目标分段数据以及所述目标定位数据作为训练样本,对肺血管分段定位模型进行训练,包括:
针对每一所述第三样本数据,对该第三样本数据中所述历史肺血管的主干所在的图像区域进行分类预测,得到第一预测结果;
对该第三样本数据中所述历史肺血管的每一血管分支所在的图像区域进行分类预测,得到第二预测结果;
对该第三样本数据中所述历史肺血管的每一血管分支对应的所述历史定位区域进行定位预测,得到第三预测结果;
利用所述目标分段数据,计算第一标准样本与所述第一预测结果之间的第一损失,其中,第一标准样本是所述目标分段数据中所述历史肺血管的主干所在的图像区域;
利用所述目标分段数据,计算第二标准样本与所述第二预测结果之间的第二损失,其中,第二标准样本是所述目标分段数据中所述历史肺血管的每一血管分支所在的图像区域;
利用所述目标定位数据,计算所述目标定位数据与所述第三预测结果之间的第三损失;
根据所述第一损失、所述第二损失以及所述第三损失,对肺血管分段定位模型进行重复训练,直至所述肺血管分段定位模型达到收敛。
4.根据权利要求1所述的方法,其特征在于,所述将第一输入数据输入训练好的肺血管分段定位模型中,得到所述目标肺血管的第一分段结果、第二分段结果以及初始定位结果,包括:
对所述第一输入数据中所述目标肺血管的主干所在的图像区域进行分类预测,得到所述第一分段结果;
对所述第一输入数据中所述目标肺血管的每一血管分支所在的图像区域进行分类预测,得到所述第二分段结果;
对所述第一输入数据中所述目标肺血管的每一血管分支对应的目标定位区域进行定位预测,得到所述初始定位结果,其中,所述目标定位区域是所述目标肺血管的每一血管分支的起始横截面所在的球形区域,所述起始点坐标是每一所述目标定位区域的质心坐标。
5.根据权利要求4所述的方法,其特征在于,所述对所述第一输入数据中所述目标肺血管的每一血管分支所在的图像区域进行分类预测,包括:
获取第二输入数据,其中,所述第二输入数据为所述目标肺血管对应的支气管分级数据,其中,所述支气管分级数据中包含每一支气管分支所属的类别标签;
针对所述目标肺血管的每一血管分支,从所述第二输入数据中,提取与该血管分支相伴行的目标支气管分支所在的图像区域作为候选预测区域;
将所述候选预测区域作为分类预测的参考样本,对该血管分支所在的图像区域进行分类预测。
6.根据权利要求1所述的方法,其特征在于,所述利用所述第一分段结果与所述第二分段结果,确定所述目标肺血管的每一血管分支对应的定位候选区域,包括:
针对所述第二分段结果中的每一血管分支,计算该血管分支所在的图像区域与所述第一分段结果中所述目标肺血管的主干所在的图像区域相交的最大连通域;
将计算结果作为该血管分支对应的所述定位候选区域。
7.根据权利要求1所述的方法,其特征在于,所述利用该血管分支对应的所述定位候选区域,对所述初始定位结果中该血管分支对应的起始点坐标进行修正,包括:
利用该血管分支对应的所述定位候选区域,判断该血管分支对应的起始点坐标是否位于所述定位候选区域内;
若确定该血管分支对应的起始点坐标位于所述定位候选区域内,则确定所述初始定位结果无需进行修正;
若确定该血管分支对应的起始点坐标位于所述定位候选区域外,则将所述起始点坐标修正为目标截面的中心点坐标,其中,所述目标截面是该血管分支对应的所述定位候选区域与所述初始定位结果的相交截面。
8.一种模型训练方法,其特征在于,所述模型训练方法,包括:
从历史肺部三维图像中,分割提取历史肺血管所在三维图像的最大外接立方体区域作为第一样本数据;
利用所述历史肺血管的主干所在的图像区域和每一血管分支所在的图像区域,对所述第一样本数据中的所述历史肺血管进行分段标记,得到目标分段数据;
针对所述第一样本数据中历史肺血管的每一血管分支,利用该血管分支对应的历史定位区域,对所述第一样本数据中的所述历史肺血管进行定位标记,得到目标定位数据,其中,所述历史定位区域是所述历史肺血管的每一血管分支的起始横截面所在的球形区域;
按照预先设置的分割比例,对所述第一样本数据进行分割,得到两个第二样本数据,其中,所述第二样本数据是所述历史肺血管的左半部或右半部所在的第一样本数据;
针对每一第二样本数据,对该第二样本数据进行数据扩增处理,得到该第二样本数据对应的第三样本数据;
将每一所述第三样本数据、所述目标分段数据以及所述目标定位数据作为训练样本,对肺血管分段定位模型进行训练,得到训练好的肺血管分段定位模型。
9.根据权利要求8所述的模型训练方法,其特征在于,所述将每一所述第三样本数据、所述目标分段数据以及所述目标定位数据作为训练样本,对肺血管分段定位模型进行训练,包括:
针对每一所述第三样本数据,对该第三样本数据中所述历史肺血管的主干所在的图像区域进行分类预测,得到第一预测结果;
对该第三样本数据中所述历史肺血管的每一血管分支所在的图像区域进行分类预测,得到第二预测结果;
对该第三样本数据中所述历史肺血管的每一血管分支对应的所述历史定位区域进行定位预测,得到第三预测结果;
利用所述目标分段数据,计算第一标准样本与所述第一预测结果之间的第一损失,其中,第一标准样本是所述目标分段数据中所述历史肺血管的主干所在的图像区域;
利用所述目标分段数据,计算第二标准样本与所述第二预测结果之间的第二损失,其中,第二标准样本是所述目标分段数据中所述历史肺血管的每一血管分支所在的图像区域;
利用所述目标定位数据,计算所述目标定位数据与所述第三预测结果之间的第三损失;
根据所述第一损失、所述第二损失以及所述第三损失,对肺血管分段定位模型进行重复训练,直至所述肺血管分段定位模型达到收敛。
10.一种肺血管分段定位的装置,其特征在于,所述装置,包括:
分割提取模块,用于从获取的肺部三维图像中,分割提取目标肺血管所在三维图像的最大外接立方体区域作为第一输入数据;
分段定位模块,用于将第一输入数据输入训练好的肺血管分段定位模型中,得到所述目标肺血管的第一分段结果、第二分段结果以及初始定位结果,其中,所述第一分段结果用于确定所述目标肺血管的主干,所述第二分段结果用于确定所述目标肺血管的每一血管分支,所述初始定位结果用于确定所述目标肺血管的每一血管分支对应的起始点坐标;
区域确定模块,用于利用所述第一分段结果与所述第二分段结果,确定所述目标肺血管的每一血管分支对应的定位候选区域;
结果修正模块,用于针对所述目标肺血管的每一血管分支,利用该血管分支对应的所述定位候选区域,对所述初始定位结果中该血管分支对应的起始点坐标进行修正,得到所述目标肺血管的最终定位结果。
11.一种模型训练装置,其特征在于,所述模型训练装置,包括:
第一分割模块,用于从历史肺部三维图像中,分割提取历史肺血管所在三维图像的最大外接立方体区域作为第一样本数据;
分段标记模块,用于利用所述历史肺血管的主干所在的图像区域和每一血管分支所在的图像区域,对所述第一样本数据中的所述历史肺血管进行分段标记,得到目标分段数据;
定位标记模块,用于针对所述第一样本数据中历史肺血管的每一血管分支,利用该血管分支对应的历史定位区域,对所述第一样本数据中的所述历史肺血管进行定位标记,得到目标定位数据,其中,所述历史定位区域是所述历史肺血管的每一血管分支的起始横截面所在的球形区域;
第二分割模块,用于按照预先设置的分割比例,对所述第一样本数据进行分割,得到两个第二样本数据,其中,所述第二样本数据是所述历史肺血管的左半部或右半部所在的第一样本数据;
第一处理模块,用于针对每一第二样本数据,对该第二样本数据进行数据扩增处理,得到该第二样本数据对应的第三样本数据;
模型训练模块,用于将每一所述第三样本数据、所述目标分段数据以及所述目标定位数据作为训练样本,对肺血管分段定位模型进行训练,得到训练好的肺血管分段定位模型。
12.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的肺血管分段定位的方法的步骤,或者执行如权利要求8至9任一所述的模型训练方法的步骤。
13.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至7任一所述的肺血管分段定位的方法的步骤,或者执行如权利要求8至9任一所述的模型训练方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110501096.XA CN113223013B (zh) | 2021-05-08 | 2021-05-08 | 一种肺血管分段定位的方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110501096.XA CN113223013B (zh) | 2021-05-08 | 2021-05-08 | 一种肺血管分段定位的方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113223013A true CN113223013A (zh) | 2021-08-06 |
CN113223013B CN113223013B (zh) | 2022-02-22 |
Family
ID=77094034
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110501096.XA Active CN113223013B (zh) | 2021-05-08 | 2021-05-08 | 一种肺血管分段定位的方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113223013B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113706559A (zh) * | 2021-09-13 | 2021-11-26 | 复旦大学附属中山医院 | 基于医学图像的血管分段提取方法和装置 |
CN114266791A (zh) * | 2021-12-31 | 2022-04-01 | 上海联影智能医疗科技有限公司 | 搭桥重建方法及计算机设备 |
CN114445391A (zh) * | 2022-01-30 | 2022-05-06 | 推想医疗科技股份有限公司 | 血管分段方法及其装置、电子设备和计算机可读存储介质 |
WO2023125969A1 (en) * | 2021-12-31 | 2023-07-06 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for bypass vessel reconstruction |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107230204A (zh) * | 2017-05-24 | 2017-10-03 | 东北大学 | 一种从胸部ct图像中提取肺叶的方法及装置 |
CN110517238A (zh) * | 2019-08-20 | 2019-11-29 | 厦门天允星途医疗科技有限公司 | Ct医学影像ai三维重建与人机交互可视化网络系统 |
CN111311583A (zh) * | 2020-02-24 | 2020-06-19 | 广州柏视医疗科技有限公司 | 肺气管和血管的分段命名方法及系统 |
CN111563876A (zh) * | 2020-03-24 | 2020-08-21 | 上海依智医疗技术有限公司 | 一种医学影像的获取方法、显示方法 |
CN111681247A (zh) * | 2020-04-29 | 2020-09-18 | 杭州深睿博联科技有限公司 | 肺叶肺段分割模型训练方法和装置 |
CN112562058A (zh) * | 2020-11-23 | 2021-03-26 | 西安电子科技大学 | 一种基于迁移学习的颅内血管模拟三维模型快速建立方法 |
CN112561917A (zh) * | 2020-12-22 | 2021-03-26 | 上海联影智能医疗科技有限公司 | 图像的分段方法、系统、电子设备及可读存储介质 |
CN112598619A (zh) * | 2020-11-23 | 2021-04-02 | 西安科锐盛创新科技有限公司 | 基于迁移学习的颅内血管模拟三维狭窄化模型的建立方法 |
-
2021
- 2021-05-08 CN CN202110501096.XA patent/CN113223013B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107230204A (zh) * | 2017-05-24 | 2017-10-03 | 东北大学 | 一种从胸部ct图像中提取肺叶的方法及装置 |
CN110517238A (zh) * | 2019-08-20 | 2019-11-29 | 厦门天允星途医疗科技有限公司 | Ct医学影像ai三维重建与人机交互可视化网络系统 |
CN111311583A (zh) * | 2020-02-24 | 2020-06-19 | 广州柏视医疗科技有限公司 | 肺气管和血管的分段命名方法及系统 |
CN111563876A (zh) * | 2020-03-24 | 2020-08-21 | 上海依智医疗技术有限公司 | 一种医学影像的获取方法、显示方法 |
CN111681247A (zh) * | 2020-04-29 | 2020-09-18 | 杭州深睿博联科技有限公司 | 肺叶肺段分割模型训练方法和装置 |
CN112562058A (zh) * | 2020-11-23 | 2021-03-26 | 西安电子科技大学 | 一种基于迁移学习的颅内血管模拟三维模型快速建立方法 |
CN112598619A (zh) * | 2020-11-23 | 2021-04-02 | 西安科锐盛创新科技有限公司 | 基于迁移学习的颅内血管模拟三维狭窄化模型的建立方法 |
CN112561917A (zh) * | 2020-12-22 | 2021-03-26 | 上海联影智能医疗科技有限公司 | 图像的分段方法、系统、电子设备及可读存储介质 |
Non-Patent Citations (2)
Title |
---|
GEOGRA GKIOXARI ET AL.: "Mesh R-CNN", 《ARXIV》 * |
严凯: "基于深度学习的肺分叶分段", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113706559A (zh) * | 2021-09-13 | 2021-11-26 | 复旦大学附属中山医院 | 基于医学图像的血管分段提取方法和装置 |
CN114266791A (zh) * | 2021-12-31 | 2022-04-01 | 上海联影智能医疗科技有限公司 | 搭桥重建方法及计算机设备 |
WO2023125969A1 (en) * | 2021-12-31 | 2023-07-06 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for bypass vessel reconstruction |
CN114445391A (zh) * | 2022-01-30 | 2022-05-06 | 推想医疗科技股份有限公司 | 血管分段方法及其装置、电子设备和计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113223013B (zh) | 2022-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113223013B (zh) | 一种肺血管分段定位的方法、装置、设备及存储介质 | |
CN110874594B (zh) | 基于语义分割网络的人体外表损伤检测方法及相关设备 | |
CN110751678A (zh) | 运动目标的检测方法、装置和电子设备 | |
CN104751187A (zh) | 抄表图像自动识别方法 | |
CN106815194A (zh) | 模型训练方法及装置和关键词识别方法及装置 | |
EP3161728A1 (en) | Hierarchical interlinked multi-scale convolutional network for image parsing | |
CN110210483B (zh) | 医疗图像病变区域分割方法、模型训练方法和设备 | |
CN111898642A (zh) | 关键点检测方法、装置、电子设备及存储介质 | |
CN109871829B (zh) | 一种基于深度学习的检测模型训练方法和装置 | |
CN109993750A (zh) | 一种手腕骨的分割识别方法及系统、终端及可读存储介质 | |
CN112861656B (zh) | 商标相似性检测方法、装置、电子设备和存储介质 | |
CN111414948B (zh) | 目标对象检测方法和相关装置 | |
CN111061933A (zh) | 图片样本库构建方法、装置、可读存储介质及终端设备 | |
CN112784822A (zh) | 对象识别方法、装置、电子设备、存储介质及程序产品 | |
CN112925938A (zh) | 一种图像标注方法、装置、电子设备及存储介质 | |
CN117315263B (zh) | 一种目标轮廓装置、训练方法、分割方法、电子设备及存储介质 | |
CN107729863B (zh) | 人体指静脉识别方法 | |
CN114155193A (zh) | 一种基于特征强化的血管分割方法及装置 | |
CN113344873A (zh) | 一种血管分割方法、装置及计算机可读介质 | |
CN116661786A (zh) | 一种设计页面生成方法及装置 | |
CN111626313A (zh) | 一种特征提取模型训练方法、图像处理方法及装置 | |
CN115147359A (zh) | 肺叶分割网络模型训练方法、装置、电子设备及存储介质 | |
CN115239744A (zh) | 一种血管分割方法、装置、设备及存储介质 | |
CN114066948A (zh) | 一种点云配准方法、系统、电子设备及存储介质 | |
ElGibreen et al. | Multi model transfer learning with RULES family |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |