CN115564788B - 基于先验信息的肺气管分割模型训练、分割方法和装置 - Google Patents
基于先验信息的肺气管分割模型训练、分割方法和装置 Download PDFInfo
- Publication number
- CN115564788B CN115564788B CN202211442534.0A CN202211442534A CN115564788B CN 115564788 B CN115564788 B CN 115564788B CN 202211442534 A CN202211442534 A CN 202211442534A CN 115564788 B CN115564788 B CN 115564788B
- Authority
- CN
- China
- Prior art keywords
- lung
- trachea
- image block
- sample image
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Geometry (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提供一种基于先验信息的肺气管分割模型训练、分割方法和装置,其中训练方法包括:基于肺区掩膜将各个样本影像块的气管分割结果划分为肺内分割结果和/或肺外分割结果;基于任一样本影像块的肺外分割结果与标注结果间的相似度,计算该样本影像块的肺外损失,和/或,基于该样本影像块的肺内分割结果中气管像素的前景概率、非气管像素的前景概率、气管像素的背景概率,以及非气管像素的前景概率和气管像素的背景概率的权重,计算该样本影像块的肺内损失;非气管像素的前景概率的权重小于等于气管像素的背景概率的权重;基于各个样本影像块的肺外损失和/或肺内损失对肺气管分割模型的参数进行调整。本发明提升了肺气管分割模型的分割精度。
Description
技术领域
本发明涉及图像分割技术领域,尤其涉及一种基于先验信息的肺气管分割模型训练、分割方法和装置。
背景技术
对计算机断层扫描(Computed Tomography,CT)图像等医学图像进行图像分割,以获取医学图像中清晰的肺气管图像,对于肺部疾病的诊断、治疗和外科手术规划等都具有非常重要的意义。
然而,对肺部进行CT成像时,CT图像易受到运动伪影与部分容积效应的影响,使得CT图像肺气管密度分布不均匀,细小气管壁模糊并且气管末端分支的管壁细小且容易出现断裂,加之细小血管和气管结构复杂,肺部图像噪声较多,从而对肺气管分割造成较大困难。目前的气管分割方式多会受到上述因素的干扰,肺部末端支气管的分割容易产生遗漏。
发明内容
本发明提供一种基于先验信息的肺气管分割模型训练、分割方法和装置,用以解决现有技术中肺部末端支气管的分割容易产生遗漏的缺陷。
本发明提供一种基于先验信息的肺气管分割模型训练方法,包括:
提取样本肺部影像中的肺区掩膜,并将所述样本肺部影像分割为多个样本影像块;
基于肺气管分割模型对各个样本影像块进行气管分割,得到各个样本影像块的气管分割结果,并基于所述肺区掩膜将各个样本影像块的气管分割结果划分为肺内分割结果和/或肺外分割结果;
基于任一样本影像块的肺外分割结果与标注结果间的相似度,计算所述任一样本影像块的肺外损失,和/或,基于所述任一样本影像块的肺内分割结果中气管像素的前景概率、非气管像素的前景概率、气管像素的背景概率,以及非气管像素的前景概率和气管像素的背景概率的权重,计算所述任一样本影像块的肺内损失;其中,非气管像素的前景概率的权重小于等于气管像素的背景概率的权重;
基于各个样本影像块的肺外损失和/或肺内损失对所述肺气管分割模型的参数进行调整。
根据本发明提供的一种基于先验信息的肺气管分割模型训练方法,所述非气管像素的前景概率的权重和气管像素的背景概率的权重是基于如下步骤确定的:
获取所述任一样本影像块的空间矩阵;所述空间矩阵中包括所述任一样本影像块中所有像素在所述样本肺部影像中的各坐标维度的归一化坐标,任一像素在任一坐标维度上距离所述样本肺部影像的中心点越近,所述任一像素的归一化坐标越接近0;
求取所述任一样本影像块中所有像素的归一化坐标的绝对值的平均值,确定所述任一样本影像块与所述样本肺部影像的中心点之间的相对位置;
基于所述任一样本影像块与所述样本肺部影像的中心点之间的相对位置,确定所述气管像素的背景概率的权重;其中,所述任一样本影像块距离所述样本肺部影像的中心点越远,所述气管像素的背景概率的权重越大;
基于所述气管像素的背景概率的权重,确定所述非气管像素的前景概率的权重。
根据本发明提供的一种基于先验信息的肺气管分割模型训练方法,所述基于所述任一样本影像块的肺内分割结果中气管像素的前景概率、非气管像素的前景概率、气管像素的背景概率,以及非气管像素的前景概率和气管像素的背景概率的权重,计算所述任一样本影像块的肺内损失,具体包括:
基于所述非气管像素的前景概率和气管像素的背景概率的权重,计算所述任一样本影像块的肺内分割结果中所有非气管像素的前景概率之和与所有气管像素的背景概率之和之间的加权和,并计算所述任一样本影像块的肺内分割结果中所有气管像素的前景概率之和与所述加权和的总和;
基于所述任一样本影像块的肺内分割结果中所有气管像素的前景概率之和与所述总和之间的比例,确定所述任一样本影像块的肺内损失。
根据本发明提供的一种基于先验信息的肺气管分割模型训练方法,所述基于各个样本影像块的肺外损失和/或肺内损失对所述肺气管分割模型的参数进行调整,具体包括:
若任一样本影像块的气管分割结果被划分为肺内分割结果和肺外分割结果,则确定所述任一样本影像块中的肺内区域的占比和肺外区域的占比;
将所述任一样本影像块中的肺内区域的占比作为所述任一样本影像块的肺内损失的权重,将所述任一样本影像块中的肺外区域的占比作为所述任一样本影像块的肺外损失的权重;
基于所述任一样本影像块的肺内损失的权重和肺外损失的权重,计算所述任一样本影像块的肺内损失和肺外损失的加权和,作为所述任一样本影像块的分割损失,并基于所述任一样本影像块的分割损失对所述肺气管分割模型的参数进行调整。
根据本发明提供的一种基于先验信息的肺气管分割模型训练方法,所述基于肺气管分割模型对各个样本影像块进行气管分割,得到各个样本影像块的气管分割结果,具体包括:
基于所述肺气管分割模型的特征提取层,提取任一样本影像块的图像特征;
基于所述肺气管分割模型的预测层,利用所述任一样本影像块的空间矩阵对所述任一样本影像块的图像特征进行注意力变换,得到所述任一样本影像块的注意力特征,并对所述任一样本影像块的注意力特征进行气管像素预测,得到所述任一样本影像块的气管分割结果。
根据本发明提供的一种基于先验信息的肺气管分割模型训练方法,所述基于所述肺气管分割模型的特征提取层,提取任一样本影像块的图像特征,具体包括:
对所述任一样本影像块进行卷积处理,得到所述任一样本影像块的初始特征;
基于所述特征提取层中的多个下采样层,对所述任一样本影像块的初始特征进行连续下采样处理,得到最后一层下采样层输出的下采样特征;
基于所述特征提取层中的多个上采样层,对最后一层下采样层输出的下采样特征进行连续上采样处理,得到最后一层上采样层输出的上采样特征,作为所述任一样本影像块的图像特征;其中,相同尺寸的上采样层和下采样层之间存在跃层连接,最后一层上采样层输出的上采样特征与所述任一样本影像块的初始特征的尺寸相同。
根据本发明提供的一种基于先验信息的肺气管分割模型训练方法,所述基于所述肺气管分割模型的预测层,利用所述任一样本影像块的空间矩阵对所述任一样本影像块的图像特征进行注意力变换,得到所述任一样本影像块的注意力特征,并对所述任一样本影像块的注意力特征进行气管像素预测,得到所述任一样本影像块的气管分割结果,具体包括:
将所述任一样本影像块的图像特征、初始特征以及所述空间矩阵进行拼接,得到所述任一样本影像块的融合特征;
对所述任一样本影像块的融合特征进行卷积处理,得到所述任一样本影像块的注意力特征;
对所述任一样本影像块的注意力特征进行气管像素预测,得到所述任一样本影像块的气管分割结果。
本发明还提供一种分割方法,包括:
确定待分割肺部影像,并将所述待分割肺部影像分割为多个待分割影像块;
将所述多个待分割影像块依次输入至肺气管分割模型,得到所述肺气管分割模型输出的所述多个待分割影像块的气管分割结果;
融合所述多个待分割影像块的气管分割结果,得到所述待分割肺部影像的整体分割结果;
其中,所述肺气管分割模型是基于如上述任一种所述基于先验信息的肺气管分割模型训练方法训练得到的。
本发明还提供一种基于先验信息的肺气管分割模型训练装置,包括:
肺区掩膜提取单元,用于提取样本肺部影像中的肺区掩膜,并将所述样本肺部影像分割为多个样本影像块;
气管分割单元,用于基于肺气管分割模型对各个样本影像块进行气管分割,得到各个样本影像块的气管分割结果,并基于所述肺区掩膜将各个样本影像块的气管分割结果划分为肺内分割结果和/或肺外分割结果;
分割损失计算单元,用于基于任一样本影像块的肺外分割结果与标注结果间的相似度,计算所述任一样本影像块的肺外损失,和/或,基于所述任一样本影像块的肺内分割结果中气管像素的前景概率、非气管像素的前景概率、气管像素的背景概率,以及非气管像素的前景概率和气管像素的背景概率的权重,计算所述任一样本影像块的肺内损失;其中,非气管像素的前景概率的权重小于等于气管像素的背景概率的权重;
模型参数调整单元,用于基于各个样本影像块的肺外损失和/或肺内损失对所述肺气管分割模型的参数进行调整。
本发明还提供一种分割装置,包括:
影像获取单元,用于确定待分割肺部影像,并将所述待分割肺部影像分割为多个待分割影像块;
影像块分割单元,用于将所述多个待分割影像块依次输入至肺气管分割模型,得到所述肺气管分割模型输出的所述多个待分割影像块的气管分割结果;
分割结果融合单元,用于融合所述多个待分割影像块的气管分割结果,得到所述待分割肺部影像的整体分割结果;
其中,所述肺气管分割模型是基于如上述任一种所述基于先验信息的肺气管分割模型训练方法训练得到的。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述基于先验信息的肺气管分割模型训练方法或分割方法。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述基于先验信息的肺气管分割模型训练方法或分割方法。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述基于先验信息的肺气管分割模型训练方法或分割方法。
本发明提供的基于先验信息的肺气管分割模型训练、分割方法和装置,通过提取样本肺部影像中的肺区掩膜,将各个样本影像块的气管分割结果划分为肺内分割结果和/或肺外分割结果,再针对性地计算肺内损失和肺外损失,可以在模型训练过程中对模型进行有差别的监督,从而提升肺气管分割模型的分割精度。由于肺内区域分割难度较大且极易出现气管漏检和误检的问题,因此在计算肺内损失时,通过获取肺内分割结果中气管像素的前景概率、非气管像素的前景概率以及气管像素的背景概率,并为非气管像素的前景概率和气管像素的背景概率分别设定稍小和稍大的权重,以调整模型对于非气管像素的误检问题以及气管像素的漏检问题的关注度,对漏检问题施加更多注意力,以在降低肺气管分割模型对于肺气管、尤其是气管末端分支的漏检率的基础上降低非气管像素的误检率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的基于先验信息的肺气管分割模型训练方法的流程示意图;
图2是本发明提供的权重设置方法的流程示意图;
图3是本发明提供的肺气管分割模型的结构示意图;
图4是本发明提供的分割方法的流程示意图;
图5是本发明提供的基于先验信息的肺气管分割模型训练装置的结构示意图;
图6是本发明提供的分割装置的结构示意图;
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是本发明提供的基于先验信息的肺气管分割模型训练方法的流程示意图,如图1所示,该方法包括:
步骤110,提取样本肺部影像中的肺区掩膜,并将所述样本肺部影像分割为多个样本影像块;
步骤120,基于肺气管分割模型对各个样本影像块进行气管分割,得到各个样本影像块的气管分割结果,并基于所述肺区掩膜将各个样本影像块的气管分割结果划分为肺内分割结果和/或肺外分割结果;
步骤130,基于任一样本影像块的肺外分割结果与标注结果间的相似度,计算所述任一样本影像块的肺外损失,和/或,基于所述任一样本影像块的肺内分割结果中气管像素的前景概率、非气管像素的前景概率、气管像素的背景概率,以及非气管像素的前景概率和气管像素的背景概率的权重,计算所述任一样本影像块的肺内损失;其中,非气管像素的前景概率的权重小于等于气管像素的背景概率的权重;
步骤140,基于各个样本影像块的肺外损失和/或肺内损失对所述肺气管分割模型的参数进行调整。
具体地,本发明实施例中的肺气管分割模型是基于卷积神经网络为骨架构建而成,例如U-net或者其变形网络,其中包括有用于提取输入影像的图像特征的特征提取层和用于预测输入影像中的肺气管区域的预测层。为了训练该肺气管分割模型使其具备实际应用能力,可以预先收集用于训练的样本肺部影像并对样本肺部影像中的肺气管区域进行像素级标注。其中,在收集样本肺部影像时,可以采取窗宽为1600,窗位为-600进行肺部CT影像采集,并将采集的肺部CT影像的CT值归一化到灰度范围(0~255),得到样本肺部影像,并将样本肺部影像切分为多个小尺寸的样本影像块(例如128*128*128),作为肺气管分割模型的分割对象。在后续实际分割任务中,会采用相同方式采集、处理和切分待分割肺部影像,后续不再赘述。
考虑到肺部影像中肺部区域以外和肺部区域以内具备不同的图像语义,模型在获取两个区域的图像语义并进行气管像素的预测时的难度也不同,因此模型在学习如何分割出样本肺部影像中的肺气管时,对于肺部区域以外的部分和肺部区域以内的部分所施加的关注度可以有所差异。因此,可以利用图像处理方式对样本肺部影像进行肺部区域分割,得到该影像中的肺区掩膜作为先验信息,以用于在模型训练过程中对模型进行有差别的监督,从而提升肺气管分割模型的分割精度。其中,肺区掩膜表征了对应影像中的肺部区域。
依次将样本肺部影像的各个样本影像块输入到肺气管分割模型中进行肺气管分割,得到各个样本影像块的气管分割结果。该气管分割结果中包含模型预测的对应样本影像块中各个像素为气管像素的概率(后文简称为前景概率)以及各个像素为非气管像素的概率(后文简称为背景概率)。为了对肺内区域和肺外区域进行针对性监督,可以利用上述肺区掩膜将各个样本影像块的气管分割结果划分为肺内分割结果和/或肺外分割结果。其中,肺内分割结果为肺区掩膜以内的气管分割结果,肺外分割结果为肺区掩膜以外的气管分割结果。
在对肺气管分割模型进行训练时,可以分别基于各个样本影像块计算相应的分割损失,再根据各个样本影像块的分割损失对肺气管分割模型的模型参数进行优化。其中,任一样本影像块的分割损失包括肺部区域以内的损失(即肺内损失)和/或肺部区域以外的损失(即肺外损失)。具体而言,若该样本影像块均落入肺区掩膜以内,则其仅具备肺内分割结果,相应地,其仅具备肺内损失;若该样本影像块均落入肺区掩膜以外,则其仅具备肺外分割结果,相应地,其仅具备肺外损失;否则,该样本影像块同时具备肺内分割结果和肺外分割结果,相应地,其同时具备肺内损失和肺外损失。
在计算任一样本影像块的肺外损失时,考虑到肺外区域的分割难度相对肺内区域而言较低,且不存在前景像素(即肺气管像素)漏检的问题,因此可以基于该样本影像块的肺外分割结果与标注结果间的相似度,计算该样本影像块的肺外损失。其中,基于肺外分割结果与标注结果间的相似度监督肺气管分割模型,可以约束肺气管分割模型对于肺外区域的分割结果逐渐接近标注结果,从而提升气管分割模型对于肺外区域的分割精度。
由于细小血管和气管结构复杂,肺部图像噪声较多,且气管末端分支既细小且气管壁模糊,因此其分割难度较大且极易出现气管漏检和误检的问题。因此,在计算任一样本影像块的肺内损失时,不仅需要考虑肺内区域的分割结果与标注结果之间的贴近程度,还需要额外考虑气管像素的漏检和误检问题,而在医学影像处理领域,漏检的问题带来的负面后果更严重,因此需要对漏检问题施加更多注意力,以提升肺气管分割模型对于肺气管、尤其是气管末端分支的分割精度。
具体而言,可以基于样本肺部影像的标注结果,确定该样本影像块中的气管像素和非气管像素,并获取肺内分割结果中气管像素的前景概率、非气管像素的前景概率以及气管像素的背景概率。其中,各个气管像素的前景概率表征了肺气管分割模型对于肺气管像素的检出率,各个非气管像素的前景概率表征了肺气管分割模型对于非气管像素的误检率,而各个气管像素的背景概率表征了肺气管分割模型对于气管像素的漏检率。在计算该样本影像块的肺内损失时,可以为非气管像素的前景概率和气管像素的背景概率设定相应的权重,以调整模型对于非气管像素的误检问题以及气管像素的漏检问题的关注度。正如同上文所说,为了对漏检问题施加更多注意力,在降低肺气管分割模型对于肺气管、尤其是气管末端分支的漏检率的基础上降低非气管像素的误检率,可以将气管像素的背景概率的权重设置得大于等于非气管像素的前景概率。
基于各个样本影像块的肺外损失和/或肺内损失,可以对肺气管分割模型的参数进行调整,以逐步提升该模型的分割精度。其中,针对任一样本影像块,可以基于该样本影像块的肺外损失和/或肺内损失计算总的分割损失,再基于该分割损失对肺气管分割模型进行参数调整。
本发明实施例提供的方法,通过提取样本肺部影像中的肺区掩膜,将各个样本影像块的气管分割结果划分为肺内分割结果和/或肺外分割结果,再针对性地计算肺内损失和肺外损失,可以在模型训练过程中对模型进行有差别的监督,从而提升肺气管分割模型的分割精度。由于肺内区域分割难度较大且极易出现气管漏检和误检的问题,因此在计算肺内损失时,通过获取肺内分割结果中气管像素的前景概率、非气管像素的前景概率以及气管像素的背景概率,并为非气管像素的前景概率和气管像素的背景概率分别设定稍小和稍大的权重,以调整模型对于非气管像素的误检问题以及气管像素的漏检问题的关注度,对漏检问题施加更多注意力,以在降低肺气管分割模型对于肺气管、尤其是气管末端分支的漏检率的基础上降低非气管像素的误检率。
基于上述实施例,如图2所示,所述非气管像素的前景概率的权重和气管像素的背景概率的权重是基于如下步骤确定的:
步骤210,获取所述任一样本影像块的空间矩阵;所述空间矩阵中包括所述任一样本影像块中所有像素在所述样本肺部影像中的各坐标维度的归一化坐标,任一像素在任一坐标维度上距离所述样本肺部影像的中心点越近,所述任一像素的归一化坐标越接近0;
步骤220,求取所述任一样本影像块中所有像素的归一化坐标的绝对值的平均值,确定所述任一样本影像块与所述样本肺部影像的中心点之间的相对位置;
步骤230,基于所述任一样本影像块与所述样本肺部影像的中心点之间的相对位置,确定所述气管像素的背景概率的权重;其中,所述任一样本影像块距离所述样本肺部影像的中心点越远,所述气管像素的背景概率的权重越大;
步骤240,基于所述气管像素的背景概率的权重,确定所述非气管像素的前景概率的权重。
具体地,为了提升肺气管分割模型的分割性能,可以从肺气管的形态出发,利用其主气管较粗、末端的支气管较细的特性,指导肺气管分割模型对不同区域的像素施加不同的注意力,从而提升针对肺气管各部分的分割精度、降低漏检率。对此,可以获取任一样本影像块的空间矩阵。其中,该空间矩阵中包括该样本影像块中所有像素在样本肺部影像中的各坐标维度(即x轴、y轴和z轴)的归一化坐标,任一像素在任一坐标维度上距离样本肺部影像的中心点越近,该像素的归一化坐标越接近0。因此,基于各个像素在各坐标维度的归一化坐标,可以预测该样本影像块在整个样本肺部影像中的相对位置,确定该样本影像块更靠近肺部中心位置还是更靠近肺部边缘。对于更靠近肺部中心位置的样本影像块,其中的肺气管的图像特征更显著、分割难度相对较低,而对于更靠近肺部边缘的样本影像块,其中的肺气管的图像特征越不明显、分割难度相对较高。
因此,可以基于样本影像块的空间矩阵,自适应地设置计算该样本影像块的肺内损失时用到的非气管像素的前景概率的权重和气管像素的背景概率的权重。此处,可以求取该样本影像块中所有像素的归一化坐标的绝对值的平均值,用以表征该样本影像块与样本肺部影像的中心点之间的相对位置。上述平均值越大,表明该样本影像块距离样本肺部影像的中心点越远,越靠近肺部边缘。随后,基于该样本影像块与样本肺部影像的中心点之间的相对位置,确定该样本影像块对应的气管像素的背景概率的权重。其中,该样本影像块距离样本肺部影像的中心点越远,气管像素的背景概率的权重越大,以指导肺气管分割模型对该样本影像块所在区域施加更多注意力,提升该区域的分割精度。确定了气管像素的背景概率的权重之后,可以基于数值1与气管像素的背景概率的权重之间的差值,作为该样本影像块对应的非气管像素的前景概率的权重。
基于上述任一实施例,所述基于所述任一样本影像块的肺内分割结果中气管像素的前景概率、非气管像素的前景概率、气管像素的背景概率,以及非气管像素的前景概率和气管像素的背景概率的权重,计算所述任一样本影像块的肺内损失,具体包括:
基于所述非气管像素的前景概率和气管像素的背景概率的权重,计算所述任一样本影像块的肺内分割结果中所有非气管像素的前景概率之和与所有气管像素的背景概率之和之间的加权和,并计算所述任一样本影像块的肺内分割结果中所有气管像素的前景概率之和与所述加权和的总和;
基于所述任一样本影像块的肺内分割结果中所有气管像素的前景概率之和与所述总和之间的比例,确定所述任一样本影像块的肺内损失。
具体地,分别计算该样本影像块的肺内分割结果中所有非气管像素的前景概率之和、所有气管像素的背景概率之和以及所有气管像素的前景概率之和。基于非气管像素的前景概率的权重和气管像素的背景概率的权重,计算所有非气管像素的前景概率之和与所有气管像素的背景概率之和之间的加权和。随后,计算所有气管像素的前景概率之和与上述加权和的总和。再基于所有气管像素的前景概率之和与上述总和之间的比例,确定该样本影像块的肺内损失。其中,可以计算数值1与上述比例之间的差值,作为该样本影像块的肺内损失。
基于上述任一实施例,所述基于各个样本影像块的肺外损失和/或肺内损失对所述肺气管分割模型的参数进行调整,具体包括:
若任一样本影像块的气管分割结果被划分为肺内分割结果和肺外分割结果,则确定所述任一样本影像块中的肺内区域的占比和肺外区域的占比;
将所述任一样本影像块中的肺内区域的占比作为所述任一样本影像块的肺内损失的权重,将所述任一样本影像块中的肺外区域的占比作为所述任一样本影像块的肺外损失的权重;
基于所述任一样本影像块的肺内损失的权重和肺外损失的权重,计算所述任一样本影像块的肺内损失和肺外损失的加权和,作为所述任一样本影像块的分割损失,并基于所述任一样本影像块的分割损失对所述肺气管分割模型的参数进行调整。
具体地,如果任一样本影像块既包含肺外区域又包含肺内区域,其气管分割结果被划分为肺内分割结果和肺外分割结果,则可以计算该样本影像块中的肺内区域在整个样本影像块内的占比以及该样本影像块中的肺外区域在整个样本影像块内的占比。由于该样本影像块的气管分割结果被划分为肺内分割结果和肺外分割结果,因此需要计算其对应的肺内损失和肺外损失。在综合肺内损失和肺外损失以确定该样本影像块的总的分割损失时,可以将该样本影像块中的肺内区域的占比作为该样本影像块的肺内损失的权重,将该样本影像块中的肺外区域的占比作为该样本影像块的肺外损失的权重。基于该样本影像块的肺内损失的权重和肺外损失的权重,可以计算该样本影像块的肺内损失和肺外损失的加权和,将该加权和作为该样本影像块的分割损失,并基于该样本影像块的分割损失对肺气管分割模型的参数进行调整。
基于上述任一实施例,所述基于肺气管分割模型对各个样本影像块进行气管分割,得到各个样本影像块的气管分割结果,具体包括:
基于所述肺气管分割模型的特征提取层,提取任一样本影像块的图像特征;
基于所述肺气管分割模型的预测层,利用所述任一样本影像块的空间矩阵对所述任一样本影像块的图像特征进行注意力变换,得到所述任一样本影像块的注意力特征,并对所述任一样本影像块的注意力特征进行气管像素预测,得到所述任一样本影像块的气管分割结果。
具体地,肺气管分割模型中包含特征提取层和预测层,分别用于对样本影像块进行图像特征提取,以及基于提取的图像特征进行肺气管像素预测。具体而言,考虑到肺气管具备特定的形态信息(即主气道粗末端分支细),样本肺部影像中的不同区域具备不同的语义信息,因此样本肺部影像中的空间结构信息有助于从图像特征中提取出与肺气管更相关的语义信息。对此,可以利用该样本影像块的空间矩阵中具备的各像素在整个样本肺部影像中的坐标信息,对该样本影像块的图像特征进行注意力变换,利用上述坐标信息所包含的空间结构信息突出该图像特征中与肺气管更相关的特征,从而得到该样本影像块的注意力特征。再基于该注意力特征进行气管像素预测,以提升后续气管像素的预测精度。
基于上述任一实施例,所述基于所述肺气管分割模型的特征提取层,提取任一样本影像块的图像特征,具体包括:
对所述任一样本影像块进行卷积处理,得到所述任一样本影像块的初始特征;
基于所述特征提取层中的多个下采样层,对所述任一样本影像块的初始特征进行连续下采样处理,得到最后一层下采样层输出的下采样特征;
基于所述特征提取层中的多个上采样层,对最后一层下采样层输出的下采样特征进行连续上采样处理,得到最后一层上采样层输出的上采样特征,作为所述任一样本影像块的图像特征;其中,相同尺寸的上采样层和下采样层之间存在跃层连接,最后一层上采样层输出的上采样特征与所述任一样本影像块的初始特征的尺寸相同。
具体地,如图3所示,肺气管分割模型的特征提取层中包含相互对称的多个下采样层和上采样层,且相同尺寸的上采样层和下采样层之间存在跃层连接。每个上采样层和下采样层中可以包含卷积层,还可以包含注意力层,以提升特征提取能力。其中,注意力层中包含Project & Excite (PE)模块。该模块首先沿着每条轴线投影特征映射,得到三条轴线方向上的特征映射,然后将其展开并相加在一起,得到相应的注意力映射,作为该层输出的上采样特征或下采样特征。PE块与通道注意更相关,它给每个通道分配一个体素级别的注意力系数,可以帮助网络把重要的特征信息学习到,提高模型泛化能力。
在进行特征提取时,对该样本影像块进行卷积处理,得到该样本影像块的初始特征。其中,还可以在卷积处理后利用PE模块再进行注意力映射,得到初始特征。随后,基于多个下采样层对该初始特征进行进行连续下采样处理,得到最后一层下采样层输出的下采样特征。再基于多个上采样层,对上述最后一层下采样层输出的下采样特征进行连续上采样处理,直至得到最后一层上采样层输出的上采样特征,并将该上采样特征作为该样本影像块的图像特征。此时,该样本影像块的图像特征与初始特征的尺寸相同,都等同于原样本影像块的尺寸。
基于上述任一实施例,所述基于所述肺气管分割模型的预测层,利用所述任一样本影像块的空间矩阵对所述任一样本影像块的图像特征进行注意力变换,得到所述任一样本影像块的注意力特征,并对所述任一样本影像块的注意力特征进行气管像素预测,得到所述任一样本影像块的气管分割结果,具体包括:
将所述任一样本影像块的图像特征、初始特征以及所述空间矩阵进行拼接,得到所述任一样本影像块的融合特征;
对所述任一样本影像块的融合特征进行卷积处理,得到所述任一样本影像块的注意力特征;
对所述任一样本影像块的注意力特征进行气管像素预测,得到所述任一样本影像块的气管分割结果。
具体地,如图3所示,将该样本影像块的图像特征、初始特征以及上述空间矩阵进行拼接,得到该样本影像块的融合特征。对该样本影像块的融合特征进行卷积处理,以得到该样本影像块的注意力特征。其中,肺气管分割模型在训练过程中能够通过调整卷积层参数,逐步学习提取上述融合特征中有助于确定气管像素的语义信息。对该样本影像块的注意力特征进行气管像素预测,可以得到该样本影像块的气管分割结果。其中,可以利用全连接层(例如1*1*1卷积)进行上述气管像素预测处理。
基于上述任一实施例,图4是本发明提供的分割方法的流程示意图,如图4所示,该方法包括:
步骤410,确定待分割肺部影像,并将所述待分割肺部影像分割为多个待分割影像块;
步骤420,将所述多个待分割影像块依次输入至肺气管分割模型,得到所述肺气管分割模型输出的所述多个待分割影像块的气管分割结果;
步骤430,融合所述多个待分割影像块的气管分割结果,得到所述待分割肺部影像的整体分割结果;
其中,所述肺气管分割模型是基于如上述任一实施例提供的基于先验信息的肺气管分割模型训练方法训练得到的。
具体地,通过与样本肺部影像相同的采集方式和预处理方式获取待分割肺部影像后,将待分割肺部影像分割为多个待分割影像块,其中待分割影像块的尺寸与上述样本影像块的尺寸相同。将多个待分割影像块依次输入至肺气管分割模型,得到肺气管分割模型输出的上述多个待分割影像块的气管分割结果。其中,肺气管分割模型是基于如上述任一实施例提供的基于先验信息的肺气管分割模型训练方法训练得到的。肺气管分割模型在对待分割影像块进行特征提取和气管像素预测时,其中的特征提取层和预测层的运行机制与训练过程中相同,在此不再赘述。待得到各个待分割影像块的气管分割结果之后,可以将各个待分割影像块的气管分割结果融合到一起,得到待分割肺部影像的整体分割结果。
下面对本发明提供的基于先验信息的肺气管分割模型训练装置进行描述,下文描述的基于先验信息的肺气管分割模型训练装置与上文描述的基于先验信息的肺气管分割模型训练方法可相互对应参照。
基于上述任一实施例,图5是本发明提供的基于先验信息的肺气管分割模型训练装置的结构示意图,如图5所示,该装置包括:肺区掩膜提取单元510、气管分割单元520、分割损失计算单元530和模型参数调整单元540。
其中,肺区掩膜提取单元510用于提取样本肺部影像中的肺区掩膜,并将所述样本肺部影像分割为多个样本影像块;
气管分割单元520用于基于肺气管分割模型对各个样本影像块进行气管分割,得到各个样本影像块的气管分割结果,并基于所述肺区掩膜将各个样本影像块的气管分割结果划分为肺内分割结果和/或肺外分割结果;
分割损失计算单元530用于基于任一样本影像块的肺外分割结果与标注结果间的相似度,计算所述任一样本影像块的肺外损失,和/或,基于所述任一样本影像块的肺内分割结果中气管像素的前景概率、非气管像素的前景概率、气管像素的背景概率,以及非气管像素的前景概率和气管像素的背景概率的权重,计算所述任一样本影像块的肺内损失;其中,非气管像素的前景概率的权重小于等于气管像素的背景概率的权重;
模型参数调整单元540用于基于各个样本影像块的肺外损失和/或肺内损失对所述肺气管分割模型的参数进行调整。
本发明实施例提供的装置,通过提取样本肺部影像中的肺区掩膜,将各个样本影像块的气管分割结果划分为肺内分割结果和/或肺外分割结果,再针对性地计算肺内损失和肺外损失,可以在模型训练过程中对模型进行有差别的监督,从而提升肺气管分割模型的分割精度。由于肺内区域分割难度较大且极易出现气管漏检和误检的问题,因此在计算肺内损失时,通过获取肺内分割结果中气管像素的前景概率、非气管像素的前景概率以及气管像素的背景概率,并为非气管像素的前景概率和气管像素的背景概率分别设定稍小和稍大的权重,以调整模型对于非气管像素的误检问题以及气管像素的漏检问题的关注度,对漏检问题施加更多注意力,以在降低肺气管分割模型对于肺气管、尤其是气管末端分支的漏检率的基础上降低非气管像素的误检率。
基于上述任一实施例,所述非气管像素的前景概率的权重和气管像素的背景概率的权重是基于如下步骤确定的:
获取所述任一样本影像块的空间矩阵;所述空间矩阵中包括所述任一样本影像块中所有像素在所述样本肺部影像中的各坐标维度的归一化坐标,任一像素在任一坐标维度上距离所述样本肺部影像的中心点越近,所述任一像素的归一化坐标越接近0;
求取所述任一样本影像块中所有像素的归一化坐标的绝对值的平均值,确定所述任一样本影像块与所述样本肺部影像的中心点之间的相对位置;
基于所述任一样本影像块与所述样本肺部影像的中心点之间的相对位置,确定所述气管像素的背景概率的权重;其中,所述任一样本影像块距离所述样本肺部影像的中心点越远,所述气管像素的背景概率的权重越大;
基于所述气管像素的背景概率的权重,确定所述非气管像素的前景概率的权重。
基于上述任一实施例,所述基于所述任一样本影像块的肺内分割结果中气管像素的前景概率、非气管像素的前景概率、气管像素的背景概率,以及非气管像素的前景概率和气管像素的背景概率的权重,计算所述任一样本影像块的肺内损失,具体包括:
基于所述非气管像素的前景概率和气管像素的背景概率的权重,计算所述任一样本影像块的肺内分割结果中所有非气管像素的前景概率之和与所有气管像素的背景概率之和之间的加权和,并计算所述任一样本影像块的肺内分割结果中所有气管像素的前景概率之和与所述加权和的总和;
基于所述任一样本影像块的肺内分割结果中所有气管像素的前景概率之和与所述总和之间的比例,确定所述任一样本影像块的肺内损失。
基于上述任一实施例,所述基于各个样本影像块的肺外损失和/或肺内损失对所述肺气管分割模型的参数进行调整,具体包括:
若任一样本影像块的气管分割结果被划分为肺内分割结果和肺外分割结果,则确定所述任一样本影像块中的肺内区域的占比和肺外区域的占比;
将所述任一样本影像块中的肺内区域的占比作为所述任一样本影像块的肺内损失的权重,将所述任一样本影像块中的肺外区域的占比作为所述任一样本影像块的肺外损失的权重;
基于所述任一样本影像块的肺内损失的权重和肺外损失的权重,计算所述任一样本影像块的肺内损失和肺外损失的加权和,作为所述任一样本影像块的分割损失,并基于所述任一样本影像块的分割损失对所述肺气管分割模型的参数进行调整。
基于上述任一实施例,所述基于肺气管分割模型对各个样本影像块进行气管分割,得到各个样本影像块的气管分割结果,具体包括:
基于所述肺气管分割模型的特征提取层,提取任一样本影像块的图像特征;
基于所述肺气管分割模型的预测层,利用所述任一样本影像块的空间矩阵对所述任一样本影像块的图像特征进行注意力变换,得到所述任一样本影像块的注意力特征,并对所述任一样本影像块的注意力特征进行气管像素预测,得到所述任一样本影像块的气管分割结果。
基于上述任一实施例,所述基于所述肺气管分割模型的特征提取层,提取任一样本影像块的图像特征,具体包括:
对所述任一样本影像块进行卷积处理,得到所述任一样本影像块的初始特征;
基于所述特征提取层中的多个下采样层,对所述任一样本影像块的初始特征进行连续下采样处理,得到最后一层下采样层输出的下采样特征;
基于所述特征提取层中的多个上采样层,对最后一层下采样层输出的下采样特征进行连续上采样处理,得到最后一层上采样层输出的上采样特征,作为所述任一样本影像块的图像特征;其中,相同尺寸的上采样层和下采样层之间存在跃层连接,最后一层上采样层输出的上采样特征与所述任一样本影像块的初始特征的尺寸相同。
基于上述任一实施例,所述基于所述肺气管分割模型的预测层,利用所述任一样本影像块的空间矩阵对所述任一样本影像块的图像特征进行注意力变换,得到所述任一样本影像块的注意力特征,并对所述任一样本影像块的注意力特征进行气管像素预测,得到所述任一样本影像块的气管分割结果,具体包括:
将所述任一样本影像块的图像特征、初始特征以及所述空间矩阵进行拼接,得到所述任一样本影像块的融合特征;
对所述任一样本影像块的融合特征进行卷积处理,得到所述任一样本影像块的注意力特征;
对所述任一样本影像块的注意力特征进行气管像素预测,得到所述任一样本影像块的气管分割结果。
下面对本发明提供的分割装置进行描述,下文描述的分割装置与上文描述的分割方法可相互对应参照。
基于上述任一实施例,图6是本发明提供的分割装置的结构示意图,如图6所示,该装置包括:影像获取单元610、影像块分割单元620和分割结果融合单元630。
其中,影像获取单元610用于确定待分割肺部影像,并将所述待分割肺部影像分割为多个待分割影像块;
影像块分割单元620用于将所述多个待分割影像块依次输入至肺气管分割模型,得到所述肺气管分割模型输出的所述多个待分割影像块的气管分割结果;
分割结果融合单元630用于融合所述多个待分割影像块的气管分割结果,得到所述待分割肺部影像的整体分割结果;
其中,所述肺气管分割模型是基于如上述任一实施例提供的基于先验信息的肺气管分割模型训练方法训练得到的。
图7是本发明提供的电子设备的结构示意图,如图7所示,该电子设备可以包括:处理器(processor)710、存储器(memory)720、通信接口(Communications Interface)730和通信总线740,其中,处理器710,存储器720,通信接口730通过通信总线740完成相互间的通信。处理器710可以调用存储器720中的逻辑指令,以执行基于先验信息的肺气管分割模型训练方法,该方法包括:提取样本肺部影像中的肺区掩膜,并将所述样本肺部影像分割为多个样本影像块;基于肺气管分割模型对各个样本影像块进行气管分割,得到各个样本影像块的气管分割结果,并基于所述肺区掩膜将各个样本影像块的气管分割结果划分为肺内分割结果和/或肺外分割结果;基于任一样本影像块的肺外分割结果与标注结果间的相似度,计算所述任一样本影像块的肺外损失,和/或,基于所述任一样本影像块的肺内分割结果中气管像素的前景概率、非气管像素的前景概率、气管像素的背景概率,以及非气管像素的前景概率和气管像素的背景概率的权重,计算所述任一样本影像块的肺内损失;其中,非气管像素的前景概率的权重小于等于气管像素的背景概率的权重;基于各个样本影像块的肺外损失和/或肺内损失对所述肺气管分割模型的参数进行调整。
处理器710还可以调用存储器720中的逻辑指令,以执行分割方法,该方法包括:确定待分割肺部影像,并将所述待分割肺部影像分割为多个待分割影像块;将所述多个待分割影像块依次输入至肺气管分割模型,得到所述肺气管分割模型输出的所述多个待分割影像块的气管分割结果;融合所述多个待分割影像块的气管分割结果,得到所述待分割肺部影像的整体分割结果;其中,所述肺气管分割模型是基于如上述任一实施例提供的基于先验信息的肺气管分割模型训练方法训练得到的。
此外,上述的存储器720中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法所提供的基于先验信息的肺气管分割模型训练方法,该方法包括:提取样本肺部影像中的肺区掩膜,并将所述样本肺部影像分割为多个样本影像块;基于肺气管分割模型对各个样本影像块进行气管分割,得到各个样本影像块的气管分割结果,并基于所述肺区掩膜将各个样本影像块的气管分割结果划分为肺内分割结果和/或肺外分割结果;基于任一样本影像块的肺外分割结果与标注结果间的相似度,计算所述任一样本影像块的肺外损失,和/或,基于所述任一样本影像块的肺内分割结果中气管像素的前景概率、非气管像素的前景概率、气管像素的背景概率,以及非气管像素的前景概率和气管像素的背景概率的权重,计算所述任一样本影像块的肺内损失;其中,非气管像素的前景概率的权重小于等于气管像素的背景概率的权重;基于各个样本影像块的肺外损失和/或肺内损失对所述肺气管分割模型的参数进行调整。
当所述程序指令被计算机执行时,计算机还能够执行上述各方法所提供的分割方法,该方法包括:确定待分割肺部影像,并将所述待分割肺部影像分割为多个待分割影像块;将所述多个待分割影像块依次输入至肺气管分割模型,得到所述肺气管分割模型输出的所述多个待分割影像块的气管分割结果;融合所述多个待分割影像块的气管分割结果,得到所述待分割肺部影像的整体分割结果;其中,所述肺气管分割模型是基于如上述任一实施例提供的基于先验信息的肺气管分割模型训练方法训练得到的。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各提供的基于先验信息的肺气管分割模型训练方法,该方法包括:提取样本肺部影像中的肺区掩膜,并将所述样本肺部影像分割为多个样本影像块;基于肺气管分割模型对各个样本影像块进行气管分割,得到各个样本影像块的气管分割结果,并基于所述肺区掩膜将各个样本影像块的气管分割结果划分为肺内分割结果和/或肺外分割结果;基于任一样本影像块的肺外分割结果与标注结果间的相似度,计算所述任一样本影像块的肺外损失,和/或,基于所述任一样本影像块的肺内分割结果中气管像素的前景概率、非气管像素的前景概率、气管像素的背景概率,以及非气管像素的前景概率和气管像素的背景概率的权重,计算所述任一样本影像块的肺内损失;其中,非气管像素的前景概率的权重小于等于气管像素的背景概率的权重;基于各个样本影像块的肺外损失和/或肺内损失对所述肺气管分割模型的参数进行调整。
该计算机程序被处理器执行时还可以执行上述各提供的分割方法,该方法包括:确定待分割肺部影像,并将所述待分割肺部影像分割为多个待分割影像块;将所述多个待分割影像块依次输入至肺气管分割模型,得到所述肺气管分割模型输出的所述多个待分割影像块的气管分割结果;融合所述多个待分割影像块的气管分割结果,得到所述待分割肺部影像的整体分割结果;其中,所述肺气管分割模型是基于如上述任一实施例提供的基于先验信息的肺气管分割模型训练方法训练得到的。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种基于先验信息的肺气管分割模型训练方法,其特征在于,包括:
提取样本肺部影像中的肺区掩膜,并将所述样本肺部影像分割为多个样本影像块;
基于肺气管分割模型对各个样本影像块进行气管分割,得到各个样本影像块的气管分割结果,并基于所述肺区掩膜将各个样本影像块的气管分割结果划分为肺内分割结果和/或肺外分割结果;
基于任一样本影像块的肺外分割结果与标注结果间的相似度,计算所述任一样本影像块的肺外损失,和/或,基于所述任一样本影像块的肺内分割结果中气管像素的前景概率、非气管像素的前景概率、气管像素的背景概率,以及非气管像素的前景概率和气管像素的背景概率的权重,计算所述任一样本影像块的肺内损失;其中,非气管像素的前景概率的权重小于等于气管像素的背景概率的权重;
基于各个样本影像块的肺外损失和/或肺内损失对所述肺气管分割模型的参数进行调整;
所述基于所述任一样本影像块的肺内分割结果中气管像素的前景概率、非气管像素的前景概率、气管像素的背景概率,以及非气管像素的前景概率和气管像素的背景概率的权重,计算所述任一样本影像块的肺内损失,具体包括:
基于所述非气管像素的前景概率和气管像素的背景概率的权重,计算所述任一样本影像块的肺内分割结果中所有非气管像素的前景概率之和与所有气管像素的背景概率之和之间的加权和,并计算所述任一样本影像块的肺内分割结果中所有气管像素的前景概率之和与所述加权和的总和;
基于所述任一样本影像块的肺内分割结果中所有气管像素的前景概率之和与所述总和之间的比例,确定所述任一样本影像块的肺内损失。
2.根据权利要求1所述的基于先验信息的肺气管分割模型训练方法,其特征在于,所述非气管像素的前景概率的权重和气管像素的背景概率的权重是基于如下步骤确定的:
获取所述任一样本影像块的空间矩阵;所述空间矩阵中包括所述任一样本影像块中所有像素在所述样本肺部影像中的各坐标维度的归一化坐标,任一像素在任一坐标维度上距离所述样本肺部影像的中心点越近,所述任一像素的归一化坐标越接近0;
求取所述任一样本影像块中所有像素的归一化坐标的绝对值的平均值,确定所述任一样本影像块与所述样本肺部影像的中心点之间的相对位置;
基于所述任一样本影像块与所述样本肺部影像的中心点之间的相对位置,确定所述气管像素的背景概率的权重;其中,所述任一样本影像块距离所述样本肺部影像的中心点越远,所述气管像素的背景概率的权重越大;
基于所述气管像素的背景概率的权重,确定所述非气管像素的前景概率的权重。
3.根据权利要求1或2所述的基于先验信息的肺气管分割模型训练方法,其特征在于,所述基于各个样本影像块的肺外损失和/或肺内损失对所述肺气管分割模型的参数进行调整,具体包括:
若任一样本影像块的气管分割结果被划分为肺内分割结果和肺外分割结果,则确定所述任一样本影像块中的肺内区域的占比和肺外区域的占比;
将所述任一样本影像块中的肺内区域的占比作为所述任一样本影像块的肺内损失的权重,将所述任一样本影像块中的肺外区域的占比作为所述任一样本影像块的肺外损失的权重;
基于所述任一样本影像块的肺内损失的权重和肺外损失的权重,计算所述任一样本影像块的肺内损失和肺外损失的加权和,作为所述任一样本影像块的分割损失,并基于所述任一样本影像块的分割损失对所述肺气管分割模型的参数进行调整。
4.根据权利要求2所述的基于先验信息的肺气管分割模型训练方法,其特征在于,所述基于肺气管分割模型对各个样本影像块进行气管分割,得到各个样本影像块的气管分割结果,具体包括:
基于所述肺气管分割模型的特征提取层,提取任一样本影像块的图像特征;
基于所述肺气管分割模型的预测层,利用所述任一样本影像块的空间矩阵对所述任一样本影像块的图像特征进行注意力变换,得到所述任一样本影像块的注意力特征,并对所述任一样本影像块的注意力特征进行气管像素预测,得到所述任一样本影像块的气管分割结果。
5.根据权利要求4所述的基于先验信息的肺气管分割模型训练方法,其特征在于,所述基于所述肺气管分割模型的特征提取层,提取任一样本影像块的图像特征,具体包括:
对所述任一样本影像块进行卷积处理,得到所述任一样本影像块的初始特征;
基于所述特征提取层中的多个下采样层,对所述任一样本影像块的初始特征进行连续下采样处理,得到最后一层下采样层输出的下采样特征;
基于所述特征提取层中的多个上采样层,对最后一层下采样层输出的下采样特征进行连续上采样处理,得到最后一层上采样层输出的上采样特征,作为所述任一样本影像块的图像特征;其中,相同尺寸的上采样层和下采样层之间存在跃层连接,最后一层上采样层输出的上采样特征与所述任一样本影像块的初始特征的尺寸相同。
6.根据权利要求5所述的基于先验信息的肺气管分割模型训练方法,其特征在于,所述基于所述肺气管分割模型的预测层,利用所述任一样本影像块的空间矩阵对所述任一样本影像块的图像特征进行注意力变换,得到所述任一样本影像块的注意力特征,并对所述任一样本影像块的注意力特征进行气管像素预测,得到所述任一样本影像块的气管分割结果,具体包括:
将所述任一样本影像块的图像特征、初始特征以及所述空间矩阵进行拼接,得到所述任一样本影像块的融合特征;
对所述任一样本影像块的融合特征进行卷积处理,得到所述任一样本影像块的注意力特征;
对所述任一样本影像块的注意力特征进行气管像素预测,得到所述任一样本影像块的气管分割结果。
7.一种分割方法,其特征在于,包括:
确定待分割肺部影像,并将所述待分割肺部影像分割为多个待分割影像块;
将所述多个待分割影像块依次输入至肺气管分割模型,得到所述肺气管分割模型输出的所述多个待分割影像块的气管分割结果;
融合所述多个待分割影像块的气管分割结果,得到所述待分割肺部影像的整体分割结果;
其中,所述肺气管分割模型是基于如权利要求1至6任一项所述基于先验信息的肺气管分割模型训练方法训练得到的。
8.一种基于先验信息的肺气管分割模型训练装置,其特征在于,包括:
肺区掩膜提取单元,用于提取样本肺部影像中的肺区掩膜,并将所述样本肺部影像分割为多个样本影像块;
气管分割单元,用于基于肺气管分割模型对各个样本影像块进行气管分割,得到各个样本影像块的气管分割结果,并基于所述肺区掩膜将各个样本影像块的气管分割结果划分为肺内分割结果和/或肺外分割结果;
分割损失计算单元,用于基于任一样本影像块的肺外分割结果与标注结果间的相似度,计算所述任一样本影像块的肺外损失,和/或,基于所述任一样本影像块的肺内分割结果中气管像素的前景概率、非气管像素的前景概率、气管像素的背景概率,以及非气管像素的前景概率和气管像素的背景概率的权重,计算所述任一样本影像块的肺内损失;其中,非气管像素的前景概率的权重小于等于气管像素的背景概率的权重;
模型参数调整单元,用于基于各个样本影像块的肺外损失和/或肺内损失对所述肺气管分割模型的参数进行调整;
所述基于所述任一样本影像块的肺内分割结果中气管像素的前景概率、非气管像素的前景概率、气管像素的背景概率,以及非气管像素的前景概率和气管像素的背景概率的权重,计算所述任一样本影像块的肺内损失,具体包括:
基于所述非气管像素的前景概率和气管像素的背景概率的权重,计算所述任一样本影像块的肺内分割结果中所有非气管像素的前景概率之和与所有气管像素的背景概率之和之间的加权和,并计算所述任一样本影像块的肺内分割结果中所有气管像素的前景概率之和与所述加权和的总和;
基于所述任一样本影像块的肺内分割结果中所有气管像素的前景概率之和与所述总和之间的比例,确定所述任一样本影像块的肺内损失。
9.一种分割装置,其特征在于,包括:
影像获取单元,用于确定待分割肺部影像,并将所述待分割肺部影像分割为多个待分割影像块;
影像块分割单元,用于将所述多个待分割影像块依次输入至肺气管分割模型,得到所述肺气管分割模型输出的所述多个待分割影像块的气管分割结果;
分割结果融合单元,用于融合所述多个待分割影像块的气管分割结果,得到所述待分割肺部影像的整体分割结果;
其中,所述肺气管分割模型是基于如权利要求1至6任一项所述基于先验信息的肺气管分割模型训练方法训练得到的。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211442534.0A CN115564788B (zh) | 2022-11-18 | 2022-11-18 | 基于先验信息的肺气管分割模型训练、分割方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211442534.0A CN115564788B (zh) | 2022-11-18 | 2022-11-18 | 基于先验信息的肺气管分割模型训练、分割方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115564788A CN115564788A (zh) | 2023-01-03 |
CN115564788B true CN115564788B (zh) | 2023-04-07 |
Family
ID=84770491
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211442534.0A Active CN115564788B (zh) | 2022-11-18 | 2022-11-18 | 基于先验信息的肺气管分割模型训练、分割方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115564788B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114565620A (zh) * | 2022-03-01 | 2022-05-31 | 电子科技大学 | 一种基于骨架先验和对比损失的眼底图像血管分割方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108765445B (zh) * | 2018-05-29 | 2021-08-20 | 上海联影医疗科技股份有限公司 | 一种肺气管分割方法及装置 |
CN112884775B (zh) * | 2021-01-20 | 2022-02-22 | 推想医疗科技股份有限公司 | 一种分割方法、装置、设备及介质 |
CN115223112A (zh) * | 2022-08-02 | 2022-10-21 | 杭州电子科技大学 | 一种基于语义分割的待行区检测方法 |
-
2022
- 2022-11-18 CN CN202211442534.0A patent/CN115564788B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114565620A (zh) * | 2022-03-01 | 2022-05-31 | 电子科技大学 | 一种基于骨架先验和对比损失的眼底图像血管分割方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115564788A (zh) | 2023-01-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111325739B (zh) | 肺部病灶检测的方法及装置,和图像检测模型的训练方法 | |
US20220092789A1 (en) | Automatic pancreas ct segmentation method based on a saliency-aware densely connected dilated convolutional neural network | |
CN111507965A (zh) | 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质 | |
CN111369623B (zh) | 一种基于深度学习3d目标检测的肺部ct图像识别方法 | |
CN112396605B (zh) | 网络训练方法及装置、图像识别方法和电子设备 | |
CN110223300A (zh) | Ct图像腹部多器官分割方法及装置 | |
WO2021136368A1 (zh) | 钼靶图像中胸大肌区域自动检测方法及装置 | |
CN116245832B (zh) | 一种图像处理方法、装置、设备及存储介质 | |
CN114862861B (zh) | 基于少样本学习的肺叶分割方法和装置 | |
CN115375583A (zh) | 一种pet参数图像的增强方法、装置、设备及存储介质 | |
CN115861255A (zh) | 用于图像处理的模型训练方法、装置、设备、介质及产品 | |
CN113256670A (zh) | 图像处理方法及装置、网络模型的训练方法及装置 | |
CN115100731B (zh) | 一种质量评价模型训练方法、装置、电子设备及存储介质 | |
CN115564788B (zh) | 基于先验信息的肺气管分割模型训练、分割方法和装置 | |
CN115631194B (zh) | 颅内动脉瘤识别检测的方法、装置、设备及介质 | |
CN112801964B (zh) | 肺部ct图像的多标签智能检测方法、装置、设备和介质 | |
CN115375706A (zh) | 图像分割模型训练方法、装置、设备及存储介质 | |
CN115482248A (zh) | 图像分割方法、装置、电子设备及存储介质 | |
CN114419068A (zh) | 一种医学图像的分割方法、装置、设备及存储介质 | |
CN114170258A (zh) | 图像分割方法、装置、电子设备及存储介质 | |
CN115423832B (zh) | 肺动脉分割模型构建方法、肺动脉分割方法和装置 | |
CN115578564B (zh) | 实例分割模型的训练方法、装置、电子设备及存储介质 | |
CN117809092B (zh) | 一种医学图像的处理方法、装置、电子设备及存储介质 | |
CN115546239B (zh) | 基于边界注意力与距离变换的目标分割方法和装置 | |
CN115908825A (zh) | 一种基于视觉处理的类圆形结构分割方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |