CN116433679A - 一种基于空间位置结构先验的内耳迷路多级标注伪标签生成与分割方法 - Google Patents

Abstract

一种基于空间位置结构先验的内耳迷路多级标注伪标签生成与分割方法属于医学影像处理领域。本发明提出了一种基于内耳迷路空间位置结构先验信息在中心骨线上生成多级目标结构伪标签的方法，生成媲美专业医生手工标注的内耳迷路多级结构伪标签，作为多级标注自动实例分割网络的训练集和验证集，借助已有的在大量(68例)手工标注的内耳迷路单一结构的语义分割网络工作，实现少样本(10例)内耳迷路多级分割初始模型，完成对内耳迷路中水平半规管、上半规管、后半规管、前庭和耳蜗的自动分割。然后基于主动学习范式，筛选初始模型中最有价值的样本以达到更新优化初始多级分割模型的效果。

Description

一种基于空间位置结构先验的内耳迷路多级标注伪标签生成 与分割方法

技术领域

本发明属于医学影像处理领域，特别涉及一种结合空间位置结构先验信息，进行内耳迷路多级结构自动分割方法。

背景技术

内耳，又称内耳迷路，包含听觉感受器和平衡感觉感受器，功能重要，结构复杂，包括三个半规管、前庭和耳蜗。内耳骨性病变可引起感音性神经聋，前庭性眩晕等。在耳部疾病中，约40％的眩晕患者的病理改变位于内耳前庭系统。我国是世界上听力障碍人数最多的国家，耳部疾病是影响人民健康的重大疾病。CT是显示耳部骨性结构及其病变的主要手段，传统CT空间分辨率为0.3～0.6mm，对内耳前庭导水管等众多0.1～1mm的与耳部重大疾病密切相关的解剖结构显示分辨率不足，人眼识别存在困难，更无法准确的定量测量，为临床诊断、耳科医学研究以及计算机自动分析带来了极大的困难。超高分辨力专用CT设备(Ultra-HighResolutionCT，以下简称U-HRCT)，最小体素分辨率达到了0.05mm×0.05mm×0.05mm。与传统CT相比，U-HRCT极大地提升了对内耳微小结构显示能力，为耳病诊疗提供了全新的技术手段。U-HRCT提供的影像展现出不同于传统CT的全新征象，需要经验丰富的头颈部影像医师进行专业的解读。但是，我国经验丰富的医师资源短缺，造成影像医生工作繁重。同时，影像医生之间的经验不均衡，造成耳部疾病诊断时出现漏诊和误诊的情况。

近年来，以深度学习为代表的人工智能在医学影像分析方面取得了巨大的突破，基于深度学习的医学影像分析处理也因此成为目前生物医学工程领域的一个热点方向，各种新技术、新方法、新产品层出不穷，基于人工智能的医学影像智能化分析正在改变传统的医学诊断模式。但是，深度学习是以大数据作为支撑的，大量的有标注样本数据是深度学习取得成功的关键。医学影像由于其特殊性，医学影像数据标注工作往往需要经验丰富的放射科医师进行，在医疗资源紧张的背景下，难以获得大量标注的医学影像数据。医学影像虽然每年产生大量的数据，但带有标注的数量却很少。具体到本任务在已有的分割内耳迷路整体结构基础上对其各局部结构进行多级分割，常规的分割算法首先需要标注足够多的多级标注样本，然后重新训练多级实例分割模型。这些算法并没有利用到内耳迷路各结构之间的相对位置关系，而是将每个待定位的结构视为独立的个体，解剖结构之间的相对位置关系是医学影像的一大特点，可以为多级分割提供指导。除此之外，目前还没有能够将解剖结构之间的相对位置信息直接应用到深度学习，转化为能媲美人工标注的数据。

因此，本发明提出了一种基于内耳迷路提取3D中心骨线，然后利用内耳迷路空间位置结构先验生成伪标签，最后使用迁移学习与主动学习手段实现内耳迷路多级分割的算法。

发明内容

本发明的目的在于减轻现有医学影像分割方法对人工标注的严重依赖。对于分割内耳迷路多个结构的实例分割任务来说，常规的实例分割方法需要提供每类结构的大量放射医生手工标注样本，并没有从已有的内耳迷路分割模型中提取相关的先验信息。同时，在内耳迷路多级分割任务中，各目标结构之间的空间相对位置可以为实例分割提供先验指导，比如三个半规管所在平面近似互相垂直，前庭前后分别连接三个半规管和耳蜗结构等。利用上述先验知识，可以很好地提升内耳迷路实例分割效果。目前现有的传统分割网络引入注意力机制，以更好地捕获上下文信息，但并没有对整个解剖结构信息加以利用。此外，对于只有少量已标注数据，而未标注数据量远大于前者，已标注数据不能够很好地代表数据的真实分布，数据分布的不同会导致分割模型泛化能力下降，使其无法满足临床方面在大数据集上的需求。

针对上述问题，提出了一种基于内耳迷路空间位置结构先验信息在中心骨线上生成多级目标结构伪标签的方法，生成媲美专业医生手工标注的内耳迷路多级结构伪标签，作为多级标注自动实例分割网络的训练集和验证集，借助已有的在大量(68例)手工标注的内耳迷路单一结构的语义分割网络工作，实现少样本(10例)内耳迷路多级分割初始模型，完成对内耳迷路中水平半规管、上半规管、后半规管、前庭和耳蜗的自动分割。然后基于主动学习范式，筛选初始模型中最有价值的样本以达到更新优化初始多级分割模型的效果。

本发明是采用以下技术手段实现的：

一种基于空间位置结构先验的内耳迷路多级标注伪标签生成与分割方法。该方法整体分为三个部分：基于伪标签的初始化模型生成、根据初始化模型筛选出最有价值标注样本、基于增量学习的多级分割模型更新优化，如图1所示。

该方法具体包括以下步骤：

1)基于伪标签的初始化模型生成：

第一步，利用已有的基于U-HRCT内耳迷路整体分割网络从影像数据中分割出内耳迷路，本步骤中采用的分割网络为TransUNet，输入模型的数据为二维，该模型的训练数据集是在64例完整的U-HRCT影像数据和对应的内耳迷路整体标注数据。

第二步，从内耳迷路分割掩码中进行中心骨线提取，骨线提取也叫二值图像细化，这种算法能将一个联通区域细化成一个像素的宽度，用于特征提取和目标拓扑表示。通过这种方法可以进一步提取内耳迷路结构特征。

第三步，利用DBSCAN聚类算法，先将内耳迷路骨架中的前庭结构提取出来，DBSCAN算法是一种基于密度的空间聚类算法。该算法将具有足够密度的区域划分为一簇，并且能在具有噪声的空间数据库中发现具有任意形状的簇，并定义簇为密度相连的点的最大集合，该算法流程图如图2所示。值得注意的是，DBSCAN需要人为设定半径(Eps)及密度(MinPts)两个值。由于在内耳迷路结构中，前庭前连三个半规管，后连耳蜗结构，内耳迷路结构如图3所示，分离出前庭之后，耳蜗自动可以分离出来。半规管包括水平半规管、上半规管和后半规管三个半规管，都呈现“C”字形，约为圆周的2/3。各半规管都以两骨脚与前庭相连。一脚叫壶腹骨脚，三管的此脚各具一个膨大的骨壶腹，上、后两半规管的另一骨脚合并称为总骨脚，上半规管的另一骨脚则称为单骨脚，故三个半规管共有五个口开于前庭。三个骨半规管在空间位置上互相近似垂直。水平半规管弓向上，与锥体长轴相垂直，埋在弓形状隆起深面；上半规管水平弓向后外，形成乳突窦入口处的外半规管凸；后半规管弓向后外，约与锥体长轴平行。此外，根据医学相关定义，从前庭到半规管这一连续结构，认为在形成管状结构时，即认为其为半规管。根据这一医学定义并结合内耳迷路结构，水平半规管两端直接和前庭相连，而上半规管和后半规管有一部分结构是重合共用并和前庭相连，两者另一端各自延伸且与前庭相连。此时需要再次利用DBSCAN算法，选择较小的空间密度值进行聚类，从而分离水平半规管和上半规管+后半规管两类不同簇。

第四步，为了统一标准，在这里将上半规管和后半规管公共部分统一划分为上半规管结构。结合三个半规管平面近似相互垂直这一结构先验，主成分分析法(PCA)是一种降维的统计方法，借助一个正交变换，将其分量相关的原随机向量转化成其分量不相关的新随机向量，是数学上用来降维的一种方法。利用PCA主成分分析投影法，将三维上、后半规管骨线点云进行降维，投影到二维平面，如图4所示，根据其在二维平面投影处于不同区间将其分离。

第五步，通过步骤三和四，可以得到内耳迷路各结构骨线点云簇，从骨线伪标签转化为内耳迷路伪标签这一过程使用了KNN最近邻分类算法。最近邻算法对于任意m维输入向量(在此处m＝3),分别对应于特征空间中的一个点的三维坐标，输出为该特征向量所对应的类别标签。最近邻算法利用训练数据对特征向量空间进行划分，并将划分结果作为最终算法模型，在这里训练数据选用的是骨线各点三维坐标，标签对应内耳迷路各结构。根据训练后的最终算法模型，输入内耳迷路各点三维坐标，模型自动输出各点对应结构标签，从而生成内耳迷路多级结构伪标签。

第六步，由于上述基于结构先验的机器学习聚类方法鲁棒性不够强，对于一些内耳迷路结构不能有很好的聚类效果，同时过程繁琐，耗时耗力。因此，仍需要深度学习的方法，训练神经网络模型，使得能够直接从U-HRCT影像直接获取内耳迷路多级结构分割结果。考虑到已有的工作基础，这里选择使用迁移学习方法，将TransUNet内耳迷路单一分割网络迁移为内耳迷路多级分割网络，两者之间共享绝大部分参数，但是由于分割任务从单一类别改变至多类别，TransUNet分割网络对应分割结果输出层结构不相同。因此在训练阶段，首先将TransUNet单一分割网络除分割结果输出层外所有的参数加载至多类别分割网络，作为预训练权重，然后随机初始化多类别分割网络中最后的分割结果输出层。在TransUNet多类别分割训练阶段，允许所有网络参数反向传播并更新，初始学习率为0.01。在数据集方面，利用上述机器学习方法生成一共10例伪标签，其中9例作为训练集，1例作为验证集。通过上述训练方式得到内耳迷路多级分割初始模型进一步对初始化模型进行优化。

2)筛选最有价值标注样本：

第一步，对内耳迷路多级分割结果进行VAE变分自编解码器形状建模，该方法通过编码网络对内耳迷路结构进行特征学习和统计分析；解码器用于依据量化描述特征，对内耳迷路结构进行重建。将变分自编码器内耳迷路形态模型应用于分割模型算法的无参考评估，在一定程度上用来衡量内耳迷路分割结果的好坏，从而作为筛选对初始多级分割模型最有价值标注样本的一种参考方法。该方法针对内耳迷路分割结果残缺较大，或分割质量不佳的分割结果能够较为准确的辨别。VAE模型是一种基于深度学习的生成模型，可以通过对输入形状数据编码和重建，以低维度的隐式向量表示高维复杂形状。与AE自编码器不同的是，VAE模型假设隐空间服从某种已知的先验分布(通常情况下为高斯分布)。具体地讲，对于一组输入数据X，隐式矢量Z(z1，z2，……，zn)的后验分布p(z∣x)可通过变分分布q(z∣x)近似得到。在变分推断时，利用数据在训练中对证据下界(Evidence Lower Bound，ELBO)最大化，如公式(1)所示：

其中，p(x)为证据概率，p(z)为先验，p(x|z)为似然概率。公式(1)右边第一项为计算KL散度的正则化项，约束后验近似于先验；第二项为基于隐式矢量重构原始输入的似然。VAE假设先验p(z)和近似后验q(z|x)服从高斯分布，即p(z)～N(0,I)。此外，重参数化被用于模拟近似后验q(z|x)。即通过假设z～N(μ,σ²)，隐式矢量z可由公式(2)进行重参数化得到。其中，均值μ和标准差σ由VAE模型在训练中通过梯度优化计算得到。

其中

为均值为0，方差为I的正态分布，ζ服从此分布。

由于医学影像中相同解剖结构应具有相似的形状，正常的分割结果经过VAE模型编码后，隐式向量的参数应处于所建立模型的参数分布范围内。基于这一思想，本步骤将所建立的形状平均统计编码作为金标准，通过比较待评估结果与金标准的编码余弦相似度实现无参考的分割质量评估，见公式(3)：

其中A_i和B_i分别代表待评估结果编码向量A和金标准的编码向量B的各分量。

较低的余弦相似性值与显著残缺的样本具有对应关系，因此本方法在一定程度上可以有效筛选出分割较差的样本，基于VAE的分割质量评估流程如图5所示。

第二步，采用TransUNet多级分割网络对648例未标注U-HRCT数据进行预测，在分割模型的决策层，提取出各类前景通道的概率矩阵，采用最大联通掩码将离散点区域的概率过滤，分别得到分割模型对每个结构类别的最大联通概率图，记作P_c，其中c∈(0，4)，然后基于不确定性评估对样本标注价值进行量化。针对特定前景类别c，对于含有m幅切片，每幅n个像素的最大联通概率图，通过熵来定义模型预测的不确定性，见公式(4)：

其中，p_ij表示每个像素属于前景的概率。当概率接近于0.5时，表示此时分割模型难以确定该像素的类别。因此，较高的不确定性意味着样本中存在较多难以分割的体素，对这类样本进行标注，可对提升模型分割性能方面提供更有价值的信息。

第三步，尽管不确定性在部分情况下能够评估模型难以预测的区域，但是，在决策层产生的概率并非完全可靠。在某些情况下，尽管分割模型对于某个像素具有较高的置信度，仍然可能以较低的不确定性产生错误的预测。出于这个原因，筛选最有价值标注样本的策略结合步骤一内耳迷路分割结果掩码形状建模质量评估策略和步骤二中基于分割模型预测的不确定性来共同衡量未标注样本的标注价值，定义样本价值指数Q评估未标注样本的标注价值，见公式(5)：

Q＝λ₁×Norm(U)+λ₂×Norm(1-sim) (5)

其中，λ₁和λ₂为不确定性和余弦相似度之间的平衡系数，用于平衡不确定性和余弦相似度对于样本价值度量的贡献，sim和U分别为上述第一步和第二步得到的余弦相似度和不确定度。在提出的方法中，不确定性和余弦相似度均处于同一数量级。在当前的数据量下我们平等地对待不确定性和余弦相似度的贡献，因此，λ₁和λ₂在本章中均采用0.5。

3)基于增量学习的多级分割模型更新优化

第一步，上述步骤筛选出来的最有价值的标注样本，对初始多级分割模型而言，往往是模型难学的样本，在数据分布中是处于较少的，并且数据量较少。因此，针对这些困难样本，需要先对其进行数据增强操作，具体手段包括平移、旋转、水平翻转、垂直翻转等。

第二步，为了解决在训练过程中样本不平衡给模型带来的问题，多级分割模型优化阶段引入了Focalloss和Top-kloss损失函数。Focalloss是基于二分类交叉熵CE的损失函数，是一个动态缩放的交叉熵损失，通过一个动态缩放因子，可以动态降低训练过程中易区分样本的权重，从样本难易分类角度出发，使得损失函数聚焦于难分样本，解决样本非平衡带来的模型训练问题，Focalloss的公式如下：

FL(P_t)＝-(1-P_t)^γlog(p_t) (6)

γ为一个参数，范围在[0,5]，当γ为0时，就变为了交叉熵损失函数。P_t代表着与groundtruth及类别y的接近程度，P_t越大说明越接近类别y。(1-P_t)^γ可以降低易分样本的损失贡献，从而增加难分样本的损失比例。当数据分布不均匀或者某类数据存在典型分布和非典型分布的时候，最小化平均损失会忽略小类分布的数据而得到次优的结果；而最大损失对样本噪音和外点非常的敏感，即使数据中仅存在一个外点也可能导致模型学到非常糟糕的决策边界，因此相较于最大损失，第k大损失可以更好的保护小类样本，并且相对于最大损失而言对噪音更加鲁棒。因此在优化多级分割模型时，引用平均Top-kloss作为一种新的聚合损失，平均Top-kloss损失定义为样本集z上的前k个最大的损失的平均值，公式如下：

其中L_z(f)为集合损失是所有个体损失在训练样本上的累加，l_[i](f)为第i例样本的损失。

第三步，结合上述最有价值标注样本，根据步骤二的损失函数约束进行优化训练，得到最终的内耳迷路多级分割模型。

本发明与现有技术相比，具有以下明显的优势和有益效果：

本发明提出了一种基于医学影像解剖结构相对空间位置关系生成多级结构作为先验信息指导，生成内耳迷路各结构多级标注伪标签，用于训练内耳迷路多级分割网络。通过利用内耳迷路中半规管、前庭和耳蜗的相对位置关系和形态特征，结合多种机器学习聚类方法，在中心骨线特征层级对内耳迷路各结构进行分类，然后利用最近邻算法，生成骨线对应的内耳迷路多级分割掩码伪标签。借助已有U-HRCT内耳迷路单一分割网络的工作，使用迁移学习方法，训练内耳迷路多级分割初始网络。为了提高多级分割精度和分割模型鲁棒性，基于主动学习，优化初始分割网络，在样本筛选策略方面，结合模型预测结果的不确定性以及分割结构形状建模相似度两个量化指标，选取出针对于内耳迷路多级分割初始网络最有价值的样本，然后在优化模型训练阶段，引入了focal loss和Top-k loss使模型更聚焦于困难样本，以减轻样本不平衡在模型训练过程中的更新缓慢。伪标签的生成、迁移学习和主动学习范式的引用，使得内耳迷路多级分割任务能进一步减少人工的标注成本，缩短训练时间和提升模型分割鲁棒性。

本发明的特点：

1.提出了一种基于解剖结构的相对空间位置关系的先验信息生成内耳迷路各结构多级伪标签的方法，用于将内耳迷路中水平半规管、上半规管、后半规管、前庭和耳蜗。常规的标签生成方法需要有专业知识背景的放射科医生进行手工标注，这一过程费时费力，而传统的无监督方法不能很好地利用内耳迷路空间结构位置信息，对各结构分割效果较差，与上述不同的是，本发明充分利用内耳迷路结构相关先验信息，使用了多种机器学习方法，自动生成的各结构多级伪标签质量媲美医生手动标注。

2.结合已有的内耳迷路单一目标分割网络这一工作基础，使用迁移学习手段，训练内耳迷路多级分割网络，在训练阶段充分利用到分割网络已学习到的预训练权重信息，从而大大缩短了训练时间，提升了模型的分割精准度。

附图说明：

图1、整体内耳迷路多级分割模型流程图

图2、DBSCAN算法流程图

图3、内耳迷路各结构示意图

图4、上半规管和后半规管投影降维前后点云图

图5、基于VAE的分割质量评估流程图

具体实施方式：

以下结合说明书附图，对本发明的实施实例加以说明：

本发明采用颞骨U-HRCT数据集进行训练和预测。共计10例经过基于空间位置结构先验生成的内耳迷路多级标注伪标签，共生成水平半规管、上半规管、后半规管、前庭和耳蜗共计5个解剖结构。初始训练过程，使用9例数据作为训练集，1例数据作为验证集。初始模型使用无标注数据，共计652例。

本发明采用的数据预处理包括对U-HRCT数据病人信息脱敏和影像Hu值的归一化。

基于空间位置结构先验的内耳迷路多级标注伪标签生成与分割方法过程如下：

a)基于伪标签的初始化模型生成

第一步：利用已有的基于U-HRCT内耳迷路整体分割网络从影像数据中分割出内耳迷路，本步骤中采用的分割网络为TransUNet，输入模型的数据为二维，在模型分割完整一例数据后，将模型二维预测结构进行整合为一例三维内耳迷路掩码。

第二步，从内耳迷路分割掩码中进行中心骨线提取，然后利用DBSCAN、PCA等算法生成伪标签。其中，DBSCAN算法三次使用的Eps和MinPts值分别为Eps＝3，MinPts＝9、Eps＝6，MinPts＝3和Eps＝2，MinPts＝3。

第三步，考虑到已有的工作基础，这里选择使用迁移学习方法，将TransUNet内耳迷路单一分割网络迁移为内耳迷路多级分割网络，两者之间共享绝大部分参数，因此除了TransUNet最后的SegmentationHead模块中的Conv2d和Identity层进行初始化之外，其他层中的参数都选择导入内耳迷路单一分割网络预训练模型参数。

b)筛选最有价值标注样本：

第一步：本步骤中，完整的内耳迷路区域空间分辨率为256×256×112，由于计算资源的限制，该区域难以送入3D VAE模型。因此，实验中采用2D VAE模型，对2D切片进行隐空间编码。隐空间维度初次采用32维训练VAE模型至收敛。接着，通过PCA对隐空间进行降维，在PCA降维保留95％信息的情况下，将单幅影像的隐空间维度降至24维。

第二步，在对样本价值指数Q由高到低排序后，从未标记样本池中选取价值最高的20％作为高价值样本。

c)基于增量学习的多级分割模型更新优化：

第一步：Focalloss是基于二分类交叉熵CE的损失函数，是一个动态缩放的交叉熵损失，通过一个动态缩放因子，可以动态降低训练过程中易区分样本的权重。

第二步：平均Top-kloss损失定义为样本集z上的前k个最大的损失的平均值。

所述方法生成的伪标签质量与有经验医生手工标注的金标准的进行客观评价，评价结果见表1。使用了Dice-Coefficient(DSC[％])，AverageSymmetricSurfaceDistance(ASD[mm])和HausdorffDistance(HD[mm])来对所述方法进行评价。DSC是用来评估分割结果P与金标准Q之间的差异程度，计算方法见8：

其中，|·|代表着标记体素的数量。DSC值越大，表示预测结果与金标准之间的重叠体素越多。

ASD是一种流行的基于目标表面的度量指标，用于测量两个三维物体对称位置之间的评价表面距离，它的定义可以表述为

其中，S(P),S(G)分别代表P和G的表面体素集。对于ASD值，越小越好。

豪斯多夫距离(Hausdorffdistance,HD)也是常用的分割评价指标，主要用来度量边界的分割准确度。HD是描述两组点集之间相似程度的一种度量，它是两个点集之间距离的一种定义形式：假设有两组集合A＝{a₁,…a_p},B＝{b₁,…b_p},则这两个点集合之间的HD定义为：

H(A,B)＝max(h(A,B),h(B,A))#(10)

(10)称为双向Hausdorff distance，是HD的最基本形式，(11)和(12)中的h(A,B)和h(B,A)分别称为从A集合到B集合和从B集合到A集合的单向Hausdorff distance距离。由于其对于离群点比较敏感，而医学分割中离群点有不确定性，在实际计算中，将最后的值乘以95％，消除离群值的一个非常小的子集的影响，以保持整体数值的稳定，也叫HD₉₅。

表1评价结果

Claims (2)

1.一种基于空间位置结构先验的内耳迷路多级标注伪标签生成与分割方法，其特征在于：

第一步，利用已有的基于U-HRCT内耳迷路整体分割网络从影像数据中分割出内耳迷路，采用的分割网络为TransUNet，输入模型的数据为二维；

第二步，从内耳迷路分割掩码中进行中心骨线提取，将一个联通区域细化成一个像素的宽度，用于特征提取和目标拓扑表示；

第三步，利用DBSCAN聚类算法，先将内耳迷路骨架中的前庭结构提取出来；

第四步，利用PCA主成分分析投影法，将三维上、后半规管骨线点云进行降维，投影到二维平面，根据其在二维平面投影处于不同区间将其分离；

第五步，通过步骤三和四，得到内耳迷路各结构骨线点云簇，从骨线伪标签转化为内耳迷路伪标签这一过程使用了KNN最近邻分类算法；最近邻算法对于任意m维输入向量m＝3,分别对应于特征空间中的一个点的三维坐标，输出为该特征向量所对应的类别标签；最近邻算法利用训练数据对特征向量空间进行划分，并将划分结果作为最终算法模型，在这里训练数据选用的是骨线各点三维坐标，标签对应内耳迷路各结构；根据训练后的最终算法模型，输入内耳迷路各点三维坐标，模型自动输出各点对应结构标签，从而生成内耳迷路多级结构伪标签；

第六步，选择使用迁移学习方法，将TransUNet内耳迷路单一分割网络迁移为内耳迷路多级分割网络，首先将TransUNet单一分割网络除分割结果输出层外所有的参数加载至多类别分割网络，作为预训练权重，然后随机初始化多类别分割网络中最后的分割结果输出层；在TransUNet多类别分割训练阶段，允许所有网络参数反向传播并更新，初始学习率为0.01；在数据集方面，利用上述机器学习方法生成一共10例伪标签，其中9例作为训练集，1例作为验证集；通过上述训练方式得到内耳迷路多级分割初始模型，进一步对初始化模型进行优化；

1)筛选最有价值标注样本：

第一步，对内耳迷路多级分割结果进行VAE变分自编解码器形状建模，通过编码网络对内耳迷路结构进行特征学习和统计分析；解码器用于依据量化描述特征，对内耳迷路结构进行重建；将变分自编码器内耳迷路形态模型应用于分割模型算法的无参考评估，在一定程度上用来衡量内耳迷路分割结果的好坏；

对于一组输入数据X，隐式矢量Z(z1，z2，……，zn)的后验分布p(z∣x)通过变分分布q(z∣x)近似得到；在变分推断时，利用数据在训练中对证据下界最大化，如公式(1)所示：

其中，p(x)为证据概率，p(z)为先验，p(x|z)为似然概率；公式(1)右边第一项为计算KL散度的正则化项，约束后验近似于先验；第二项为基于隐式矢量重构原始输入的似然；VAE假设先验p(z)和近似后验q(z|x)服从高斯分布，即p(z)～N(0,I)；此外，重参数化被用于模拟近似后验q(z|x)；即通过假设z～N(μ,σ²)，隐式矢量z可由公式(2)进行重参数化得到；其中，均值μ和标准差σ由VAE模型在训练中通过梯度优化计算得到；

其中

为均值为0，方差为I的正态分布，ζ服从此分布；

将所建立的形状平均统计编码作为金标准，通过比较待评估结果与金标准的编码余弦相似度实现无参考的分割质量评估，见公式(3)：

其中A_i和B_i分别代表待评估结果编码向量A和金标准的编码向量B的各分量；

第二步，采用TransUNet多级分割网络对未标注U-HRCT数据进行预测，在分割模型的决策层，提取出各类前景通道的概率矩阵，采用最大联通掩码将离散点区域的概率过滤，分别得到分割模型对每个结构类别的最大联通概率图，记作P_c，其中c∈(0，4)，然后基于不确定性评估对样本标注价值进行量化；

针对特定前景类别c，对于含有m幅切片，每幅n个像素的最大联通概率图，通过熵来定义模型预测的不确定性，见公式(4)：

其中，p_ij表示每个像素属于前景的概率；

第三步，筛选最有价值标注样本的策略结合步骤一内耳迷路分割结果掩码形状建模质量评估策略和步骤二中基于分割模型预测的不确定性来共同衡量未标注样本的标注价值，定义样本价值指数Q评估未标注样本的标注价值，见公式(5)：

Q＝λ₁×Norm(U)+λ₂×Norm(1-sim) (5)

其中，λ₁和λ₂为不确定性和余弦相似度之间的平衡系数，用于平衡不确定性和余弦相似度对于样本价值度量的贡献，sim和U分别为上述第一步和第二步得到的余弦相似度和不确定度；，λ₁和λ₂在均采用0.5；

3)基于增量学习的多级分割模型更新优化

第一步，上述步骤筛选出来的最有价值的标注样本，对初始多级分割模型而言，往往是模型难学的样本，针对这些困难样本，需要先对其进行数据增强操作；

第二步，多级分割模型优化阶段引入了Focalloss和Top-kloss损失函数；Focalloss的公式如下：

FL(P_t)＝-(1-P_t)^γlog(p_t) (6)

γ为一个参数，范围在[0,5]，当γ为0时，就变为了交叉熵损失函数；P_t代表着与groundtruth及类别y的接近程度，P_t越大说明越接近类别y；

在优化多级分割模型时，引用平均Top-kloss作为一种新的聚合损失，平均Top-kloss损失定义为样本集z上的前k个最大的损失的平均值，公式如下：

其中L_z(f)为集合损失是所有个体损失在训练样本上的累加，l_[i](f)为第i例样本的损失。

2.根据权利要求1所述的方法，其特征在于：采用颞骨U-HRCT数据集进行训练和预测；共计10例经过基于空间位置结构先验生成的内耳迷路多级标注伪标签，共生成水平半规管、上半规管、后半规管、前庭和耳蜗共计5个解剖结构；初始训练过程，使用9例数据作为训练集，1例数据作为验证集；初始模型使用无标注数据；

采用的数据预处理包括对U-HRCT数据病人信息脱敏和影像Hu值的归一化；

基于空间位置结构先验的内耳迷路多级标注伪标签生成与分割方法过程如下：

a)基于伪标签的初始化模型生成

第一步：利用已有的基于U-HRCT内耳迷路整体分割网络从影像数据中分割出内耳迷路，采用的分割网络为TransUNet，输入模型的数据为二维，在模型分割完整一例数据后，将模型二维预测结构进行整合为一例三维内耳迷路掩码；

第二步，从内耳迷路分割掩码中进行中心骨线提取，然后利用DBSCAN、PCA等算法生成伪标签；其中，DBSCAN算法三次使用的Eps和MinPts值分别为Eps＝3，MinPts＝9、Eps＝6，MinPts＝3和Eps＝2，MinPts＝3；

第三步，选择使用迁移学习方法，将TransUNet内耳迷路单一分割网络迁移为内耳迷路多级分割网络，除了TransUNet最后的SegmentationHead模块中的Conv2d和Identity层进行初始化之外，其他层中的参数都选择导入内耳迷路单一分割网络预训练模型参数；

b)筛选最有价值标注样本：

第一步：本步骤中，完整的内耳迷路区域空间分辨率为256×256×112，采用2D VAE模型，对2D切片进行隐空间编码；隐空间维度初次采用32维训练VAE模型至收敛；接着，通过PCA对隐空间进行降维，在PCA降维保留95％信息的情况下，将单幅影像的隐空间维度降至24维；

第二步，在对样本价值指数Q由高到低排序后，从未标记样本池中选取价值最高的20％作为高价值样本；

c)基于增量学习的多级分割模型更新优化：

第一步：Focalloss是基于二分类交叉熵CE的损失函数，通过一个动态缩放因子，动态降低训练过程中易区分样本的权重；

第二步：平均Top-kloss损失定义为样本集z上的前k个最大的损失的平均值。

Images