CN115797378A - 基于几何交并比损失的前列腺轮廓分割方法 - Google Patents

Abstract

本发明公开了一种基于几何交并比损失的前列腺轮廓分割方法，包括：基于高斯面积公式构建几何交并比损失函数，结合传统距离损失构建器官边缘轮廓回归模型，采用轮廓回归模型建模器官分割任务，以轴状面切片器官轮廓逐层重建的方式建模器官分割任务。轮廓回归模型由图卷积网络以及多层感知机构成多层轮廓回归神经网络。本发明能够以边缘轮廓回归重建的方式建模分割任务，建模方式简单有效，结果准确，可减少基于UNet等编解码器结构的分类概率预测模型的假阳性预测，获得边缘一致性更佳、连续性更好的分割结果，减少相似纹理或模糊边界对于分割模型的影响，提高回归模型的准确度。

Description

基于几何交并比损失的前列腺轮廓分割方法

技术领域

本发明属于医学图像处理及应用领域，特别是涉及一种基于几何交并比损失的前列腺轮廓分割方法。

背景技术

精准有效的自动前列腺分割算法作为辅助诊断检测系统(Computer-AidedDetection,CADe)的关键一环，可在MR影像中对器官形态进行准确勾勒。其在辅助诊断决策，术前规划，穿刺引导，放疗规划以及早期检测筛查中起到重要作用，具有重要研究意义。近年来，人工神经网络在计算机视觉领域取得突破性进展，并在多种视觉下游任务中取得广泛应用，随后逐渐发展应用到医学影像的分割任务中。其特点和优势为利用原始影像数据，使用卷积神经网络自动提取特征，并对三维体数据场中每一体素进行二值分类概率预测，实现端到端自动分割。基于编解码器结构的卷积神经网络已被广泛应用于MR影像的前列腺分割，成为该领域的主流算法。

但像素分类模型是一种计算密集模型，需要计算每一点的多层级特征图。受GPU显存限制，该类方法常需要将数据切分为区域Patch，采用滑动窗口处理整个数据，切块裁剪会影响到定位的准确度以及分割的精细度，缺乏完整全局信息。受感受野限制，卷积网络难以利用全局信息并建立长程依赖关系，像素分类任务也易受标注类别不均衡以及相近纹理和灰度模式影响，出现离散边界和连续性不佳的结果，依赖后处理方法对网络输出的改善。需要具有较强结合全局信息和利用局部信息的网络模型改善当前全卷积模型预测结果一致性不佳，以及容易出现离散伪阳性预测的问题。

发明内容

本发明的目的是提供一种基于几何交并比损失的前列腺轮廓分割方法，以解决上述现有技术存在的问题。

为实现上述目的，本发明提供了一种基于几何交并比损失的前列腺轮廓分割方法，包括：

采集T2加权MR影像，对所述T2加权MR影像进行预处理，处理为初始轴状面切片数据集；

判断所述初始轴状面切片数据集中的轴状面切片是否包含前列腺区域，获得包含前列腺区域的回归切片数据集；

对所述回归切片数据集中的前列腺区域进行检测定位，获得前列腺中心点坐标与检测框的宽和高；

构建轮廓回归网络模型，并对模型进行训练；

基于前列腺中心点坐标与检测框的宽和高获得初始轮廓点集，通过轮廓回归网络模型获得预测轮廓点集；

基于所述预测轮廓点集逐层重建二值掩膜，获得前列腺器官三维分割结果。

可选的，T2加权MR影像预处理的过程包括：对T2加权MR影像采用N4偏移场校正，进行自适应直方图均衡化后进行归一化操作，将归一化后的MR影像进行切片，获得连续轴状面序列图像，对所述连续轴状面序列图像进行离线数据增强和动态数据增强，获得初始轴状面切片数据集，其中，数据集中的切片为二维切片。

可选的，回归切片数据集的获取过程包括：通过分类网络鉴别初始轴状面切片数据集中的轴状面切片是否包含前列腺区域，输入分类网络的图像为轴状面中相邻三层切片，若包含前列腺区域，则判定为回归切片数据，若不包含，则进行剔除无后续操作。

可选的，检测定位的过程包括：采用以DLA网络为骨干提取网络的CenterNET架构，使用回归切片数据集中的前后连续三层切片作为输入图像进行检测定位，获取前列腺目标检测中心点坐标与检测定位框的宽和高。

可选的，初始轮廓点集的构建过程包括：通过前列腺目标检测中心点坐标与检测定位框的宽、高数据获得检测框四条边界的中点坐标，基于边界中点坐标对前列腺区域四个边缘点进行校正，以校正后的边缘点为中心按照顺时针顺序构建八边形轮廓，以有向图形式表示所述八边形轮廓，构建初始轮廓点集。

可选的，轮廓回归网络模型由共享权值的Shared-MLP，以及特征序列模块构成，所述特征序列模块由1个不含残差连接的CMixer模块及7个连续残差Res-CMixer模块构成，CMixer模块由邻域特征聚合模块和通道混合子模块构成，其中邻域聚合子模块由环状图卷积circular convolution模块构成，通道混合模块由Token Mixer结构模块构成。

可选的，对模型进行训练的过程包括：构建几何重建损失函数，基于所述几何重建损失函数对模型训练过程进行约束，获取预测多边形轮廓和金标准轮廓所围成的面积，以预测多边形轮廓和金标准轮廓所围成的面积交集面积最大化为优化目标来约束模型进行权值更新，其中几何重建损失函数由基于几何交并比的损失和基于距离的损失构成。

可选的，预测轮廓点集的获取过程包括：将回归切片数据集经骨干网络提取特征后所对应初始轮廓位置的特征序列，输入所述轮廓回归网络模型，获得初始轮廓每一点的坐标偏移，与初始轮廓坐标相加，获得预测轮廓点集。

可选的，前列腺器官三维分割结果的获取过程包括：将预测轮廓点集构建为边界轮廓，采用计算机视觉技术对轮廓内部进行填充，逐层重建二值分割掩膜，并堆叠到原始位置重建为三维分割结果。

本发明的技术效果为：

(1)分割网络基于回归模型构建，能避免卷积网络逐像素分类存在离散和破碎的预测结果，边缘连续性、一致性更好；

(2)基于环状卷积和MLP-Mixer的基础回归网络模块可以结合邻域特征捕获能力和全局信息建模能力，相较仅使用环状卷积或MLP-Mixer结构取得更佳的精度表现；

(3)基于高斯面积公式的形状感知损失函数能利用轮廓坐标编码目标的整体形状信息，使回归模型更加准确高效；

(4)本方法提供的分割模型具有较高的准确性和实用性，方法操作简单，自动化分割方法可节约临床手工勾画时间，具有较高的准确性和实用性，降低勾画成本，辅助论床诊断，具有实用价值。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例中的整体框架流程图；

图2为本发明实施例中的网络结构示意图；

图3为本发明实施例中的基本网络模块示意图；

图4为本发明实施例中的损失函数涉及的任意多边形面积计算示意图；

图5为本发明实施例中的前列腺分割结果可视化示意图；

图6为本发明实施例中的前列腺分割结果轮廓可视化示意图；

图7为本发明实施例中的ProstateX数据集中在存在前列腺区域的切片范围中与当前卷积方法比较结果示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一

如图1-6所示，本实施例中提供一种基于几何交并比损失的前列腺轮廓分割方法，包括：

本实施例涉及一种T2加权MR影像前列腺器官分割的方法。根据本实施例，基于几何交并比损失的MR影像前列腺分割算法可实现在T2加权MR影像中对前列腺器官区域进行准确勾画，通过几何重建损失约束回归网络，实现准确的前列腺区域分割，辅助前列腺相关疾病的诊断、检测和鉴别。

图1所示为本实施例提供的基于几何交并比损失的T2加权MR影像前列腺分割算法，具体包括以下步骤：

步骤1，采用，如DenseNet、Vision Transformer等分类网络，对预处理后的前列腺图像进行图像鉴别，筛选出含有前列腺的切片S_Valid，准备用于ROI定位、图像特征提取。其中，图像预处理步骤包括对图像进行N4偏移场校正，进行自适应图像直方图均衡、重采样图像至固定尺度，处理为连续的轴状面二维切片并进行离线的数据增强，包括水平镜像翻转、自适应高斯噪声干扰、运动模糊、仿射变换、光学扭曲、网格扭曲、弹性变换、自适应直方图均衡、图像锐化、随机亮度对比度增强等离线数据增强以及仿射变换的在线数据增强。输入鉴别网络的图像为轴状面中相邻三层切片，以继承在自然图像数据集中的分类模型的预训练权重，被判定为不含目标区域的轴状面切片不参加后续回归任务；

步骤2，采用定位网络对ROI区域进行检测定位。对步骤1中鉴别筛选出的含有前列腺切片，将前后连续三层切片作为输入图像I(x)，输入目标检测网络Φ(I(x)；θ)，其中检测网络采用CenterNet架构并使用DLA34或更复杂的DLA60作为骨干网络，负责为目标检测网络以及后续回归网络进行特征提取。网络预测并输出切片内前列腺位置的中心点坐标c∈R²，以及检测定位框的宽度w和高度h，同时由骨干提取网络提取图像特征χ。

步骤3，以目标定位包围框四边界的中点，采用回归网络校正ROI的最左端l，最顶端t，最右端r，最底端b四个边缘点的坐标，代表前列腺区域的最上、最左、最下、最右四个最边界边缘点，称为极值点，以边缘点为中心遵循ExtemeNet的方式按顺时针顺序，以线性插值方式构建八边形轮廓，以有向图形式构建边缘回归的初始轮廓C₀。

步骤4，按照初始轮廓C₀进行特征采样，按照轮廓坐标位置提取骨干网络多层级特征χ对应位置的特征向量，转换为有序特征向量序列V。

步骤5，采用轮廓回归网络进行轮廓点集回归：即利用步骤4中采样获得的特征序列V及坐标位置，对初始轮廓进行点对点边界轮廓点集回归，获得预测轮廓相对于初始轮廓点集的坐标偏移C_offset。

如图2所示，回归网络是一个类PointNet网络模型，由多层共享MLP、环状卷积和MLP-Mixer组合构成的基本模块构成，其中CMixer序列由1个不含残差连接的CMixer模块及7个连续残差CMixer模块构成，用于进行特征序列的特征映射、邻域聚合和捕获全局信息。最后由残差CMixer模块以及序列共享权值MLP进行轮廓坐标回归。CMixer模块由环状卷积构成的邻域聚合和基于MLP-Mixer结构的通道混合两个子模块，用于进行局部信息聚合和建立长距离依赖关系。其中邻域聚合子模块由环状图卷积GCN模块构成，用于进行相邻控制点特征的局部邻域特征聚合，定义如下：

Y_i＝Norm(σ(V_i·W+b))i＝1,2,…,N

其中，V_j为位置j处的邻域特征向量，W为对应位置对应通道的可学习权重，N为轮廓控制点数。通道混合模块由MLP-Mixer模块构成，用于构建所有节点间的信息传播路径，建立长距离依赖关系，提高回归网络模型的全局感知能力，相关计算定义如下：

Y＝T^-1(Norm(σ(T(X)·W+b)))

其中T为转置操作，σ(·)为GELU函数，Norm(·)为层归一化操作。回归网络在训练阶段由几何重建损失函数约束。几何重建损失中由基于几何交并比的损失函数作为形状感知损失函数，基于高斯面积公式的三角形式，对于任意多边形计算，如图3所示，可将整体多边形拆解为一系列由相邻轮廓节点和原点构成的正三角形，如△OAB，其面积计算表述为：

以及一系列与正方向相反的负三角形，如△OCD，其面积可表述为：

多边形的整体面积A(P_i)为由所有正三角形、负三角形的面积和，表示为：

几何交并比损失函数采用负对数似然项的形式构建：

其中P表述预测多边形轮廓点集，即预测轮廓，预测多边形轮廓基于预测轮廓点集获得。P_gt为训练过程中的金标准多边形轮廓点集，由医生手工标注获取，P_A∩P_B表示交集多边形轮廓点集提取，采用Shapely进行预测多边形以及金标准多边形之间构成的交集多边形轮廓点集提取。几何重建损失中的距离回归损失采用

距离损失，用于进行定位以及顺时针排列顺序约束：

约束回归网络的几何重建损失最终为形状感知损失和距离损失函数的加权和，式中，λ＝1为平衡系数，用于使二者的损失具有相近的整体惩罚。

L_Polygon＝L_GeoIoU+λL_{smooth L1}

步骤6，回归结果重建：

对于回归网络的输出结果，以回归后的预测轮廓点集作为边界轮廓，使用计算机视觉库OpenCV由边界控制点进行轮廓内部填充，重建二值分割掩膜，经过逐层重建并堆叠到原始位置重建为三维分割二值掩膜。通过在ProstateX数据集中进行验证，相较传统卷积方法，本方法在两种骨干网络下对于分割DSC指标提升为0.89-3.93％，0.84-3.88％。使用基于几何交并比的损失函数结合距离损失构建几何重建损失，相较于仅使用距离损失或几何交并比损失在两种骨干网络基于DSC指评价标的提升为1.37-3.23％，0.16-1.61％。当前方法与基于卷积的方法在含有前列腺切片范围中的分割指标比较结果如表1所示。使用不同损失函数对回归网络进行约束的结果比较如表2所示。

表1

表2

实施例二

本实施例中提供一种基于几何交并比损失的前列腺轮廓分割方法，包括：

(1)影像预处理：即对临床采集T2加权MR影像进行预处理，包括重采样到统一大小，进行N4偏移场校正和自适应直方图均衡操作，对影像进行归一化操作，随后将MR影像切割为连续轴状面序列图像，进行包括水平镜像翻转、自适应高斯噪声干扰、运动模糊、仿射变换、光学扭曲、网格扭曲、弹性变换、自适应直方图均衡、图像锐化、随机亮度对比度增强等离线数据增强以及仿射变换的在线数据增强操作，以扩展数据集，避免网络在训练过程中过拟合；

(2)采用通用分类网络鉴别每一轴状面切片是否含有前列腺区域，被判定为不含目标区域的轴状面切片不参加后续回归任务；

(3)采用定位网络对轴状面切片中的前列腺区域进行粗定位：即采用以DLA网络为骨干网络的CenterNet对前列腺区域进行粗定位，获取目标中心点坐标和包围框的宽和高；

(4)进行初始多边形轮廓构建及特征提取：以目标定位包围框四边界的中点，校正前列腺目标的最左、最上、最右、最下四个边缘点，以边缘点为中心按顺时针顺序，以有向图形式构建边缘回归的八边形初始轮廓，按照轮廓控制点坐标位置提取骨干网络多层级特征对应位置的特征向量；

(5)采用轮廓回归网络进行轮廓点集回归：即利用步骤(3)中采样获得的特征序列及坐标位置，对初始轮廓进行点对点边界轮廓点集回归，获得预测轮廓点集相对于初始轮廓点集的坐标偏移量；

所述回归网络，如图2所示，是一个类PointNet人工神经网络模型，由多层共享权值MLP、环状卷积和MLP-Mixer组合构成的基本模块构成；

(6)上述步骤(5)中所述网络的训练过程中使用基于几何交并比的损失函数和基于距离的损失函数一并构成几何重建损失函数对模型训练过程进行约束，通过以轮廓回归网络的预测轮廓与金标准轮廓之间所围区域的交集面积最大化为优化目标约束网络进行权值更新。

(7)将测试图像输入回归网络，得到目标轮廓点集中每一点坐标的坐标偏移量；

(8)将初始轮廓点集坐标与每一点对应坐标偏移量相加，获得回归后的轮廓点集坐标；

(9)以回归轮廓点集作为目标预测轮廓，逐层重建二值掩膜，堆叠生成三维分割结果。

实施例三

本实施例中提供一种基于几何交并比损失的前列腺轮廓分割方法，包括：

本实施例提出的基于回归重建的前列腺分割方法，其轮廓回归模型采用基于几何IoU损失函数构成的多边形重建损失函数，该损失函数的设计原则为：利用回归多边形轮廓坐标和金标准轮廓坐标计算交集多边形的整体面积并以负对数的约束形式使IoU较小的预测结果获得更大的惩罚，使用轮廓坐标编码型状信息，提高网络的形状感知能力，从而使回归网络获得更好的的形状拟合性能，同时利用距离损失对网络预测轮廓边界进行整体定位和平滑，以减少网络模型的预测偏差，提高整体模型的分割精度，使模型预测边缘轮廓准确拟合目标边界轮廓。实验结果表明，算法高效精确。

为达到上述目的，具体的，本实施例的基于边界轮廓回归重建的前列腺器官分割方法包括以下步骤：基于T2加权MR影像进行图像预处理，并处理为2维切片。使用分类网络，进行有效切片鉴别。使用目标检测网络定位目标区域(Region of Interest,ROI)，并进行特征提取。生成初始轮廓，并进行特征提取。使用轮廓回归网络，进行点对点的轮廓边界点集回归，预测初始轮廓与预测轮廓之间的坐标偏移量。在网络的训练过程中，采用高斯面积公式的三角形式构建几何IoU损失函数，同时采用SmoothL1损失函数约束轮廓回归。基于回归结果，重建二值掩膜，堆叠重建三维分割实体。

如上的，其中，图像预处理步骤包括对MR影像采用N4偏置场校正，进行灰度直方图均衡、重采样图像缩放并将MR缩放到固定尺度，处理为连续的轴状面二维切片并进行离线的数据增强，包括水平镜像翻转、自适应高斯噪声干扰、运动模糊、仿射变换、光学扭曲、网格扭曲、弹性变换、自适应直方图均衡、图像锐化、随机亮度对比度增强等离线数据增强以及仿射变换的在线数据增强。

如上的，其中，有效切片鉴别步骤为采用通用的图像分类网络，如ResNet及VGG网络对存在前列腺的切片进行鉴别筛选，筛选出的切片用于后续特征提取。

如上的，其中，目标检测网络采用CenterNet框架进行RoI区域鉴别。同时利用检测网络中的DLA骨干网络进行图像特征提取，利用初始轮廓点集坐标进行对应坐标位置的特征采样。

如上的，其中，轮廓回归网络采用连续的共享权值MLP以及由环状卷积和MLP-Mixer堆叠组成的CMixer模块构成，通过输入的轮廓点坐标对应特征向量进行轮廓坐标位置偏移向量回归，预测得到的每一控制点坐标偏移量用于计算由初始轮廓出发形成的预测轮廓坐标。

如上的，其中，约束网络回归的轮廓回归损失函数由距离损失和基于几何交并比的形状感知损失构成。其中，距离回归损失用于轮廓坐标定位和边缘平滑，采用SmoothL1损失函数。形状感知损失用于利用轮廓控制点坐标编码整体几何形状信息，最大化交集多边形的比重，采用高斯面积公式的三角形式并以负对数的形式构建，以使更小的交集面积受到更大的惩罚损失，获得更大更新梯度。

如上的，其中，二值分割掩膜重建为采用预测轮廓坐标，利用OpenCV图像处理库进行表面轮廓重建，通过轴状面二值分割掩膜逐层重建堆叠重建为三维分割实体。最终生成MR影像中前列腺器官区域的三维分割结果。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (9)

1.一种基于几何交并比损失的前列腺轮廓分割方法，其特征在于，包括以下步骤：

采集T2加权MR影像，对所述T2加权MR影像进行预处理，处理为初始轴状面切片数据集；

判断所述初始轴状面切片数据集中的轴状面切片是否包含前列腺区域，获得包含前列腺区域的回归切片数据集；

对所述回归切片数据集中的前列腺区域进行检测定位，获得前列腺中心点坐标与检测框的宽和高；

构建轮廓回归网络模型，并对模型进行训练；

基于前列腺中心点坐标与检测框的宽和高获得初始轮廓点集，通过轮廓回归网络模型获得预测轮廓点集；

基于所述预测轮廓点集逐层重建二值掩膜，获得前列腺器官三维分割结果。

2.根据权利要求1所述的基于几何交并比损失的前列腺轮廓分割方法，其特征在于，

T2加权MR影像预处理的过程包括：对T2加权MR影像采用N4偏移场校正，进行自适应直方图均衡化后进行归一化操作，将归一化后的MR影像进行切片，获得连续轴状面序列图像，对所述连续轴状面序列图像进行离线数据增强和动态数据增强，获得初始轴状面切片数据集，其中，数据集中的切片为二维切片。

3.根据权利要求1所述的基于几何交并比损失的前列腺轮廓分割方法，其特征在于，

回归切片数据集的获取过程包括：通过分类网络鉴别初始轴状面切片数据集中的轴状面切片是否包含前列腺区域，输入分类网络的图像为轴状面中相邻三层切片，若包含前列腺区域，则判定为回归切片数据，若不包含，则进行剔除无后续操作。

4.根据权利要求3所述的基于几何交并比损失的前列腺轮廓分割方法，其特征在于，

检测定位的过程包括：采用以DLA网络为骨干提取网络的CenterNET架构，使用回归切片数据集中的前后连续三层切片作为输入图像进行检测定位，获取前列腺目标检测中心点坐标与检测定位框的宽和高。

5.根据权利要求1所述的基于几何交并比损失的前列腺轮廓分割方法，其特征在于，

初始轮廓点集的构建过程包括：通过前列腺目标检测中心点坐标与检测定位框的宽、高数据获得检测框四条边界的中点坐标，基于边界中点坐标对前列腺区域四个边缘点进行校正，以校正后的边缘点为中心按照顺时针顺序构建八边形轮廓，以有向图形式表示所述八边形轮廓，构建初始轮廓点集。

6.根据权利要求1所述的基于几何交并比损失的前列腺轮廓分割方法，其特征在于，

轮廓回归网络模型由共享权值的Shared-MLP，以及特征序列模块构成，所述特征序列模块由1个不含残差连接的CMixer模块及7个连续残差Res-CMixer模块构成，CMixer模块由邻域特征聚合模块和通道混合子模块构成，其中邻域聚合子模块由环状图卷积circularconvolution模块构成，通道混合模块由TokenMixer结构模块构成。

7.根据权利要求1所述的基于几何交并比损失的前列腺轮廓分割方法，其特征在于，

对模型进行训练的过程包括：构建几何重建损失函数，基于所述几何重建损失函数对模型训练过程进行约束，获取预测多边形轮廓和金标准轮廓所围成的面积，以预测多边形轮廓和金标准轮廓所围成的面积交集面积最大化为优化目标来约束模型进行权值更新，其中几何重建损失函数由基于几何交并比的损失和基于距离的损失构成。

8.根据权利要求7所述的基于几何交并比损失的前列腺轮廓分割方法，其特征在于，

预测轮廓点集的获取过程包括：将回归切片数据集经骨干网络提取特征后所对应初始轮廓位置的特征序列，输入所述轮廓回归网络模型，获得初始轮廓每一点的坐标偏移，与初始轮廓坐标相加，获得预测轮廓点集。

9.根据权利要求1所述的基于几何交并比损失的前列腺轮廓分割方法，其特征在于，

前列腺器官三维分割结果的获取过程包括：将预测轮廓点集构建为边界轮廓，采用计算机视觉技术对轮廓内部进行填充，逐层重建二值分割掩膜，并堆叠到原始位置重建为三维分割结果。

Images