CN112541893B - 一种三维断层扫描图像中树状结构分叉关键点的检测方法 - Google Patents

Abstract

本发明提出一种三维断层扫描图像中树状结构分叉关键点的检测方法，涉及医学图像处理领域。该方法在离线阶段获取包含解剖学树状结构的三维断层扫描图像并预处理，对图像进行标注后根据结果生成对应的分叉关键点检测、树状结构分割、分支向量场的预测目标，最终组成训练数据对用于对深度学习网络进行训练，得到训练完毕的网络；在线阶段，获取一张相同类型的图像，利用训练完毕的网络输出该图像对应的分叉关键点热图、树状结构分割概率图与分支向量场的预测结果，应用热图与分割概率图的预测结果计算最终的关键点检测位置。本发明可以广泛应用于多种解剖学树状结构中分叉关键点的检测，如气管、动脉、静脉等，均能实现较好的检测效果。

Description

一种三维断层扫描图像中树状结构分叉关键点的检测方法

技术领域

本发明涉及医学图像处理领域，尤其涉及一种三维断层扫描图像中树状结构分叉关键点的检测方法。

背景技术

计算机断层扫描技术是一种主流的医学成像方式，能够在不进行外科手术的情况下提供人体内特定解剖学结构的三维视野，便于医生全面、直观地了解患者的身体情况。三维断层扫描图像中的解剖学树状结构包括气管、动脉、静脉等，对这些结构进行观察与分析是诊断、治疗相关疾病的重要辅助手段。以主动脉夹层疾病为例，主动脉从心脏左心室发出，沿脊柱向下行，在胸腔和腹腔内分出多个细小分支，向全身各部位输送血液。主动脉夹层指主动脉因内膜局部撕裂、在血流的冲击下呈现真假腔分离的状态，是一种致死率极高的严重疾病。在临床诊断中，医生需要观察主动脉断层扫描图像，确定假腔剥离区域、分离严重程度等，从而给予治疗建议、制定治疗方案。这样的临床分析过程非常依赖于医生的专业知识与临床经验，且由于图像分辨率低、末端血管细小、不同组织对比度低、及可能出现的人工制品等影响，具有很高的难度。因此，对解剖学树状结构进行自动建模与分析具有非常迫切而重要的现实意义。

解剖学关键点的检测是医学图像自动分析过程中的重要步骤之一，能够为血管追踪、中心线提取、图像分割、图像配准等系列后续医学图像处理任务搭建初始化条件、提供重要的空间语义信息。目前，已经提出了很多检测解剖学关键点的方法，处理对象包括冠状动脉口、气管各级分叉点等。这些方法常常存在以下局限性：

A)没有在算法中引入相应解剖学结构的空间先验信息，而仅关注局部特征。

B)没有考虑或仅仅隐式编码了关键点间的相对位置关系，对各关键点的检测相对独立。

C)算法根据特定的解剖学结构或器官设计，如心脏等，难以实现推广与迁移。

更具体地，树状结构的分叉关键点具有非常鲜明的结构特性，其定义于两个相接壤管状结构间切面的中心位置，且此切面为界，自上级管状结构中分出承担着不同解剖功能的下级管状结构，上下级管状结构具有不同的生物学命名。以主动脉为例，腹主动脉下行分为左右髂总动脉，其后各自分为髂内外动脉，由此可定义一级与二级分叉点。这表明分叉关键点与树状结构的分支空间分布具有非常密切的关系，且后者在不同患者间高度一致。如果在分叉关键点检测算法中考虑树状结构的先验信息，可以引入空间分布的约束，从而达到更好的检测性能。另一方面，树状结构分叉关键点间的相对位置关系具有很强的规律性，考虑树状结构的某一分支(如髂总动脉)与其两端的分叉关键点(即与腹主动脉接壤处的关键点，和分裂为髂内外动脉处的关键点)，可以预见两点间的连线与该分支的中心线近似重合。在算法中考虑分叉关键点间的相对位置关系，为进一步提升检测精度提供了保证。目前尚没有显式应用上述空间先验信息的分叉关键点检测方法。

发明内容

本发明的目的为克服已有技术的不足之处，提出一种三维断层扫描图像中树状结构分叉关键点的检测方法。本发明采用多任务框架，设计树状结构分割、分支向量场回归为分叉关键点检测问题的辅助任务，充分利用不同任务的协同作用，显式引入空间先验信息，能够实现良好的检测性能。

本发明提出一种三维断层扫描图像中树状结构分叉关键点的检测方法，该方法分为离线阶段和在现阶段，其特征在于，该方法包括以下步骤：

(1)离线阶段；

(1-1)获取原始数据集并对原始数据集的每张图像进行预处理；

获取N张包含同一解剖学树状结构的三维断层扫描图像作为原始图像，将所有原始图像组成原始数据集；对原始数据集中的每张原始图像进行预处理，预处理完毕后的所有图像组成预处理完毕的数据集；所述预处理包括对每张原始图像统一分辨率并将每张原始图像裁剪成统一尺寸，其中，裁剪后的图像包含原始图像中完整的树状结构；

(1-2)对步骤(1-1)预处理完毕的数据集中的每张图像进行标注，所述标注包括每张图像的树状结构分叉处关键点标注和树状结构整体分割标注两部分，其中关键点标注结果为该图像对应的所有分叉关键点三维坐标，分割标注结果为该图像对应的逐像素二值图，该二值图中树状结构部分的像素值为1，背景部分的像素值为0；

(1-3)利用步骤(1-2)的结果，生成每张预处理完毕的图像对应的分叉关键点检测、树状结构分割、分支向量场回归三个任务的预测目标；具体步骤如下：

(1-3-1)关键点检测任务预测目标生成；

对于每张预处理完毕的图像，以该图像中每个关键点分别作为目标关键点，则该目标关键点对应热图是以该目标关键点位置为中心、呈标准差为σ的三维高斯分布，该热图即为该关键点对应的关键点检测任务预测目标；其中，该图像的所有关键点共享一张背景热图；因此，该图像对应的热图生成的计算表达式为：

其中，x_k为预处理完毕的任一图像的第k个关键点的空间坐标，

为该关键点对应的热图，k＝1，...，N_l；N_l为该图像中关键点个数，

为该图像所有关键点共享的背景热图；

(1-3-2)树状结构分割任务预测目标生成；

根据预处理完毕的图像的树状结构，将主干与各分支依据对应分叉位置的关键点划分为不同的类；然后，根据分类对预处理完毕的每张图像进行各类子结构区域二值化得到该图像中各分类对应的分割概率图作为该分类对应的树状结构分割任务预测目标，每张分割概率图均为一张二值图，大小与预处理完毕的图像一致，该分割概率图上对应分类的像素为1，其余像素为0；

(1-3-3)分支向量场回归任务预测目标生成；

对于每张预处理完毕的图像，基于步骤(1-2)得到的关键点三维坐标与步骤(1-3-2)生成的分割概率图，在该图像各分支上生成向量场，该向量场包括x、y、z三个通道，分别反映该分支两端起始关键点、结束关键点在三个轴向上的坐标差；

(1-3-4)将每张预处理完毕的图像及对应的关键点标注结果、热图、分割概率图、分支向量场构成一个训练数据对，所有的训练数据对共同构成训练数据集；

(1-4)构建深度学习网络；

所述深度学习网络由主干部分和三个分支构成，其中主干部分采用U-Net结构，主干部分的最后一层分别连接三个分支，每个分支由一个残差模块、一个卷积核大小为1×1×1的卷积层构成；

该网络的输入为预处理完毕的图像，三个分支的输出分别为该输入图像对应的每个关键点对应热图的预测结果、每个分类对应的分割概率图的预测结果、每个分支对应的分支向量场的预测结果，三个预测结果的分辨率与大小均与输入图像保持一致；

(1-5)利用步骤(1-3)生成的训练数据集，对步骤(1-4)构建的深度学习网络进行训练，得到训练完毕后的深度学习网络；具体步骤如下：

(1-5-1)对步骤(1-4)建立的网络随机初始化网络参数；从步骤(1-3)生成的训练数据集中随机选取一个训练数据对，将该训练数据对中的预处理完毕的图像输入步骤(1-4)建立的深度学习网络中，得到网络三个分支的最后一层输出为对应的三个预测结果；

(1-5-2)将步骤(1-5-1)得到的三个预测结果和步骤(1-5-1)选取的训练数据对中对应的预测目标分别输入各预测任务对应的损失函数中，得到相应的损失函数值；

计算网络训练的总损失函数：

其中，α、β为超参数；

分别为关键点检测任务、树状结构分割任务、分支向量场回归任务的损失函数；

(1-5-3)每输入一个训练数据对，该网络完成一次训练；基于每次训练得到的总损失函数值，通过梯度下降法最小化函数值，调整网络参数；

当网络训练次数到达上限L次时，网络训练完毕，得到训练完毕得的深度学习网络；

(2)在线阶段；

(2-1)获取一张三维断层扫描图像，该图像与步骤(1-1)的原始图像为同一解剖学树状结构的三维断层扫描图像；

(2-2)对步骤(2-1)获取的三维断层扫描图像进行预处理，预处理完毕后，该图像的分辨率和裁剪后的尺寸均与离线阶段预处理完毕的图像一致；

(2-3)将步骤(2-2)预处理完毕后的图像输入步骤(1)训练完毕的深度学习网络中，该网络输出为输入图像对应的三个分支的预测结果，即分别为该输入图像对应的每个关键点对应的热图预测结果、每个分类对应的分割概率图的预测结果、每个分支对应的分支向量场的预测结果；

(2-4)使用步骤(2-3)得到的热图预测结果与分割概率图预测结果得到关键点的最终检测结果，具体方法为：

首先对每张分割概率图预测结果进行二值化处理，将二值化后的所有分割概率图进行融合，得到单张的整体树状结构的分割概率图，其中树状结构区域体素为1，背景区域体素为0；使用该整体树状结构的分割概率图分别对每张热图预测结果进行过滤，将该整体树状结构的分割概率图分别和每张热图预测结果逐体素相乘，在各张热图预测结果中将对应该整体树状结构的分割概率图中被分割为背景的位置的体素值置为0；过滤完毕后，选择每张热图预测结果中概率值最大的体素位置即为该热图对应的关键点的最终检测结果。

本发明的特点及有益效果在于：

本发明的方法基于全卷积深度学习网络实现，同时完成分叉关键点检测、树状结构分割、分支向量场回归三项子任务。具体而言，在分叉关键点检测主任务中，将关键点坐标计算问题建模为热图回归模型，要求网络输出一系列以目标关键点位置为中心的高斯分布概率图；在树状结构分割任务中，依据关键点分布将树状结构整体分割划分为多个分支区域，即不同的分割类别；在分支向量场回归任务中，目标向量场分布于划定好的各个分支区域上，依据相邻的两个分支关键点连线方向建立。在多任务处理框架中，两项辅助任务与关键点检测主任务高度相关、共享网络主干部分学习到的空间语义特征，充分利用任务间的协同作用，提升分叉关键点的检测性能。本发明可以广泛应用于多种解剖学树状结构中分叉关键点的检测，如气管、动脉、静脉等，均能实现较好的检测效果。

附图说明

图1为本发明方法整体流程图。

图2为本发明实施例中髂总动脉向量场定义示意图。

图3为主动脉标注与数据生成结果示意图。

图4为离线阶段主动脉分叉关键点检测网络结构示意图。

图5为在线阶段主动脉分叉关键点检测网络结构示意图。

图6为主动脉分叉关键点检测结果图。

具体实施方式

本发明提出一种三维断层扫描图像中树状结构分叉关键点的检测方法，下面结合附图和具体实施例进一步详细说明如下。

本发明提出一种三维断层扫描图像中树状结构分叉关键点的检测方法，整体流程如图1所示，包括以下步骤：

(1)离线阶段；

(1-1)获取原始数据集并对原始数据集的每张图像进行预处理；

使用大量包含同一解剖学树状结构的三维断层扫描图像作为图像，将所有原始图像组成原始数据集，所述原始图像数量应不少于50张，可来源于合作医院或公开库。对原始数据集中的每张原始图像进行预处理，预处理完毕后的所有图像组成预处理完毕的数据集；该预处理过程包括统一分辨率和图像裁剪统一尺寸两部分。其中，本发明对分辨率与裁剪后的尺寸设置的具体数值没有特殊要求(本实施例中将分辨率设置为1mm³、裁剪后尺寸设置为256×256×512)；裁剪后的图像要求完全包含原始图像中的树状结构，去除包含骨骼、外围组织在内的其他噪声干扰，裁剪范围可依据树状结构分布的平均区域分布确定。

本实施例经过预处理的主动脉三维断层扫描图像如图3(A)所示。

(1-2)对步骤(1-1)预处理完毕的数据集的每张图像进行标注；

应用医学图像处理软件(如3D Slicer)对经过步骤(1-1)预处理完毕后的原始数据集中的每张图像进行人工标注。该标注内容包括每张图像的树状结构分叉处关键点标注和树状结构整体分割标注两部分，其中关键点标注结果为该图像对应的一系列分叉关键点三维坐标(以fcsv或txt文件格式寸尺)，分割标注结果为对应预处理完毕图像的逐像素二值图(该二值图树状结构部分的像素值为1，背景部分的像素值为0)。

本实施例中，主动脉三维断层扫描图像中的分叉关键点标注如图3(B)所示，图中数字为15个关键点的序号；该图像对应的分割标注如图3(C)所示。

(1-3)利用步骤(1-2)的结果完成多任务训练数据集准备工作，即依据每张预处理完毕的图像的标注结果生成该图像对应的分叉关键点检测、树状结构分割、分支向量场回归三个任务的预测目标。为最大化任务间的协同促进作用、实现更好的关键点检测性能，各任务的预测目标应高度相关；具体步骤如下：

(1-3-1)关键点检测任务预测目标生成；

本发明中，关键点检测任务的预测目标基于高斯热图回归方法设计。为更好地保持空间特征、学习上下文语义信息，要求网络对各关键点分别输出与输入相同尺度的概率热图。

对于一张预处理完毕的图像，以该图像中每个关键点分别作为目标关键点，则该目标关键点对应热图是以该目标关键点位置为中心、呈标准差为σ(具体取值可根据相应数据调整，本实施例中设置为10)的三维高斯分布，反映此关键点落在各体素位置上的概率大小(每张热图大小与预处理完毕的图像尺寸一致)，该热图即为该关键点对应的关键点检测任务预测目标。概率值由体素到关键点位置的欧几里得距离决定，由关键点位置向外自1向0递减。此外，为保证每张图像中各体素位置的热图概率值和为1，所有属于同一张预处理完毕图像的关键点共享一张背景热图。具体而言，每张预处理完毕的图像对应的热图生成的计算公式为：

其中，x_k为预处理完毕的任意一张图像的第k个关键点的空间坐标，

为该关键点对应的热图，N_l为该图像中关键点个数，

为该图像所有关键点共享的背景热图。

本实施例中，主动脉三维断层扫描图像中各标注关键点生成的热图如图3(D)所示，为方便观察，这里将各关键点的三维热图投影至同一平面内。

(1-3-2)树状结构分割任务预测目标生成；

本发明中的分割任务预测目标图像紧密围绕关键点分布生成。对某类多分支树状结构，这里以主动脉为例，主干与各分支(如头臂干、颈总动脉、肾动脉、髂动脉等)将依据对应分叉位置的关键点被划分为不同的类(本发明利用步骤(1-2)得到的二值图对所有分支进行分类，并对不同分类分别编号)，即分叉关键点位于不同类间的分界平面上。其后，对每张预处理完毕的图像，分别对分类后各类子结构区域二值化可得到该图像中该分类对应的分割概率图，作为该分类对应的树状结构分割任务预测目标(每张分割概率图均为一张二值图，大小与预处理完毕的图像一致，该分割概率图上对应分支分类的像素为1，其余像素为0)。

本实施例主动脉三维断层扫描图像的分割概率图如图3(E)所示。

(1-3-3)分支向量场回归任务预测目标生成；

对于每张预处理完毕的图像，基于步骤(1-2)得到的关键点三维坐标与步骤(1-3-2)生成的分割概率图，在该图像各分支上生成向量场，该向量场包括x、y、z三个通道，分别反映该分支两端起始关键点、结束关键点在三个轴向上的坐标差，因此能够显式编码相邻关键点间的相对位置信息(其中，被划分为主干的部分没有分支向量场，主干只有对应的分割概率图)。具体而言，仍以主动脉为例，第k个分支区域右侧髂总动脉V_k由腹主动脉分出后，下行至骶髂关节处分为髂内动脉和髂外动脉，由此确定的一级、二级分叉关键点A、B如图2所示。则定义在髂总动脉区域各体素x上的向量场计算公式为：

其中，v＝(x_A-x_B)/||x_A-x_B||₂为沿髂总动脉下行方向的三维单位向量，定义为关键点A、B的连线方向，x_A与x_B分别为关键点A、B的空间坐标。

本实施例主动脉三维断层扫描图像的分支向量场如图3(F)所示，图中局部放大区域展示了序号为7和序号为14的两个关键点间分支向量场分布，箭头表示该向量场方向。

(1-3-4)将每张预处理完毕的图像及对应的关键点标注结果与生成的热图、分割概率图、分支向量场构成一个训练数据对，如图3(A、D、E、F)为主动脉三维断层扫描数据集中的一个训练数据对。所有的训练数据对共同构成训练数据集。

(1-4)构建深度学习网络；

构建一个以U-Net网络框架为主干的多任务深度学习网络。该网络由主干部分和3个分支构成，结构如图4所示：其中主干部分由对称的压缩路径与扩张路径两部分构成。其中，压缩路径包括5个残差模块和4个最大池化层，每个残差模块包括两个卷积操作和一个模块输入输出间的叠加短连结构，以防止网络训练过程中可能出现的梯度消失问题，残差模块不改变特征图的大小。最大池化层依次分布在两两残差模块之间，且每经过一个最大池化层，特征图的各维度大小均减小为原来的1/2。扩张路径包括3个残差模块和4个反卷积层，压缩路径的第5个残差模块的输出端与扩张路径的第1个反卷积层输入端相接，其后，依次交替相接残差模块与反卷积层；扩张路径的第4个反卷积层为主干部分的最后一层。扩张路径与压缩路径上的残差模块结构相同，且每经过一个反卷积层，特征图的各维度大小增大为原来的2倍。压缩路径中的最大池化层个数与扩张路径中的反卷积层个数相同，保证了主干部分的输入输出具有相同的大小。

此外，在压缩路径与扩张路径上对称的层间添加跳接结构，即将压缩路径第1个残差模块的输出特征图与扩张路径上第4个反卷积层的输出特征图在通道维度上拼接起来，共同作为主干部分的输出特征图。类似地，压缩路径上第2个残差模块的输出特征图将与扩张路径上第3个反卷积层的输出特征图拼接起来，共同作为扩张路径上第3个残差模块的输入；压缩路径上第3个残差模块的输出特征图将与扩张路径上的第2个反卷积层的输出特征图拼接起来，共同作为扩张路径上第2个残差模块的输入；压缩路径上第4个残差模块的输出特征图将与扩张路径上第1个反卷积层的输出特征图拼接起来，共同作为扩张路径上第1个残差模块的输入。上述层间跳接结构能够融合全局与局部的空间语义信息。

其后，主干部分的输出特征图同时传入网络的三个分支，每个分支由一个残差模块、一个卷积核大小为1×1×1的卷积层构成。三个分支的输出分别为输入图像对应的每个关键点对应热图的预测结果、每个分类对应的分割概率图的预测结果、每个分支对应的分支向量场的预测结果，三个预测结果的分辨率与大小均与输入图像保持一致。网络输入为单张预处理完毕后的三维断层扫描图像，要求具有统一分辨率与大小，但对具体的数值及图像格式没有限制(本实施例中图片分辨率为1mm³，大小为256×256×512，格式为mha)。

本实施例所搭建的深度学习网络结构如图4所示，注意图中的具体数字只是为了举例，实际中可以采用其他数值。为达到更好的可视化效果，图中以主动脉三维断层扫描图像为例，且仅围绕其主动脉弓部分进行截取展示。

(1-5)利用步骤(1-3)生成的训练数据集，对步骤(1-4)构建的深度学习网络进行训练，得到训练完毕后的深度学习网络；具体步骤如下：

(1-5-1)对步骤(1-4)建立的网络随机初始化网络参数；从步骤(1-3)生成的训练数据集中随机选取一个训练数据对，将其中的预处理完毕的三维断层扫描图像输入到步骤(1-4)建立的深度学习网络中，得到网络三个分支的最后一层输出为对应的三个任务的预测结果。

(1-5-2)将步骤(1-5-1)得到的三个任务的预测结果和训练数据对中步骤(1-3)生成的对应的预测目标分别输入各任务对应的损失函数中，得到相应的损失函数值。本发明在分叉关键点检测、分支向量场回归任务中使用L2损失函数、在树状结构分割任务中使用Dice损失函数进行监督。由于解剖学树状结构在图像中的占比通常较小，在网络训练时易出现严重的类别不均衡问题，因此对各任务的损失函数进行了加权，权重分别为输入图像体素个数与各任务中属于前景类的体素个数的比值。具体而言，在三个任务中，前景类分别为高斯热斑、各分支分割区域、向量场所在区域。

网络训练的总损失函数由上述三个任务的损失函数线性组合得到：

其中，超参数α、β可在实际场景中灵活调整，以使得各损失函数处于相同的量级。

分别为关键点检测任务、树状结构分割任务、分支向量场回归任务的损失函数。

(1-5-3)每输入一个训练数据对，该网络完成一次训练；基于每次训练得到的总损失函数值，通过梯度下降法最小化函数值，调整网络参数；

当网络训练次数到达上限L次(L大于等于5000次)时，网络训练完毕，得到训练完毕的深度学习网络。(2)在线阶段；

(2-1)获取一张与步骤(1-1)的图像为同一个部位的三维断层扫描图像，该图像应包含与步骤(1-1)原始数据集中相同的解剖学树状结构。

(2-2)对步骤(2-1)获取的图像进行预处理，其中预处理操作，即统一图像分辨率、裁剪后的尺寸要求与步骤(1-1)保持一致。

(2-3)将步骤(2-2)得到的经过预处理后的三维断层扫描图像输入步骤(1)训练完毕的深度学习网络中，该网络输出为输入图像对应的三个分支的预测结果，即分别为该输入图像对应的每个关键点对应的热图预测结果、每个分类对应的分割概率图的预测结果、每个分支的分支向量场的预测结果。

(2-4)使用步骤(2-3)输出的热图预测结果与分割概率图预测结果得到关键点的最终检测结果。

根据定义，分叉关键点应位于解剖学树状结构的内部，因此首先使用分割概率图预测结果对各关键点对应的热图预测结果进行过滤。首先对各分类对应的各张分割概率图进行二值化操作，即将预测值大于等于某一阈值(阈值可设置为0.5)的体素的体素值设为1，小于某一阈值的体素的体素值设为0。由此，可得到各分类预测结果的前景(体素值为1)与背景(体素值为0)区域。在分割任务预测目标定义中，将树状结构整体标注依据不同分支划分为不同分类，因此将多分类对应的多张分割概率图二值化预测结果的前景部分融合起来，可得到树状结构的整体空间分布(对每一体素，若其在任一分类中被划分为前景，则认为它属于树状结构，令其体素值为1；否则认为它属于背景，令其体素值为0)。上述融合结果为单张二值化的整体树状结构的分割概率图，尺寸与输入图像大小相同，其中体素值为1的部分为树状结构，其余体素值为0的部分为背景，常对应骨骼、器官等其他解剖学结构。使用该整体树状结构的分割概率图分别对每张热图预测结果进行过滤，将该二值化分割概率图和各关键点对应的热图预测结果分别逐体素相乘，可在各张热图预测结果中剔除那些在该整体树状结构的分割概率图被分割为背景的体素(即令各张热图预测结果中相应位置上的体素值为0)，而保持其余体素预测值不变。然后，选择每张过滤后的热图预测结果中概率值最大的体素位置为该热图对应的相应关键点的最终检测结果。此步骤中使用的深度学习网络结构如图5所示，注意图中的具体数字只是为了举例，实际中可以采用其他数值。

图6展示了本发明分叉关键点检测算法在主动脉三维断层扫描图像中的部分输出结果。

Claims (1)

1.一种三维断层扫描图像中树状结构分叉关键点的检测方法，该方法分为离线阶段和在现阶段，其特征在于，该方法包括以下步骤：

(1)离线阶段；

(1-1)获取原始数据集并对原始数据集的每张图像进行预处理；

获取N张包含同一解剖学树状结构的三维断层扫描图像作为原始图像，将所有原始图像组成原始数据集；对原始数据集中的每张原始图像进行预处理，预处理完毕后的所有图像组成预处理完毕的数据集；所述预处理包括对每张原始图像统一分辨率并将每张原始图像裁剪成统一尺寸，其中，裁剪后的图像包含原始图像中完整的树状结构；

(1-2)对步骤(1-1)预处理完毕的数据集中的每张图像进行标注，所述标注包括每张图像的树状结构分叉处关键点标注和树状结构整体分割标注两部分，其中关键点标注结果为该图像对应的所有分叉关键点三维坐标，分割标注结果为该图像对应的逐像素二值图，该二值图中树状结构部分的像素值为1，背景部分的像素值为0；

(1-3)利用步骤(1-2)的结果，生成每张预处理完毕的图像对应的分叉关键点检测、树状结构分割、分支向量场回归三个任务的预测目标；具体步骤如下：

(1-3-1)关键点检测任务预测目标生成；

对于每张预处理完毕的图像，以该图像中每个关键点分别作为目标关键点，则该目标关键点对应热图是以该目标关键点位置为中心、呈标准差为σ的三维高斯分布，该热图即为该关键点对应的关键点检测任务预测目标；其中，该图像的所有关键点共享一张背景热图；因此，该图像对应的热图生成的计算表达式为：

其中，x_k为预处理完毕的任一图像的第k个关键点的空间坐标，

为该关键点对应的热图，k＝1，...，N_l；N_l为该图像中关键点个数，

为该图像所有关键点共享的背景热图；

(1-3-2)树状结构分割任务预测目标生成；

根据预处理完毕的图像的树状结构，将主干与各分支依据对应分叉位置的关键点划分为不同的类；然后，根据分类对预处理完毕的每张图像进行各类子结构区域二值化得到该图像中各分类对应的分割概率图作为该分类对应的树状结构分割任务预测目标，每张分割概率图均为一张二值图，大小与预处理完毕的图像一致，该分割概率图上对应分类的像素为1，其余像素为0；

(1-3-3)分支向量场回归任务预测目标生成；

对于每张预处理完毕的图像，基于步骤(1-2)得到的关键点三维坐标与步骤(1-3-2)生成的分割概率图，在该图像各分支上生成向量场，该向量场包括x、y、z三个通道，分别反映该分支两端起始关键点、结束关键点在三个轴向上的坐标差；

(1-3-4)将每张预处理完毕的图像及对应的关键点标注结果、热图、分割概率图、分支向量场构成一个训练数据对，所有的训练数据对共同构成训练数据集；

(1-4)构建深度学习网络；

所述深度学习网络由主干部分和三个分支构成，其中主干部分采用U-Net结构，主干部分的最后一层分别连接三个分支，每个分支由一个残差模块、一个卷积核大小为1×1×1的卷积层构成；

该网络的输入为预处理完毕的图像，三个分支的输出分别为该输入图像对应的每个关键点对应热图的预测结果、每个分类对应的分割概率图的预测结果、每个分支对应的分支向量场的预测结果，三个预测结果的分辨率与大小均与输入图像保持一致；

(1-5)利用步骤(1-3)生成的训练数据集，对步骤(1-4)构建的深度学习网络进行训练，得到训练完毕后的深度学习网络；具体步骤如下：

(1-5-1)对步骤(1-4)建立的网络随机初始化网络参数；从步骤(1-3)生成的训练数据集中随机选取一个训练数据对，将该训练数据对中的预处理完毕的图像输入步骤(1-4)建立的深度学习网络中，得到网络三个分支的最后一层输出为对应的三个预测结果；

(1-5-2)将步骤(1-5-1)得到的三个预测结果和步骤(1-5-1)选取的训练数据对中对应的预测目标分别输入各预测任务对应的损失函数中，得到相应的损失函数值；

计算网络训练的总损失函数：

其中，α、β为超参数；

分别为关键点检测任务、树状结构分割任务、分支向量场回归任务的损失函数；

(1-5-3)每输入一个训练数据对，该网络完成一次训练；基于每次训练得到的总损失函数值，通过梯度下降法最小化函数值，调整网络参数；

当网络训练次数到达上限L次时，网络训练完毕，得到训练完毕得的深度学习网络；

(2)在线阶段；

(2-1)获取一张三维断层扫描图像，该图像与步骤(1-1)的原始图像为同一解剖学树状结构的三维断层扫描图像；

(2-2)对步骤(2-1)获取的三维断层扫描图像进行预处理，预处理完毕后，该图像的分辨率和裁剪后的尺寸均与离线阶段预处理完毕的图像一致；

(2-3)将步骤(2-2)预处理完毕后的图像输入步骤(1)训练完毕的深度学习网络中，该网络输出为输入图像对应的三个分支的预测结果，即分别为该输入图像对应的每个关键点对应的热图预测结果、每个分类对应的分割概率图的预测结果、每个分支对应的分支向量场的预测结果；

(2-4)使用步骤(2-3)得到的热图预测结果与分割概率图预测结果得到关键点的最终检测结果，具体方法为：

首先对每张分割概率图预测结果进行二值化处理，将二值化后的所有分割概率图进行融合，得到单张的整体树状结构的分割概率图，其中树状结构区域体素为1，背景区域体素为0；使用该整体树状结构的分割概率图分别对每张热图预测结果进行过滤，将该整体树状结构的分割概率图分别和每张热图预测结果逐体素相乘，在各张热图预测结果中将对应该整体树状结构的分割概率图中被分割为背景的位置的体素值置为0；过滤完毕后，选择每张热图预测结果中概率值最大的体素位置即为该热图对应的关键点的最终检测结果。

Images