CN113633375A - 一种虚拟支气管镜的构建方法 - Google Patents

Abstract

本发明公开了一种虚拟支气管镜的构建方法，介绍了使用深度学习方法提供构建虚拟支气管镜所需分割图像的方法，本发明提供的方法具体包括：首先对获取的肺部CT序列图像使用训练好的深度学习分割模型分割出支气管树；对分割出的支气管树图像使用三维拓扑细化算法提取出完整的中心线图像并获取其坐标点集；使用基于欧氏距离的三维医学图像路径规划算法在支气管树中心线复杂的多条分支路径中规划出所需的一条分支路径；使用基于Bezier曲线的路径插值平滑方法平滑漫游路径，最后通过循环变更虚拟相机及其焦点的位置实现自动漫游的目的。

Description

一种虚拟支气管镜的构建方法

技术领域

本发明虚拟支气管镜的构建方法，该技术属于图像信息学领域。

背景技术

虚拟支气管镜使用计算机处理CT和MRI等三维医学图像，生成人体内部特定解剖结构的三维动态视图，以模拟标准内窥镜的检查过程和视觉效果。它具有非侵入性、重复使用、动态病理分析、无检查死区等独特优点，能够克服支气管频繁分支的复杂环境，在不造成损伤以及漏检的情况下完成对支气管细小分支部位的检测，攻克肺外周的病灶活检这一难关，为肺癌的早期精准诊断和支气管镜术中引导提供重要参考。

构建一个虚拟内窥镜包含三项关键技术：支气管树分割与三维重建，路径规划和虚拟漫游。传统的虚拟支气管镜构建方法，多采用基于阈值的方法进行肺部以及支气管树的分割处理，还采用泄漏剪枝的迭代方法获取更高级的细小分支；然后使用距离变换法或使用拓扑细化法配合路径搜索算法实现漫游路径的自动规划，最后使用平滑算法，如Bezier曲线平滑路径；最后通过设置虚拟相机的位置和焦点等相关参数的设置，使虚拟相机能够沿着规划好的路径移动，从而模拟内窥镜的视图效果，实现对支气管树内部结构的自动漫游。

发明内容

1.要解决的技术问题

传统的虚拟支气管镜构建方法，多采用基于阈值的方法进行肺部以及支气管树的分割，传统的支气管树分割方法耗时长，采用自适应阈值的自动分割方法会大大增加耗时，采用人为设定阈值的半自动方法需要为每例不同的图像修改相关参数，繁琐且仍较为耗时。且由于支气管树高级分支处灰度值与肺实质灰度值相似，所以难以分割出高级细小分支。支气管树的分割效果不佳，直接影响了后续的路径规划步骤，使用传统分割方法难以实现肺外周高级细小支气管处的路径规划，给肺外周病灶活检带来较大的局限。虽然使用泄漏剪枝等方法可以提升分割精度，但所带来的严重耗时问题将无法满足临床使用实时性的需要。

使用拓扑细化算法获得完整的支气管树三维中心线图像后，需要使用路径规划算法在复杂的多条分支中获得唯一一条分支作为漫游路径，传统的路径规划算法并不是专门为医学图像的路径规划问题所设计，没有利用医学图像体素排列规律，往往将完整的三维图像作为输入并进行运算，存在内存占用大，运算时间慢的问题。

将使用Bezier曲线平滑后的路径用于自动漫游，虚拟相机仍然存在剧烈的抖动，影响了虚拟支气管镜的检查效果，该方法平滑的效果仍不够充分。

2.导致原因

传统的支气管树分割方法需要迭代的对每层图像中的体素进行灰度值对比操作从而实现三维的分割，半自动的分割方法因为图像各自的属性不同，需要人为输入不同的分割参数，且因为分割效果往往需要多次调整参数才能达到较优，所以比较繁琐耗时。全自动的分割方法在没有指定阈值等参数的情况下则需要更多的计算来确定最优的分割阈值，虽然能直接获得较优的分割效果，但因过大的计算量往往比半自动方法更为耗时。耗时过多导致传统的支气管树分割方法实时性差，难以满足虚拟支气管镜的临床实时性需要。

由于高阶支气管树的体素灰度与肺实质灰度十分接近，传统的基于阈值的支气管树分割方法在该处极易发生泄漏或分割不充分的情况，所以难以分割出高阶细小支气管，而泄漏剪枝的迭代方法虽然能够分割出高级细小支气管，但反复多次的体素删减操作仍存在着严重耗时的问题。

传统的路径规划算法将完整的三维中心线图像作为输入，需要在规划时判定区分前景与背景，路径搜索过程中的传值等操作会造成额外的时间消耗和计算开销，目前没有通过利用体素排列规律专门设计的适用于三维医学图像路径规划的算法。

传统的路径平滑方法在使用Bezier曲线平滑规划好的路径时，仅改变相邻路径点之间的曲度，未采用差值操作改变路径点的数量，因此路径点之间仍然存在很大的距离跨度，未能彻底解决虚拟相机的镜头抖动的问题。且稀疏的路径点会使得虚拟相机完成整条分支路径漫游的速度非常快，进一步加剧了视角抖动的问题，使得观看效果不佳。

针对现有技术中存在的问题，本发明的目的在于提出一种新的虚拟支气管镜的构建方法。为了提高支气管树分割精度，提升分割速度，使用基于深度学习的支气管树分割方法，快速分割出包含高级分支的高精度支气管树图像。

本发明提供的方法具体包括：

对分割出的三维支气管树图像使用拓扑细化算法获取完整的中心线后，为了减少算法耗时与内存占用，提高路径规划速度，利用三维医学图像的体素排列规律，使用专门为三维医学图像路径规划而设计的基于欧氏距离的路径规划算法快速准确的规划出一条漫游路径。

为了解决曲线平滑算法效果不佳的问题，在Bezier曲线平滑路径的基础上使用路径插值方法，丰富稀疏的路径点，以减小虚拟相机移动的步长，缓解镜头抖动的问题，使得漫游时的视角更加平滑顺畅。

3.技术方案

为解决上述问题，本发明采用如下的技术方案。

一种新的虚拟支气管镜的构建方法，包括以下步骤：

S1、读取并显示病患的胸部图像，使用基于深度学习的支气管树分割方法，快速分割出包含高级分支的高精度支气管树图像；

S2、使用拓扑细化算法获得完整的支气管树中心线图像；

S3、使用基于欧氏距离的路径规划算法快速准确的规划出一条漫游路径；

S4、采用基于Bezier曲线的路径插值平滑方法平滑漫游路径；

S5、依据平滑好的路径循环变更虚拟相机及其焦点的位置实现虚拟相机的移动，即自动漫游。

进一步地，步骤S1所述的基于深度学习的支气管树分割方法，包括使用3D CNNs(Convelutional Neural Networks)网络训练支气管树分割模型，具体为：首先对用于训练的胸部图像数据集进行归一化和裁剪等预处理操作；然后构建3D CNNs网络进行训练，并保存训练好的模型。使用生成Torch Script文件和编译Libtorch的相关操作实现从Python到C++跨环境的模型读取调用。

进一步地，步骤S2包含数据预处理阶段和细化算法的实现阶段，除了输入和输出图像类型之外，不需要定义其他任何参数，所述数据预处理阶段是将数据中的非零像素值设置为一来将其转换为二值图像，所述细化算法的实现阶段将执行一系列测试，以检查一个像素是否可以从对象中被侵蚀，在细化的过程中，需要对图像中的每一个像素进行此操作，并重复此操作，直到不再发生变化时停止。

进一步地，步骤S2所述细化算法的实现阶段将通过以下四步判断一个像素是否被删除：

(1)、如果当前像素是一个表面像素，则该测试一次只考虑3D中六个可能的方向中的一个，以便进行对称细化，即保证中心线不向物体的一侧移动；

(2)、如果当前像素不是中心线的端点，则需要删除；

(3)、如果删除的像素点不会改变欧拉特性，即如果删除该像素点时不会产生孔洞，则删除该像素点；

(4)、如果当前点的删除不会改变连接对象的数量，则该像素点删除。

进一步地，步骤S3包括寻找邻接体素进行路径搜索，通过计算得到多个邻接点中距离目标终点最近的邻接点解决分支处的路径选择问题，通过循环遍历重规划操作解决环绕分支结构处最短欧氏距离与最短测地距离不匹配的问题，从而快速获得准确的路径规划结果。

进一步地，步骤S3中算法的理论时间复杂度为O(n²)，具体实现步骤如下：

(1)首先对完整的三维中心线图像提取中心线全部体素坐标S＝{S_start,...,S_end}，令P＝{P_start,...,P_end}表示最终规划好的漫游路径坐标点集,并选取路径起点P_start和终点P_end；

(2)利用医学图像体素排列规律寻找邻接点，获取反映体素之间x，y，z轴间距的spacing属性，若设spx,spy,spz分别代表图像体素之间x方向，y方向，z方向的间距，则体素之间是否邻接则可以通过计算体素坐标的欧氏距离判定，若两体素邻接则间距D应满足：

(3)寻找判定点的邻接点时，算法将遍历S，通过计算D搜寻到所有的邻接点，设判定点P_start的坐标为(P_start1,P_start2,P_start3)，点集S中任意点S_i的坐标为(S_i1,S_i2,S_i3)，则两点之间的距离D1表示为：

(4)令B＝{B₁,...,B_last}代表所有分支点的集合，若判定点有多个邻接点时，该点为分支点加入点集B，令集合M＝{M₁,...,M_last}作为判定点的邻接点集，遍历邻接点集M，设路径终点P_end的坐标为(P_end1,P_end2,P_end3)，M中任意点M_i坐标为(M_i1,M_i2,M_i3)，则两点之间的距离D₂表示为：

找到D₂最小的邻接点M_min作为下一个路径点，并加入规划坐标点集P，将P_start设为已访问，即从S中删除，将新的路径点作为当前判定点，重复上述操作，实现路径搜索和分支选择。

(5)当前判定点没有任何邻接点时，初步规划结束，为解决在较高级支气管分支处存在最短欧氏距离与最短测地距离不匹配的情况，该算法对初步规划的终点与设定的终点进行比较，若不一致则算法会退回到最后一个分支点B_last,并删除从B_last到初步规划终点的错误分支并重新规划该部分，直到拼接点坐标与终点P_end坐标相同时拼接结束，点集P＝{P_start,...,P_end}即为规划好的路径点集。

进一步地，步骤S4使用基于三阶Bezier曲线的插值方法平滑漫游路径，三次Bezier曲线的组合公式如下：p(t)＝(1-t)³p₀+3t(1-t)²p₁+3t²(1-t)p₂+t³p₃，

其中参数t在[0,1]，三阶Bezier曲线有四个控制点p₀，p₁，p₂，p₃，将规划路径P点集分成每四个相邻点为一组，最后不能被整除所剩的路径点因为对于整段路径影响很小，将被直接舍弃，平滑的同时进行等距离的插值操作。

3.有益效果

相比于现有技术，本发明的优点在于：

(1)本发明提供的方法能够构建肺外周高级细小支气管分支的虚拟支气管系统，此项优点是因为本发明采用了基于深度学习的支气管树分割方法，速度更快，分割等级更高。

(2)本发明提供的方法能够快速精准的规划出自动漫游路径，此项优点是因为本发明采用了一种基于欧式距离的路径规划算法，仅将中心线坐标点集作为算法输入，无须输入整幅三维图像，无须判定体素的可行距离点，利用医学图像体素盘列规律，能够更加快速便捷的规划出到达任意分支终点的自动漫游路径。

(3)本发明提供的方法能够彻底解决自动漫游虚拟相机镜头抖动的问题，此项优点是因为本发明采用了基于Bezier曲线的插值平滑方法，丰富稀疏的路径点，减小虚拟相机移动时的偏转曲率，获得最佳漫游导航体验。

附图说明

图1所示是本发明的虚拟支气管镜构建方法的流程；

图2所示为本发明的使用3D CNNs(Convelutional Neural Networks)网络训练支气管树分割模型；

图3所示为本发明基于欧氏距离的三维医学图像路径规划算法流程图；

图4所示为本发明平滑的同时进行等距离的插值操作示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例：请参阅图1，首先对获取的肺部CT序列图像使用训练好的深度学习分割模型分割出支气管树；对分割出的支气管树图像使用三维拓扑细化算法提取出完整的中心线图像并获取其坐标点集；使用基于欧氏距离的三维医学图像路径规划算法在支气管树中心线复杂的多条分支路径中规划出所需的一条分支路径；使用基于Bezier曲线的路径插值平滑方法平滑漫游路径，最后通过循环变更虚拟相机及其焦点的位置实现自动漫游。

实施例：请参阅图2，使用训练好的模型获得高精度分割结果的流程：首先对用于训练的胸部图像数据集进行归一化和裁剪等预处理操作；然后构建3D CNNs网络进行训练，并保存训练好的模型。使用生成Torch Script文件和编译Libtorch的相关操作实现从Python到C++跨环境的模型读取调用。最后读取待分割图像，使用训练好的分割模型得到高精度的支气管树分割结果。

在获得高精度支气管树分割结果后，使用三维拓扑细化算法获得完整的三维中心线图像，该算法包含一个数据预处理阶段和细化算法的实现阶段，除了输入和输出图像类型之外，不需要定义其他任何参数，该算法的预处理阶段是将数据中的非零像素值设置为一来将其转换为二值图像，在主要的细化阶段该算法将执行一系列测试，以检查一个像素是否可以从对象中被侵蚀，在细化的过程中，需要对图像中的每一个像素进行此操作，并重复此操作，直到不再发生变化时停止。

算法通过以下四步判断一个像素是否可以被删除：

(1)如果当前像素是一个表面像素，则该测试一次只考虑3D中六个可能的方向中的一个，以便进行对称细化，即保证中心线不向物体的一侧移动。

(2)如果当前像素不是中心线的端点，则需要被删除。

(3)如过删除的像素点不会改变欧拉特性，即如过删除该像素点时不会产生孔洞，则删除该像素点。

(4)如果当前点的删除不会改变连接对象的数量，则该像素点可以被删除。

对于该算法的最终细化效果，通过观察表明，尽管输入气道的表面很复杂且有噪声，但滤波器的输出很好的满足了期望，图像的连接性得到了保护，骨架线也位于气道的中心，并且相较于一般的细化算法以及距离变换法，该算法的速度非常快，能够满足实际应用时快速性的需求。

实施例：请参阅图3，

使用计算欧式距离的方法寻找邻接体素进行路径搜索，通过计算得到多个邻接点中距离目标终点最近的邻接点解决分支处的路径选择问题，通过循环遍历重规划操作解决环绕分支结构处最短欧氏距离与最短测地距离不匹配的问题，从而快速获得准确的路径规划结果。该算法的理论时间复杂度为O(n2)，具体实现步骤如下：

(1)首先对完整的三维中心线图像提取中心线全部体素坐标S＝{S_start,...,S_end}，令P＝{P_start,...,P_end}表示最终规划好的漫游路径坐标点集,并选取路径起点P_start和终点P_end；

(2)利用医学图像体素排列规律寻找邻接点，获取反映体素之间x，y，z轴间距的spacing属性，若设spx,spy,spz分别代表图像体素之间x方向，y方向，z方向的间距，则体素之间是否邻接则可以通过计算体素坐标的欧氏距离判定，若两体素邻接则间距D应满足：

(3)寻找判定点的邻接点时，算法将遍历S，通过计算D搜寻到所有的邻接点，设判定点P_start的坐标为(P_start1,P_start2,P_start3)，点集S中任意点S_i的坐标为(S_i1,S_i2,S_i3)，则两点之间的距离D1表示为：

(4)令B＝{B₁,...,B_last}代表所有分支点的集合，若判定点有多个邻接点时，该点为分支点加入点集B，令集合M＝{M₁,...,M_last}作为判定点的邻接点集，遍历邻接点集M，设路径终点P_end的坐标为(P_end1,P_end2,P_end3)，M中任意点M_i坐标为(M_i1,M_i2,M_i3)，则两点之间的距离D₂表示为：

找到D₂最小的邻接点M_min作为下一个路径点，并加入规划坐标点集P，将P_start设为已访问，即从S中删除，将新的路径点作为当前判定点，重复上述操作，实现路径搜索和分支选择。

(5)当前判定点没有任何邻接点时，初步规划结束，为解决在较高级支气管分支处存在最短欧氏距离与最短测地距离不匹配的情况，该算法对初步规划的终点与设定的终点进行比较，若不一致则算法会退回到最后一个分支点B_last,并删除从B_last到初步规划终点的错误分支并重新规划该部分，直到拼接点坐标与终点P_end坐标相同时拼接结束，点集P＝{P_start,...,P_end}即为规划好的路径点集。

实施例：请参阅图4，在获得规划好的路径后，使用基于三次Bezier曲线的插值方法平滑漫游路径，三次Bezier曲线的组合公式如下：p(t)＝(1-t)³p₀+3t(1-t)²p₁+3t²(1-t)p₂+t³p₃，

其中参数t在[0,1]，三阶Bezier曲线有四个控制点p₀，p₁，p₂，p₃，将规划路径P点集分成每四个相邻点为一组，最后不能被整除所剩的路径点因为对于整段路径影响很小，将被直接舍弃，平滑的同时进行等距离的插值操作。如图4所示，曲线上的圆点表示插值新生成的路径点，在第一次平滑后对点集重新分组，起始点设置为上一次分组起始点的下一个点，分为四个点一组进行二次平滑插值处理，实现组间平滑，最终获得平滑规划路径用于自动漫游。

最后，通过将规划路径坐标循环设置为虚拟相机及其焦点的位置坐标实现虚拟相机的移动，适当增大相机位置与焦点位置的间隔坐标点数能够进一步平稳漫游视角，获得最佳漫游导航体验。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限制。

Claims (7)

1.一种虚拟支气管镜的构建方法，其特征在于：包括以下步骤：

S1、读取并显示病患的胸部图像，使用基于深度学习的支气管树分割方法，快速分割出包含高级分支的高精度支气管树图像；

S2、使用拓扑细化算法获得完整的支气管树中心线图像；

S3、使用基于欧氏距离的路径规划算法快速准确的规划出一条漫游路径；

S4、采用基于Bezier曲线的路径插值平滑方法平滑漫游路径；

S5、依据平滑好的路径循环变更虚拟相机及其焦点的位置实现虚拟相机的移动，即自动漫游。

2.根据权利要求1所述的一种虚拟支气管镜的构建方法，其特征在于：步骤S1所述的基于深度学习的支气管树分割方法，包括使用3DCNNs(Convelutional Neural Networks)网络训练支气管树分割模型，具体为：首先对用于训练的胸部图像数据集进行归一化和裁剪等预处理操作；然后构建3D CNNs网络进行训练，并保存训练好的模型。使用生成TorchScript文件和编译Libtorch的相关操作实现从Python到C++跨环境的模型读取调用。

3.根据权利要求1所述的一种虚拟支气管镜的构建方法，其特征在于：步骤S2包含数据预处理阶段和细化算法的实现阶段，除了输入和输出图像类型之外，不需要定义其他任何参数，所述数据预处理阶段是将数据中的非零像素值设置为一来将其转换为二值图像，所述细化算法的实现阶段将执行一系列测试，以检查一个像素是否可以从对象中被侵蚀，在细化的过程中，需要对图像中的每一个像素进行此操作，并重复此操作，直到不再发生变化时停止。

4.根据权利要求3所述的一种虚拟支气管镜的构建方法，其特征在于：步骤S2所述细化算法的实现阶段将通过以下四步判断一个像素是否被删除：

(1)、如果当前像素是一个表面像素，则该测试一次只考虑3D中六个可能的方向中的一个，以便进行对称细化，即保证中心线不向物体的一侧移动；

(2)、如果当前像素不是中心线的端点，则需要删除；

(3)、如果删除的像素点不会改变欧拉特性，即如果删除该像素点时不会产生孔洞，则删除该像素点；

(4)、如果当前点的删除不会改变连接对象的数量，则该像素点删除。

5.根据权利要求1所述的一种虚拟支气管镜的构建方法，其特征在于：步骤S3包括寻找邻接体素进行路径搜索，通过计算得到多个邻接点中距离目标终点最近的邻接点解决分支处的路径选择问题，通过循环遍历重规划操作解决环绕分支结构处最短欧氏距离与最短测地距离不匹配的问题，从而快速获得准确的路径规划结果。

6.根据权利要求5所述的一种虚拟支气管镜的构建方法，其特征在于：步骤S3中算法的理论时间复杂度为O(n²)，具体实现步骤如下：

(1)首先对完整的三维中心线图像提取中心线全部体素坐标S＝{S_start,...,S_end}，令P＝{P_start,...,P_end}表示最终规划好的漫游路径坐标点集,并选取路径起点P_start和终点P_end；

(2)利用医学图像体素排列规律寻找邻接点，获取反映体素之间x，y，z轴间距的spacing属性，若设spx,spy,spz分别代表图像体素之间x方向，y方向，z方向的间距，则体素之间是否邻接则可以通过计算体素坐标的欧氏距离判定，若两体素邻接则间距D应满足：

(3)寻找判定点的邻接点时，算法将遍历S，通过计算D搜寻到所有的邻接点，设判定点P_start的坐标为(P_start1,P_start2,P_start3)，点集S中任意点S_i的坐标为(S_i1,S_i2,S_i3)，则两点之间的距离D1表示为：

(4)令B＝{B₁,...,B_last}代表所有分支点的集合，若判定点有多个邻接点时，该点为分支点加入点集B，令集合M＝{M₁,...,M_last}作为判定点的邻接点集，遍历邻接点集M，设路径终点P_end的坐标为(P_end1,P_end2,P_end3)，M中任意点M_i坐标为(M_i1,M_i2,M_i3)，则两点之间的距离D₂表示为：

找到D₂最小的邻接点M_min作为下一个路径点，并加入规划坐标点集P，将P_start设为已访问，即从S中删除，将新的路径点作为当前判定点，重复上述操作，实现路径搜索和分支选择；

(5)当前判定点没有任何邻接点时，初步规划结束，为解决在较高级支气管分支处存在最短欧氏距离与最短测地距离不匹配的情况，该算法对初步规划的终点与设定的终点进行比较，若不一致则算法会退回到最后一个分支点B_last,并删除从B_last到初步规划终点的错误分支并重新规划该部分，直到拼接点坐标与终点P_end坐标相同时拼接结束，点集P＝{P_start,...,P_end}即为规划好的路径点集。

7.根据权利要求1所述的一种虚拟支气管镜的构建方法，其特征在于：步骤S4使用基于三阶Bezier曲线的插值方法平滑漫游路径，三次Bezier曲线的组合公式如下：p(t)＝(1-t)³p₀+3t(1-t)²p₁+3t²(1-t)p₂+t³p₃，

其中参数t在[0,1]，三阶Bezier曲线有四个控制点p₀，p₁，p₂，p₃，将规划路径P点集分成每四个相邻点为一组，最后不能被整除所剩的路径点因为对于整段路径影响很小，将被直接舍弃，平滑的同时进行等距离的插值操作。

Images