CN114708390A - 一种生理管状结构的图像处理方法、装置及存储介质 - Google Patents

Abstract

本发明提供了一种生理管状结构的图像处理方法、装置及存储介质，所述图像处理方法包括获取所述生理管状结构的中心线，获取关注区域的分割结果，所述关注区域包含所述生理管状结构相连的至少部分邻近部位及其相连的所述生理管状结构的至少部分，基于所述关注区域的分割结果进行形态学骨架提取，以得到至少一条骨架。基于所得到的至少一条骨架，将所述中心线进行延伸，以及生成延伸后的中心线对应的包含所述生理管状结构的图像，从而提高对生理管状结构检测的准确性。

Description

一种生理管状结构的图像处理方法、装置及存储介质

技术领域

本发明涉及图像处理技术领域，具体涉及一种生理管状结构的图像处理方法、装置及存储介质。

背景技术

多角度血管曲面重建包含拉直CPR图，旋转CPR图等，这种重建图是基于中心线和CT图像对血管及其周边区域进行坐标转换及插值，生成的重建图能够帮助临床医生更直观地观察血管病变。以冠脉为例，传统方法使用基于冠脉分割提取的冠脉中心线，在给定的图像大小下，使得冠脉最终显示成多角度的拉直曲面重建图像。但是由于冠脉的中心线起始点位于冠脉血管内部，使用基于冠脉分割提取的冠脉中心线进行拉直后，拉直曲面重建图在中心线起点处（冠脉入口附近）进行截断，这导致冠脉入口处的病变信息在拉直曲面重建图中会出现无法显示、显示不全，显示不准确等问题，最终造成临床医生对冠脉入口处的病变低估或遗漏等。

发明内容

针对现有技术中存在的上述技术问题，提出了本发明。本发明旨在提供一种生理管状结构的图像处理方法、装置及存储介质，其能够获得精准的生理管状结构多角度曲面重建图，能够有效消除生理管状结构的端头位置经常出现的病变展示不全、不准等问题。

根据本发明的第一方案，提供一种生理管状结构的图像处理方法，包括获取所述生理管状结构的中心线，获取关注区域的分割结果，所述关注区域包含所述生理管状结构以及所述生理管状结构相连的至少部分邻近部位，基于所述关注区域的分割结果进行形态学骨架提取，以得到至少一条骨架，基于所得到的至少一条骨架，将所述中心线进行延伸，以及生成延伸后的中心线对应的包含所述生理管状结构的图像。

根据本发明的第二方案，提供一种生理管状结构的图像处理装置，所述图像处理装置包括处理器，所述处理器被配置为执行根据本发明各个实施例所述的生理管状结构的图像处理方法。所述图像处理方法包括获取所述生理管状结构的中心线，获取关注区域的分割结果，所述关注区域包含所述生理管状结构相连的至少部分邻近部位及其相连的所述生理管状结构的至少部分，基于所述关注区域的分割结果进行形态学骨架提取，以得到至少一条骨架，基于所得到的至少一条骨架，将所述中心线进行延伸，以及生成延伸后的中心线对应的包含所述生理管状结构的图像。

根据本发明的第三方案，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行根据本发明各个实施例所述的生理管状结构的图像处理方法。其中，所述图像处理方法包括获取所述生理管状结构的中心线，获取关注区域的分割结果，所述关注区域包含所述生理管状结构相连的至少部分邻近部位及其相连的所述生理管状结构的至少部分，基于所述关注区域的分割结果进行形态学骨架提取，以得到至少一条骨架，基于所得到的至少一条骨架，将所述中心线进行延伸，以及生成延伸后的中心线对应的包含所述生理管状结构的图像。

与现有技术相比，本发明实施例的有益效果在于：

首先，本发明实施例提供的图像处理方法可以直接基于通过任意方法提取的中心线，对提前提取得到的中心线进行定向延伸，提高了该图像处理方法的适用性。一方面，本发明的各个实施例既意识到了生理管状结构相连的邻近部位容易存在病变信息显示不全、显示不准的问题，并希望解决这一问题。另一方面，将中心线向生理管状结构相连的邻近部位延伸能够使得生理管状结构的端头位置附近的相关病变信息得以在拉直曲面重建图中充分且完整的显示。此外，该图像处理方法是对提取得到的中心线的进一步深层处理，基于对关注区域进行形态学骨架提取所得到的至少一条骨架，对中心线进行延伸，能够进一步提高对所述中心线延伸的定向性、准确性，进而获得精准的生理管状结构多角度曲面重建图，能够有效消除生理管状结构的端头位置经常出现的病变展示不全、不准等问题。

上述的一般描述和以下的详细描述只是示例性和说明性的，并不旨在限制要求保护的发明。

附图说明

在不一定按比例绘制的附图中，相同的附图标记可以在不同的视图中描述相似的部件。具有字母后缀或不同字母后缀的类似附图标记可以表示相似组件的不同示例。附图通过举例而不是以限制的方式大体上示出各种实施例，并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。这样的实施例是说明性和示例性的，而并非旨在作为本方法、装置、系统或具有用于实现该方法的指令的非暂时性计算机可读介质的穷尽或排他的实施例。

图1示出根据本发明实施例的生理管状结构的图像处理方法的流程图；

图2（a）示出根据本发明实施例的主动脉分割结果进行扩展后的局部区域示意图；

图2（b）示出根据本发明实施例获取的关注区域的分割结果示意图；

图3（a）示出根据本发明实施例获取的骨架蒙版示意图；

图3（b）示出根据本发明实施例获取的骨架示意图；

图3（c）示出根据本发明实施例基于起始部遵循延伸路径进行延伸示意图；

图4示出根据本发明实施例基于代价图利用A星导航算法来确定延伸路径示意图；

图5示出根据本发明实施例以冠脉血管中心线向主动脉延伸的流程图；

图6（a）示出在没有对冠脉血管中心线根据本发明实施例的方法进行定向延伸获得的拉直CPR图；

图6（b）示出对冠脉血管中心线根据本发明实施例的A星导航算法进行定向延伸获得的拉直CPR图；

图6（c）示出在没有对冠脉血管中心线根据本发明实施例的方法进行定向延伸获得的旋转CPR图；

图6（d）示出对冠脉血管中心线根据本发明实施例的A星导航算法进行定向延伸获得的旋转CPR图；

图7示出根据本发明实施例对生理管状结构进行图像处理的装置的说明框图。

具体实施方式

为使本领域技术人员更好的理解本发明的技术方案，下面结合附图和具体实施方式对本发明作详细说明。下面结合附图和具体实施例对本发明的实施例作进一步详细描述，但不作为对本发明的限定。

本发明中使用的 “包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素，并不排除也涵盖其他要素的可能。在本发明中，各个步骤在图中所示的箭头仅仅作为执行顺序的示例，而不是限制，本发明的技术方案并不限于实施例中描述的执行顺序，执行顺序中的各个步骤可以合并执行，可以分解执行，可以调换顺序，只要不影响执行内容的逻辑关系即可。

本发明使用的所有术语（包括技术术语或者科学术语）与本发明所属领域的普通技术人员理解的含义相同，除非另外特别定义。还应当理解，在诸如通用字典中定义的术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

图1示出根据本发明实施例的生理管状结构的图像处理方法的流程图。

如图1所示，一种生理管状结构的图像处理方法始于步骤101，获取所述生理管状结构的中心线。所述生理管状结构可以为延伸一定长度的任何器官或组织，例如但不限于血管、消化道、乳腺管、呼吸道中的至少一种或其中的病变。所述病变为血管中粥样硬化斑块、动脉瘤、支架、心肌桥等病变或异常，例如，血管病变为钙化斑块、非钙化斑块、混合斑块、动脉瘤、支架影像和心肌桥中的至少一种。其中，对于中心线获取的方式可以有多种，比如，采用最小路径方法、基于形变或几何模型的中心线提取方法以及直接中心线跟踪方法来提取中心线。具体地，以提取血管中心线为示例进行简单示例性说明。最小路径方法通常在图像中的起始点和终点之间寻找一条通过血管内部的最短路径来实现对血管中心线的提取。基于形变或几何模型的中心线提取方法通常需要先分割出血管目标，然后利用几何重心模型来计算中轴线。直接中心线跟踪方法通过判断血管的局部方向来获得当前位置处的血管方向，然后结合图像中血管的局部空间信息和曲率变化，得到与当前位置处的血管方向正交的血管横切面及其中心点，然后根据该横切面的中心点来校正当前跟踪点和当前跟踪方向，重复上述的局部中心点计算过程，直至追踪到血管的末端。在该实施例中，对于获取所述生理管状结构的中心线的方法并非本发明实施例的核心，对此不做具体限定。技术术语“获取”表示在有或没有附加降噪、裁剪、重建等图像处理的情况下直接或间接获得的任何方式。

在步骤102，可以获取关注区域的分割结果，所述关注区域包含所述生理管状结构相连的至少部分邻近部位及其相连的所述生理管状结构的至少部分，以使得分割结果中体现生理管状结构向着邻近部位的延伸部分。以下以冠脉血管为示例对关注区域进行说明，不作为对关注区域的具体性限定。其中，所述生理管状结构可以理解为冠脉血管，邻近部位可以理解为主动脉与冠脉衔接处的部分区域，或者可以直接理解为主动脉。主动脉相对于冠脉较粗，从较粗的主动脉口进入相对较细的冠脉血管，容易对冠脉血管产生较大的冲击。血液中的脂质容易在主动脉和冠脉的衔接口处沉积，使得冠脉与主动脉衔接处不够顺滑，导致斑块等病变的形成。以冠脉血管和主动脉作为关注区域，以使冠脉血管提取的中心线向着主动脉方向进行延伸，有利于优化后的拉直CPR图或旋转CPR图能够正确、精准的显示冠脉入口处的病变特征（包括大小、形状、性质等）。对于获取关注区域的分割结果的具体方法将会在下文进行阐述。

在步骤103，可以基于所述关注区域的分割结果进行形态学骨架提取，以得到至少一条骨架。形态学骨架提取有利于获取细化结构即骨架，通过用骨架细线来表示生理管状结构这种细长的区域，对于描述和抽取原始图像的特征较为容易。骨架具有中轴对称的特性，位于原始图像的中轴附近，在视觉上看，具有原图的形状。形态学骨架提取是通过把输入的具有一定宽度的图像轮廓用逐次去掉边缘的方法最终变为宽度仅为一个像素的骨架。骨架的提取方法可以采用现有技术中任一方法，例如基于烈火模拟算法和基于最大圆盘算法。基于烈火模拟算法，在同一时刻，将目标的边缘线点燃，火的前沿以匀速向内部蔓延，当前沿相交时火焰熄灭，火焰熄灭点的结合就是骨架。基于最大圆盘算法，目标的骨架是由目标内所有内切圆盘的圆心组成。仅以此作为示例性说明，不构成对保护范围的具体限定。

在步骤104，可以基于所得到的至少一条骨架，将所述中心线进行延伸，以及生成延伸后的中心线对应的包含所述生理管状结构的图像，从而有利于获取显示完全、准确的曲面重建拉直CPR图和旋转CPR图等，进而提高临床医生对生理管状结构端口处病变评估的准确性。该实施例确定了中心线延伸的方向包括向生理管状结构相连的邻近部位所在的方向，同时，通过形态学骨架提取获得至少一条骨架，并基于该骨架获取中心线的延伸路径，实现对中心线的延伸。通过各个步骤之间的协同配合，生成延伸后的中心线对应的包含所述生理管状结构的图像，从而有利于获得精准的多角度曲面重建图，能够有效消除端头位置经常出现的病变展示不全、不准等问题。

在一些实施例中，获取关注区域的分割结果具体包括获取所述邻近部位的分割结果，然后，基于所分割出的所述邻近部位，向所述生理管状结构进行扩展，例如，在每个坐标方向上扩展8-32个体素，以使得所述关注区域中包括所述邻近部位连接的生理管状结构的至少部分，从而获取所述关注区域的分割结果。基于邻近部位向所述生理管状结构进行扩展时，控制好扩展的范围有利于避免关注区域中没有生理管状结构，导致无法准确获取延伸路径。所述关注区域的分割结果中包括至少部分的生理管状结构以及与生理管状结构相连的部分邻近部位。

具体地，以对冠脉中心线进行延伸为示例进行详细说明。首先，利用训练好的学习网络对主动脉进行分割，以获取对应的主动脉分割结果。具体的分割方法可以为现有技术公开的任何分割方法。所述学习网络包括但不限于Unet、V-Net、No-local U-Net、U-Net++中的任一种。例如，采用3D U-Net网络结构训练分割模型，利用分割模型对主动脉进行分割。其中，分割模型的训练方式可以包括：基于经验丰富的影像科医生对训练样本影像中的主动脉进行标记，以此作为训练时的金标准。然后训练样本影像输入分割模型中，得到主动脉分割结果，并计算与金标准之间的损失。依据该损失调整分割模型的网络参数，当该损失小于等于预设阈值或者达到收敛时，表明分割模型训练收敛。上述的分割模型可以为ResUnet、transunet等分割网络模型，进行网络血管和其他特征提取，极大的提高了特征的提取效率。可选地，计算损失时可以采用Dice损失函数，交叉熵损失函数或者其他类型的损失函数，在此不做具体限定；在调整网络参数时，可以采用随机梯度下降SGD优化器或者其他类型的优化器，在此不做具体限定。

基于主动脉分割结果，根据主动脉的大小，设置扩展体素的数量，向所述生理管状结构进行扩展。具体地，比如主动脉的大小为64×64×128的长方体区域，扩展32个体素后获得一个包含主动脉和冠脉（可以是彼此连接的主动脉局部和冠脉局部）且大小为96ｘ96×160的局部区域（如图2（a））。利用扩展后得到的局部区域进行截取，以获得关注区域的分割结果（如图2（b））。主动脉是人体内最大的供血动脉，起源于心脏，而冠状属于供应心脏营养的血管，来源于主动脉根部，属于主动脉的一部分。该关注区域的分割结果中包含彼此连接的主动脉局部和冠脉局部，尤其是包含冠脉进入主动脉的入口处的邻域部位。这种设置有利于避免经过多曲面重建后的拉直CPR图、旋转CPR图中，在冠脉进入主动脉的入口处附近出现截断现象。

在一些实施例中，所述图像处理方法还包括为所获取的所述关注区域的分割结果，去除漂浮的连通域，并去除其他干扰对象的分割结果，进而提高后续进行路径延伸的准确性。关注区域的分割结果中如果存在大量的干扰对象，则容易为后续延伸路径的确定带来较大的困难，甚至容易出现延伸路径出现较大偏离的情况。该实施例通过去除漂浮的连通域以及其他可能的干扰对象，有利于提高延伸路径确定的准确度。

其中，图像处理中连通域指由前景相同像素，并且相同像素邻接的像素组成的域。图像处理中一般都是对二值图像（1为白色，0为黑色，一般前景为黑色）做连通域。去除漂浮的连通域时可以先把连通域找出且标记后去除，其中，连通域标记方法包括但不限于两次遍历实现、深度优先搜索遍历。对于去除连通域的方法不做具体限定。例如在对冠脉中心线进行延伸的实施例中，对获得的所述局部区域蒙版做保留主动脉和冠脉的清理操作，去除漂浮连通域和其他可能存在的干扰对象。

在一些实施例中，基于所得到的至少一条骨架，将所述中心线进行延伸具体包括基于所得到的至少一条骨架，确定延伸路径，将所述中心线遵循所述延伸路径进行延伸。所述生理管状结构向与其相连的部分邻近部位进行延伸时，对于延伸路径的获取提出了较高的要求。如果延伸路径偏离较大，则会导致中心线的延伸不准确，导致后续病变分析的准确度降低。该实施例中，基于利用形态学提取得到的骨架确定延伸路径，能够较为准确的获取延伸路径，避免延伸过程中出现严重偏离，导致分析结果不准确。

具体地，以冠脉中心线的延伸为例，对于清理后的所述局部区域蒙版做形态学骨架提取，获得包含一条或多条骨架的蒙版（如图3（a）），此蒙版中包含的骨架数量与蒙版的形态相关，蒙版越光滑且凸形，获得的骨架数越少，越有利于精准的获取延伸路径。将图3（a）所示的骨架的蒙版中相互连通的骨架赋值为1，非骨架区域赋值为0，对赋值为1的区域进行提取获得相应的骨架。提取得到的骨架如图3（b）所示，该骨架可以作为中心线延伸路径的候选，骨架代表了关注区域的形态学中心线，冠脉中心线的延伸路径必然存在于或经过其中某一条骨架。

在一些实施例中，将所述中心线遵循所述延伸路径进行延伸具体包括将所述中心线，以所述中心线靠近所述至少部分邻近部位的一端为起始部，遵循所述延伸路径进行延伸。在确定好延伸路径之后，确定中心线靠近邻近部位的一端为起始部，基于起始部遵循获得的延伸路径进行延伸。具体地，以冠脉中心线的延伸为例，如图3（c）所示，确定冠脉中心线的延伸起始位置为中心线靠近主动脉部位的衔接处附近，作为起始部。若多条血管起源于主动脉，则每一条血管有一个起始部。根据获取的主动脉分割结果和延伸路径，确定在图像视场内升主动脉中，靠近升主动脉顶端的骨架端点作为延伸路径的终端部。基于起始部，遵循所述延伸路径向终端部进行延伸。通过对冠脉中心线延伸，能够更精准、更美观的展示拉直、旋转等曲面重建图的方法，优化后的拉直曲面重建图在冠脉入口处没有视觉截断感，能够更加清晰的反应冠脉入口处的病变信息。

在一些实施例中，基于所得到的至少一条骨架，确定延伸路径具体可以采取如下方式来实现。可以获取所述至少一条骨架的骨架蒙版，基于所述骨架蒙版用于确定所述延伸路径的代价图。基于代价图，可以使用A星导航算法进行从起始部至终端部的最小代价路径导航。在实际运行中，使得骨架位置的代价值小于非骨架位置的代价值，比如，骨架位置的代价值为0，非骨架位置的代价之为1，基于所述代价图利用A星导航算法来确定所述延伸路径，使得所述延伸路径的累加代价小于阈值或最小化，从而确定最优延伸路径。其中，对于阈值的设定可以人为设定也可以在出厂时设置好，比如，阈值设置为0.5，如果累加代价小于0.5，则说明该延伸路径准确度较高，可以作为最优延伸路径，如果累加代价高于0.5，说明延伸路径不够准确，需要重新确定延伸路径。当然，也可以不设置阈值，而利用A星导航算法计算代价累计最小化即得最优延伸路径。具体地，以冠脉中心线的定向延伸为例，对于骨架蒙版，骨架区域赋值为0，非骨架区域赋值为1，此时，骨架经过的体素代价被设置为0，意味着如果延伸的路径经过这些骨架体素时，不计算其代价，而如果经过非骨架体素时，则对代价进行累加。通过这种设置，A星导航算法会优先选择骨架体素进行导航，而避开非骨架体素，从而获得期望的最优延伸路径。

在一些实施例中，基于所得到的至少一条骨架，将所述中心线进行延伸具体包括接收用户设定的延伸长度，基于所得到的至少一条骨架和用户设定的延伸长度，将所述中心线进行延伸。具体地，比如，基于A星导航算法获取最优延伸路径，程序会自动结合用户设定的延伸长度并计算出延伸路径上的体素个数，对寻找到的最优延伸路径进行截取，最终输出实际的延伸路径（如图4）。使用最小路径A星导航算法方式，能够找到精确地经由冠脉进入主动脉的最优路径，精准的展示入口处的病变信息。

在一些实施例中，基于所得到的至少一条骨架和用户设定的延伸长度，将所述中心线进行延伸具体包括在用户设定的延伸长度超出图像视场时，截取在图像视场内的长度作为实际延伸长度，以对所述中心线进行延伸。中心线延伸的设定长度可以通过用户进行自定义设定，也可使用程序设定的默认值20，此长度是非负的任意浮点数，单位是毫米。在用户设定的延伸长度异常时，以默认的延伸长度对所述中心线进行延伸。具体地，对冠脉中心线延伸过程中，用户设定的延伸长度代表用户想从原始冠脉中心线起始部向主动脉升主动脉方向延伸的长度，程序会根据此物理长度自动计算出其对应图像空间中的像素点个数，并给原始中心线添加与像素点个数相同的中心点。如果用户给定或默认的延伸长度过长，导致延伸线超出CCTA（冠脉计算机断层扫描）图像的视场（Field of view, FOV），那么程序会自动截取在图像视场内的点作为实际延伸点，如果用户设置负延伸长度，程序检测到输入异常后，将以默认延伸长度对中心线延伸。

在一些实施例中，所述的图像处理方法还包括对所述中心线在所述起始部的邻域部分与所述延伸路径在所述起始部的邻域部分进行平滑处理，以使得衔接处平滑。在对中心线进行延伸的过程中，从起始部开始遵循延伸路径进行定向延伸，此时，在衔接处无法保证平滑。如果衔接处过于不平滑，例如拐角过大，那么拉直曲面重建图在衔接处就会出现类似断层的情况。所述实施例在所述起始部的邻域部分与所述延伸路径在所述起始部的邻域部分进行平滑处理，比如采用均值滤波或中值滤波进行图像平滑处理，使得衔接处更加平滑、自然。对于均值滤波采用一个有奇数点的滑动窗口在图像上滑动，窗口中心点所对应像素的灰度值用窗口内所有像素的平均值代替。对于中值滤波，窗口中心点所对应的像素的灰度值使用窗口内所有像素的中间值代替。对于平滑处理的方法不做具体限定，以上仅为示例性说明，不作为对保护范围的具体限定。

在一些实施例中，所述生理管状结构包括冠脉，所述邻近部位包括主动脉，生成延伸后的中心线对应的包含所述生理管状结构的图像具体包括生成由延伸后的中心线产生的冠脉的拉直曲面重建图像。通过对冠脉中心线进行定向延伸，使其进入主动脉一段距离，使得由延伸过的冠脉中心线产生的拉直曲面重建图在冠脉入口处也向主动脉内部延展了一部分，完全消除了拉直曲面重建图在冠脉入口处截断的问题。同时，使用了A星导航算法进行路径寻优，确保了延伸路径精准地由冠脉进入主动脉，并沿着升主动脉方向延伸给定长度。

以对冠脉中心线进行定向延伸为示例，图5示出根据本发明实施例以冠脉血管中心线向主动脉延伸的流程图。在步骤501，可以对主动脉和冠脉进行分割以获取对应的分割结果，接着，在步骤5012a，基于冠脉分割结果提取得到原始中心线。在步骤5011a所示，基于主动脉的分割结果，确定主动脉的大小并向冠脉血管进行扩展，获得包括冠脉和主动脉的关注区域的局部区域，利用该局部区域对关注区域截取以获得关注区域的分割结果。对于原始中心线的获取可以与获取关注区域的分割结果的步骤同时进行，也可以提前获得原始中心线。如步骤5011b所示，对包含主动脉和冠脉的关注区域进行前处理，以去除漂浮的连通域或者其他干扰对象，从而有利于提高确定的延伸路径的准确度。对关注区域进行前处理后，对清理过的分割结果进行形体学骨架提取，以得到至少一条骨架。在获取骨架蒙版后，骨架区域赋值为1，非骨架区域赋值为0，以提取候选路径（步骤5011c）。此时，可以基于原始中心线，结合候选路径确定路径起始部（步骤5012b），基于候选路径确定升主动脉骨架顶端为终端，从而确定路径终端部（步骤5011e），从原始中心线出发，可以基于起始部和终端部来获取延伸路径（步骤503）。此外，还可以在获取候选路径后，对骨架蒙版的赋值取反，将骨架区域的代价值取0，而将非骨架区域的代价值取1，以此生成代价图（步骤5011d）。基于该代价图，利用A星导航算法进行最小代价路径导航（步骤5011f），获取延伸路径（步骤503）。当然，在用户设置了设定延伸长度（步骤502）后，系统会结合用户设定的延伸长度进行路径导航，以获取延伸路径（步骤503）。在获取延伸路径后，对路径衔接处平滑处理（步骤504），以使得衔接处更加平滑和自然，最终，基于起始部，使得原始中心线遵循延伸路径进行延伸获取延伸中心线（步骤505）。

基于该实施例获得的延伸中心线进行拉直曲面重建，获得拉直CPR图（图6（b））和旋转CPR图（图6（d）），分别与基于原始中心线进行拉直曲面重建获得的拉直CPR图（图6（a））和旋转CPR图（图6（c））进行对比，能够确定基于本发明所述实施例获得的延伸中心线进行拉直曲面重建获得的拉直CPR图和旋转CPR图能够完整的呈现冠脉血管入口处的病变信息，避免在入口处出现截断的问题。具体地分析过程如下：

如图6（a）所示，基于原始中心线进行拉直曲面重建后获得的拉直CPR图，在冠脉血管入口处出现截断现象，医生基于此判断入口处第一个斑块为非钙化斑块。然而，通过对原始中心线进行定向延伸后获得的延伸中心线，对延伸中心线进行拉直曲面重建后获得的拉直CPR图（如图6（b）），并没有出现截断现象，能够完整、精确显示入口病变长度和性质，而且，医生可以判断入口处第一个斑块为混合斑块而不是非钙化斑块。类似地，基于原始中心线进行拉直曲面重建后获得的旋转CPR图（如图6（c）），在冠脉血管入口处也会出现截断现象，医生基于此判断入口处第一个斑块为非钙化斑块。而对延伸中心线进行拉直曲面重建后获得的旋转CPR图（如图6（d）），并没有出现截断现象，也能够完整、精确显示入口病变长度和性质，而且，医生可以判断入口处第一个斑块为混合斑块而不是非钙化斑块。可见，截断现象导致基于拉直CPR图和旋转CPR图做出的诊断不仅低估了病变的累积范围，还对斑块的性质造成了误判，严重降低了分析结果的准确度。

图7示出根据本发明实施例对生理管状结构进行图像处理的装置的说明框图。如图7所示，生理管状结构的图像处理装置700，可以包括接口707和处理器701。接口707可以配置为接收包含对象的3D医学图像。处理器701可以配置为：执行根据本发明各个实施例的对生理管状结构进行图像处理的方法。

通过该接口707，对医学图像进行中心线提取的装置可以连接到网络（未示出），例如但不限于医院中的局域网或因特网。但接口707实现的通信方式不限于网络，可以包括NFC、蓝牙、WIFI等；可以是有线连接，也可以是无线连接。以网络为例，接口707可以将对医学图像进行中心线提取的装置与诸如图像采集装置（未示出）、医学图像数据库708和图像数据存储装置709的外部装置连接。图像采集装置可以是任何类型的成像模态，例如但不限于计算机断层摄影（CT）、数字减影血管造影（DSA）、磁共振成像（MRI）、功能性MRI、动态对比增强-MRI、扩散MRI、螺旋CT、锥形束计算机断层摄影（CBCT）、正电子发射断层摄影（PET）、单光子发射计算断层摄影（SPECT）、X射线成像、光学断层摄影、荧光成像、超声成像、放射治疗射野成像。

在一些实施例中，生理管状结构的图像处理装置700可以是专用智能装置或通用智能装置。例如，生理管状结构的图像处理装置700可以是为提取中心线并对中心线进行延伸的处理任务定制的计算机，或者是放置在云中的服务器。例如，生理管状结构的图像处理装置700集成到图像采集装置中。

生理管状结构的图像处理装置700可以包括处理器701和存储器704，并且可以另外可以包括输入/输出702和图像显示器703中的至少一个。

处理器701可以是可以包括一个或多个通用处理装置的处理装置，诸如微处理器、中央处理单元（CPU）、图形处理单元（GPU）等。更具体地，处理器701可以是复杂指令集计算（CISC）微处理器、精简指令集计算（RISC）微处理器、超长指令字（VLIW）微处理器、运行其他指令集的处理器或者运行指令集的组合的处理器。处理器701还可以是一个或多个专用处理装置，诸如专用集成电路（ASIC）、现场可编程门阵列（FPGA）、数字信号处理器（DSP），片上系统（SoC）等。如本领域技术人员将理解的，在一些实施例中，处理器701可以是专用处理器，而不是通用处理器。处理器701可以包括一个或多个已知的处理装置，例如来自IntelTM制造的Pentium TM、Core TM、Xeon TM或Itanium系列的微处理器，由AMD TM制造的Turion TM、Athlon TM、Sempron TM、Opteron TM、FX TM、 Phenom TM系列，或由SunMicrosystems制造的各种处理器。处理器701还可以包括图形处理单元，诸如来自GeForce®的GPU，由Nvidia TM制造的Quadro®、Tesla®系列，由Intel TM制造的GMA，Iris TM系列，或由AMD TM制造的Radeon TM系列。处理器701还可以包括加速处理单元，例如由AMD TM制造的Desktop A-4（6,6）系列，由Intel TM制造的Xeon Phi TM系列。所公开的实施例不限于任何类型的处理器或处理器电路，其以其他方式被配置为执行根据本发明各个实施例的生理管状结构的图像处理方法。该方法可以包括：获取所述生理管状结构的中心线；获取关注区域的分割结果，所述关注区域包含所述生理管状结构相连的至少部分邻近部位及其相连的所述生理管状结构的至少部分；基于所述关注区域的分割结果进行形态学骨架提取，以得到至少一条骨架；以及基于所得到的至少一条骨架，将所述中心线进行延伸以及生成延伸后的中心线对应的包含所述生理管状结构的图像。另外，术语“处理器”或“图像处理器”可以包括一个以上的处理器，例如，多核设计或多个处理器，每个处理器具有多核设计。处理器701可以执行存储在存储器704中的计算机程序指令序列，以执行本文公开的各种操作、过程和方法。

处理器701可以通信地耦合到存储器704并且被配置为执行存储在其中的计算机可执行指令。存储器704可以包括只读存储器（ROM）、闪存、随机存取存储器（RAM）、诸如同步DRAM（SDRAM）或Rambus DRAM的动态随机存取存储器（DRAM）、静态存储器（例如，闪存、静态随机存取存储器）等，计算机可执行指令以任何格式存储在其上。在一些实施例中，存储器704可以存储一个或多个图像处理程序705的计算机可执行指令。计算机程序指令可以由处理器701访问，从ROM或者任何其他合适的存储器位置读取，并且加载在RAM中以供处理器701执行。例如，存储器704可以存储一个或多个软件应用程序。存储在存储器704中的软件应用程序可以包括，例如，用于普通计算机系统的操作系统（未示出）以及用于软控制装置的操作系统。

此外，存储器704可以存储整个软件应用程序或仅存储可由处理器701执行的软件应用程序的一部分（例如，图像处理程序705）。此外，存储器704可以存储多个软件模块，用于实现与本发明一致的对生理管状结构进行图像处理的各个步骤或用于训练分割模型的过程。

此外，存储器704可以存储在执行计算机程序时生成/缓冲的数据，例如，医学图像数据706，可以包括从图像采集装置、医学图像数据库708、图像数据存储装置709等发送的医学图像。在一些实施例中，医学图像数据706可以包括要进行中心线提取的包含生理管状结构的3D医学图像，图像处理程序705将要对其实现分割、获取分割结果、提取中心线、进行中心线延伸。

在一些实施例中，可以提供图像数据存储装置709以与医学图像数据库708交换图像数据，以及存储器704可以与医学图像数据库708通信以获得要进行中心线提取的包含数个部位的医学图像。例如，图像数据存储装置709可以驻留在其他医学图像采集装置（例如对该患者执行扫描的CT）中。患者的医学图像可以被传输并保存到医学图像数据库708，以及生理管状结构的图像处理装置700可以从医学图像数据库708取得特定患者的医学图像并为该特定患者的医学图像进行中心线的提取和延伸。此外，训练好的各个分割模型及其分割参数可以存储在医学图像数据库708上，以在需要时供其他图像处理装置访问、获取和利用。

在一些实施例中，分割模型（尤其学习网络）可以保存在存储器704中。可选地，学习网络可以存储在远程装置、分离的数据库（诸如医学图像数据库708）、分布式装置中，且可以被图像处理程序705使用。

除了显示医学图像之外，图像显示器703还可以显示其他信息，诸如，关注区域的分割结果、骨架和延伸路径。例如，该图像显示器703可以是LCD、CRT或LED显示器。

输入/输出702可以被配置为允许生理管状结构的图像处理装置700接收和/或发送数据。输入/输出702可以包括允许装置与用户或其他机器和装置通信的一个或多个数字和/或模拟通信装置。例如，输入/输出702可以包括允许用户提供输入的键盘和鼠标。

在一些实施例中，图像显示器703可以呈现用户界面，以便用户利用输入/输出702连同该用户界面，可以方便且直观地修正（诸如编辑、移动、修改等）所生成的解剖标签。

接口707可以包括网络适配器、电缆连接器、串行连接器、USB连接器、并行连接器、诸如光纤的高速数据传输适配器、USB 6.0、闪电、例如Wi-Fi适配器的无线网络适配器、电信（6G、4G / LTE等）适配器。装置可以通过接口707连接到网络。网络可以提供局域网（LAN）、无线网络、云计算环境（例如，作为服务的软件、作为服务的平台、作为服务的基础设施等）、客户端-服务器、广域网（WAN）等。

本发明的实施例还提供一种计算机存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行根据本发明各个实施例所述的生理管状结构的图像处理方法。存储介质可以包括只读存储器(ROM)、闪存、随机存取存储器(RAM)、诸如同步DRAM(SDRAM)或Rambus DRAM的动态随机存取存储器(DRAM)、静态存储器(例如，闪存、静态随机存取存储器)等，其上可以以任何格式存储计算机可执行指令。

对本发明的方法、装置和系统可以进行各种变型和更改。鉴于所公开的系统和相关方法的描述和实践，可以由本领域的技术人员衍生出其他实施例。本发明的各个权利要求都可理解为独立实施例，并且它们之间的任意组合也用作本发明的实施例，并且这些实施例被视为都包括在本发明中。

示例仅视为示例性的，真实范围由所附权利要求书及其等效来表示。

Claims (13)

1.一种生理管状结构的图像处理方法，其特征在于，包括：

获取所述生理管状结构的中心线；

获取关注区域的分割结果，所述关注区域包含所述生理管状结构相连的至少部分邻近部位及其相连的所述生理管状结构的至少部分；

基于所述关注区域的分割结果进行形态学骨架提取，以得到至少一条骨架；

基于所得到的至少一条骨架，将所述中心线进行延伸；以及

生成延伸后的中心线对应的包含所述生理管状结构的图像。

2.根据权利要求1所述的图像处理方法，其特征在于，获取关注区域的分割结果具体包括：

获取所述邻近部位的分割结果；

基于所分割出的所述邻近部位，向所述生理管状结构进行扩展，以获取所述关注区域的分割结果。

3.根据权利要求2所述的图像处理方法，其特征在于，还包括：为所获取的所述关注区域的分割结果，去除漂浮的连通域，并去除其他干扰对象的分割结果。

4.根据权利要求1所述的图像处理方法，其特征在于，基于所得到的至少一条骨架，将所述中心线进行延伸具体包括：

基于所得到的至少一条骨架，确定延伸路径；

将所述中心线遵循所述延伸路径进行延伸。

5.根据权利要求4所述的图像处理方法，其特征在于，将所述中心线遵循所述延伸路径进行延伸具体包括：将所述中心线，以所述中心线靠近所述至少部分邻近部位的一端为起始部，遵循所述延伸路径进行延伸。

6.根据权利要求4所述的图像处理方法，其特征在于，基于所得到的至少一条骨架，确定延伸路径具体包括：

获取所述至少一条骨架的骨架蒙版；

基于所述骨架蒙版确定用于确定所述延伸路径的代价图，使得骨架位置的代价值小于非骨架位置的代价值；

基于所述代价图利用A星导航算法来确定所述延伸路径，使得所述延伸路径的累加代价小于阈值或最小化。

7.根据权利要求1所述的图像处理方法，其特征在于，基于所得到的至少一条骨架，将所述中心线进行延伸具体包括：接收用户设定的延伸长度；基于所得到的至少一条骨架和用户设定的延伸长度，将所述中心线进行延伸。

8.根据权利要求7所述的图像处理方法，其特征在于，基于所得到的至少一条骨架和用户设定的延伸长度，将所述中心线进行延伸具体包括：

在用户设定的延伸长度超出图像视场时，截取在图像视场内的长度作为实际延伸长度，以对所述中心线进行延伸；

在用户设定的延伸长度异常时，以默认的延伸长度对所述中心线进行延伸。

9.根据权利要求5所述的图像处理方法，其特征在于，还包括：对所述中心线在所述起始部的邻域部分与所述延伸路径在所述起始部的邻域部分进行平滑处理，以使得衔接处平滑。

10.根据权利要求1所述的图像处理方法，其特征在于，所述生理管状结构包括血管、消化道、乳腺管、呼吸道中的至少一种或其中的病变。

11.根据权利要求1所述的图像处理方法，其特征在于，所述生理管状结构包括冠脉，所述邻近部位包括主动脉，

生成延伸后的中心线对应的包含所述生理管状结构的图像具体包括：生成由延伸后的中心线产生的冠脉的拉直曲面重建图像。

12.一种生理管状结构的图像处理装置，其特征在于，所述图像处理装置包括处理器，所述处理器被配置为执行根据权利要求1-11任一项所述的生理管状结构的图像处理方法。

13.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1-11中任一项所述的生理管状结构的图像处理方法。

Images