一种血管跟踪方法、冠脉影像分割方法、介质及电子设备
技术领域
本发明属于图像分析领域,涉及一种血管跟踪方法,特别是涉及一种血管跟踪方法、冠脉影像分割方法、介质及电子设备。
背景技术
关于病人血管系统的几何结构和拓扑结构的准确信息对于许多医学应用来说是至关重要的,现有技术中大多采用CT血管造影(CTA,CT Angiography)来获取该信息。CTA是将 CT增强技术与薄层、大范围、快速扫描技术相结合,并通过合理的后期处理以清晰显示全身各部位血管细节的造影技术。CTA的基本原理是通过静脉将造影剂快速注入患者体内,并利用人工智能软件控制造影剂跟踪技术以及心电门控对冠状动脉及其分支、心脏室壁运动进行清晰地显示,通过CTA能够实现对心脏的三维重建。
在使用CTA进行扫描分析的过程中需要对一些血管进行跟踪,以便获得相应的血管及其参数。然而,现有血管跟踪方法往往通过人工实现,这种方式不仅繁琐而且费时,很难在临床上应用。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种血管跟踪方法、冠脉影像分割方法、介质及电子设备,用于解决现有技术中采用人工方式进行血管跟踪的问题。
为实现上述目的及其他相关目的,本发明的第一方面提供一种血管跟踪方法。所述血管跟踪方法包括:从所述三维医学影像内获取一种子点作为当前种子点;利用一卷积神经网络对所述三维医学影像进行处理,以获得所述目标血管在当前种子点的方向和半径;若所述目标血管在当前种子点的方向满足一终止条件,根据所述目标血管在各种子点的方向和半径获取所述目标血管;否则,从所述三维医学影像内获取一新的种子点作为当前种子点,并跳转至利用一卷积神经网络对所述三维医学影像进行处理的步骤。
于所述第一方面的一实施例中,所述卷积神经网络对所述三维医学影像进行处理并获得的所述目标血管在当前种子点的方向为1个或2个。
于所述第一方面的一实施例中,从所述三维医学影像内获取一新的种子点的实现方法包括:根据所述目标血管在当前种子点的方向获取一方向向量;根据所述方向向量和所述目标血管在当前种子点的半径对当前种子点进行偏移,进而获得所述新的种子点。
于所述第一方面的一实施例中,利用一卷积神经网络对所述三维医学影像进行处理,以获得所述目标血管在当前种子点的方向和半径的实现方法包括:在所述三维医学影像内获取一包含当前种子点的图块;利用所述卷积神经网络对所述图块进行处理,以获得所述目标血管在当前种子点的方向和半径;所述卷积神经网络的训练方法包括:获取训练医学影像;所述训练医学影像中包含训练血管;根据所述训练血管从所述训练医学影像中获取多个训练点;根据所述训练点的位置在所述训练医学影像中获取多个训练图块;其中,每个训练图块包含至少一个训练点;获取所述训练血管在各训练点的方向和半径;将所述训练图块、所述训练血管在各训练点的方向和半径作为训练数据,对一初始卷积神经网络进行训练,以获得所述卷积神经网络。
于所述第一方面的一实施例中,所述卷积神经网络的训练方法还包括:对至少一个所述训练图块进行至少一次旋转,以获得至少一个旋转后的训练图块;所述训练数据还包括所述旋转后的训练图块。
于所述第一方面的一实施例中,利用一卷积神经网络对所述三维医学影像进行处理,以获得所述目标血管在当前种子点的方向和半径的实现方法包括:在三维空间内对所述三维医学影像进行重采样,以保证所述三维医学影像在各方向的分辨率一致;利用所述卷积神经网络对重采样之后的三维医学影像进行处理,以获得所述目标血管在当前种子点的方向和半径;所述卷积神经网络的训练方法包括:获取训练医学影像;所述训练医学影像中包含训练血管;
根据所述训练血管从所述训练医学影像中获取多个训练点;对所述训练医学影像进行重采样,以保证所述训练医学影像在各方向的分辨率一致;获取所述训练血管在各训练点的方向和半径;将重采样后的训练医学影像、所述训练血管在各训练点的方向和半径作为训练数据,对一初始卷积神经网络进行训练,以获得所述卷积神经网络。
于所述第一方面的一实施例中,所述卷积神经网络的训练方法还包括:对至少一个所述训练点进行至少一次偏移,以获得至少一个偏移后的训练点。
于所述第一方面的一实施例中,利用一卷积神经网络对所述三维医学影像进行处理,以获得所述目标血管在当前种子点的方向的实现方法包括:获取多个参考方向;利用所述卷积神经网络对所述三维医学影像进行处理,以获得所述目标血管在当前种子点处沿至少两个参考方向的概率;根据所述目标血管在当前种子点处沿至少两个参考方向的概率,获取所述目标血管在当前种子点的方向。
于所述第一方面的一实施例中,所述终止条件的获取方法包括:根据所述目标血管在当前种子点处沿至少两个参考方向的概率,获取当前种子点对应的方向信息熵;根据所述方向信息熵获取所述终止条件。
本发明的第二方面提供一种冠脉影像分割方法;所述冠脉影像分割方法包括:获取冠脉影像;对所述冠脉影像进行分割,以获取分割后的冠脉影像;在所述冠脉影像中获取一个种子点;根据所述种子点进行血管跟踪,以获得目标血管;将所述目标血管添加到所述分割后的冠脉影像中,或将所述目标血管从所述分割后的冠脉影像中删除。
于所述第二方面的一实施例中,根据所述种子点进行血管跟踪,以获得目标血管的实现方法包括:将所述种子点作为当前种子点;利用一卷积神经网络对所述分割后的冠脉影像进行处理,以获得所述目标血管在当前种子点的方向和半径;若所述目标血管在当前种子点的方向满足一终止条件,根据所述目标血管在各种子点的方向和半径获取所述目标血管;否则,根据所述目标血管在当前种子点的方向和半径生成一新的种子点作为当前种子点,并跳转至利用一卷积神经网络对割后的冠脉影像进行处理的步骤。
于所述第二方面的一实施例中,根据所述种子点进行血管跟踪,以获得目标血管的一种实现方法包括:根据CT值获取各种子点三维邻域内的种子点,重复此步骤直到获取到所有的种子点;根据所有的种子点获取所述目标血管。
本发明的第三方面提供一种计算机可读存储介质,其上存储有计算机程序。该计算机程序被处理器执行时实现所述第一方面的血管跟踪方法,或实现所述第二方面的冠脉影像分割方法。
本发明的第四方面提供一种电子设备,所述电子设备包括:存储器,存储有一计算机程序;处理器,与所述存储器通信相连,调用所述计算机程序时执行所述第一方面的血管跟踪方法,或执行所述第二方面的冠脉影像分割方法;显示器,与所述处理器和所述存储器通信相连,用于显示所述血管跟踪方法的相关GUI交互界面,或显示所述冠脉影像分割方法的相关GUI交互界面。
如上所述,本发明所述血管跟踪方法、冠脉影像分割方法、介质及电子设备的一个技术方案具有以下有益效果:
所述血管跟踪方法利用卷积神经网络对所述三维医学影像进行处理,以便获得目标血管在多个种子点的方向和半径,进而获取目标血管。整个过程基本无需人工参与,避免了现有血管跟踪方法采用人工方式实现而导致的繁琐和费时等问题。
附图说明
图1A显示为本发明所述血管跟踪方法于一具体实施例中的三维医学影像示例图。
图1B显示为本发明所述血管跟踪方法于一具体实施例中的二维CT图像示例图。
图1C显示为本发明所述血管跟踪方法于一具体实施例中的流程图。
图1D显示为本发明所述血管跟踪方法于一具体实施例中步骤S12的流程图。
图2A显示为本发明所述血管跟踪方法于一具体实施例中的血管示例图。
图2B显示为本发明所述血管跟踪方法于一具体实施例中的血管示例图。
图2C显示为本发明所述血管跟踪方法于一具体实施例中的血管示例图。
图3显示为本发明所述血管跟踪方法于一具体实施例中获取新的种子点的流程图。
图4A显示为本发明所述血管跟踪方法于一具体实施例中步骤S12的流程图。
图4B显示为本发明所述血管跟踪方法于一具体实施例中卷积神经网络的训练流程图。
图4C显示为本发明所述血管跟踪方法于一具体实施例中的血管示例图。
图5A显示为本发明所述血管跟踪方法于一具体实施例中步骤S12的流程图。
图5B显示为本发明所述血管跟踪方法于一具体实施例中卷积神经网络的训练流程图。
图6A显示为本发明所述血管跟踪方法于一具体实施例中步骤S12的流程图。
图6B显示为本发明所述血管跟踪方法于一具体实施例中的参考方向示例图。
图7显示为本发明所述血管跟踪方法于一具体实施例中获取终止条件的流程图。
图8A显示为本发明所述血管跟踪方法于一具体实施例中的流程图。
图8B显示为本发明所述血管跟踪方法于一具体实施例中卷积神经网络的训练流程图。
图9显示为本发明所述冠脉影像分割方法于一具体实施例中的流程图。
图10A显示为本发明所述血管跟踪方法于一具体实施例中S94的流程图。
图10B显示为本发明所述血管跟踪方法于又一具体实施例中S94的流程图。
图11显示为本发明所述电子设备于一具体实施例中的结构示意图。
元件标号说明
2 目标血管
21 血管段
22 中心线
31 种子点
311 方向
312 方向
32 种子点
321 方向
33 种子点
332 方向
34 种子点
343 图块
4 圆台
41 外壁
42 中心线
61 参考方向
62 参考方向
110 电子设备
111 存储器
112 处理器
113 显示器
S11~S14 步骤
S121~S124 步骤
S31~S32 步骤
S41a~S42a 步骤
S41b~S45b 步骤
S51a~S52a 步骤
S51b~S55b 步骤
S61~S63 步骤
S71~S72 步骤
S81a~S86a 步骤
S81b~S86b 步骤
S91~S95 步骤
S941a~S944a 步骤
S941b~S942b 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
在使用CTA进行扫描分析的过程中需要对一些血管进行跟踪,以便获得相应的血管及其参数。然而,现有血管跟踪方法往往通过人工实现,这种方式不仅繁琐而且费时,很难在临床上应用。针对这一问题,本发明提供一种血管跟踪方法,所述血管跟踪方法利用卷积神经网络对所述三维医学影像进行处理,以便获得目标血管在多个种子点的方向和半径,进而获取目标血管。整个过程基本无需人工参与,避免了现有血管跟踪方法采用人工方式实现而导致的繁琐和费时等问题。
于本发明的一实施例中,所述血管跟踪方法用于获取三维医学影像内的目标血管。请参阅图1A,显示为本实施例中涉及的一幅三维医学影像。其中,所述三维医学影像由多幅二维 CT图像叠加形成,请参阅图1B,显示为一幅二维CT图像。
请参阅图1C、图1D、图2A、图2B和图2C,所述血管跟踪方法包括:
S11,从所述三维医学影像内获取一种子点31作为当前种子点。其中,该种子点31位于所述目标血管2内,可以通过人工方式选取,也可以通过人工智能或图像识别技术获取。优选地,该种子点31位于所述目标血管2的中心线22上,或位于所述目标血管2的中心线22 附近。当种子点31位于所述目标血管2的中心线22附近时,该种子点31距离所述目标血管 2的中心线22越近则最终获取的目标血管误差越小;具体应用中可以根据对目标血管误差的要求对所述附近的概念进行定义。
S12,利用一卷积神经网络对所述三维医学影像进行处理,以获得所述目标血管在当前种子点的方向和半径。具体地,所述卷积神经网络为一训练好的卷积神经网络,将所述三维医学影像作为所述卷积神经网络的输入,其输出即为所述目标血管在当前种子点的方向和半径。例如,所述卷积神经网络对所述三维医学影像进行处理后,获得的所述目标血管2在种子点 31的方向包括方向311和方向321,获得的所述目标血管2在种子点31的半径为R。
请参阅图1D,显示为所述卷积神经网络的训练方法。所述卷积神经网络的训练方法包括:
S121,获取训练医学影像;所述训练医学影像中包含训练血管。优选地,所述训练医学影像与所述三维医学影像为同类影像,和/或所述训练血管与所述目标血管为同类血管。例如,所述训练医学影像与所述三维医学影像均为冠脉CT影像,所述训练血管与所述目标血管均为冠状静脉。
S122,根据所述训练血管从所述训练医学影像中获取多个训练点;其中,所述训练点均位于所述训练血管内部。优选地,所述训练点位于所述训练血管的中心线上,或位于所述训练血管的中心线附近。
S123,获取所述训练血管在各训练点的方向和半径。其中,所述训练血管在各训练点的方向和半径可以通过人工标注获得,也可以采用人工智能技术获取。
S124,将所述训练血管在各训练点的方向和半径以及所述训练医学影像作为训练数据,对一初始卷积神经网络进行训练,以获得所述卷积神经网络。利用所述训练数据对所述初始卷积神经网络进行训练可以采用现有的训练方法实现,此处不再赘述。
通过上述步骤S121~S124即可获得所述卷积神经网络,在此基础上,将所述三维医学影像作为所述卷积神经网络的输入,其输出即为所述目标血管在当前种子点的方向和半径。
S13,若所述目标血管在当前种子点的方向不满足终止条件,从所述三维医学影像内获取一新的种子点作为当前种子点,并跳转至步骤S12。所述终止条件可以根据用户经验进行设置,例如:当前种子点的方向与目标血管中心线的夹角大于一阈值、当前种子点的方向与上一种子点的方向之间的夹角大于一阈值和/或当前种子点的方向与目标血管的血管壁的夹角大于一阈值等。
以种子点31作为当前种子点为例,若所述目标血管2在种子点31的方向不满足终止条件,则从所述三维医学影像内获取一新的种子点32作为当前种子点,并通过步骤S12获取所述目标血管2在种子点32的半径R1和方向321;重复此过程,直到所述目标血管在当前种子点的方向满足所述终止条件。
S14,若所述目标血管在当前种子点的方向满足所述终止条件,根据所述目标血管在各种子点的方向和半径获取所述目标血管。具体地,所述目标血管的获取方法包括:选取两个种子点,根据所述目标血管在所述两个种子点的半径生成一三维模型,所述三维模型即为所述两个种子点之间的一段目标血管;所述三维模型例如:圆柱、圆台、棱台等。重复上述过程获得多段目标血管,将所述多段目标血管进行组合即可获得完整的目标血管。优选地,步骤 S14依次选取相邻的两个种子点作为所述两个种子点,和/或步骤S14获取的各段目标血管依次首尾相连。当所述种子点的数量足够多时,通过本实施例所述血管跟踪方法获取的目标血管与真实的目标血管基本相同。
例如,步骤S14根据种子点31的半径和种子点32的半径生成一圆台4,所述圆台4的上底半径为所述目标血管2在所述种子点32的半径R1,所述圆台4的下底半径为所述目标血管2在所述种子点31的半径R。所述圆台4即为种子点31和种子点32之间的三维模型,其可以用来替代真实的目标血管2在种子点31和种子点32之间的血管段21。所述圆台4的外壁41可以用来替代所述血管段21的血管壁,所述圆台4的中心线42可以用来替代所述血管段21的中心线。
根据以上描述可知,本实施例所述血管跟踪方法利用卷积神经网络对所述三维医学影像进行处理,以便获得目标血管在多个种子点的方向和半径,进而获取目标血管及其中心线。整个过程基本无需人工参与,避免了现有血管跟踪方法采用人工方式实现而导致的繁琐和费时等问题。
于本发明的一实施例中,步骤S11中获取的种子点为所述目标血管的起点或终点,此时,步骤S13中获取的种子点均位于起点或终点的一侧,因此,本实施例中,所述卷积神经网络对所述三维医学影像进行处理并获得的所述目标血管在当前种子点的方向为1个即可保证步骤S14能够获取完整的目标血管。
于本发明的一实施例中,步骤S11中获取的种子点31既不是所述目标血管的起点,也不是所述目标血管的终点。此时,步骤S13中获取的种子点位于种子点31的两侧,例如种子点 32和种子点33。在本实施例中,为获取完整的目标血管,所述卷积神经网络对所述三维医学影像进行处理并获得的所述目标血管在种子点31的方向为2个;所述卷积神经网络对所述三维医学影像进行处理并获得的所述目标血管在其余种子点的方向为1个;其中,所述其余种子点是指种子点31之外的种子点。
于本发明的一实施例中,所述新的种子点可以根据所述目标血管在当前种子点的方向和半径获得。例如,请参阅图3,从所述三维医学影像内获取一新的种子点的一种实现方法包括:
S31,根据所述目标血管在当前种子点的方向获取一方向向量。优选地,所述方向向量与所述目标血管在当前种子点的方向相同。
S32,根据所述方向向量和所述目标血管在当前种子点的半径对当前种子点进行偏移,进而获得所述新的种子点。优选地,步骤S32中对当前种子点偏移的方向为所述方向向量的方向,其偏移的距离为所述目标血管在当前种子点的半径,即:根据所述目标血管在当前种子点的半径与方向向量的乘积进行偏移。例如,对种子点32进行偏移时,其方向向量与方向 321相同,其偏移距离为R1,对种子点32偏移后即可获得新的种子点34。
本实施例中,通过利用步骤S12获取的所述目标血管在当前种子点的半径和方向对当前种子点进行偏移,保证了偏移后获得的新的种子点位于所述目标血管的中心线上或中心线附近,因而使得当前种子点与新的种子点之间的连线近似与所述目标血管的中心线平行。
请参阅图4A、图4B和图4C,于本发明的一实施例中,利用一卷积神经网络对所述三维医学影像进行处理,以获得所述目标血管在当前种子点的方向和半径的实现方法包括:
S41a,在所述三维医学影像内获取一包含当前种子点的图块;其中,所述图块的尺寸小于所述三维医学影像的尺寸,例如,包含种子点34的图块343。优选地,所述图块通过沿血管方向对所述三维医学影像进行分割获得,且所述图块的中心为所述当前种子点;进一步优选地,所述图块不包含血管之外的图像。
S42a,利用所述卷积神经网络对所述图块进行处理,以获得所述目标血管在当前种子点的方向和半径。具体地,通过选取恰当的训练数据对所述卷积神经网络进行训练,使得所述卷积神经网络能够直接处理所述图块;此时,将所述图块作为所述卷积神经网络的输入,所述卷积神经网络的输出即为所述目标血管在当前种子点的方向和半径。
本实施例中,所述卷积神经网络的训练方法包括:
S41b,获取训练医学影像;所述训练医学影像中包含训练血管。
S42b,根据所述训练血管从所述训练医学影像中获取多个训练点。其中,所述训练点均位于所述训练血管内部。优选地,所述训练点位于所述训练血管的中心线上,或位于所述训练血管的中心线附近。
S43b,根据所述训练点的位置在所述训练医学影像中获取多个训练图块;其中,每个训练图块包含至少一个训练点。优选地,所述训练图块通过沿血管方向对所述三维医学影像进行分割获得,且所述训练图块的中心为所述训练点;进一步优选地,所述训练图块不包含血管之外的图像。
S44b,获取所述训练血管在各训练点的方向和半径。
S45b,将所述训练图块、所述训练血管在各训练点的方向和半径作为训练数据,对一初始卷积神经网络进行训练,以获得所述卷积神经网络。
上述训练过程与步骤S121~S124相似,为节省说明书篇幅,此处不再一一赘述。
本实施例中,通过对所述训练医学影像进行处理以获取包含所述训练图块、所述训练血管在各训练点的方向和半径的训练数据,使得训练好的所述卷积神经网络能够直接处理所述图块并获得所述卷积神经网络的输出即为所述目标血管在当前种子点的方向和半径。因此,本实施例无需利用所述卷积神经网络对整幅三维医学影像进行处理,降低了运算量,有利于提升所述卷积神经网络的训练速度。
具体应用中,训练血管多为不规则形状,因而使得获取的训练血管中心线与所述训练血管的真实中心线相比往往存在偏差,所述偏差包括方向偏差、位置偏差等;其中,所述方向偏差是指获取的中心线与真实中心线的方向不同,所述位置偏差是指获取的中心线相对于真实中心线存在偏移。当选取训练血管中心线上或中心线附近的点作为训练点时,所述偏差会导致所述神经网络的训练结果精确度下降。针对这一问题,于本发明的一实施例中,所述卷积神经网络的训练方法还包括:对至少一个所述训练图块进行至少一次旋转,以获得至少一个旋转后的训练图块;所述训练数据还包括所述旋转后的训练图块。其中,各所述旋转后的训练图块仍包含至少一个所述训练点。具体地,同一训练图块经多次不同角度的旋转后能够获得多个旋转后的训练图块;当所述旋转后的训练图块的数量足够多时,尽管所述训练血管中心线存在方向偏差,所述旋转后的训练图块中也能包含所述训练血管的真实中心线。因此,本实施例能够消除血管中心线的方向偏差导致的训练结果精确度下降,提升所述卷积神经网络获取到的所述目标血管在种子点的方向和半径的准确度。
如前所述,所述三维医学影像往往由多幅二维CT图像叠加形成,从而导致所述三维医学影像在不同方向的分辨率可能存在差异,而这种分辨率的差异会导致步骤S14中获取的目标血管误差较大。针对这一问题,请参阅图5A和图5B,于本发明的一实施例中,利用一卷积神经网络对所述三维医学影像进行处理,以获得所述目标血管在当前种子点的方向和半径的实现方法包括:
S51a,在三维空间内对所述三维医学影像进行重采样,以保证所述三维医学影像在各方向的分辨率一致。其中,所述三维医学影像在各方向的分辨率一致是指所述三维医学影像在各方向的分辨率相同,即所述三维医学影像具有三维各向同性;或所述三维医学影像在各方向的分辨率相近。由于所述三维医学影像在各方向的分辨率差异越大,所述血管跟踪方法最终获得的目标血管误差越大;具体应用中可以根据对目标血管误差的需求对所述分辨率相近进行定义。本实施例中,对所述三维医学影像进行重采样可以通过现有的最邻近内插法、双线性内插法和三次卷积法内插法实现,具体方法此处不再追赘述。
S52a,利用所述卷积神经网络对重采样之后的三维医学影像进行处理,以获得所述目标血管在当前种子点的方向和半径。
所述卷积神经网络的训练方法包括:
S51b,获取训练医学影像;所述医学影像中包含训练血管。其中,所述训练医学影像是由多幅二维CT影像叠加形成的三维影像。
S52b,根据所述训练血管从所述训练医学影像中获取多个训练点。
S53b,对所述训练医学影像进行重采样,以保证所述训练医学影像在各方向的分辨率一致;对所述训练医学影像进行重采样可以通过现有的最邻近内插法、双线性内插法和三次卷积法内插法实现,具体方法此处不再追赘述。
S54b,获取所述训练血管在各训练点的方向和半径。
S55b,将重采样后的训练医学影像、所述训练血管在各训练点的方向和半径作为训练数据,对一初始卷积神经网络进行训练,以获得所述卷积神经网络。
本实施例通过选取重采样后的训练医学影像、所述训练血管在各训练点的方向和半径作为训练数据对卷积神经网络进行训练,使得所述卷积神经网络能够对所述重采样后的三维医学影像进行处理,进而获得所述目标血管在种子点的方向和半径的准确度。相对于一些实施例中采用卷积神经网络直接对三维医学影像进行处理,本实施例选择采用卷积神经网络对各方向分辨率一致的三维医学影像进行处理,因而使得所述血管跟踪方法获得的目标血管更为精确。
具体应用中,训练血管多为不规则形状,因而使得获取的训练血管中心线往往存在偏差,所述偏差包括方向偏差、位置偏差等。当选取训练血管中心线上或中心线附近的点作为训练点时,所述偏差会导致所述神经网络的训练结果精确度下降。针对这一问题,于本发明的一实施例中,所述卷积神经网络的训练方法还包括:对至少一个所述训练点进行至少一次偏移,以获得至少一个偏移后的训练点。其中,所述偏移后的训练点可以作为训练点直接应用于所属卷积神经网络的训练中。具体地,同一训练点经多次不同距离和方向的偏移后能够获得多个偏移后的训练点;当所述偏移后的训练点的数量足够多时,尽管所述训练血管中心线存在位置偏差,所述偏移后的训练点也能保证位于所述训练血管中心线上或所述训练血管中心线附近。因此,本实施例能够消除血管中心线的位置偏差导致的训练结果精确度下降,提升所述卷积神经网络获取到的所述目标血管在种子点的方向和半径的准确度。
请参阅图6A,于本发明的一实施例中,利用一卷积神经网络对所述三维医学影像进行处理,以获得所述目标血管在当前种子点的方向的实现方法包括:
S61,获取多个参考方向;请参阅图6B,所述参考方向可以通过方向向量的形式进行表示。优选地,所述参考方向在三维空间内均匀分布。
S62,利用所述卷积神经网络对所述三维医学影像进行处理,以获得所述目标血管在当前种子点处沿至少两个参考方向的概率;其中,所述参考方向与所述目标血管在当前种子点的方向越接近,则所述目标血管在当前种子点处沿该参考方向的概率越大。本实施例中,所述卷积神经网络对所述三维医学影像进行处理后获得所述目标血管在当前种子点处沿所有参考方向的概率。相应的,对所述卷积神经网络进行训练时采用的训练数据包括训练医学影像和训练血管在各训练点处沿各参考方向的概率,该训练数据可以通过人工方式获得,也可以通过人工智能方式获取,具体训练方法可以利用现有训练方法实现,此处不再赘述。
S63,根据所述目标血管在当前种子点处沿至少两个参考方向的概率,获取所述目标血管在当前种子点的方向。优选地,步骤S63从所述至少两个参考方向中选取一个参考方向,以使所述目标血管在当前种子点处沿该参考方向的概率最大;该选取的参考方向即为所述目标血管在当前种子点的方向。例如,若步骤S62中,所述目标血管在当前种子点沿参考方向61 的概率为0.8,所述目标血管在当前种子点沿参考方向62的概率为0.5,则选取参考方向61 作为所述目标血管在当前种子点的方向。
本实施例中通过参考方向来表示所述目标血管在当前种子点的方向;当所述参考方向的数量足够多时,步骤S63能够获取一个与所述目标血管在当前种子点的真实方向基本相同的参考方向。
根据以上描述可知,为便于学习和预测,本实施例通过选取训练医学影像和训练血管在各训练点处沿各参考方向的概率对所述卷积神经网络进行训练,以使所述卷积神经网络对所述三维医学影像的处理结果为所述目标血管在当前种子点沿至少两个参考方向的概率;在此基础上,本实施例根据该概率实现对所述目标血管在当前种子点的方向的获取。
请参阅图7,于本发明的一实施例中,所述终止条件的获取方法包括:
S71,根据所述目标血管在当前种子点处沿至少两个参考方向的概率,获取当前种子点对应的方向信息熵,作为第一方向信息熵;其中,所述方向信息熵的计算公式为:
其中,D表示各单位参考方向向量,d表示当前方向向量,P表示当前图块,p(d|P)表示根据当前图块预测当前种子点对应的方向为d的概率;所述当前图块是指包含当前种子点的图块。根据所述方向信息熵的计算公式可以看出,所述方向信息熵的数值越大说明所述卷积神经网络获取的、所述目标血管在当前种子点的方向越不明确;当所述方向信息熵增加到一定程度时,所述卷积神经网络无法精确地获取所述目标血管在当前种子点的方向。
S72,根据所述方向信息熵获取所述终止条件。
具体地,根据所述方向信息熵获取所述终止条件的一种实现方法包括:若当前种子点对应的方向信息熵大于一熵阈值时,认为当前种子点的方向满足所述终止条件。其中,所述熵阈值为一经验值。
根据所述方向信息熵获取所述终止条件的另一种实现方法包括:若所述方向信息熵在连续M个种子点内随着种子点数的增加不断增大,则认为当前种子点的方向满足所述终止条件;其中,M为正整数且M>1。例如,当M=2时,若当前种子点对应的方向信息熵大于上一种子点对应的方向信息熵,则认为当前种子点的方向满足所述终止条件。
此外,为了避免误差导致所述血管追踪方法提前终止,也可以分别获取当前种子点和之前M-1个种子点各自对应的滑动平均信息熵,此时,所述终止条件为所述滑动平均信息熵在连续M个种子点内随着种子点数的增加不断增大。其中,所述当前种子点对应的滑动平均信息熵的获取方法包括:分别获取当前种子点对应的方向信息熵、及其之前N个种子点对应的方向信息熵;对上述N+1个方向信息熵取算数平均值,即可获得当前种子点对应的滑动平均信息熵;其中,N为正整数。其余种子点对应的滑动平均信息熵与上述过程类似,此处不做赘述。
请参阅图8A,于本发明的一实施例中,所述血管跟踪方法包括:
S81a,获取三维医学影像,并对所述三维医学影像进行重采样以保证所述三维医学影像在各方向的分辨率一致。
S82a,从所述三维医学影像中获取一初始种子点作为当前种子点;所述初始种子点可以通过人工或者机器学习方式获取。
S83a,以当前种子点为中心获取一图块,并利用卷积神经网络对该图块进行处理,从而获得目标血管在所述初始种子点处最可能的两个方向和半径。
S84a,以步骤S83a获取的一个方向作为所述目标血管在当前种子点的方向进行迭代,直到满足一终止条件。每次迭代的过程包括:根据一追踪向量对当前种子点进行偏移,从而获得一个新的种子点作为当前种子点;以当前种子点为中心获取一图块,并利用卷积神经网络对该图块进行处理,从而获得所述目标血管在当前种子点的半径和一个方向。其中,所述追踪向量的方向为所述目标血管在当前种子点的方向,所述追踪向量的半径为所述目标血管在当前种子点的半径,即:该追踪向量为所述目标血管在当前种子点的方向和半径的乘积。此外,所述追踪向量在每次迭代中可能各不相同。所述终止条件由当前种子点的方向信息熵确定。
S85a,以所述初始种子点为当前种子点,以步骤S83a获取的另一个方向作为所述目标血管在当前种子点的方向进行迭代,直到满足一终止条件。该迭代过程与步骤S84中的迭代过程类似,此处不再赘述。
S86a,根据所述目标血管在各种子点的方向和半径生成所述目标血管。
本实施例还定义了在三维空间内沿四面八方均匀分布的500个单位参考方向,并且,利用所述卷积神经网络对所述三维医学影像进行处理获得的结果包括所述目标血管在当前种子点处沿各参考方向的概率。因此,步骤S83a可以选取概率最大的两个参考方向作为所述目标血管在所述初始种子点处最可能的两个方向;步骤S84或S85中可以选取概率最大的一个参考方向作为所述目标血管在当前种子点的方向。
请参阅图8B,本实施例中,对所述卷积神经网络的训练方法包括:
S81b,获取训练医学影像,并对所述训练医学影像进行重采样以保证所述训练医学影像在各方向的分辨率一致;其中,所述训练医学影像包含训练血管。
S82b,获取所述训练血管的中心线,并获取所述中心线上的多个训练点。
S83b,对至少一个所述训练点进行至少一次随机偏移,以获得至少一个偏转后的训练点。
S84b,以各训练点或各偏转后的训练点为中心,从所述训练医学影像中获取多个方形图块。
S85b,对至少一个所述方形图块进行至少一次随机旋转,以获得至少一个旋转后的方形图块。
S86b,以所述方形图块、所述旋转后的方形图块、所述训练血管在各训练点的方向和半径、所述训练血管在各偏转后的训练点的方向和半径为训练数据,对一初始卷积神经网络进行训练,以获得所述卷积神经网络。
在对CTA影像中的冠脉进行分割时,获得的冠脉分割结果往往存在欠分割和/或过度分割的问题。其中,所述欠分割是指分割后的冠脉影像中没有包含完整的冠脉影像,即:一部分冠脉影像位于所述分割后的冠脉影像之外。所述过度分割是指分割后的冠脉影像中包含了多余的血管;所述多余的血管包括与冠脉连接或相邻的静脉或动脉,例如冠状静脉、肺部血管等。针对这一问题,本发明还提供一种冠脉影像分割方法。
请参阅图9,于本发明的一实施例中,所述冠脉影像分割方法包括:
S91,获取冠脉影像;其中,所述冠脉影像为CTA影像。所述冠脉影像可以从一医学影像数据库中获得。
S92,对所述冠脉影像进行分割,以获取分割后的冠脉影像。其中,所述分割后的冠脉影像为一三维影像,且包含以下三种情况之一:冠脉的一部分、冠脉的一部分和冠脉之外的多余血管、完整的冠脉和冠脉之外的多余血管。当所述分割后的冠脉影像包含冠脉的一部分时,对所述冠脉影像的分割存在欠分割的问题;当所述分割后的冠脉影像包含完整的冠脉和冠脉之外的多余血管时,对所述冠脉影像的分割存在过度分割问题;当所述分割后的冠脉影像包含冠脉的一部分和冠脉之外的多于血管时,对所述冠脉影像的分割存在欠分割和过度分割问题。在本步骤中,对所述冠脉影像进行分割的方法例如FCN、U-Net、V-Net等。
S93,在所述冠脉影像中获取一个种子点;其中,该种子点可以通过人工或AI方式获取。当所述分割后的冠脉影像存在欠分割问题时,该种子点位于冠脉中;优选地,该种子点位于冠脉中,且位于所述分割后的冠脉影像之外。当所述分割后的冠脉影像存在过度分割问题时,该种子点位于冠脉之外的多余血管中,且所述冠脉之外的多余血管位于所述分割后的冠脉影像中。
S94,根据所述种子点进行血管跟踪,以获得目标血管;其中,所述种子点位于所述目标血管内部。具体地,当所述分割后的冠脉影像存在欠分割时,所述种子点位于冠脉中,因而所述目标血管为整个冠脉或冠脉的一部分。当所述分割后的冠脉影像存在过度分割时,所述种子点位于所述冠脉之外的多余血管中,因而所述目标血管为所述种子点所属的一条多余血管或该多余血管的一部分。
具体地,根据所述种子点进行血管跟踪的一种实现方法包括:将所述种子点作为起点;在起点周围的三维空间内获得至少一个新的种子点,并将所述新的种子点作为起点,重复此步骤,直到获得所有的种子点;根据所有的种子点获取所述目标血管。其中,所述新的种子点均位于所述目标血管内。
S95,将所述目标血管添加到所述分割后的冠脉影像中,或将所述目标血管从所述分割后的冠脉影像中删除。具体地,当所述目标血管为整个冠脉或冠脉的一部分时,将所述目标血管自动添加到所述分割后的冠脉影像中,或突出显示所述目标血管以提示用户进行添加。当所述目标血管为所述种子点所属的一条多余血管或该多余血管的一部分时,将所述目标血管从所述分割后的冠脉影像中自动删除,或突出显示所述目标血管以提示用户进行删除。
根据以上描述可知,当对所述冠脉影像的分割存在欠分割时,所述冠脉影像分割方法能够获取整个冠脉或冠脉的一部分作为目标血管,通过将所述目标血管添加到所述分割后的冠脉影像中能够克服所述欠分割问题。当所述冠脉影像的分割存在过度分割时,所述冠脉影像分割方法能够获取所述种子点所属的一条多余血管或该多余血管的一部分作为目标血管,通过从所述分割后的冠脉影像中删除所述目标血管能够克服所述过度分割问题。
于本发明所述冠脉影像分割方法中,步骤S94可以通过本发明所述血管跟踪方法实现。例如,请参阅图10A,于本发明的一实施例中,根据所述种子点进行血管跟踪,以获得目标血管的实现方法包括:
S941a,将所述种子点作为当前种子点。
S942a,利用一卷积神经网络对所述分割后的冠脉影像进行处理,以获得所述目标血管在当前种子点的方向和半径。具体地,所述卷积神经网络为一训练好的卷积神经网络,将所述分割后的冠脉影像作为所述卷积神经网络的输入,其输出即为所述目标血管在当前种子点的方向和半径。对所述卷积神经网络的训练与S121~S124类似,此处不再赘述。
S943a,若所述目标血管在当前种子点的方向不满足终止条件,根据所述目标血管在当前种子点的方向和半径生成一新的种子点作为当前种子点,并跳转至步骤S942。
S944a,若所述目标血管在当前种子点的方向满足所述终止条件,根据所述目标血管在各种子点的方向和半径获取所述目标血管。
请参阅图10B,于本发明的一实施例中,根据所述种子点进行血管跟踪,以获得目标血管的一种实现方法包括:
S941b,根据CT值获取各种子点三维邻域内的种子点,重复此步骤直到获取到所有的种子点。其中,种子点的三维邻域是指包含该种子点在内的三维立体区域;优选地,所述种子点的三维邻域是以该种子点为中心的三维立体区域。所述三维立体区域可以是长方体、球、立方体、圆柱体等;例如,对于某一种子点,该种子点的三维邻域可以是以该种子点为中心边长为9体素的正方体。此外,当各种子点的三维邻域内均不存在新种子点时,即可认为获取到了所有的种子点。
具体地,对于任一种子点,根据CT值获取该种子点三维邻域内的种子点的实现方法包括:遍历该种子点三维邻域内所有体素点的CT值,其中,CT值在血管CT值范围内的体素点即为该种子点三维邻域内的种子点。所述血管CT值范围是指通常情况下血管的CT值范围,例如100-500Hu。
本实施例所述冠脉影像分割方法中获取所有种子点的一个具体实例如下:以步骤S93中获取的种子点为中心,获取其周围的新种子点,并将所述新种子点放入一队列中;依次以所述队列中的每个种子点为中心,获取所述队列中所有种子点周围的新种子点,并利用该新种子点替换所述队列中的所有种子点,重复这一步骤,直到所述队列中的所有种子点周围均不存在新种子点。其中,对于任一种子点,获取其周围的新种子点的实现方法包括:获取该种子点三维邻域内的所有种子点,并从所述三维邻域内的所有种子点中剔除已经获取到的种子点,即可获得该种子点周围的新种子点。
S942b,根据所有的种子点获取所述目标血管。具体地,将所有的种子点合并在一起即可获得所述目标血管。需要说明的是,具体应用中也可以根据实际需求选择部分种子点进行合并以获得所述目标血管。
基于以上对所述血管跟踪方法或冠脉影像分割方法的描述,本发明还提供一种计算机可读存储介质,其上存储有计算机程序。该计算机程序被处理器执行时实现本发明所述的血管跟踪方法,或实现本发明所述的冠脉影像分割方法。
基于以上对所述血管跟踪方法或冠脉影像分割方法的描述,本发明还提供一种电子设备。请参阅图11,所述电子设备110包括:
存储器111,存储有一计算机程序;
处理器112,与所述存储器111通信相连,调用所述计算机程序时执行本发明所述的血管跟踪方法,或执行本发明所述的冠脉影像分割方法;
显示器113,与所述处理器112和所述存储器111通信相连,用于显示所述血管跟踪方法的相关GUI交互界面,或显示所述冠脉影像分割方法的相关GUI交互界面。
本发明所述的血管跟踪方法和/或冠脉影像分割方法的保护范围不限于本发明实施例列举的步骤执行顺序,凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
本发明所述血管跟踪方法利用卷积神经网络对所述三维医学影像进行处理,以便获得目标血管在多个种子点的方向和半径,进而获取目标血管。整个过程基本无需人工参与,避免了现有血管跟踪方法采用人工方式实现而导致的繁琐和费时等问题。
本发明所述冠脉影像分割方法能够通过种子点和血管追踪实现将所述目标血管添加到分割后的冠脉影像中,或将所述目标血管从分割后的冠脉影像中删除,从而解决现有冠脉分割方法中的欠分割或过度分割的问题。
综上所述,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。