CN115953495B - 基于二维造影图像的智能路径规划装置、系统和存储介质 - Google Patents
基于二维造影图像的智能路径规划装置、系统和存储介质 Download PDFInfo
- Publication number
- CN115953495B CN115953495B CN202310237833.9A CN202310237833A CN115953495B CN 115953495 B CN115953495 B CN 115953495B CN 202310237833 A CN202310237833 A CN 202310237833A CN 115953495 B CN115953495 B CN 115953495B
- Authority
- CN
- China
- Prior art keywords
- blood vessel
- segment
- path
- end point
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请涉及基于二维造影图像的智能路径规划装置、系统和存储介质。智能路径规划装置包括处理器,配置为:获取由成像设备采集的二维造影图像,目标血管中存在病变;基于血管的二维造影图像,利用学习网络来确定其中的各个血管段的命名;通过确定路径的起点和/或终点位置,来得到路径的起点和终点位置;结合各个血管段的命名,得到起点和终点位置分别对应的血管段名称;根据各个血管段的先验分级连通情况,得到要经过的各个中间血管段的名称;对起点位置对应的血管段、各个中间血管段和终点位置对应的血管段分别规划段路径,将各个段路径依序串联得到整条路径。因此智能路径规划装置能够自动准确地规划路径,能够避免规划得到真实中不存在的路径。
Description
技术领域
本申请涉及人工智能及医学图像处理技术领域,更具体地,涉及基于二维造影图像的智能路径规划装置、系统和存储介质。
背景技术
介入治疗是利用先进的现代医学影像设备(比如医用血管X射线造影机),指导特定医疗器械(导管、导丝等)对人体内的病变部位进行诊断和治疗。治疗过程中导丝的行为主要取决于术中DSA造影图像和医生的经验。术中的DSA造影图像,因为缺少了一个维度的空间信息,在三维空间中并不交叉重叠的血管,在二维图像中经常出现血管交叠现象,因此需要进行多次投照和更换体位来确定血管起源和走势,这个过程增加了放射剂量、手术时间和造影剂用量等。
血管二维造影图像路径规划与自动驾驶路径规划相比,区别于自动驾驶路径规划出的道路基本上不会涉及空间信息,规划出道路无论是否最优,都是真实存在的道路,但是血管涉及大量的空间信息,在二维平面规划出道路,可能在空间上并不存在,导致无法走通。
因此传统介入治疗手术过程中,医生可能需要根据过往经验和DSA造影图像综合来判断血管名称,明确重叠部分血管的归属,来避免规划出错误的路径。但是需要依赖医生的临床经验,增加了医生的学习难度,而且可能会增加造影次数,使造影剂用量增加,还会延长手术时间。而现有的自动导航技术在路径规划的过程中很容易出现真实中不存在的路径。
发明内容
提供了本申请以解决现有技术中存在的上述缺陷。需要基于二维造影图像的智能路径规划装置、系统和存储介质,能够基于单个角度和单个体位下得到的单个二维造影图像,进行迅速且准确地导航路径规划,无需三维图像重建过程,降低处理器负荷,在出现血管交叠的情况下,能够确保规划得到真实中存在且合理的路径。
根据本申请的第一方案,提供了基于二维造影图像的智能路径规划装置,包括处理器,其配置为:获取由成像设备采集的患者的优化体位和优化角度下的目标血管的二维造影图像,所述目标血管中存在病变;基于所获取的血管的二维造影图像,利用学习网络来确定其中的各个血管段的命名;通过自动确定路径的起点和/或终点位置或者接收用户对路径的起点和/或终点位置的设置,来得到路径的起点和终点位置;根据路径的起点和终点位置,结合各个血管段的命名,得到所述起点和终点位置分别对应的血管段名称;根据各个血管段的先验分级连通情况结合所述起点和终点位置分别对应的血管段名称,得到要经过的各个中间血管段的名称;对所述起点位置对应的血管段、各个中间血管段和所述终点位置对应的血管段分别规划段路径,将各个段路径依序串联得到整条路径。
根据本申请的第二方案,提供了基于二维造影图像的智能路径规划系统,所述智能路径规划系统包括上述第一方案所述的智能路径规划装置、成像设备和显示器。所述成像设备配置为:获取病灶部位的数个不同体位和数个形成夹角的角度的血管造影序列。所述显示器配置为:接收所述智能路径规划装置的整条路径结果并显示。
根据本申请的第三方案,提供了非暂时性计算机可读介质,其上存储有指令,该指令由处理器执行时,实现如下步骤:获取由成像设备采集的患者的优化体位和优化角度下的目标血管的二维造影图像,所述目标血管中存在病变;基于所获取的血管的二维造影图像,利用学习网络来确定其中的各个血管段的命名;通过自动确定路径的起点和/或终点位置或者接收用户对路径的起点和/或终点位置的设置,来得到路径的起点和终点位置;根据路径的起点和终点位置,结合各个血管段的命名,得到所述起点和终点位置分别对应的血管段名称;根据各个血管段的先验分级连通情况结合所述起点和终点位置分别对应的血管段名称,得到要经过的各个中间血管段的名称;对所述起点位置对应的血管段、各个中间血管段和所述终点位置对应的血管段分别规划段路径,将各个段路径依序串联得到整条路径。
本申请各个实施例提供的基于二维造影图像的智能路径规划装置、系统和存储介质,智能路径规划装置能够自动完成规划路径的过程,基于基于单个角度和单个体位下得到的单个二维造影图像和深度学习网络可以得到目标血管包括的各个血管段的命名,与路径的起点和终点位置结合,可以确定起点和终点位置之间的各个血管段;在此基础上结合血管段的先验分级连通情况,就可以确定路径起点和终点位置之间的各个中间血管段的名称,通过将起点位置、各个正确依序串联就可以得到整条路径。这样,在二维造影图像中出现血管交叠的情况下,能够确保迅速规划得到真实中存在且合理的路径。因此能够为医生或介入机器人进行介入手术提供辅助导航,对于缺乏经验的医生具有指导意义;还能够在不改变当前手术工作流程的情况下提升介入治疗手术效率,缩短手术时间。
附图说明
图1示出根据本申请实施例的智能路径规划装置的处理器的工作过程的示意图;
图2示出根据本申请实施例的存在血管交叠现象的二维血管造影的示意图;
图3示出根据本申请实施例的冠脉命名结果的示意图;
图4示出根据本申请实施例的冠脉命名正确路径的示意图;
图5示出根据错误路径规划结果的示意图;
图6示出根据本申请实施例的智能路径规划系统的结构示意图。
具体实施方式
为使本领域技术人员更好的理解本申请的技术方案,下面结合附图和具体实施方式对本申请作详细说明。下面结合附图和具体实施例对本申请的实施例作进一步详细描述,但不作为对本申请的限定。
本申请中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分。“包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素,并不排除也涵盖其他要素的可能。
图1示出根据本申请实施例的智能路径规划装置的处理器的工作过程的示意图。在步骤101,获取由成像设备采集的患者的优化体位和优化角度下的目标血管的二维造影图像,所述目标血管中存在病变。
在一些实施例中,二维造影图像可以是通过数字减影血管造影(DSA,digitalsubtraction angiography)、移动X射线设备(比如,移动C形臂)等或其任意组合技术获取目标血管(比如冠脉)的造影图像。
病变包括但不限于斑块,钙化,狭窄,血栓,夹层,溃疡,动脉瘤,颈动脉海绵窦瘘(CCF),硬脑膜动静脉瘘(DAVF),高血运肿瘤,血管畸形,烟雾病等。
优化角度是病变部位所在的血管段的短缩和重叠等情况的程度小于第一阈值的角度,能够清晰区分病变部位和各个血管段。至少从两个正交的观察病变部位的角度中选择,便于优化角度选择的准确性。优化体位是能够更好地观察目标血管的起源和走势的投照体位。因此,基于优化体位和优化角度下的目标血管的二维造影图像,能够确保病变位置的准确性,能够为路径规划提供清晰的血管段组成,尽量避免引入重叠的血管(比如两个血管段在二维造影图像上只能看出一段血管,可能导致隐藏重要的血管段),而导致规划错误。
在步骤102,基于所获取的血管的二维造影图像,利用学习网络来确定其中的各个血管段的命名。学习网络通过学习训练可以识别各个血管位置处的各个血管段的名称来输出血管段的命名,通过对二维造影图像的血管位置和血管走势等可以识别血管是属于椎-基底动脉,颈内动脉,左冠状动脉,右冠状动脉等,进一步还能够识别比如右冠状动脉从属的右冠近段,右冠中段等等。这样各个血管段根据自身的属性得到了各自的命名,以便于后期根据先验分级连通情况,来校验相邻的两个血管段之间是否能够走通。
在一些实施例中,先验分级连通情况可以表示各个血管段在血管分级系统中的级别的先验知识,比如该血管段是属于主动脉、动脉还是小动脉,还可以表示各个血管段源自哪个连通的血管段又去往哪个连通的血管段,等等。
另外,处理器还可以根据命名在二维造影图像上对各个血管段进行自动标注。这样在导航的过程中,提示接下来进入的血管段的名称时,可以帮助医护人员进行判断。
在步骤103,通过自动确定路径的起点和/或终点位置或者接收用户对路径的起点和/或终点位置的设置,来得到路径的起点和终点位置。路径的起点一般是介入器械(比如导丝)的起点。终点位置一般是病变位置。所以起点和终点的位置可以通过用户的手动输入来得到,也可以通过处理器自动确定终点坐标。
在步骤104,根据路径的起点和终点位置,结合各个血管段的命名,得到所述起点和终点位置分别对应的血管段名称。基于二维造影图像中的起点和终点位置,可以通过坐标的配准等方法,能够得到起点位置对应的血管段和终点位置对应的血管段,还是以右冠状动脉为例,起点位置对应右冠近段,终点位置对应右冠后降支。此时,起终点对应的血管段以及起点和终点之间的各个血管段,如果直接连接得到路径,在得到的路径中,可能存在某一个或多个血管段在二维造影图像上看似相互连通,实则不能走通的情况。
在步骤105,根据各个血管段的先验分级连通情况结合所述起点和终点位置分别对应的血管段名称,得到要经过的各个中间血管段的名称。在二维平面图像上可能不能准确地显示出血管段正确的连通关系,而血管段的先验分级连通情况定义了各个血管段的上一级和下一级的血管段的拓扑连接情况,也就定义了哪些相邻的血管段实际上并不连通,也就是无法走通。根据各个血管段的先验分级连通情况,就可以高效准确地去除一些无法走通的路径,得到正确的中间血管段的名称,进而规划出正确的路径。
在步骤106,对所述起点位置对应的血管段、各个中间血管段和所述终点位置对应的血管段分别规划段路径,将各个段路径依序串联得到整条路径。各个血管段的起点和终点之间分别形成各个段路径,在各个正确的中间血管段中,相邻段路径中的上一级段路径的终点与下一级段路径的起点能够相互连通且让导丝通过,各个段路径串联后形成整个路径。在导航的过程中,当导丝在相邻血管段的上一级血管段时,会提示接下来要进入的下一级血管段的命名,以便操作人员操作导丝沿着正确的路径穿梭,最后到达病变位置。在一些实施例中,对所述起点位置对应的血管段、各个中间血管段和所述终点位置对应的血管段分别规划段路径的方法可以为:分别获取起点位置对应的血管段、各个中间血管段和所述终点位置对应的血管段中心线,利用中心线代表该段路径。其中获取中心线的方法包括:使用形态学中轴变换或者图像细化,再将提取的中心线进行平滑处理,即为该段路径。
以右冠状动脉从属的血管为例。如图2所示为优化体位和优化角度下的目标血管的二维造影图像。利用学习网络来确定其中的各个血管段的命名,得到命名后的二维造影图像如图3所示。图3中各个血管段包括右冠近段、右冠中段、右冠远段、锐缘支、右冠后降支和左室后支。通过导管口的位置信息自动确定路径规划的起点位置所在的血管段为右冠近段。根据病变位置(血管狭窄部位的位置信息)确定路径规划的终点所在的血管段为右冠后降支。右冠近段和右冠后降支之间的各个中间血管段有多个,包括右冠近段的分支血管、右冠中段、右冠远段、锐缘支、右冠后降支的分支血管。如果进行路径规划时不考虑右冠近段和右冠后降支相关联的各个血管段的先验分级连通情况,此时得到的路径可能如图4中的血管中的曲线所示。其中的部分中间血管段是走不通的,因为右冠后降支的分支血管无法走通,所以此时的路径要求的血管段在真实世界中不存在。
本申请根据血管段的先验分级连通情况,比如右冠近段血管不能进入上面的分支血管,右冠中段血管不能进入锐缘支,右冠远段血管末端分叉处不能进入左室后支,后降支不能进入后降支的分支血管,所以规划出的正确路径如图5所示,图5中的路径能够使导丝或导管走通。因此根据血管段的先验分级连通情况可以去除一些无法走通的路径,以便规划出正确的路径。以现实生活中的高架桥为例,高架桥和高架桥下方的道路可能并不是互相连通的,但是从俯视的二维图中就感觉是相互连通的,如果以此来规划路径,可能会导致规划出来的路径是不能实际执行的路径,因为其要求的血管支路真实中不存在。所以本申请中基于血管段的先验分级连通情况得到各个血管段之间的准确的关联关系,这样规划出来的路径是真实存在且合理的,有利于为导丝或导管提供准确的导航帮助。同时,对于缺乏经验的医生在本申请的智能路径规划装置的帮助下,能够顺利地找到正确的路径。另外也能够避免在规划错误的情况下,需要重新进行观察其他角度的二维造影图像决定路径的过程,能够降低患者的造影剂用量和缩短手术时间,在不改变当前手术工作流程的情况下提升介入治疗手术效率。
在一些实施例中,患者的优化体位和优化角度由用户通过如下步骤预先确定:对目标血管以数个不同体位和数个形成夹角的角度进行血管造影,以得到目标血管的数个二维造影图像,所述夹角大于40度且小于140度;根据目标血管的所述数个二维造影图像,选择优化体位和优化角度,使得对应的二维造影图像中,至少病变所在的血管段的短缩和重叠的程度小于第一阈值且清晰度超过第二阈值。
以DSA设备和右冠脉血管为例,DSA能够得到双平面图像,两个平面图像具有夹角,夹角的范围为大于40度且小于140度。可以选择其中40度、90度和130度的夹角的图像,有助于正确地判断病变情况和识别各个血管段。比如右冠后降支血管段存在血管狭窄的情况等,然后从中选择能够更容易区分各个血管段的血管造影图像。而且对于右冠后降支存在狭窄的情况,可以选择头位进行介入手术。因此,经过体位和角度的选择过程所得到的二维造影图像,能够使病变部位所在的血管段不存在短缩和重叠等情况,且清晰度超过阈值,有利于规划正确的路径。
在一些实施例中,基于所获取的血管的二维造影图像,利用学习网络来确定其中的各个血管段的命名具体包括:利用深度学习网络模型对所述二维造影图像进行特征提取,利用提取后得到的特征结合血管拓扑信息,确定其中的各个血管段的命名。例如,血管拓扑信息可以采用如下方式来得到,通过对二维造影图像进行图像分割处理得到血管分割图,再对血管分割图进行形态学骨架提取,得到骨架拓扑图,所述骨架拓扑图中就包含了血管拓扑信息。骨架拓扑图为无向拓扑图,在无向拓扑图中包含血管拓扑信息。比如右冠动脉的造影图像,基于血管拓扑信息和右冠动脉的血管特征可以得到各个分支血管段的名称。其中,可以通过血管分割网络(比如深度全卷积网络)对二维造影图像进行处理得到血管分割图。因此通过这个命名过程,可以获得每个血管段的唯一的命名,可以提高路径规划的准确性。减少医生的介入,可以降低对医生的临床经验的依赖,降低医生的学习难度。
在一些实施例中,对所述二维造影图像进行编码以得到隐含特征信息,然后将所述隐含特征信息进行解码,得到各个血管段的命名的解码结果;将各个血管段的命名的解码结果与所述血管拓扑信息进行关联结合,得到各个血管段的命名。各个血管段的命名的解码结果与所述血管拓扑信息进行关联结合的方法可以包括:通过将血管的骨架拓扑图与各个血管段的命名的解码结果进行配准叠加,得到各个血管段的命名。通过将各个血管段的命名的解码结果与血管拓扑信息结合既可以将血管段命名的断裂处连接起来,还可以处理命名不合理的地方,从而修正命名的结果,得到更为准确的命名结果。因此,通过学习网络可以将二维造影图像中的各个血管段在真实的血管结构中进行定位,得到二维造影图像中的各个血管段的真实名称,便于与先验分级连通情况结合后准确地判断各个血管段的相邻连通的血管段,进而规划出正确的路径,避免规划出不存在的路径。
在一些实施例中,所述处理器进一步配置为对所述深度学习网络模型进行训练,所述训练过程包括:根据所述二维血管造影图像中的各个血管段的命名,利用标注工具对所述二维血管造影图像进行标注,获得标注后的训练数据,利用所述标注后的训练数据对深度学习网络进行训练。其中如果深度学习网络不是全卷积网络等无法直接利用非固定尺寸的二维血管造影图像进行标注的情况,则可以先将二维血管造影图像转换为固定尺寸,然后再进行标注。进一步,标注工具可以包括Labelme、CVAT(Computer Vision AnnotationTool)、EISeg(Efficient InteractiveSegmentation)、Pair、RITM(EfficientInteractiveSegmentation)等。比如通过Labelme直接在二维造影图像上对各个血管段进行标注,然后利用标注后的二维造影图像对深度学习网络进行训练。这样可以使深度学习网络习得血管段和命名结果的关联性,提高深度学习网络的血管段命名的准确性。
在一些实施例中,所述深度学习网络模型的训练过程进一步包括:对所述训练数据进行数据增强,具体包括:对所述二维血管造影图像进行图像变换,获得增强后的训练数据,利用增强后的所述训练数据对深度学习网络进行学习训练。进一步,图像变换方法包括图像水平翻转、垂直翻转、随机缩放、随机旋转、随机擦除和随机噪声等。比如将二维造影图像进行水平翻转,可以将原始图像和增强图像的映射关系,结合原始图像的标注结果,得到增强图像的标注结果,可以将展示标注结果的增强图像作为训练数据对深度学习网络进行学习训练。这样可以提高度学习网络对不同角度状态下的二维造影图像中的血管的识别度,能够进一步提高深度学习网络的血管段命名的准确率。还比如随机噪声的图像变换方法,可以使深度学习网络提高在图像噪声较大情况下的命名准确率。
在一些实施例中,深度学习网络模型可以包括InceptionNet网络模型和ResNet网络模型,从而更加有效和准确地完成对二维造影图像的特征提取过程。
在一些实施例中,自动确定路径的起点和/或终点位置具体包括如下的至少一种:获得介入器械的信息,确定起点坐标;根据病变部位的信息确定终点坐标。其中,自动获得介入器械的信息的方法包括目标检测方法或者图像分割算法。比如通过对二维造影图像进行目标检测,识别得到导管或导丝,从而确定二维造影图像上的导管或导丝的位置为起点坐标。或者通过图像分割算法,得到血管狭窄部位等,从而确定二维造影图像上的血管狭窄部位为终点坐标。因此自动确定的过程相比于人为设置的过程可以进一步提高位置信息的精确性,避免设置人员的主观性,同时也降低了对设置人员的经验要求,提高使用的便捷性。
在一些实施例中,根据各个血管段的先验分级连通情况结合所述起点和终点位置分别对应的血管段名称,得到要经过的各个中间血管段的名称具体包括:根据各个血管段的先验分级连通情况,得到各个血管段的上一级血管段和下一级血管段的固有关系;根据所述固定关系结合起点和终点位置,得到要经过的各个中间血管段名称。根据血管段的上下级连接关系,每个血管段起源于哪种血管和发出哪种血管都是相对固有的。所以按照这种固有关系和起点位置与终点位置之间的各个血管段,能够得到能够真实执行且合理的规划路径(相邻血管段能够连通的路径,也称为可行规划路径),并得到可行规划路径上的各个中间血管段名称。
在一些实施例中,处理器可以是包括一个以上通用处理设备的处理设备,诸如微处理器、中央处理单元(CPU)、图形处理单元(GPU)等。更具体地,该处理器可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。该处理器还可以是一个以上专用处理设备,诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上系统(SoC)等。
图6示出根据本申请实施例的智能路径规划系统的结构示意图。所述智能路径规划系统600包括上述任一实施例所述的智能路径规划装置602、成像设备601和显示器603;所述成像设备601配置为:获取病灶部位的数个不同体位和数个形成夹角的角度的血管造影序列(例如,病灶部位可以被注射一次或多次造影剂);所述显示器603配置为:接收所述智能路径规划装置602的整条路径结果并显示。智能路径规划系统包括智能路径规划装置602,所以具有智能路径规划装置602的规划路径的功能。另外显示器603可以在二维造影图像上高亮整条路径结果中包括的各个血管段,具有更好的直观性,让操作人员了解整条路径的情况,给操作人员提供导航帮助。另外,显示器603与智能路径规划装置602可以一体设置,或者显示器603与智能路径规划装置602各自独立设置。
根据本申请的实施例还提供一种非暂时性计算机可读介质,其上存储有指令,该指令由处理器执行时,实现根据本申请各个实施例的基于二维造影图像的智能路径规划过程的各个步骤。例如,该过程可以包括如下步骤:获取由成像设备采集的患者的优化体位和优化角度下的目标血管的二维造影图像,所述目标血管中存在病变;基于所获取的血管的二维造影图像,利用学习网络来确定其中的各个血管段的命名;通过自动确定路径的起点和/或终点位置或者接收用户对路径的起点和/或终点位置的设置,来得到路径的起点和终点位置;根据路径的起点和终点位置,结合各个血管段的命名,得到所述起点和终点位置分别对应的血管段名称;根据各个血管段的先验分级连通情况结合所述起点和终点位置分别对应的血管段名称,得到要经过的各个中间血管段的名称;对所述起点位置对应的血管段、各个中间血管段和所述终点位置对应的血管段分别规划段路径,将各个段路径依序串联得到整条路径。基于处理器执行的指令过程,能够规划出来真实存在、准确且合理的路径,有利于为导丝或导管提供准确的导航帮助。同时,对于缺乏经验的医生在本申请的智能路径规划装置的帮助下,能够顺利地找到正确的路径。另外也能够避免在规划错误的情况下,需要重新进行观察其他角度的二维造影图像决定路径的过程,能够降低患者的造影剂用量和缩短手术时间,在不改变当前手术工作流程的情况下提升介入治疗手术效率。
此外,尽管已经在本文中描述了示例性实施例,其范围包括任何和所有基于本申请的具有等同元件、修改、省略、组合(例如,各种实施例交叉的方案)、改编或改变的实施例。权利要求书中的元件将被基于权利要求中采用的语言宽泛地解释,并不限于在本说明书中或本申请的实施期间所描述的示例,其示例将被解释为非排他性的。因此,本说明书和示例旨在仅被认为是示例,真正的范围和精神由以下权利要求以及其等同物的全部范围所指示。
以上描述旨在是说明性的而不是限制性的。例如,上述示例(或其一个或更多方案)可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外,在上述具体实施方式中,各种特征可以被分组在一起以简单化本申请。这不应解释为一种不要求保护的申请的特征对于任一权利要求是必要的意图。相反,本申请的主题可以少于特定的申请的实施例的全部特征。从而,以下权利要求书作为示例或实施例在此并入具体实施方式中,其中每个权利要求独立地作为单独的实施例,并且考虑这些实施例可以以各种组合或排列彼此组合。本发明的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。
以上实施例仅为本申请的示例性实施例,不用于限制本发明,本发明的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内,对本发明做出各种修改或等同替换,这种修改或等同替换也应视为落在本发明的保护范围内。
Claims (9)
1.基于二维造影图像的智能路径规划装置,其特征在于,包括处理器,其配置为:
获取由成像设备采集的患者的优化体位和优化角度下的目标血管的二维造影图像,所述目标血管中存在病变,所述优化体位为能够观察所述目标血管的起源和走势的投照体位,所述优化角度为病变部位所在的血管段的短缩和重叠情况的程度小于第一阈值的角度;
基于所获取的血管的二维造影图像,利用深度学习网络模型对所述二维造影图像进行特征提取,利用提取后得到的特征结合血管拓扑信息,确定其中的各个血管段的命名,所述血管拓扑信息为对二维造影图像进行图像分割处理后得到的血管分割图进行形态学骨架提取得到的骨架拓扑图中包含的血管拓扑信息;
通过自动确定路径的起点和终点位置或者接收用户对路径的起点和终点位置的设置,来得到路径的起点和终点位置,其中自动确定路径的起点和终点位置包括:
获得介入器械的信息,确定起点坐标;
根据所述病变部位的信息确定终点坐标;
根据路径的起点和终点位置,结合各个血管段的命名,得到所述起点和终点位置分别对应的血管段名称;
根据各个血管段的先验分级连通情况结合所述起点和终点位置分别对应的血管段名称,得到要经过的各个中间血管段的名称,所述先验分级连通情况表示各个血管段在血管分级系统中的级别的先验知识;
对所述起点位置对应的血管段、各个中间血管段和所述终点位置对应的血管段分别规划段路径,将各个段路径依序串联得到整条路径。
2.根据权利要求1所述的智能路径规划装置,其特征在于,患者的优化体位和优化角度由用户通过如下步骤预先确定:
对目标血管以数个不同体位和数个形成夹角的角度进行血管造影,以得到目标血管的数个二维造影图像,所述夹角大于40度且小于140度;
根据目标血管的所述数个二维造影图像,选择优化体位和优化角度,使得对应的二维造影图像中,至少病变所在的血管段的短缩和重叠程度小于第一阈值且清晰度超过第二阈值。
3.根据权利要求1所述的智能路径规划装置,其特征在于,利用深度学习网络模型对所述二维造影图像进行特征提取,利用提取后得到的特征结合血管拓扑信息,确定其中的各个血管段的命名具体包括:
对所述二维造影图像进行编码以得到隐含特征信息,然后将所述隐含特征信息进行解码,得到各个血管段的命名的解码结果;
将各个血管段的命名的解码结果与所述血管拓扑信息进行关联结合,得到各个血管段的命名。
4.根据权利要求1所述的智能路径规划装置,其特征在于,所述处理器进一步配置为对所述深度学习网络模型进行训练,所述训练过程包括:
根据所述二维造影图像中的各个血管段的命名,利用标注工具对所述二维造影图像进行标注,获得标注后的训练数据,利用所述标注后的训练数据对深度学习网络进行训练。
5.根据权利要求4所述的智能路径规划装置,其特征在于,所述深度学习网络模型的训练过程进一步包括:对所述训练数据进行数据增强,具体包括:对所述二维造影图像进行图像变换,获得增强后的训练数据,利用增强后的所述训练数据对深度学习网络进行学习训练。
6.根据权利要求1所述的智能路径规划装置,其特征在于,所述深度学习网络模型包括InceptionNet网络模型和ResNet网络模型。
7.根据权利要求1所述的智能路径规划装置,其特征在于,根据各个血管段的先验分级连通情况结合所述起点和终点位置分别对应的血管段名称,得到要经过的各个中间血管段的名称具体包括:
根据各个血管段的先验分级连通情况,得到各个血管段的上一级血管段和下一级血管段的固有关系;
根据所述固有关系结合起点和终点位置,得到要经过的各个中间血管段名称。
8.基于二维造影图像的智能路径规划系统,所述智能路径规划系统包括权利要求1-7任一项所述的智能路径规划装置、成像设备和显示器;
所述成像设备配置为:获取病灶部位的数个不同体位和数个形成夹角的角度的血管造影序列;
所述显示器配置为:接收所述智能路径规划装置的整条路径结果并显示。
9.非暂时性计算机可读介质,其上存储有指令,该指令由处理器执行时,实现如下步骤:
获取由成像设备采集的患者的优化体位和优化角度下的目标血管的二维造影图像,所述目标血管中存在病变,所述优化体位为能够观察目标血管的起源和走势的投照体位,所述优化角度为病变部位所在的血管段的短缩和重叠情况的程度小于第一阈值的角度;
基于所获取的血管的二维造影图像,利用深度学习网络模型对所述二维造影图像进行特征提取,利用提取后得到的特征结合血管拓扑信息,确定其中的各个血管段的命名,所述血管拓扑信息为对二维造影图像进行图像分割处理后得到的血管分割图进行形态学骨架提取得到的骨架拓扑图中包含的血管拓扑信息;
通过自动确定路径的起点和终点位置或者接收用户对路径的起点和终点位置的设置,来得到路径的起点和终点位置,其中自动确定路径的起点和终点位置包括:
获得介入器械的信息,确定起点坐标;
根据病变部位的信息确定终点坐标;
根据路径的起点和终点位置,结合各个血管段的命名,得到所述起点和终点位置分别对应的血管段名称;
根据各个血管段的先验分级连通情况结合所述起点和终点位置分别对应的血管段名称,得到要经过的各个中间血管段的名称,所述先验分级连通情况表示各个血管段在血管分级系统中的级别的先验知识;
对所述起点位置对应的血管段、各个中间血管段和所述终点位置对应的血管段分别规划段路径,将各个段路径依序串联得到整条路径。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310237833.9A CN115953495B (zh) | 2023-03-14 | 2023-03-14 | 基于二维造影图像的智能路径规划装置、系统和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310237833.9A CN115953495B (zh) | 2023-03-14 | 2023-03-14 | 基于二维造影图像的智能路径规划装置、系统和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115953495A CN115953495A (zh) | 2023-04-11 |
CN115953495B true CN115953495B (zh) | 2023-08-01 |
Family
ID=87287926
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310237833.9A Active CN115953495B (zh) | 2023-03-14 | 2023-03-14 | 基于二维造影图像的智能路径规划装置、系统和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115953495B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116681716B (zh) * | 2023-08-04 | 2023-10-10 | 杭州脉流科技有限公司 | 颅内血管感兴趣区域分割方法、装置、设备和存储介质 |
CN117224348B (zh) * | 2023-11-16 | 2024-02-06 | 北京唯迈医疗设备有限公司 | 一种自动调整造影位置的系统 |
CN117274502B (zh) * | 2023-11-17 | 2024-03-01 | 北京唯迈医疗设备有限公司 | 一种辅助介入手术的图像处理方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103519802A (zh) * | 2012-07-06 | 2014-01-22 | 科维蒂恩有限合伙公司 | 基于血供区域的灌注监视系统 |
CN108022237A (zh) * | 2017-11-30 | 2018-05-11 | 上海联影医疗科技有限公司 | 血管提取方法、系统及存储介质 |
CN110176013A (zh) * | 2019-05-29 | 2019-08-27 | 数坤(北京)网络科技有限公司 | 血管分割方法、装置、电子设备及存储介质 |
CA3146613A1 (en) * | 2019-08-05 | 2021-02-11 | Lightlab Imaging, Inc. | Longitudinal display of coronary artery calcium burden |
DE102020212370A1 (de) * | 2020-09-30 | 2022-03-31 | Siemens Healthcare Gmbh | Nach unterschiedlichen Gewebearten differenzierte Blutflussmessung |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8428316B2 (en) * | 2007-12-03 | 2013-04-23 | Siemens Aktiengesellschaft | Coronary reconstruction from rotational X-ray projection sequence |
JP5946127B2 (ja) * | 2012-05-11 | 2016-07-05 | 富士通株式会社 | シミュレーション方法、シミュレーション装置、およびシミュレーションプログラム |
JP5934071B2 (ja) * | 2012-09-27 | 2016-06-15 | 富士フイルム株式会社 | 管状構造の最短経路探索装置および方法並びにプログラム |
US9814433B2 (en) * | 2012-10-24 | 2017-11-14 | Cathworks Ltd. | Creating a vascular tree model |
US10799209B2 (en) * | 2012-12-26 | 2020-10-13 | Philips Image Guided Therapy Corporation | Measurement navigation in a multi-modality medical imaging system |
WO2014106186A1 (en) * | 2012-12-31 | 2014-07-03 | Volcano Corporation | Devices, systems, and methods for assessment of vessels |
CN104867147A (zh) * | 2015-05-21 | 2015-08-26 | 北京工业大学 | 基于冠状动脉造影图像分割的syntax自动评分方法 |
US11071501B2 (en) * | 2015-08-14 | 2021-07-27 | Elucid Bioiwaging Inc. | Quantitative imaging for determining time to adverse event (TTE) |
CN108475540B (zh) * | 2015-11-10 | 2022-02-22 | 哈特弗罗公司 | 用于使用来自过程的信息进行解剖建模的系统和方法描述 |
CN106097298B (zh) * | 2016-05-27 | 2019-08-20 | 中国人民解放军第三军医大学 | 基于球空间划分的冠状动脉自动分段与解剖学标记方法 |
CN108629773B (zh) * | 2018-05-10 | 2021-06-18 | 北京红云智胜科技有限公司 | 建立训练识别心脏血管类型的卷积神经网络数据集的方法 |
GB201819596D0 (en) * | 2018-11-30 | 2019-01-16 | Univ Oxford Innovation Ltd | Reconstruction method |
CN114820654A (zh) * | 2018-12-28 | 2022-07-29 | 上海联影智能医疗科技有限公司 | 血管分割方法、装置、医疗影像设备及存储介质 |
CN109993730B (zh) * | 2019-03-20 | 2021-03-30 | 北京理工大学 | 3d/2d血管配准方法及装置 |
CN111292314B (zh) * | 2020-03-03 | 2024-05-24 | 上海联影智能医疗科技有限公司 | 冠脉分段方法、装置、图像处理系统和存储介质 |
CN112308857B (zh) * | 2020-12-25 | 2021-05-11 | 数坤(北京)网络科技有限公司 | 一种血管中心线的确定方法、装置及可读存储介质 |
CN112862833A (zh) * | 2020-12-31 | 2021-05-28 | 上海联影智能医疗科技有限公司 | 血管分段方法、电子装置和存储介质 |
WO2022148415A1 (zh) * | 2021-01-08 | 2022-07-14 | 杭州深睿博联科技有限公司 | 冠脉血管分割方法、装置、设备及计算机可读存储介质 |
CN112863654B (zh) * | 2021-02-09 | 2024-02-02 | 杭州深睿博联科技有限公司 | 一种心脏冠脉血管的自动化命名方法及装置 |
CN114419117A (zh) * | 2022-01-23 | 2022-04-29 | 东南大学 | 一种基于ct与dsa的3d-2d血管弹性配准方法 |
CN114937184A (zh) * | 2022-05-19 | 2022-08-23 | 北京医准智能科技有限公司 | 心脏冠脉血管命名模型的训练方法、装置及电子设备 |
CN114947916A (zh) * | 2022-05-24 | 2022-08-30 | 深圳睿心智能医疗科技有限公司 | 一种冠状动脉病变syntax评分的计算方法及装置 |
CN115511997A (zh) * | 2022-11-09 | 2022-12-23 | 上海联影智能医疗科技有限公司 | 一种血管造影图像处理方法和系统 |
-
2023
- 2023-03-14 CN CN202310237833.9A patent/CN115953495B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103519802A (zh) * | 2012-07-06 | 2014-01-22 | 科维蒂恩有限合伙公司 | 基于血供区域的灌注监视系统 |
CN108022237A (zh) * | 2017-11-30 | 2018-05-11 | 上海联影医疗科技有限公司 | 血管提取方法、系统及存储介质 |
CN110176013A (zh) * | 2019-05-29 | 2019-08-27 | 数坤(北京)网络科技有限公司 | 血管分割方法、装置、电子设备及存储介质 |
CA3146613A1 (en) * | 2019-08-05 | 2021-02-11 | Lightlab Imaging, Inc. | Longitudinal display of coronary artery calcium burden |
DE102020212370A1 (de) * | 2020-09-30 | 2022-03-31 | Siemens Healthcare Gmbh | Nach unterschiedlichen Gewebearten differenzierte Blutflussmessung |
Also Published As
Publication number | Publication date |
---|---|
CN115953495A (zh) | 2023-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115953495B (zh) | 基于二维造影图像的智能路径规划装置、系统和存储介质 | |
JP5129480B2 (ja) | 管状臓器の3次元再構成を行うシステム及び血管撮像装置の作動方法 | |
US11931139B2 (en) | System and method for lung visualization using ultrasound | |
JP6894896B2 (ja) | X線画像特徴検出および位置合わせのシステムおよび方法 | |
CN102473303B (zh) | 生成对象数据 | |
JP4345959B2 (ja) | 心臓インターベンション処置計画の方法とシステムとコンピュータ製品 | |
CN111798451B (zh) | 基于血管3d/2d匹配的3d导丝跟踪方法及装置 | |
US7650179B2 (en) | Computerized workflow method for stent planning and stenting procedure | |
US11842439B2 (en) | Method and system for 3D reconstruction of coronary artery based on vascular branch registration | |
CN107067398B (zh) | 用于三维医学模型中缺失血管的补全方法及装置 | |
JP2008534109A (ja) | 管状器官内の機器を位置決めする装置および方法 | |
JP7132299B2 (ja) | 医用画像処理方法、医用画像処理装置、医用画像処理システム及び医用画像処理プログラム | |
JP6776283B2 (ja) | 血管のセグメンテーションの方法および装置 | |
JP2006051359A (ja) | 医療的侵襲処置計画、並びに侵襲型器具の位置決定及び進路誘導のための方法並びに装置 | |
US9198603B2 (en) | Device, method and program for searching for the shortest path in a tubular structure | |
JP2016539744A (ja) | 医療映像を用いた血管分析情報提供方法及び装置 | |
CN112862833A (zh) | 血管分段方法、电子装置和存储介质 | |
Cardenes et al. | 3D reconstruction of coronary arteries from rotational X-ray angiography | |
CN111657883A (zh) | 基于序列造影的冠脉syntax分数自动计算方法与系统 | |
JP2005523758A (ja) | 画像データを視覚化する方法、コンピュータプログラム、及びシステム | |
CN115035001A (zh) | 基于dsa成像设备的术中导航系统、计算装置和程序产品 | |
Wang et al. | Naviairway: a bronchiole-sensitive deep learning-based airway segmentation pipeline for planning of navigation bronchoscopy | |
Cárdenes et al. | 3D modeling of coronary artery bifurcations from CTA and conventional coronary angiography | |
CN111784751B (zh) | 基于3d/2d配准的导丝3d模拟跟踪方法及装置 | |
Song et al. | Computer-aided preoperative planning for liver surgery based on CT images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |