CN116018651A - 静脉压迫位点识别和支架部署引导以及相关联的设备、系统和方法 - Google Patents
静脉压迫位点识别和支架部署引导以及相关联的设备、系统和方法 Download PDFInfo
- Publication number
- CN116018651A CN116018651A CN202180053928.4A CN202180053928A CN116018651A CN 116018651 A CN116018651 A CN 116018651A CN 202180053928 A CN202180053928 A CN 202180053928A CN 116018651 A CN116018651 A CN 116018651A
- Authority
- CN
- China
- Prior art keywords
- image
- location
- stent
- vessel
- ray
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
- G06T2207/30104—Vascular flow; Blood flow; Perfusion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
一种系统包括被配置用于与外部成像设备通信的处理器电路。所述处理器电路从所述外部成像设备接收包括患者体内的血管的图像。所述处理器电路使用所述图像来确定所述血管中具有血流受限的第一位置,所述血流受限是由所述患者体内的不同于所述血管的解剖结构对所述血管的压迫引起的。所述处理器电路生成与所述受限相关联的第一图形表示。所述处理器电路向与所述处理器电路通信的显示器输出屏幕显示。所述屏幕显示包括所述图像以及在所述图像中的所述血管的所述第一位置处的所述第一图形表示。
Description
技术领域
本公开内容总体上涉及识别和处置患者体内的血流闭塞。具体而言,可以训练深度学习网络来识别静脉造影和血管内超声(IVUS)图像中的静脉压迫区域并推荐在缩窄的血管内的支架的类型和放置。
背景技术
当骨骼、韧带或动脉压迫髂静脉并抑制静脉回流时,就会发生压迫性静脉疾病(例如,May-Thurner综合征)。有多种静脉压迫综合征,包括Paget-Schroetter综合征、胡桃夹综合征、May-Thurner综合征和腘静脉压迫综合征等。与其他血管疾病不同,这些综合征通常见于年轻的健康个体并且能够导致显著的总体发病率。因为病变可能高度纤维化,因此单纯血管成形术并不是有效的治疗方法。大多数髂股深静脉血栓形成的患者都有近端静脉狭窄,对此,支架植入术是最有效的处置方法。
支架植入术涉及在缩窄的血管内放置可扩张的圆柱形设备以重新打开血管并重新获得血流。最优支架的选择和定位可能是复杂的。几乎所有的支架都表现出柔性与强度的折衷。非柔性支架必须小心地穿过曲折的节段来进行放置。鉴于解剖分布和疾病范围的可变性,一种静脉支架设计可能并不能最佳地适合所有情况。另外,取决于支架的性质和患者的解剖结构,并不是所有的支架都应被定位在相同的位置或采用相同的方法。一些支架的某些区域具有最优强度,在部署期间缩短,并且直径和长度的选择有限。邻近动脉的解剖结构(例如,腹股沟韧带)会影响支架为获得最大强度的最优定位。
除了正确选择和定位支架的复杂性之外,在髂静脉处或周围的区域中,只有通过不同的成像技术才能看到影响静脉压迫的某些解剖特征。例如,腹股沟韧带——外周狭窄的常见原因——在X射线中是看不到的。
发明内容
本公开内容的实施例是用于识别患者的解剖结构中的静脉压迫位点以及向医生推荐要放置的支架的类型和放置推荐的支架的位置的系统、设备和方法。这有利地为医生提供了关于血管中的血流阻塞位置以及如何处置阻塞以恢复血流的指导。被配置为执行这些步骤的系统可以包括X射线成像设备和血管内超声(IVUS)成像设备,这两者都与控制系统通信。控制系统可以包括被配置为训练和实施深度学习网络的处理器。深度学习网络接收来自X射线设备的X射线静脉造影图像、来自IVUS成像设备的一幅或多幅IVUS图像以及包括患者病史在内的任何其他患者信息作为输入。深度学习网络然后可以输出多个区域或类别,例如,患者的解剖结构内的各种解剖特征的位置,例如,髂动脉交叉跨越髂静脉的位置、狭窄的位置和/或能够用于确定腹股沟韧带的位置(例如,韧带压迫髂静脉的位置)的解剖界标。可以将这些输出叠加在输入的静脉造影图像上并将其显示给用户。深度学习网络可以是卷积神经网络。
可以将深度学习网络的输出与来自IVUS成像设备和/或X射线成像设备的额外度量相结合,以使用例如反映关于特定支架的选择和特定支架在闭塞位点处的放置的专家指导的查找表向医生推荐支架的类型。例如,可以使用静脉压迫的位置连同髂静脉的血管直径或其他度量来识别推荐的支架。基于推荐的支架的特性(例如,直径、长度、柔性、缩短和最大强度区域)以及前面提到的患者的解剖结构的特征,还可以向用户推荐支架的放置位置。
本公开内容的另一方面涉及将来自IVUS成像设备的IVUS图像与来自X射线成像设备的静脉造影图像进行共配准。通过这种方式,可以确定IVUS成像探头相对于压迫区域的位置。结果,当执行IVUS成像流程时,可以向用户识别距静脉压迫位点预定距离内的对应IVUS图像帧。当IVUS成像探头在该预定距离内时,可以另外触发一个或多个测量工具来获取与缩窄的血管有关的度量(例如,血管直径)。
在本公开内容的示例性方面,提供了一种系统。所述系统包括被配置用于与外部成像设备通信的处理器电路,其中,所述处理器电路被配置为:从所述外部成像设备接收包括患者体内的血管的图像;使用所述图像来确定所述血管中具有血流受限的第一位置,所述血流受限是由所述患者体内的不同于所述血管的解剖结构对所述血管的压迫引起的;生成与所述受限相关联的第一图形表示;向与所述处理器电路通信的显示器输出屏幕显示,所述屏幕显示包括所述图像以及在所述图像中的所述血管的所述第一位置处的所述第一图形表示。
在一些方面,所述外部成像设备包括X射线成像设备,并且其中,所述图像包括X射线图像。在一些方面,所述处理器电路被配置为使用卷积神经网络来确定所述血管中具有所述受限的所述第一位置。在一些方面,所述卷积神经网络是使用多幅图像进行训练的,所述多幅图像具有由另外的解剖结构对另外的血管的压迫所引起的已识别的血流受限。在一些方面,所述处理器电路被配置为将所述血管中具有所述受限的所述第一位置分类为第一类型的受限或第二类型的受限。在一些方面,所述第一类型的受限包括韧带的位置,并且所述第二类型的受限包括所述血管与另外的血管的交叉跨越。在一些方面,所述处理器电路被配置为分割所述图像内的解剖结构。在一些方面,所述处理器电路被配置为:将所述图像划分成多个片块,其中,所述多个片块中的每个片块包括所述图像的多个像素;并且将片块确定为所述血管中具有所述受限的所述第一位置。在一些方面,所述图像包括第一图像,所述处理器电路被配置为接收包括所述血管或所述解剖结构中的至少一项的第二图像,并且所述处理器电路被配置为使用所述第一图像和所述第二图像来确定所述血管中具有所述受限的所述第一位置。在一些方面,所述第一图像包括在所述血管内有造影剂的情况下获得的第一X射线图像,并且所述第二图像包括在所述血管内没有造影剂的情况下获得的第二X射线图像。在一些方面,所述第一图像包括X射线图像,所述第二图像包括血管内超声(IVUS)图像,所述处理器电路被配置用于与IVUS导管通信,所述处理器电路被配置为接收来自所述IVUS导管的所述IVUS图像。在一些方面,所述第一图形表示包括与所述血流受限的严重程度相对应的彩色编码图。在一些方面,所述处理器电路被配置为:基于所述图像或所述血管中具有所述受限的所述第一位置中的至少一项来确定用于处置所述受限的支架推荐;并且向所述显示器输出所述支架推荐。在一些方面,所述处理器电路被配置为:基于所述支架推荐、所述图像或所述血管中具有所述受限的所述第一位置中的至少一项来确定在所述血管的第二位置处的支架着陆区;生成所述支架着陆区的第二图形表示;并且在所述图像中的所述血管的所述第二位置处输出所述第二图形表示。在一些方面,所述处理器电路被配置为:基于所述支架着陆区、所述支架推荐、所述图像或所述血管中具有所述受限的所述第一位置中的至少一项来确定在所述血管的第三位置处的支架强度位置;生成所述支架强度位置的第三图形表示;并且在所述图像中的所述血管的所述第三位置处输出所述第三图形表示。在一些方面,所述处理器电路被配置用于与血管内超声(IVUS)导管通信,并且所述处理器电路被配置为:接收来自所述IVUS导管的沿着所述血管的长度的多幅IVUS图像;将所述多幅IVUS图像与所述图像进行共配准;识别所述多幅IVUS图像中与所述血管中具有受限的所述第一位置相对应的IVUS图像;并且向所述显示器输出所述IVUS图像。
在本公开内容的示例性方面,提供了一种血管压迫识别系统。所述系统包括:X射线成像设备,其被配置为获得包括患者体内的静脉的X射线图像;以及处理器电路,其与所述X射线成像设备通信,其中,所述处理器电路被配置为:接收来自所述X射线成像设备的所述X射线图像;使用深度学习算法来确定所述静脉中具有血流受限的第一位置,所述血流受限是由所述患者体内的不同于所述静脉的解剖结构对所述静脉的压迫引起的,其中,所述解剖结构包括动脉或韧带;基于所述X射线图像或所述静脉中具有所述受限的所述第一位置中的至少一项来确定用于处置所述受限的支架推荐;基于所述支架推荐、所述X射线图像或所述静脉中具有所述受限的所述第一位置中的至少一项来确定在所述静脉的第二位置处的支架着陆区;向与所述处理器电路通信的显示器输出屏幕显示,所述屏幕显示包括:所述X射线图像;所述支架推荐的第一图形表示;以及在所述静脉的所述第二位置处叠加在所述X射线图像上的所述支架着陆区的第二图形表示。
根据以下详细描述,本公开内容的其他方面、特征和优点将变得明显。
附图说明
将参考附图来描述本公开内容的说明性实施例,在附图中:
图1是根据本公开内容的各方面的管腔内成像和X射线系统的示意图。
图2是根据本公开内容的各方面的处理器电路的示意图。
图3是根据本公开内容的各方面的示例解剖结构的示意图。
图4A是根据本公开内容的各方面的在处置之前的具有狭窄区域的解剖结构的X射线静脉造影图像的示意图。
图4B是根据本公开内容的各方面的在初始处置之后的解剖结构的X射线静脉造影图像的示意图。
图4C是根据本公开内容的各方面的在放置支架之后的解剖结构的X射线静脉造影图像的示意图。
图5是根据本公开内容的各方面的深度学习网络配置的示意图。
图6是根据本公开内容的各方面的训练深度学习网络以识别X射线静脉造影图像内的感兴趣区域的方法的流程图。
图7A是根据本公开内容的各方面的识别腹股沟韧带的预测位置的带注释的X射线静脉造影图像的示意图。
图7B是根据本公开内容的各方面的识别髂静脉与髂动脉的预测交叉跨越位置的带注释的X射线静脉造影图像的示意图。
图7C是根据本公开内容的各方面的识别静脉缩窄的预测位置的带注释的X射线静脉造影图像的示意图。
图7D是根据本公开内容的各方面的识别解剖界标的带注释的X射线静脉造影图像的示意图。
图8是根据本公开内容的各方面的利用深度学习网络识别X射线静脉造影图像内的感兴趣区域的方法的流程图。
图9是根据本公开内容的各方面的用于识别X射线静脉造影图像内的感兴趣区域的示意图。
图10是根据本公开内容的各方面的识别感兴趣区域的经分割的X射线静脉造影图像的示意图。
图11是根据本公开内容的各方面的识别感兴趣区域的X射线静脉造影图像的示意图。
图12是根据本公开内容的各方面的在IVUS成像探头位于或靠近解剖界标的位置处识别IVUS图像的方法的流程图。
图13A是根据本公开内容的各方面的显示在IVUS成像探头不靠近解剖界标的位置处的IVUS图像的图形用户接口的示意图。
图13B是根据本公开内容的各方面的显示在IVUS成像探头靠近解剖界标的位置处的IVUS图像的图形用户接口的示意图。
具体实施方式
为了促进对本公开内容的原理的理解,现在将参考附图中图示的实施例并使用特定的语言来描述这些实施例。尽管如此,应当理解,这并不旨在限制本公开内容的范围。如本公开内容所涉及的领域技术的人员通常会想到的,对所描述的设备、系统和方法的任何更改和进一步修改以及对本公开内容的原理的任何进一步应用都被充分地预想到并被包括在本公开内容中。特别地,完全预想到,关于一个实施例描述的特征、部件和/或步骤可以与关于本公开内容的其他实施例描述的特征、部件和/或步骤进行组合。然而,为了简洁起见,将不单独描述这些组合的众多迭代。
图1是根据本公开内容的各方面的管腔内成像和X射线系统100的示意图。在一些实施例中,管腔内成像和X射线系统100可以包括两个单独的系统:管腔内超声成像系统101和X射线成像系统151。例如,管腔内超声成像系统101可以通过任何合适的手段与X射线成像系统151通信。可以通过有线电缆、无线信号或任何其他手段来建立这样的通信。另外,管腔内成像系统101可以与X射线系统151持续通信或者可以间歇通信。例如,在检查之前、之后或期间的某个时刻,这两个系统可以经由有线电缆进行临时通信,或者经由无线通信进行通信,或者通过任何其他合适的手段进行通信。另外,管腔内系统101可以接收数据,例如,X射线图像、带注释的X射线图像、利用X射线成像系统151计算的度量、关于检查的日期和时间的信息、患者状况或诊断的类型和/或严重程度、患者病史或其他患者信息,或者来自X射线成像系统151的任何合适的数据或信息。X射线成像系统151也可以接收来自管腔内成像设备101的这些数据中的任何数据。在一些实施例中,如图1所示,管腔内成像设备101和X射线成像设备151可以与同一控制系统130通信。在该实施例中,这两个系统都可以与所示的同一显示器132、处理器134和通信接口140通信以及与在控制系统130内实施的任何其他部件通信。
管腔内成像系统101能够是超声成像系统。在一些实例中,管腔内成像系统101能够是血管内超声(IVUS)成像系统。管腔内成像系统101可以包括与控制系统130通信的管腔内成像设备102,例如,导管、导丝或引导导管。控制系统130可以包括显示器132、处理器134和通信接口140以及其他部件。管腔内成像设备102能够是超声成像设备。在一些实例中,设备102能够是IVUS成像设备,例如,固态IVUS设备。
在高水平处,IVUS设备102从安装在导管设备的远端附近的扫描器组件或探头110(也被称为IVUS成像组件)中包括的换能器阵列124发射超声能量。在一些实施例中,探头110能够是体内探头,例如,导管、经食道超声心动描记(TEE)探头和/或任何其他合适的腔内探头。超声能量被包围介质中的组织结构(例如,血管120或包围扫描器组件110的另一身体管腔)反射,并且超声回波信号被换能器阵列124接收。在这一点上,设备102能够被定尺寸、定形状或以其他方式被配置为被定位在患者的身体管腔内。通信接口140将接收到的回波信号传输到控制系统130的处理器134,在处理器134中,重建超声图像(在一些实施例中包括流动信息)并将其显示在显示器132上。控制系统130(包括处理器134)能操作用于促进本文描述的IVUS成像系统101的特征。例如,处理器134能够运行被存储在非瞬态有形计算机可读介质上的计算机可读指令。
通信接口140促进控制系统130与在IVUS设备102中包括的扫描器组件110之间的信号通信。该通信包括以下步骤:(1)向在扫描器组件110中包括的(一个或多个)集成电路控制器芯片提供命令以选择要用于发射和接收的(一个或多个)特定的换能器阵列元件或(一个或多个)声学元件,(2)向在扫描器组件110中包括的(一个或多个)集成电路控制器芯片提供发射触发信号以激活发射器电路生成电脉冲来激励所选择的(一个或多个)换能器阵列元件,并且/或者(3)经由在扫描器组件110的(一个或多个)集成电路控制器芯片上包括的放大器来接受从所选择的(一个或多个)换能器阵列元件接收的放大的回波信号。在一些实施例中,通信接口140在将数据中继到处理器134之前执行对回波数据的初步处理。在这样的实施例的示例中,通信接口140执行对数据的放大、滤波和/或聚合。在实施例中,通信接口140还供应高电压和低电压DC功率以支持包括扫描器组件110内的电路的设备102的操作。
处理器134通过通信接口140从扫描器组件110接收回波数据并处理该数据以重建包围扫描器组件110的介质中的组织结构的图像。处理器134输出图像数据,使得在显示器132上显示血管120的图像,例如,血管120的横截面图像。血管120既可以表示自然的流体填充或包围的结构,又可以表示人造的流体填充或包围的结构。血管120可以在患者体内。血管120可以是血管,例如,患者的脉管系统(包括心脏脉管系统、外周脉管系统、神经脉管系统、肾脏脉管系统和/或身体内部的任何其他合适的管腔)的动脉或静脉。例如,设备102可以用于检查任何数量的解剖位置和组织类型,包括但不限于器官(包括肝脏、心脏、肾脏、胆囊、胰腺、肺)、管、肠、神经系统结构(包括脑、硬脑膜囊、脊髓和周围神经)、泌尿道,以及血液中的瓣膜、心室或心脏的其他部分和/或身体的其他系统。除了自然结构之外,设备102还可以用于检查人造结构,例如但不限于心脏瓣膜、支架、分流器、过滤器和其他设备。
在一些实施例中,IVUS设备包括一些与传统的固态IVUS导管相似的特征,这些传统的固态IVUS导管例如为可从Volcano公司获得的导管和在美国专利US 7846101中公开的那些导管,通过引用将其全部内容并入本文。例如,IVUS设备102包括在设备102的远端附近的扫描器组件110和沿着设备102的纵向主体延伸的传输线束112。传输线束或线缆112能够包括多个导体,包括一个、两个、三个、四个、五个、六个、七个或更多个导体。应当理解,任何合适的规格线都能够用于导体。在实施例中,线缆112能够包括利用例如41AWG规格线的四导体传输线布置。在实施例中,线缆112能够包括使用例如44AWG规格线的七导体传输线布置。在一些实施例中,能够使用43AWG规格线。
传输线束112在设备102的近端处终止于患者接口模块(PIM)连接器114。PIM连接器114将传输线束112电耦合到通信接口140并将IVUS设备102物理耦合到通信接口140。在实施例中,通信接口140可以是PIM。在实施例中,IVUS设备102还包括导丝出口116。因此,在一些实例中,IVUS设备102是快速交换式导管。导丝出口116允许将导丝118朝向远端插入以指导设备102通过血管120。
X射线成像系统151可以包括X射线成像装置或设备152,X射线成像装置或设备152被配置为执行X射线成像、血管造影、荧光透视、放射摄影以及其他成像技术。X射线成像设备152可以是任何合适的类型,例如,它可以是固定的X射线系统,例如,固定式C形臂X射线设备、移动式C形臂X射线设备、直臂式X射线设备或U形臂设备。X射线成像设备152还可以是任何合适的移动设备。X射线成像设备102也可以与控制系统130通信。在一些实施例中,X射线系统151可以包括数字放射摄影设备或任何其他合适的设备。
如图1所示的X射线设备152包括X射线源160和X射线探测器170,X射线探测器170包括输入屏幕174。可以将X射线源160和探测器170相互间隔一定距离进行安装。患者或目标180的解剖结构可以被定位在X射线源160与X射线探测器170之间。例如,能够将患者的解剖结构(包括血管120)定位在X射线源160与X射线探测器170之间。
X射线源160可以包括适于生成X射线的X射线管。X射线源160的一些方面可以包括一个或多个真空管,这一个或多个真空管包括与高电压电源的负极引线连接的阴极和与同一电源的正极引线连接的阳极。X射线源160的阴极还可以包括灯丝。灯丝可以是任何合适的类型或由任何合适的材料(包括钨或铼钨)构成,并且可以被定位在阴极的凹陷区域内。阴极的一种功能可以是从高电压电源排放出电子并将它们聚焦成瞄准阳极的轮廓分明的射束。阳极也可以由任何合适的材料构成,并且可以被配置为根据阴极发射的电子来产生X辐射。另外,阳极还可以散发在生成X辐射的过程中产生的热量。可以将阳极成形为斜圆盘,并且在一些实施例中,可以经由电动机旋转阳极。可以将X射线源160的阴极和阳极容纳在气密壳体(有时被称为封套)中。
在一些实施例中,X射线源160可以包括影响图像的可见度的辐射目标焦点。系统100的用户或系统100的制造商可以基于诸如模糊、可见度、散热能力或其他特性来选择辐射目标焦点。在一些实施例中,系统100的操作者或用户可以在护理点设置中在不同提供的辐射目标焦点之间切换。
探测器170可以被配置为获取X射线图像,并且可以包括输入屏幕174。输入屏幕174可以包括一个或多个被配置为吸收X射线能量并将该能量转换成光的增感屏。这个光继而可以曝光胶片。在胶片对光比对X辐射更敏感的实施例中,可以使用输入屏幕174将X射线能量转换成光。可以根据要成像的患者区域、对图像细节和/或患者暴露的要求或任何其他因素来选择图像增强器内的不同类型的增感屏。增感屏可以由任何合适的材料构成,包括硫酸钡、硫酸锶钡、氟氯化钡、硫氧化钇或任何其他合适的材料。输入屏幕374可以是荧光屏或与荧光屏直接相邻定位的胶片。在一些实施例中,输入屏幕374还可以包括保护屏幕以将探测器370内的电路或部件从周围环境屏蔽开。X射线探测器370还可以被称为X射线传感器。
目标180可以是要成像的任何合适的目标。在示例性实施例中,目标可以是患者的解剖结构。更具体而言,要成像的解剖结构可以包括胸部、腹部、骨盆区域、颈部、腿部、头部、足部、具有心脏脉管系统的区域,或包含患者的外周脉管系统的区域,并且可以包括各种解剖结构,例如但不限于器官、组织、血管和血液、气体或任何其他解剖结构或目标。在其他实施例中,目标可以是或包括人造结构。
在一些实施例中,X射线成像系统151可以被配置为对静脉造影荧光透视图像进行成像。在这样的实施例中,可以在成像之前将造影剂或X射线染料引入到患者的解剖结构中。造影剂也可以被称为放射造影剂、造影材料、造影染料或造影介质。造影染料可以是任何合适的材料、化学品或化合物,并且可以是液体、粉末、糊剂、片剂或任何其他合适的形式。例如,造影染料可以是碘基化合物、硫酸钡化合物、钆基化合物或任何其他合适的化合物。造影剂可以用于增强患者的解剖结构内的内部流体或结构的可见度。造影剂可以吸收外部X射线,从而引起在X射线探测器170上的暴露减小。
当控制系统130与X射线系统151通信时,通信接口140促进控制系统130与X射线设备152之间的信号通信。这种通信包括向X射线设备152的X射线源160和/或X射线探测器170提供控制命令以及从X射线设备152接收数据。在一些实施例中,通信接口140在将数据中继到处理器134之前执行对X射线数据的初步处理。在这样的实施例的示例中,通信接口140可以执行对数据的放大、滤波和/或聚合。在实施例中,通信接口140还供应高电压和低电压DC功率以支持包括设备内的电路的设备152的操作。
处理器134通过通信接口140接收来自X射线设备152的X射线数据,并且处理该数据以重建正被成像的解剖结构的图像。处理器134输出图像数据,使得图像被显示在显示器132上。在其中将造影剂引入到患者的解剖结构中并要生成静脉造影图的实施例中,要成像的特定感兴趣区可以是一根或多根血管或者人类脉管系统的其他节段或部分。造影剂既可以识别自然的充满流体的结构,又可以识别人造的充满流体的结构,例如,患者的脉管系统(包括心脏脉管系统、外周脉管系统、神经脉管系统、肾脏脉管系统)的动脉或静脉和/或体内的任何其他合适的管腔。例如,X射线设备152可以用于检查任何数量的解剖位置和组织类型,包括但不限于所有的器官、流体或前面提到的解剖结构的其他结构或部分。除了自然结构之外,X射线设备152还可以用于检查人造结构,例如,前面提到的任何结构。
处理器134可以被配置为接收在临床流程期间由X射线成像设备152存储的静脉造影荧光透视图像。可以通过其他信息(例如,患者病史、患者记录、IVUS成像、术前超声成像、术前CT或任何其他合适的数据)进一步增强图像。
图2是根据本公开内容的各方面的处理器电路的示意图。处理器电路210可以被实施在图1的主机系统130、管腔内成像系统101和/或X射线成像系统151或任何其他合适的位置中。在示例中,处理器电路210可以与系统100内的管腔内成像设备102、X射线成像设备152、显示器132通信。处理器电路210可以包括处理器134和/或通信接口140(图1)。一个或多个处理器电路210被配置为运行本文描述的操作。如图所示,处理器电路210可以包括处理器260、存储器264和通信模块268。这些元件可以(例如经由一条或多条总线)彼此直接或间接通信。
处理器260可以包括CPU、GPU、DSP、专用集成电路(ASIC)、控制器、FPGA、另一硬件设备、固件设备或其任意组合,它们被配置为执行本文描述的操作。处理器260也可以被实施为计算设备的组合,例如,DSP与微处理器的组合、多个微处理器、一个或多个微处理器与DSP内核的结合,或者任何其他这样的配置。
存储器264可以包括高速缓冲存储器(例如,处理器260的高速缓冲存储器)、随机存取存储器(RAM)、磁阻RAM(MRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪速存储器、固态存储设备、硬盘驱动器、其他形式的易失性和非易失性存储器或者不同类型存储器的组合。在实施例中,存储器264包括非瞬态计算机可读介质。存储器264可以存储指令266。指令266可以包括当由处理器760运行时使处理器260执行在本文中参考探头110和/或主机130(图1)描述的操作的指令。指令266也可以被称为代码。术语“指令”和“代码”应被广义地解读为包括任何类型的(一个或多个)计算机可读语句。例如,术语“指令”和“代码”可以指一个或多个程序、例程、子例程、函数、过程等。“指令”和“代码”可以包括单个计算机可读语句或多个计算机可读语句。
通信模块268能够包括任何电子电路和/或逻辑电路以促进处理器电路710、探头110和/或显示器132和/或显示器266之间的直接或间接数据通信。在这一点上,通信模块268可以是输入/输出(I/O)设备。在一些实例中,通信模块268促进处理器电路210和/或探头110(图1)和/或主机130(图1)的各种元件之间的直接或间接通信。
图3是根据本公开内容的各方面的示例解剖结构300的示意图。示例解剖结构300包括骨盆区域以及腹部和腿部的部分。图3可以图示患者的脉管系统中可能发生的、本公开内容中的发明试图补救的血管压迫的若干区域。例如,当骨骼、韧带或动脉压迫髂静脉并抑制静脉回流时,就会发生压迫性静脉疾病(例如,May-Thurner综合征)。一般来说,静脉压迫是由于血管穿过如图3所示的因邻近的结构(例如,骨骼、动脉和/或韧带)造成的紧密解剖空间而引起的。这导致血管的横截面积受限和血流受限。患者经历的静脉压迫可以是几种静脉压迫综合征中的一种或多种,包括Paget-Schroetter综合征、胡桃夹综合征、May-Thurner综合征和腘静脉压迫等。与其他血管疾病不同,这些综合征通常见于年轻的健康个体并且能够导致显著的总体发病率。图3包括对腹主动脉310、下腔静脉320、髂总动脉312、髂总静脉322、髂外动脉324、髂外静脉314、腹股沟韧带360和与可能的髂外动脉324与髂外静脉314的交叉跨越区相对应的区域350的描绘。
腹主动脉310是人体中最大的动脉之一,并且将氧合血液从心脏运送到较低的外周脉管系统。腹部主动脉310在靠近臀部的位置处分成两根较小的血管,即,髂总动脉。如图3所示,髂总动脉312与髂外动脉324相连。所有这些血管都向身体的外周脉管系统内的各种结构提供氧合血液。
邻近髂外动脉312的是髂外静脉324。如区域350所示,在沿着髂外静脉324的某个位置处,髂外动脉312可以交叉跨越髂外静脉314。在这样的配置中,髂外动脉324可以自身压迫髂外静脉314,或者压迫髂外静脉314抵靠骨骼或解剖结构内的其他结构,从而导致血流受限。在一些实例中,髂动脉324可以在其交叉跨越髂静脉314的地方压迫髂静脉314抵靠脊柱。这种受限可以利用在髂外静脉324内放置支架来补救,但是必须确定髂外静脉314与髂外动脉324的交叉跨越的位置。连接到髂外静脉314的是髂总静脉322和下腔静脉320。
静脉压迫的另一常见位置可以在腹股沟韧带360处或附近。在一些情况下,腹股沟韧带360(像髂外动脉324一样)会压迫髂外静脉314并抑制血流。同样,支架的定位可以有助于抵抗这种压迫并恢复血流,但是必须知道腹股沟韧带360的位置。
图4A、图4B和图4C图示了对外周脉管系统中的血流受限区域的药物处置的效果。例如,图4A是根据本公开内容的各方面的在处置之前的具有血流受限区域415的解剖结构的X射线静脉造影图像410的示意图。图4A描绘了X射线静脉造影图像410、髂静脉412和血流受限区域415。
如图4A所示,髂静脉412在区域415处的直径显著减小。在缩窄点或狭窄区域415下方的髂静脉412的下部区域中也可以看到血液量的增加,因为来自血管下部的血流在其返回心脏时受到限制。由于造影剂,图4A中的脉管系统内所示的血液会比X射线图像410的其他区域更加可见。
血流受限区域415可以是任何合适的类型,或者可以由任何合适的条件引起。例如,狭窄区域415可以由压迫类型的状况引起,例如,由腹股沟韧带360引起(图3),由髂动脉324与髂静脉314的交叉跨越引起,或者由髂静脉324的任何其他物理压迫引起。另外,血流受限区域415可以由髂静脉412本身内的血栓或斑块堆积引起。这种状况可以由深静脉血栓形成(DVT)或任何其他类似状况引起。
虽然在本申请中公开的其他附图中,图4A、图4B和图4C主要描绘了包围髂静脉的解剖结构,并且本公开内容主要描述了髂静脉中的狭窄,但是本公开内容的系统、设备和方法可以容易地应用于患者的解剖结构中的任何合适的静脉或动脉。例如,在另一实施例中,图4A中描绘的静脉造影图并不需要是静脉造影图,而是可以替代地是血管造影图像、荧光透视图像、计算机断层摄影(CT)血管造影图、CT静脉造影图或任何其他合适的图像。另外,所示的缩窄的静脉也可以替代地是动脉或心脏、腿部、臂部、腹部、颈部、脑部、头部内的任何血管(动脉或静脉)或身体内的任何合适的血管。在这样的实施例中,患者的解剖结构内的任何合适的物理结构都可能是狭窄的原因,并且本文描述的系统、设备和方法可以被配置为相应地识别这些不同的物理结构。
图4B是根据本公开内容的各方面的在初始处置之后的解剖结构的X射线静脉造影图像420的示意图。图4B描绘了X射线静脉造影图像420、髂静脉412的同一区域和髂静脉412的上部部分424。
图4B所示的X射线静脉造影图像420可以是图4A所示的同一患者的解剖结构的图像。许多处置选择可用于处置患者体内的血流受限区域。例如,如果静脉(例如在图4A中的区域415中)有狭窄,那么能够利用导管直接输注、血管成形术、药物、旁路、其他手术或其他形式的处置来处置血流受限。图4B可以表示在利用导管直接输注药剂进行处置之后的阻塞位点。如髂静脉412的上部部分424的至少部分恢复的血流所示,静脉管腔的直径已经至少部分地增大,这是例如药剂将在图4A的区域415中堆积的斑块或血栓分解的结果。另外,在一些情况下,在狭窄区域的前一位置(图4A)下方的髂静脉412的直径也会减小,这表明血流增加且停滞减少。
图4C是根据本公开内容的各方面的在放置支架之后的解剖结构的X射线静脉造影图像430的示意图。图4C描绘了X射线静脉造影图像430、髂静脉412的同一区域和髂静脉412的上部部分434。
图4C所示的X射线静脉造影图像430可以是图4A所示的同一患者的解剖结构的图像。在一些情况下,某些形式的处置(例如,血管成形术或其他处置)可能会导致能够产生高度纤维化的病变,这可能会导致进一步的血管压迫或阻塞。对受到阻塞或压迫的血管进行支架植入是减少纤维化病变并有助于降低再狭窄风险的一种方法。在腹股沟韧带360处或附近或者在髂动脉324与髂静脉314交叉跨越(图3)的位置350处观察到狭窄区域的情况下,可以将支架放置在股深静脉汇合处上方并进入股总静脉。支架可以是任何合适的类型,例如,波士顿科技公司的WallstentTM、波士顿科技公司的支架、Cook公司的VenaTM支架、Optimed公司的窦静脉支架、Bard公司的支架、Medtronic公司的支架或任何其他合适的支架。柔性的、可获得大直径尺寸的并且具有抗断裂性的任何支架都可以是用于本发明的合适支架,将在下文中更详细地描述这些内容。
图4C可以表示在髂静脉412内放置支架之后的血流受限位点。如髂静脉412的上部区域434的更加完全恢复的血流所示,该流程可以引起静脉管腔的直径更完全地增大。另外,在一些情况下,在狭窄区域的前一位置(图4A)下方的髂静脉412的直径也会减小,这表明血流增加且停滞减少。在一些情况下,除了血管成形术处置或关于图4B执行的其他处置之外,支架的放置还可以额外地增加通过髂静脉412的血流量并引起再狭窄的可能性降低。
图5是根据本公开内容的各方面的深度学习网络配置500的示意图。深度学习网络能够实施配置500。配置500包括深度学习网络510,深度学习网络510包括一个或多个CNN512。为了简化说明和讨论,图5图示了一个CNN512。然而,实施例能够被缩放以包括任何合适数量的(例如,大约2个、3个或更多个)CNN512。配置500能够被训练用于识别患者的解剖结构内的各种解剖界标或特征,包括髂动脉与髂静脉的交叉跨越区域、骨盆骨切迹或可以用于识别腹股沟韧带的位置的其他解剖界标或特征和/或血流受限的其他区域(例如,狭窄或压迫),下面将更详细地描述这些内容。
CNN512可以包括N个卷积层520的集合,其后是K个全连接层530的集合,其中,N和K可以是任何正整数。卷积层520被示为520(1)至520(N)。全连接层530被示为530(1)至530(K)。每个卷积层520可以包括过滤器522的集合,过滤器522被配置为从输入502(例如,X射线静脉造影图像或其他额外数据)中提取特征。值N和K以及过滤器522的尺寸可以根据实施例而变化。在一些实例中,卷积层520(1)至520(N)和全连接层530(1)至530(K-1)可以利用泄漏校正非线性(ReLU)激活函数和/或批量归一化。全连接层530可以是非线性的,并且可以将高维输出逐渐收缩到预测结果(例如,分类输出540)的维度。因此,全连接层530也可以被称为分类器。在一些实施例中,全卷积层520还可以被称为感知层。
分类输出540可以基于输入图像502来指示针对每种类别542的置信度得分。类别542被示为542a、542b、…、542c。当CNN512被训练用于狭窄或一般静脉压迫的区域时,类别542可以指示腹股沟韧带类别542a、交叉跨越类别542b、骨盆骨切迹类别542c、血流受限区域类别542d或任何其他合适的类别。指示高置信度得分的类别542指示输入图像502或图像502的部分或像素可能包括类别542的解剖目标/特征。相反,指示低置信度得分的类别542指示输入图像502或图像502的部分或像素不太可能包括类别542的解剖目标/特征。
CNN512还能够在最后一个卷积层520(N)的输出部处输出特征向量550。特征向量550可以指示从输入图像502或其他数据中检测到的目标。例如,特征向量550可以指示髂动脉与髂静脉的交叉跨越区域、骨盆骨切迹或其他解剖界标或特征,这些内容可以用于识别从图像502中识别的腹股沟韧带、耻骨结节、髂前上棘、骨盆上支和/或其他血流受限区域(例如,狭窄或压迫)的位置。
深度学习网络510可以实施或包括任何合适类型的学习网络。例如,在一些实施例中,如关于图5所描述的,深度学习网络510可以包括卷积神经网络512。另外,卷积神经网络510可以额外地或替代地是或包括多类分类网络、编码器-解码器型网络或识别图像内的特征的任何合适的网络或手段。
在深度学习网络510包括编码器-解码器网络的实施例中,该网络可以包括两条路径。一条路径可以是收缩路径,其中,若干卷积层520可以对大图像(例如,图像502)进行卷积,使得图像502的尺寸在网络深度上变化。然后可以在低维空间或展平的空间中标识图像502。从该展平的空间,额外路径可以将展平的空间扩展到图像502的原始尺寸。在一些实施例中,所实施的编码器-解码器网络也可以被称为主成分分析(PCA)方法。在一些实施例中,编码器-解码器网络可以将图像502分割成片块。
在本公开内容的另一实施例中,深度学习网络510可以包括多类分类网络。在这样的实施例中,多类分类网络可以包括编码器路径。例如,图像502可以是高维图像。然后,可以利用卷积层520来处理图像502而使得减小尺寸。可以使用所得到的图像502的低维表示来生成图5所示的特征向量550。额外地,全连接层530也可以使用图像502的低维表示来回归和输出一种或多种类别542。在某些方面,全连接层530可以处理编码器或卷积层520的输出。全连接层530还可以被称为任务层或回归层等。
完全预想到所描述的深度学习网络510的任何合适的组合或变化。例如,深度学习网络可以包括全卷积网络或层或者全连接网络或层或者这两者的组合。另外,深度学习网络可以包括多类分类网络、编码器-解码器网络或这两者的组合。
图6是根据本公开内容的各方面的训练深度学习网络510以识别X射线静脉造影图像内的感兴趣区域的方法600的流程图。系统100的处理器电路能够执行方法600的一个或多个步骤,所述处理器电路包括例如处理器134(图1)。如图所示,方法600包括许多列举的步骤,但是方法600的实施例也可以包括在列举的步骤之前、之后或之间的额外步骤。在一些实施例中,可以省去列举的步骤中的一个或多个步骤,可以以不同的顺序执行列举的步骤中的一个或多个步骤,或者可以同时执行列举的步骤中的一个或多个步骤。可以利用任何合适的方法或途径来训练深度学习网络,例如,任何梯度下降途径、随机途径、批量途径、小批量途径,或任何其他优化算法、方法或途径。在实施例中,可以使用小批量途径来训练深度学习网络。
在步骤605处,方法600包括接收去往深度学习网络510的各种输入图像和/或数据。可以将各种形式或类型的数据输入到深度学习网络510中。例如,X射线静脉造影图像611、可以在如所描述的训练过程期间或者在实施深度学习网络510期间将一幅或多幅IVUS图像612以及其他患者信息613作为输入而包括到深度学习网络510,以识别患者的解剖结构内的压迫位点期间。
在训练期间,可以将多幅X射线静脉造影图像611输入到深度学习网络510。静脉造影图像611可以描绘任何前面提到的血管中的可能的压迫位点或血流受限位置,包括腹股沟韧带、髂动脉与髂静脉的交叉跨越区域、其他一般狭窄区域或其他感兴趣区域(例如,骨盆骨的切迹)。骨盆骨中的切迹的位置可以对应于在血管造影图像中可能不可见的腹股沟韧带的位置。例如,腹股沟韧带能够在切迹之间延伸。为了训练,该领域中的专家可以对静脉造影图像611进行注释以识别这些特征中的一些或全部特征。在一些实施例中,每个专家可以检查每幅图像611,并且突出显示或以其他方式识别区分腹股沟韧带位置、髂动脉与髂静脉的交叉跨越位置、骨盆骨的切迹位置或可以指示静脉压迫的其他感兴趣区域的位置的像素、片段或片块。在一些实施例中,专家可以额外地识别或评定压迫位点的严重程度。这些带注释的静脉造影图像611可以在深度学习网络510的训练期间充当真实情况数据。用于训练深度学习网络510的带注释的静脉造影图像611可以被统称为训练数据集或训练集606。可以根据来自许多不同患者的任何合适数量的独特的X射线静脉造影图像来生成训练数据集606。例如,训练数据集606可以包括5幅、10幅、15幅、20幅、30幅、60幅、100幅或更多幅独特的X射线静脉造影图像以及这些数量之间的任何数量的独特的X射线静脉造影图像。在一些实施例中,可以将从在髂骨区域经受静脉支架植入的不同患者获取的超过30幅独特图像包括在X射线静脉造影图像611的训练数据集606中。在一些实施例中,可以将来自该领域中的专家的注释嵌入X射线静脉造影图像611中以形成一幅统一的图像或一个统一的图像文件。注释可以包括图像文件内的数据表示或与图像文件相关联的数据表示。注释还可以包括图形表示(例如,各种颜色、图案、形状、突出显示、箭头、指示符或任何其他合适的图形表示)以根据需要指示压迫位点、压迫位点的类型和/或严重程度中的任一项。在其他实施例中,可以将来自专家的注释保存为与X射线静脉造影图像分开的文件。例如,可以将包括专家注释的掩模与静脉造影图像611一起存储为真实情况。
针对深度学习网络510的额外输入可以包括与带注释的静脉造影图像611共配准的IVUS图像612。在一些实施例中,IVUS图像612与静脉造影图像611的共配准可以允许用户或系统100识别在静脉造影图像611内的靠近确定的解剖界标的位置处成像的IVUS图像612的关联性。在本公开内容中IVUS图像612与静脉造影图像611的共配准可以共享来自不同设备的共配准数据的一些相似的方面或特征,如在美国专利US 6428930中所公开的那样,通过引用将其整体并入本文。IVUS图像612可以向深度学习网络510提供各种度量,包括但不限于血管直径、血管面积、管腔直径、管腔面积、血管内阻塞的位置、这样的阻塞的大小、血流受限的严重程度等。然后,深度学习网络可以将该数据用作额外的输入以更准确地识别先前提到的任何压迫位点。在一些实施例中,可以使用输入的IVUS图像612来识别血流受限区域和/或邻近的血管或韧带的位置(例如,靠近静脉的动脉的位置、靠近血管的腹股沟韧带的位置)。额外地,可以将输入的IVUS图像612组织成集合607。在包括任何数量的输入的静脉造影图像611的集合607内,可以有任何合适数量的IVUS图像612。
也可以预想到额外的输入图像。例如,可以使用不涉及荧光透视的X射线图像来帮助深度学习网络510更准确地识别所提到的压迫位点。可以输入来自其他成像技术的其他超声图像、CT图像、磁共振成像(MRI)图像或任何其他合适的图像来训练深度学习网络510。
额外的患者信息613也可以充当针对深度学习网络的输入。例如,额外的患者信息613可以包括患者病史(包括过去的诊断、过去的狭窄位置、过去的支架位置、过去在补救狭窄区域的过程中的各种处置的成功)、其他患者信息(包括患者趋势,例如,体重、年龄、身高、收缩压和/或脉搏血压、血型或关于患者状况的其他信息)或任何其他数据或信息。利用额外的患者信息613作为额外的输入,深度学习网络可以更准确地识别静脉压迫区。
在步骤615处,方法600包括基于当前深度学习网络权重对可能的压迫位点进行分类。深度学习网络权重可以表示相邻网络层中的单元之间的连接强度。在一些实施例中,网络权重和前一层中的值的线性变换通过非线性激活函数以产生下一层的值。在前向传播期间,这个过程可能发生在网络的每一层。深度学习网络权重可以额外地或替代地被称为系数、过滤器或参数等。
在一些实施例中,深度学习网络可以分析X射线静脉造影图像611并将该图像作为整体、图像的片段或片块或者图像的像素分类为先前提到的类别中的任一类别。例如,对于图像611的给定的片段或片块,如果深度学习网络确定图像片段或片块中可能存在腹股沟韧带,那么深度学习网络就可以将该片段或片块分类为腹股沟韧带类别542a(图5)。作为另外的示例,对于图像611的给定的片段或片块,如果深度学习网络确定在该图像片段或片块处髂动脉交叉跨越髂静脉,那么深度学习网络可以将该片段或片块分类为髂动脉与髂静脉的交叉跨越区域或者类别542b(图5)。在一些实施例中,可以通过单独的二元值来标识每个输出类别542。在其他实施例中,可以训练和实施一个多类分类网络来识别不同的类别542(图5)。
在步骤620处,方法600包括将来自深度学习网络的压迫位点分类输出与用真实情况注释的X射线静脉造影图像进行比较。当深度学习网络已经将图像611分类到它要被训练为识别的各种类别542(图5)中的任一类别时,就可以将输出与由专家注释的相同的X射线静脉造影图像611进行比较。在一些实施例中,针对每个输出分类计算表示深度学习网络的输出与带注释的图像之间的差异的误差程度。在一些实施例中,可以使用损失函数来确定针对每个分类的误差程度。在一些实施例中,损失函数可以包括交叉熵损失函数或对数损失函数,或者可以在步骤620处使用评价深度学习网络输出的准确度的任何其他合适的手段。
在步骤625处,方法600包括调节深度学习网络权重以更准确地识别可能的压迫位点。基于针对每种类别542(图5)计算的误差程度,可以调节深度学习网络权重。如图6中的箭头627所示,方法600然后可以返回到步骤615,并且可以再次开始对图像611或图像611的片段进行分类的过程。随着迭代地执行步骤615、620和625,针对每种类别542计算的误差程度可以逐渐减小,直到所有的X射线静脉造影图像611都已经被呈现给深度学习网络为止。换句话说,在训练中的每次迭代中,处理了来自训练数据集606的一批图像611并且优化了网络的权重,因此对可能的压迫位点的预测在输出部处产生低误差。在一些实施例中,可以使用反向传播算法来优化深度学习网络的权重。例如,网络可以反向传播误差以更新权重。
在步骤630处,方法600包括将深度学习网络权重保存为深度学习网络文件。在深度学习网络已经输入和处理了所有的X射线静脉造影图像和其他输入(任选地包括经共配准的IVUS图像612和其他患者信息613)并且已经调节了深度学习网络权重之后,可以创建和存储对应于深度学习网络的文件。当对解剖结构的相似区域执行患者检查时,系统100随后可以加载该文件以辅助系统100的用户识别可能的压迫位点。
在一些实施例中,可以训练多个深度学习网络。例如,可以基于静脉造影图像611来训练一个深度学习网络,并且可以基于IVUS图像612来训练另一网络。可以如本文所述的那样训练和/或实施这些深度学习网络中的任一个或组合。
图7A是根据本公开内容的各方面的识别腹股沟韧带的预测位置的带注释的X射线静脉造影图像710的示意图。图像710可以是图6的训练数据集606的带注释的图像611,或者图像710可以是与患者检查有关的深度学习网络的输出。可以用任何合适的图形元素715来指示腹股沟韧带的预测位置。例如,如图7A所示,图形元素715可以是虚线。在其他实施例中,标识腹股沟韧带的位置的图形元素715可以是任何其他图形表示,包括任何图案、曲线、轮廓、颜色或宽度的线,任何几何或非几何形状,任何指示符(例如,箭头、标示符、标记、点、任何字母数字文本)或任何其他图形表示。在一些实施例中,可以将图形元素715叠加在图像710上并将其显示给系统100的用户。
图7B是根据本公开内容的各方面的识别髂静脉与髂动脉的预测交叉跨越位置的带注释的X射线静脉造影图像720的示意图。像图像710一样,图像720可以是图6的训练数据集606中的一幅图像,或者图像720可以是深度学习网络的输出。可以用任何合适的图形元素725来指示髂动脉与髂静脉的预测交叉跨越区域。例如,如图7B所示,图形元素725可以是实线。在其他实施例中,标识髂动脉与髂静脉交叉跨越位置的图形元素725可以是任何其他图形表示,包括与图7A的图形元素715相对应地列出的前面提到的图形表示中的任一种图形表示。可以将图形元素725叠加在图像720上并将其显示给系统100的用户。
图7C是根据本公开内容的各方面的识别静脉缩窄的预测位置的带注释的X射线静脉造影图像730的示意图。如叠加在图像730上的图形元素735所示,这样的静脉构造可能是由物理压迫、血栓、斑块、纤维化疤痕组织堆积或任何其他原因引起的。图像730可以是图6的训练数据集606中的一幅图像,或者图像730可以是深度学习网络的输出。可以用任何合适的图形元素735来指示狭窄区域。例如,如图7C所示,图形元素735可以是矩形形状。在其他实施例中,图形元素735可以是任何其他图形表示,包括与图7A的图形元素715相对应地列出的前面提到的图形表示中的任一种图形表示。可以将图形元素735叠加在图像730上并将其显示给系统100的用户。
图7D是根据本公开内容的各方面的识别解剖界标的带注释的X射线静脉造影图像740的示意图。像图像710、720和730一样,图像740可以是图6的训练数据集606中的一幅图像,或者图像740可以是深度学习网络的输出。在图像740中识别的解剖界标可以是用户感兴趣的任何解剖界标。例如,在一些实施例中,可以将骨盆骨内的切迹的位置识别为解剖界标以更清楚地示出腹股沟韧带的预测位置和预测的压迫位点。在一些实施例中,如图7D中识别的骨盆骨的切迹的位置可以辅助系统100和/或深度学习网络500识别腹股沟韧带的位置。例如,在一些实施例中,深度学习网络的与骨盆骨的切迹的位置相对应的输出可以充当用于确定腹股沟韧带的位置的额外输入。因此,在一些实施例中,系统100和/或深度学习网络500能够首先识别像骨盆骨中的切迹、髂前上棘、骨盆上支等的界标(其在X射线图像中可见),然后推断腹股沟韧带的位置(其在X射线图像中不可见)。骨盆骨中的切迹被示为在图7D中用图形元素745和图形元素747来标识。虽然在图7中图形元素745和747被看见是沿着骨盆骨的切迹的边缘定位的实线,但是图形元素745和747可以是任何图形表示,包括与图7A的图形元素715相对应地列出的前面提到的图形表示中的任一种图形表示。可以将图形元素745和747叠加在图像740上并将其显示给系统100的用户。骨盆切迹是能够识别的解剖界标的一个示例。深度学习网络还能够识别其他解剖界标,包括耻骨结节、前上棘、骨盆上支或任何其他合适的解剖界标。
图8是根据本公开内容的各方面的利用深度学习网络910识别X射线静脉造影图像911内的感兴趣区域的方法800的流程图。将参考图9来描述方法800的一个或多个步骤,图9是根据本公开内容的各方面的用于识别X射线静脉造影图像911内的感兴趣区域的示意图。系统100的处理器电路能够执行方法800的一个或多个步骤,所述处理器电路包括例如处理器134(图1)。如图所示,方法800包括许多列举的步骤,但是方法800的实施例也可以包括在列举的步骤之前、之后或之间的额外步骤。在一些实施例中,可以省去列举的步骤中的一个或多个步骤,可以以不同的顺序执行列举的步骤中的一个或多个步骤,或者可以同时执行列举的步骤中的一个或多个步骤。
在步骤805处,方法800包括接收一幅或多幅静脉造影图像911、一幅或多幅IVUS图像和/或患者信息913。可以接收在深度学习网络的训练方法600(图6)的步骤605接收的任何相同形式的数据,作为在实施网络910期间的输入。虽然在方法600的步骤605处接收的静脉造影图像611、IVUS图像612和其他信息613可以由专家进行注释并且用于训练深度学习网络,但是在步骤805处接收的静脉造影图像911、IVUS图像和/或其他患者信息913不是专家注释的并且对应于先前已经训练的深度学习网络911的实施方式。例如,静脉造影图像911和其他输入913可以对应于患有静脉压迫障碍的患者,并且深度学习网络910可以辅助医生识别可能的压迫位点。在步骤605处,可以接收任何合适数量的图像911或其他数据913。例如,在一些实施例中,深度学习网络910可以接收患者的解剖结构的单幅X射线静脉造影图像911。在其他实施例中,深度学习网络910可以接收具有一幅经共配准的IVUS图像的单幅X射线静脉造影图像911、具有多幅经共配准的IVUS图像的单幅静脉造影图像911、多幅静脉造影图像911、任何其他可能的输入数据913(例如,先前提到的其他患者信息或所有这些内容的组合)。在一些实例中,静脉造影图像911或IVUS图像可以描绘静脉压迫的区域。接收到的静脉造影图像911可以是在将造影剂引入患者的解剖结构的情况下获取的X射线血管造影图像,或者是在没有将造影剂引入患者的解剖结构的情况下获取的X射线荧光透视图像。在一些实施例中,系统100可以接收一幅具有造影剂的血管造影图像911和一幅没有造影剂的荧光透视图像911作为输入。在一些实施例中,接收到的静脉造影图像911可以描绘血流受限的血管。血流的这种受限可能是由来自解剖结构中的解剖结构(包括前面描述的任何结构)的压迫引起的。在一些实施例中,解剖结构在接收到的静脉造影图像911内可以是可见的,也可以是不可见的。在一些实施例中,如将更详细地描述的,在静脉造影图像911内可见的其他解剖结构可以辅助医生或系统100识别在接收到的静脉造影图像911中不可见的引起血管中的血流受限的解剖结构。
在步骤810处,方法800包括识别可能的压迫位点。可以通过深度学习网络的层来处理接收到的输入(包括静脉造影图像911、IVUS图像和/或其他患者信息913),以将图像911或图像911的片段归类到类别542(图5)中。深度学习网络910可以与图5中公开的网络基本相似,并且可以采用前面提到的类型的网络元件中的任一种类型的网络元件。在一些实施例中,深度学习网络910可以针对输入图像911生成与深度学习网络910被训练为识别的每种类别有关的置信度得分。置信度得分可以是任何合适的类型或范围。例如,针对给定的类别542(图5)的置信度得分可以是值0和1之间的数字,0对应于没有示出任何指示类别542的特征的图像,而1对应于示出一个或多个指示类别542的特征和类别542的特征的最大识别置信度的图像。数字0和1之间的任何数字可以表示小于由得分1表示的最大置信度但大于最小得分0的某个置信度水平。可以使用任何合适的数字来定义可能的置信度得分的范围。另外,在步骤810处,深度学习网络可以采用计算类别542出现的可能性的任何合适的方法。在其他实施例中,深度学习网络可以将接收到的输入划分成片段或片块,并且可以针对每个片段或片块计算置信度得分。在其他实施例中,深度学习网络可以将与可用类别542有关的置信度得分分配给接收到的图像内的每个像素。在一些实施例中,深度学习网络910、系统100的制造商、该领域中的专家或系统100的用户可以确定阈值置信度得分水平。当与特定类别542(图5)相关联的置信度得分超过该预定阈值时,系统100可以识别图像911中的类别542,或者指示对类别542的预测。在一些实施例中,系统100可以经由显示器132向用户显示与每种类别542相关联的置信度得分。在步骤810处,系统100可以在接收到的静脉造影图像911内确定血管流动的受限位置。系统100可以识别血管内的任何合适数量的血流受限位置。例如,在一些实施例中,系统可以识别一个、两个、三个、四个或更多个血流受限位置。每个位置可以单独显示,或者多个位置可以一起显示。可以在单幅静脉造影图像中描绘这些位置,也可以在不同的静脉造影图像中描绘这些位置。也可以在各种IVUS图像或其他患者信息中描绘这些位置。
在步骤815处,方法800包括生成可能的压迫位点的输出掩模915并将其显示给用户。系统100可以经由显示器132(图1)向用户显示在步骤805处输入到深度学习网络910的静脉造影图像911,其中,输出掩模包括与所示血管的血流受限位置相对应的一个或多个图形表示。可以在(一幅或多幅)静脉造影图像911内的受限位置处显示这些图形表示。取决于图像的各个片段或部分的分类结果,输出的静脉造影图像可以看起来与图7A、图7B、图7C或图7D的任一项或其任意组合基本相似。在一些实施例中,可以额外生成一个或多个图形元素916并将其作为掩模915叠加在接收到的静脉造影图像911来呈现。图形元素916可以与图形元素715(图7A)、725(图7B)、735(图7C)、745和/或747(图7D)或其任意组合基本相似。在其他实施例中,可以将图形元素916中的任一项并入接收到的图像911本身。
在一些实施例中,显示器132可以向用户显示与接收到的图像的每种类别542(图5)相关联的置信度得分。该数据可以对应于图像911整体、图像911的片段或图像911内的个体像素。系统100还可以生成和显示与每个类别542的血流受限的严重程度、每个类别542的血流的预测测量结果、压迫位点处和/或周围的血管直径、各种血管的曲折度、血管长度或狭窄区域或任何其他合适的度量有关的度量。深度学习网络可以通过图像处理(逐像素分析、分割、全局或局部移位、扭曲、路径求解、校准等)、其他合适技术或其组合来生成这些度量中的一个或多个度量。
在步骤820处,方法800包括推荐支架的类型。基于上面列出的图形元素和如在步骤815中所述的伴随的来自深度学习网络的度量输出,深度学习网络可以推荐用于补救患者的状况的支架的类型。在一些实施例中,除了步骤815的输出或深度学习网络910的输出之外,系统100的用户可以输入额外的度量或数据。步骤820的输出能够包括特定品牌或类型的支架、支架的长度以及支架的直径。能够向显示器输出支架推荐的图形表示928(图9)。图形表示928能够与图像911相邻或隔开。
在一些实施例中,通过算法根据可用支架的查找表920来预测推荐的支架(包括例如前面提到的任何类型的支架)。在一些实施例中,系统100的制造商可以创建查找表920。系统100的用户能够修改查找表920。在其他实施例中,该领域中的专家可以创建查找表920。查找表920可以是已经或可能被定位在髂静脉314(图3)或周围或相似血管内的所有可用支架的列表。查找表920内的支架可以具有不同的长度、缩短性质、强度点、柔性或任何其他特性。查找表920也可以被称为决策树。在一些实施例中,可以将查找表920实施为先前描述的相同深度学习网络910的部分或输出。也可以基于该领域中的专家的推荐来创建查找表920。例如,如果该领域中的一个或多个专家推荐特定的支架来补救具有与在接收到的图像911中所示的解剖特征相似的解剖特征的状况,那么系统100可以基于来自深度学习网络910的输出来推荐专家推荐的支架。在其他实施例中,用户可以基于来自深度学习网络910的输出从查找表920中手动选择支架。
支架的选择可以取决于支架的长度、直径和材料。在压迫位点处或者在狭窄区域处或附近,支架应当是坚硬的。在将支架定位在患者的脉管系统内之后,支架的端部不应靠近任何压迫位点或狭窄区域。支架的直径还可以基于支架将被定位于其中的血管的直径来确定支架的选择。支架的选择还可以取决于在支架被定位在管腔内时使支架移位所需的力。该力可以由在支架被部署之后血管与支架的接触点的数量来确定。特别是对于曲折的血管,扩张的支架可能没有与内部管腔的所有位置都产生物理接触。在这样的示例中,为了防止移位或支架迁移,可以选择更长的支架来增加支架与血管壁之间的接触。
在步骤825处,方法800包括生成和显示推荐的支架着陆区926。在一些实施例中,通过算法来创建推荐的支架着陆区926和最大压迫区域927的额外掩模925。在一些实施例中,使用深度学习网络、图像处理和/或其组合来确定着陆区926的位置。在一些实施例中,最大压迫区域927能够是深度学习网络的输出或者基于该输出。这些着陆区926可以是髂静脉314(图3)内的位置或任何其他合适的血管内的位置,其中,支架的端部要在接合前进行定位。支架的定位可以取决于若干变量,例如,在步骤820中对支架的类型的选择、支架和/或患者的解剖结构的机械性质、血流受限的严重程度、原因和/或长度以及其他变量。另外,由于支架类型选择不当、支架放置不当以及腹股沟韧带施加的高压力,跨腹股沟韧带的支架植入术与支架内再狭窄的高风险相关联。这既与支架放置有关,也与跨腹股沟韧带的支架植入可能需要更长支架这一事实有关。因此,着陆区926可以考虑支架缩短、血管曲折度、支架最大强度区域、在长病变中使用多个支架,或解剖结构或支架的任何其他合适特性。例如,如果推荐的支架品牌或类型在支架的中心区域(与端部区域相反的区域)更强,那么可以将支架着陆区926选择为使得对于给定长度的支架,支架被为定位为使得中心区域作用在最大压迫区域927上。通过这种方式,有利地提高了支架在增加血管管腔直径和恢复血流方面的功效,从而改善了患者的处置效果。系统100可以在图像内的适当位置处生成所推荐的支架着陆区和/或最大压迫区域的位置的图形表示(例如叠加在图像上)并将其显示给用户。
掩模925还可以描绘支架的最大强度区域。系统100可以在图像内的适当位置处生成所推荐的支架的最大强度位置的图形表示并将其显示给用户。在一些实施例中,支架可以包括若干最大强度区域或者可以具有一个最大强度区域。对于一些支架来说,朝向支架的任一端的区域可能是强度降低且经受塌陷的区域。因此,掩模925可以指导用户将支架放置在着陆区926,以避免将支架的低强度区域定位在识别的压迫位点处或附近。掩模925可以描绘最大压迫区域927。所推荐的支架着陆区926可以被放置为使得将支架的最大强度区域定位在最大压迫区域927处或附近。例如,如果最大压迫区域927对应于腹股沟韧带的位置,那么在理想情况下最大强度区域将被定位在腹股沟韧带处或附近的血管内。
在其他实施例中,掩模925以及在步骤820中描述的支架的类型的推荐可以考虑髂静脉314和周围静脉或区域的曲折度。例如,必须小心地跨曲折的节段放置更加刚性的支架,并且可以使用掩模925来识别理想的着陆区926以考虑曲折度。在一些实例中,着陆区可以被确定为使得支架的更加柔性部分被定位在血管的更加曲折的区域内,而支架的更加刚性的部分被定位在血管的更加线性、不太曲折的区域中。在一些实例中,步骤820中的推荐可以完全避免将刚性支架用于更加曲折的血管节段,而支持更加柔性的支架。
注意,深度学习网络910的任何先前提到的变量、测量或观察到的特性和/或任何先前提到的输出都可以充当针对步骤825的输入或数据点。具体而言,这些输入中的任何输入都可以用于生成推荐的着陆区926和/或一个或多个最大压迫区域927的掩模。通过这种方式,掩模925可以是深度学习网络910的额外输出,可以是额外的深度学习网络的输出,可以是额外的查找表或决策树的输出,或者可以是任何其他合适的算法的输出。
在步骤830处,方法800包括在所显示的图像内突出显示解剖界标。患者的解剖结构内的某些解剖界标可以进一步辅助系统100的用户识别可能的压迫位点,并且系统100可以相应地突出显示这些解剖界标。例如,如在图7D中突出显示的并且在图9的掩模915中再次突出显示的骨盆骨中的切迹可以辅助系统100的用户定位患者的腹股沟韧带,或者可以辅助用户以其他方式相对于解剖结构内的共同或独特结构来定向患者的解剖结构的视图。在一些实施例中,如前所述,突出显示解剖界标(例如,骨盆骨的切迹)可以是如图所示的深度学习网络910的额外输出。在其他实施例中,系统100的用户可以手动执行对解剖界标的突出显示。
在一些实施例中,系统100还可以向用户显示脉管系统中的血流受限位置。系统100可以向用户显示任何合适数量的血流受限位置。例如,系统100可以显示一个、两个、三个或更多个血流受限位置。这些位置可以被叠加在静脉造影图像上或通过任何其他合适的方法来显示给用户。
在一些实施例中,系统100或系统100的用户可以在该步骤或任何其他步骤处调节深度学习网络权重。例如,深度学习网络权重可以是动态的,并且可以被调节以适合特定的设施、成像设备、系统或患者,或者可以基于任何合适的环境或应用来调节。对深度学习网络权重的这种调节可以被称为校准。
图10是根据本公开内容的各方面的识别感兴趣区域1030的经分割的X射线静脉造影图像1010的示意图。图10和图11可以表示与先前讨论的被呈现给深度学习网络910(图9)的静脉造影图像911相似的静脉造影图像。图10和图11可以表示深度学习网络910所采用的识别感兴趣区域1030的不同方法。在一些实施例中,关于图10描述的方法可以对应于如前所述的多类分类网络,并且图11的方法可以对应于编码器-解码器网络。然而,在其他实施例中,包括多类分类网络、编码器-解码器网络、基于片块的分类网络、分割网络、分割回归或任何其他合适的网络在内的任何合适类型的网络能够互换地分析图10和/或图11的图像。感兴趣区域1030可以包括前面提到的区域中的任何区域,例如,腹股沟韧带的位置、髂动脉与髂静脉的交叉跨越的位置或其他一般狭窄区域。
在图10所示的实施例中,可以将接收到的静脉造影图像1010划分或分割成均匀分布且均匀大小的片块1020,使得在图像1010上放置网格。片块1020还可以被称为片段、单元、聚类、部分或任何其他合适的术语。每个片块1020可以包括图像1010的多个像素。在识别类别542中的任何和/或所有类别(图5)的任务上训练的深度学习网络可以单独考虑每个片块1020。深度学习网络然后可以对每个片块1020进行分类。换句话说,可以将与每种类别542相关联的置信度得分分配给图像1010内的每个片块1020。作为非受限性示例,如果将深度学习网络训练为识别三个单独的类别,那么网络将针对每个片块1020生成三个置信度得分,一个置信度得分与三种类型中的每种类型相关联。
在一些实施例中,如果深度学习网络确定在片块1020内超过了与特定类别542相关联的置信度得分,那么可以识别该片块。在一些实施例中,如图10所示,可以通过对片块1020应用不同颜色或不透明度的阴影化处理来识别片块1020。颜色或不透明度可以对应于网络预测与特定类别542相关联的压迫位点的位置的置信度得分或置信度水平的值。例如,如图10所示,片块1024可以对应于较高水平的置信度得分,而片块1022可以对应于较低水平但仍然是超过预定阈值的水平的置信度得分。系统100可以自动选择对应于各种颜色或不透明度的任何合适的额外阈值,系统100的用户也可以选择对应于各种颜色或不透明度的任何合适的额外阈值。另外,可以实施任何合适数量的不同类别的标识,例如,如图10所示的两种不同类别的标识(包括片块1022和1024),或者系统100可以使用额外数量的不同类别的标识(例如,三种、四种、五种、六种、十种、二十种或更多种类别的标识)来识别预测的压迫区域及其严重程度。另外,可以使用任何合适的标识方法。例如,可以如图所示的那样以不同的方式对片块进行着色或阴影化处理。另外,可以利用变化的图案、梯度以及颜色对片块进行轮廓勾画或阴影化处理,可以将片块连接到箭头、标示符或其他指示符,定位在箭头、标示符或其他指示符附近或者以其他方式与箭头、标示符或其他指示符相关联,经由任何字母数字文本来标识片块,或者以其他方式利用任何合适的图形表示来标识片块。在一些实施例中,可以不向用户显示图像1010及其各种细分的片块1020。在这样的实施例中,可以不用图形方式标识与任何置信度得分的压迫位点相关联的片块1020,而是由系统100例如通过在非瞬态有形计算机可读介质上存储的计算机可读指令或者经由任何其他合适的方法来标识与任何置信度得分的压迫位点相关联的片块1020。系统100能够使用该信息来确定支架推荐和/或支架着陆区推荐。
图11是根据本公开内容的各方面的识别感兴趣区域1030的X射线静脉造影图像1110的示意图。图11可以以不同的方式描绘与图10相同的感兴趣区域1030。与图10的图像1010相比,可以不将接收到的图像1110划分成片块1020,而是可以将接收到的图像1110作为整体进行评价或者按像素进行评价。例如,深度学习网络可以对图像1110的每个像素进行分类。换句话说,可以将与每种类别542(图5)相关联的置信度得分分配给每个像素。在这样的实施例中,每个像素将与类别542的数量相同数量的置信度得分相关联。
与对图10的片块1020的标识相似,可以经由前面列出的任何合适的图形或非图形表示来标识每个像素。例如,如图11所示,可以利用与给定的置信度得分相关联的预定颜色或不透明度对每个像素进行阴影化处理。例如,在位置1124处或附近的点处,可以将图像1110的像素标识为能够描绘压迫位点的高可能性。深度学习网络可以相对于其他周围像素来分析每个像素,以识别任何先前列出的压迫位点的图案、特性或特征。类似地,在图像1110内的位置1122处或附近,可以利用不同的颜色或不透明度来标识像素,以用表示置信度得分较低或预测的压迫位点的可能性较小。如在图10的上下文中所述,可以使用任何方法来标识具有任何合适的置信度得分的像素,包括任何合适的图形表示。在将图像1110显示给系统100的用户的实施例中,可以利用任何先前列出的图形表示来标识像素。在不向用户显示图像1110的实施例中,可以利用包括存储的计算机可读指令的任何先前列出的非图形表示来标识像素。在一些实施例中,参考图11描述的方法还可以被称为分割、多分割或多分类。
图12是根据本公开内容的各方面的在血管内成像探头位于或靠近解剖界标的位置处识别血管内图像的方法1200的流程图。血管内图像和成像探头的示例包括血管内超声(IVUS)、血管内光声(IVPA)和/或光学相干断层成像(OCT)。在这一点上,虽然使用IVUS作为示例,但是本公开内容预想到任何合适类型的血管内成像。系统100的处理器电路能够执行方法1200的一个或多个步骤,所述处理器电路包括例如处理器134(图1)。如图所示,方法1200包括许多列举的步骤,但是方法1200的实施例也可以包括在列举的步骤之前、之后或之间的额外步骤。在一些实施例中,可以省去列举的步骤中的一个或多个步骤,可以以不同的顺序执行列举的步骤中的一个或多个步骤,或者可以同时执行列举的步骤中的一个或多个步骤。一种增强的检测髂静脉压迫的方法涉及将血管的X射线图像与IVUS成像进行组合和共配准。在一些方面,IVUS成像可以通过提供额外的度量(例如,血管直径、血管阻塞的大小和位置或其他信息)来极大地增强静脉造影分析。另外,静脉造影图像可以通过提供血管外信息(例如,IVUS成像探头在血管内的位置、观察到的狭窄区域在解剖结构内的位置以及如利用方法1200所述的其他信息)来增强IVUS成像。在2019年11月6日提交的标题为“CO-REGISTRATION OF INTRAVASCULAR DATA AND MULTI-SEGMENT VASCULATURE,ANDASSOCIATED DEVICES,SYSTEMS,AND METHODS”的美国临时申请US 62/931693中描述了血管内数据与外周脉管系统的共配准的示例,通过引用将其整体并入本文。
在步骤1205处,方法1200包括从IVUS成像探头接收IVUS图像。如前面所提到的,被定位在超声成像探头110上的超声换能器阵列112可以移动通过血管并发射和接收超声成像波以创建IVUS图像。在一些实施例中,可以将接收到的IVUS图像存储在与系统100通信的存储器中以供稍后时间的调用,或者可以在护理点环境中实时生成和显示和/或共配准IVUS图像。
在步骤1210处,方法1200包括接收X射线图像。接收到的X射线图像可以是X射线图像,例如,静脉造影图像。与在步骤1205中接收到的IVUS图像相似,可以经由X射线成像系统151来生成X射线图像并将其存储在与系统100通信的存储器中以供稍后时间的调用,或者可以在护理点环境中实时生成和显示和/或共配准X射线图像。在一些实施例中,可以利用IVUS成像设备102和X射线成像设备152同时或几乎同时地、在相同的检查中或在不同的检查中检查患者。
在步骤1215处,方法1200包括将接收到的IVUS图像与接收到的X射线图像进行共配准,使得可以相对于接收到的X射线图像测量或观察IVUS成像探头的位置。在一些实施例中,将接收到的IVUS图像与接收到的X射线图像进行共配准可以涉及将这些图像彼此叠加。将来自IVUS成像系统101和X射线成像系统151的图像或信息进行共配准还可以被称为或描述为对这两种模态图像进行同步。如前面所提到的,本公开内容的各方面可以包括与美国专利US 6428930中公开的特征或功能相似的特征或功能,通过引用将其整体并入本文。
在步骤1220处,方法1200包括识别与压迫区或其他解剖界标相对应的IVUS图像帧。可以利用来自先前或同时创建的X射线静脉造影图像的信息来扩充来自接收到的IVUS图像的信息。例如,静脉造影图像可以识别压迫区,包括在腹股沟韧带处或附近的区域、髂动脉交叉跨越处的区域或其他狭窄区域以及其他重要的解剖界标。在一些实施例中,一旦IVUS成像探头到达静脉压迫区域,就可以识别对应的输出的超声图像。在一些实施例中,对输出的IVUS图像的这种识别可以触发额外的工具或测量方法来获取血管的各种度量。例如,IVUS成像探头可以使用任何合适的测量工具来计算血管直径、血管面积、管腔直径、管腔面积、血管内的血流量、血管阻塞的大小和位置或任何其他度量。与输入的静脉造影图像共配准的由IVUS成像探头获得的额外信息可以向深度学习网络提供额外输入,以帮助其更准确地识别静脉压迫区域。在一些实施例中,系统100可以使用诸如定量冠状动脉血管造影(QCA)之类的图像处理技术或其他处理技术来计算前面提到的度量中的任何度量,例如,血管直径、管腔直径、血管长度、压迫长度或其他尺寸。
在步骤1225处,方法1200包括向显示器132输出对识别的IVUS图像的指示。在一些实施例中,系统100可以经由图形表示来标识位于或靠近压迫位点或其他解剖界标的任何接收到的IVUS图像。用于标识IVUS图像的图形表示可以是任何合适的类型,包括任何先前列出的图形表示。另外,图形表示可以向用户显示与IVUS图像或经共配准的静脉造影图像相关联的一个或多个度量。例如,所使用的图形表示的类型可以对应于IVUS探头距压迫区域的距离。例如,当IVUS探头接近或远离压迫区域时,图形表示可以在颜色、尺寸、梯度、不透明度、图案或任何其他特性方面发生变化。在一些实施例中,图形表示还可以表示IVUS成像探头可能处于、靠近和/或接近的压迫区域的类型。该图形表示还可以向用户传达先前讨论的被成像血管的度量中的任何度量,包括但不限于血管直径、预测的血流量、区域压迫的严重程度等。
图13A是根据本公开内容的各方面的显示在IVUS成像探头不靠近解剖界标的位置处的IVUS图像的图形用户接口的示意图。图13A和图13B可以提供系统100的用户所看到的图形用户接口的示例表示。如参考图12的方法1200所述,基于个体IVUS图像帧与压迫区域或其他解剖界标的接近度以及其他特性,可以识别或不识别个体IVUS图像帧。在不靠近压迫区域的位置处,显示器132可以向用户描绘IVUS图像帧1310。控制系统130可以接收、处理和显示IVUS图像帧1310。
在一些实施例中,可以通过阈值距离来确定是否要将IVUS成像帧识别为靠近压迫区域或其他解剖界标。例如,系统100的制造商可以选择阈值距离。当IVUS成像探头被定位为与压迫区域或其他解剖界标的距离在该预定阈值距离内时,系统100可以识别(一个或多个)相关联的IVUS成像帧。替代地,深度学习网络、该领域中的专家或系统100的用户可以确定该阈值。
除了识别紧靠压迫区域或解剖界标的IVUS成像帧之外,系统100还可以使用先前描述的深度学习网络的一个或多个输出来自动突出显示、注释或选择IVUS图像帧和测量结果。
在一些实施例中,可以向用户显示与检查有关的其他一般信息1320或任何其他合适的信息以及与被成像血管有关的度量1325。显示器132可以将该信息1320和/或度量1325显示在IVUS图像1310附近、侧面、上方、下方或叠加在IVUS图像1310上。与检查有关的一般信息1320可以包括诸如检查号、指示对给定患者的解剖结构进行了多少次检查、检查的日期和时间以及任何其他合适的信息之类的度量。例如,其他信息可以包括关于患者病史、过去或当前的诊断或状况、正被检查的患者的过去或当前的生命体征的数据或者任何其他有用的信息。另外,度量1325可以包括先前列出的任何合适的度量,包括血流量、血管或管腔的横截面积、血管或管腔的直径或任何其他可测量的度量。在一些实施例中,IVUS成像探头还可以用于检查或调查患者的脉管系统内的不同位置处的血管损伤或创伤,并且可以显示与任何测量的损伤相关联的额外的一般信息或度量。
图13B是根据本公开内容的各方面的显示在IVUS成像探头靠近解剖界标的位置处的IVUS图像1315的图形用户接口的示意图。图13B显示了显示IVUS图像1315的图形用户接口,在这方面图13B可以与图13A基本相似。然而,图13A与图13B之间的主要区别可以是额外的图形表示1330。图形表示1330可以向用户指示IVUS成像探头位于或靠近压迫区域或解剖界标。如关于方法1220的步骤1225所提到的,图形表示1330可以是任何合适的图形表示,包括所有先前列出的示例。另外,图形表示1330可以向用户传达与IVUS成像探头相对于解剖结构内的任何解剖特征的位置有关的任何其他度量或信息、被成像血管的尺寸或状况,或任何其他先前提到的或合适的特性、信息、度量或特征。在这一点上,响应于识别出一幅或多幅在血流受限区域附近的IVUS图像,能够自动向用户提供与血管或血管管腔有关的度量(例如,面积和/或直径)。
本领域技术人员将认识到:能够以各种方式修改上述装置、系统和方法。因此,本领域普通技术人员将意识到:本公开内容涵盖的实施例不限于上述特定示例性实施例。在这一点上,虽然已经示出和描述了示例性实施例,但是在前述公开内容中可以想到各种各样的修改、改变和替换。应当理解,可以对前述内容做出这样的变化,而不会脱离本公开内容的范围。因此,适当的是:以与本公开内容一致的方式广义地解释权利要求。
Claims (17)
1.一种系统,包括:
处理器电路,其被配置用于与外部成像设备通信,其中,所述处理器电路被配置为:
从所述外部成像设备接收包括患者体内的血管的图像;
使用所述图像来确定所述血管中具有血流受限的第一位置,所述血流受限是由所述患者体内的不同于所述血管的解剖结构对所述血管的压迫引起的;
生成与所述受限相关联的第一图形表示;
向与所述处理器电路通信的显示器输出屏幕显示,所述屏幕显示包括:
所述图像;以及
在所述图像中的所述血管的所述第一位置处的所述第一图形表示。
2.根据权利要求1所述的系统,其中,所述外部成像设备包括X射线成像设备,并且其中,所述图像包括X射线图像。
3.根据权利要求1所述的系统,其中,所述处理器电路被配置为使用卷积神经网络来确定所述血管中具有所述受限的所述第一位置。
4.根据权利要求3所述的系统,其中,所述卷积神经网络是使用多幅图像进行训练的,所述多幅图像具有由另外的解剖结构对另外的血管的压迫所引起的已识别的血流受限。
5.根据权利要求3所述的系统,其中,所述处理器电路被配置为将所述血管中具有所述受限的所述第一位置分类为第一类型的受限或第二类型的受限。
6.根据权利要求5所述的系统,其中,所述第一类型的受限包括韧带的位置,并且所述第二类型的受限包括所述血管与另外的血管的交叉跨越。
7.根据权利要求3所述的系统,其中,所述处理器电路被配置为分割所述图像内的解剖结构。
8.根据权利要求3所述的系统,其中,所述处理器电路被配置为:
将所述图像划分成多个片块,其中,所述多个片块中的每个片块包括所述图像的多个像素;并且
将片块确定为所述血管中具有所述受限的所述第一位置。
9.根据权利要求1所述的系统,
其中,所述图像包括第一图像,
其中,所述处理器电路被配置为接收包括所述血管或所述解剖结构中的至少一项的第二图像,并且
其中,所述处理器电路被配置为使用所述第一图像和所述第二图像来确定所述血管中具有所述受限的所述第一位置。
10.根据权利要求9所述的系统,
其中,所述第一图像包括在所述血管内有造影剂的情况下获得的第一X射线图像,并且
其中,所述第二图像包括在所述血管内没有造影剂的情况下获得的第二X射线图像。
11.根据权利要求9所述的系统,
其中,所述第一图像包括X射线图像,
其中,所述第二图像包括血管内超声(IVUS)图像,
其中,所述处理器电路被配置用于与IVUS导管通信,
其中,所述处理器电路被配置为接收来自所述IVUS导管的所述IVUS图像。
12.根据权利要求1所述的系统,其中,所述第一图形表示包括与所述血流受限的严重程度相对应的彩色编码图。
13.根据权利要求1所述的系统,其中,所述处理器电路被配置为:
基于所述图像或所述血管中具有所述受限的所述第一位置中的至少一项来确定用于处置所述受限的支架推荐;并且
向所述显示器输出所述支架推荐。
14.根据权利要求13所述的系统,其中,所述处理器电路被配置为:
基于所述支架推荐、所述图像或所述血管中具有所述受限的所述第一位置中的至少一项来确定在所述血管的第二位置处的支架着陆区;
生成所述支架着陆区的第二图形表示;并且
在所述图像中的所述血管的所述第二位置处输出所述第二图形表示。
15.根据权利要求14所述的系统,其中,所述处理器电路被配置为:
基于所述支架着陆区、所述支架推荐、所述图像或所述血管中具有所述受限的所述第一位置中的至少一项来确定在所述血管的第三位置处的支架强度位置;
生成所述支架强度位置的第三图形表示;并且
在所述图像中的所述血管的所述第三位置处输出所述第三图形表示。
16.根据权利要求1所述的系统,
其中,所述处理器电路被配置用于与血管内超声(IVUS)导管通信,
其中,所述处理器电路被配置为:
接收来自所述IVUS导管的沿着所述血管的长度的多幅IVUS图像;
将所述多幅IVUS图像与所述图像进行共配准;
识别所述多幅IVUS图像中与所述血管中具有受限的所述第一位置相对应的IVUS图像;并且
向所述显示器输出所述IVUS图像。
17.一种血管压迫识别系统,包括:
X射线成像设备,其被配置为获得包括患者体内的静脉的X射线图像;以及
处理器电路,其与所述X射线成像设备通信,其中,所述处理器电路被配置为:
接收来自所述X射线成像设备的所述X射线图像;
使用深度学习算法来确定所述静脉中具有血流受限的第一位置,所述血流受限是由所述患者体内的不同于所述静脉的解剖结构对所述静脉的压迫引起的,其中,所述解剖结构包括动脉或韧带;
基于所述X射线图像或所述静脉的所述第一位置中的至少一项来确定用于处置所述受限的支架推荐;
基于所述支架推荐、所述X射线图像或所述静脉的所述第一位置中的至少一项来确定在所述静脉的第二位置处的支架着陆区;
向与所述处理器电路通信的显示器输出屏幕显示,所述屏幕显示包括:
所述X射线图像;
所述支架推荐的第一图形表示;以及
在所述静脉的所述第二位置处叠加在所述X射线图像上的所述支架着陆区的第二图形表示。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063072982P | 2020-09-01 | 2020-09-01 | |
US63/072,982 | 2020-09-01 | ||
PCT/EP2021/073572 WO2022048980A1 (en) | 2020-09-01 | 2021-08-26 | Venous compression site identification and stent deployment guidance, and associated devices, systems, and methods |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116018651A true CN116018651A (zh) | 2023-04-25 |
Family
ID=77750257
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180053928.4A Pending CN116018651A (zh) | 2020-09-01 | 2021-08-26 | 静脉压迫位点识别和支架部署引导以及相关联的设备、系统和方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230237652A1 (zh) |
EP (1) | EP4208874A1 (zh) |
CN (1) | CN116018651A (zh) |
WO (1) | WO2022048980A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118121230A (zh) * | 2024-05-07 | 2024-06-04 | 首都医科大学附属北京朝阳医院 | 下肢静脉血流压力分析方法、装置、存储介质及电子设备 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021059165A1 (en) | 2019-09-23 | 2021-04-01 | Cathworks Ltd. | Methods, apparatus, and system for synchronization between a three-dimensional vascular model and an imaging device |
WO2023186610A1 (en) * | 2022-03-28 | 2023-10-05 | Koninklijke Philips N.V. | Intravascular procedure step prediction |
EP4254428A1 (en) * | 2022-03-28 | 2023-10-04 | Koninklijke Philips N.V. | Intravascular procedure step prediction |
CN116172645B (zh) * | 2023-05-04 | 2023-07-25 | 杭州脉流科技有限公司 | 编织支架的型号推荐方法和计算机设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7226417B1 (en) | 1995-12-26 | 2007-06-05 | Volcano Corporation | High resolution intravascular ultrasound transducer assembly having a flexible substrate |
US6428930B2 (en) | 1997-12-26 | 2002-08-06 | Sanyo Electric Co., Ltd. | Lithium secondary battery |
US10542954B2 (en) * | 2014-07-14 | 2020-01-28 | Volcano Corporation | Devices, systems, and methods for improved accuracy model of vessel anatomy |
CN113544737A (zh) * | 2019-01-13 | 2021-10-22 | 光实验成像公司 | 用于动脉图像区域及其特征的分类的系统和方法 |
-
2021
- 2021-08-26 CN CN202180053928.4A patent/CN116018651A/zh active Pending
- 2021-08-26 US US18/023,829 patent/US20230237652A1/en active Pending
- 2021-08-26 EP EP21769931.3A patent/EP4208874A1/en active Pending
- 2021-08-26 WO PCT/EP2021/073572 patent/WO2022048980A1/en unknown
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118121230A (zh) * | 2024-05-07 | 2024-06-04 | 首都医科大学附属北京朝阳医院 | 下肢静脉血流压力分析方法、装置、存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
US20230237652A1 (en) | 2023-07-27 |
WO2022048980A1 (en) | 2022-03-10 |
EP4208874A1 (en) | 2023-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230237652A1 (en) | Venous compression site identification and stent deployment guidance, and associated devices, systems, and methods | |
CN106572824B (zh) | 狭窄评估 | |
US11596384B2 (en) | Intraluminal ultrasound vessel border selection and associated devices, systems, and methods | |
JP7304367B2 (ja) | ステント拡張ディスプレイ、システム及び方法 | |
US20240023928A1 (en) | Speed determination for intraluminal ultrasound imaging and associated devices, systems, and methods | |
WO2020084039A1 (en) | Intraluminal ultrasound navigation guidance and associated devices, systems, and methods | |
CN115363569A (zh) | 在存在医学设备的情况下的图像分析 | |
JP2018519018A (ja) | 血管内画像化システムインターフェイス及びステント検出方法 | |
US20230051383A1 (en) | Automatic intraluminal imaging-based target and reference image frame detection and associated devices, systems, and methods | |
US20230008714A1 (en) | Intraluminal image-based vessel diameter determination and associated devices, systems, and methods | |
US20230045488A1 (en) | Intraluminal imaging based detection and visualization of intraluminal treatment anomalies | |
US10278662B2 (en) | Image processing apparatus and medical image diagnostic apparatus | |
US20230190225A1 (en) | Intravascular imaging assessment of stent deployment and associated systems, devices, and methods | |
US20230190228A1 (en) | Systems, devices, and methods for coregistration of intravascular data to enhanced stent deployment x-ray images | |
JP6918484B2 (ja) | 画像処理装置及び医用画像診断装置 | |
EP4201342A1 (en) | Intravascular ultrasound imaging for calcium detection and analysis | |
WO2023118080A1 (en) | Intravascular ultrasound imaging for calcium detection and analysis | |
US20230190227A1 (en) | Plaque burden indication on longitudinal intraluminal image and x-ray image | |
US20230181156A1 (en) | Automatic segmentation and treatment planning for a vessel with coregistration of physiology data and extraluminal data | |
US20230190226A1 (en) | Intraluminal imaging for reference image frame and target image frame confirmation with deep breathing | |
CN118434349A (zh) | 血管内图像内的钙弧以及相关联的设备、系统和方法 | |
CN118434371A (zh) | 用于将血管内数据与增强型支架部署x射线图像共配准的系统、设备和方法 | |
JP2023080880A (ja) | 医用画像処理装置、x線診断装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |