CN118042992A - 管腔内超声血管区段识别和相关设备、系统和方法 - Google Patents

管腔内超声血管区段识别和相关设备、系统和方法 Download PDF

Info

Publication number
CN118042992A
CN118042992A CN202280066189.7A CN202280066189A CN118042992A CN 118042992 A CN118042992 A CN 118042992A CN 202280066189 A CN202280066189 A CN 202280066189A CN 118042992 A CN118042992 A CN 118042992A
Authority
CN
China
Prior art keywords
body lumen
lumen
ultrasound image
intraluminal
ivus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280066189.7A
Other languages
English (en)
Inventor
B·J·巴克
N·卡蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Philips Image Guided Therapy Corp
Original Assignee
Koninklijke Philips NV
Philips Image Guided Therapy Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Philips Image Guided Therapy Corp filed Critical Koninklijke Philips NV
Publication of CN118042992A publication Critical patent/CN118042992A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Vascular Medicine (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明提供了一种管腔内超声成像系统,其包括与管腔内超声成像导管通信的处理器。处理器被配置成接收与身体管腔的第一区段相关联的管腔内超声图像,该图像是从该身体管腔捕获的,该图像包括该身体管腔和第二身体管腔的描绘。在管腔内超声成像导管在该身体管腔内以回拉速度移动时,处理器接收获得的第二图像。第二图像也包括该身体管腔和第二身体管腔的描绘。处理器基于每一图像计算身体管腔特性,并基于与身体管腔特性和/或回拉速度相关联的模型确定针对第二图像的身体管腔的第二区段,并将第二区段的指示输出到显示器。

Description

管腔内超声血管区段识别和相关设备、系统和方法
技术领域
本文所述的主题涉及一种用于医学成像的系统。尤其是,本公开描述了与外周血管内超声或IVUS图像的获取、显示、识别和注释有关的多个方面。该系统尤其适用于(但并不专用于)血管疾病的诊断和治疗。
背景技术
各种类型的管腔内成像系统用于诊断和治疗疾病。例如,血管内超声(IVUS)成像被用作诊断工具,以便使患者体内的血管可视化。这有助于评估人体内的比如动脉或静脉之类的病变或受压的血管,从而确定治疗需要、优化治疗和/或评估治疗效果。
外周静脉介入使用比如X射线和血管内超声(IVUS)之类的成像技术来定位和评估病变部位,并引导和检查支架的放置。该过程的一个必要部分是在IVUS图像和/或X射线图像中识别指定的静脉区段(如髂总静脉)。目前这是由手工完成的,通常使用X射线和IVUS的组合。这种手工识别可能比较繁琐,而且容易出错。然而,准确的标记对于审核、偿付、记录保存和优化治疗计划非常重要。
本说明书的背景技术部分中所包含的信息(包括本文引用的任何文献及其任何描述或讨论)仅是出于技术参考的目的而被包括在内,不应被视为本公开的范围受其约束的主题。
发明内容
本公开涉及使用管腔内成像设备对患者进行管腔内成像,以及在一系列管腔内图像中自动识别血管区段的系统、设备和方法。这可以减少对X射线图像和人工区段识别的需求。这种自动识别依赖于通过计算机视觉算法从管腔内图像中识别出的界标,计算机视觉算法例如可包括机器学习或其他模式识别算法。然后,这些界标可由概率算法(如贝叶斯图网络)进行评估,该概率算法将这些界标与先验的解剖结构信息相匹配,以便识别每个图像帧的正确静脉区段。
由一台或多台计算机组成的系统可被配置成执行具体的操作或动作,因为系统上安装有软件、固件、硬件或它们的组合,它们在运行中导致或引起该系统执行动作。一个或多个计算机程序可被配置成执行具体操作或动作,因为它包括指令,当数据处理装置执行该指令时,该指令致使该装置执行动作。一个总体方面包括一种管腔内超声成像系统,其包括处理器电路,该处理器电路被配置成与管腔内超声成像导管通信,其中处理器电路被配置成:在管腔内超声成像导管被定位于患者的第一身体管腔内时接收由管腔内超声成像导管获得的第一管腔内超声图像,第一身体管腔包括多个区段,其中第一管腔内超声图像与多个区段中的第一区段相关联,且第一管腔内超声图像包括第一身体管腔和第二身体管腔的描绘,其中第一身体管腔包括第一组第一身体管腔特性,第二身体管腔包括第一组第二身体管腔特性;在管腔内超声成像导管在患者的第一身体管腔内以回拉速度移动时,接收由管腔内超声成像导管获得的第二管腔内超声图像,其中第二管腔内超声图像包括第一身体管腔和第二身体管腔的描绘;基于第二管腔内超声图像,计算第二组第一身体管腔特性和第二组第二身体管腔特性;基于模型确定多个区段中的与第二管腔内超声图像相关联的第二区段,其中该模型与第一组第一身体管腔特性、第一组第二身体管腔特性、第二组第一身体管腔特性、第二组第二身体管腔特性或回拉速度中的至少一项相关联;以及将第二区段的指示输出到与处理器电路通信的显示器。这方面的其他实施例包括相应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序,每个计算机系统、装置和计算机程序都被配置成执行该方法的动作。
实施方式可包括以下特征中的一个或多个。在一些实施例中,第一身体管腔包括多个子区段,第一管腔内超声图像与多个子区段中的第一子区段相关联,且处理器电路被进一步配置成:基于模型确定多个子区段中的与第二管腔内超声图像相关联的子区段,以及将第二子区段的指示输出到与处理器电路通信的显示器。在一些实施例中,处理器电路被进一步配置成在与处理器电路通信的显示设备上显示患者的第一身体管腔的示意图,其中该示意图包括:多个区段和子区段;以及第二区段和第二子区段的视觉指示。在一些实施例中,该模型包括状态转换矩阵。在一些实施例中,该模型包括贝叶斯模型、图网络、隐马尔可夫模型、U-net网络或深度学习网络中的至少一种。在一些实施例中,进一步基于被定位在第一身体管腔内且在第二管腔内超声图像中可见的导丝的轮廓或位置来确定与第二管腔内超声图像相关联的第二区段。在一些实施例中,进一步基于在第二管腔内超声图像中可见的患者的身体的骨骼特征的分割结果来确定与第二管腔内超声图像相关的第二区段。在一些实施例中,进一步基于从第一身体管腔分支出且在第二管腔内超声图像中可见的身体管腔的轮廓来确定与第二管腔内超声图像相关的第二区段。在一些实施例中,第一身体管腔特性或第二身体管腔特性包括轮廓面积、最小直径、最大直径、轮廓偏心率、轮廓中心位置、身体管腔之间的最短距离、可见的身体管腔的数量、可见的身体管腔的类型或这些中的任一个在第一管腔内超声图像和第二管腔内超声图像之间的变化中的至少一项。在一些实施例中,该模型是根据给定静脉区段的第一身体管腔特性中的至少一个的平均值和标准偏差训练或导出的。在一些实施例中,该模型是根据一个或多个经注释的图像、教科书数据或存储图像库训练或导出的。在一些实施例中,第一身体管腔是外周静脉,且多个区段包括下腔静脉(IVC)、汇合点、髂总静脉(CIV)、分支、髂外静脉(EIV)或股总静脉(CFV)中的至少一个。所述技术的实施方式可包括硬件、方法或过程,或计算机可访问介质上的计算机软件。
一个总体方面包括一种管腔内超声成像方法,其包括:在管腔内超声成像导管被定位于患者的第一身体管腔内时,在与管腔内超声成像导管通信的处理器电路处,接收由管腔内超声成像导管获得的第一管腔内超声图像,第一身体管腔包括多个区段,其中第一管腔内超声图像与多个区段中的第一区段相关联,第一管腔内超声图像包括第一身体管腔和第二身体管腔的图像,其中第一身体管腔包括第一组第一身体管腔特性,第二身体管腔包括第一组第二身体管腔特性;在管腔内超声成像导管在患者的第一身体管腔内以回拉速度移动时,接收由管腔内超声成像导管获得的第二管腔内超声图像,其中第二管腔内超声图像包括第一身体管腔和第二身体管腔的描绘;根据第二管腔内超声图像,计算第二组第一身体管腔特性和第二组第二身体管腔特性;基于模型确定多个区段中的与第二管腔内超声图像相关联的第二区段,其中该模型与第一组第一身体管腔特性、第一组第二身体管腔特性、第二组第一身体管腔特性、第二组第二身体管腔特性或回拉速度中的至少一项相关联;以及将第二区段或第二子区段的指示输出到与处理器电路通信的显示器。这方面的其他实施例包括相应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序,每个计算机系统、装置和计算机程序都被配置成执行该方法的动作。
实施方式可包括以下特征中的一个或多个。在一些实施例中,该方法还包括在与处理器电路通信的显示设备上显示患者的第一身体管腔的示意图,其中该示意图包括:多个区段;以及第二区段的视觉指示。在一些实施例中,该模型包括贝叶斯模型、图网络、隐马尔可夫模型、U-net网络或深度学习网络中的至少一种和状态转换矩阵。在一些实施例中,进一步基于以下中的至少一项来确定与第二管腔内超声图像相关联的第二区段:被定位在第一身体管腔内且在第二管腔内超声图像中可见的导丝的轮廓或位置、在第二管腔内超声图像中可见的患者的身体的骨骼特征的分割结果、或从第一身体管腔分支出且在第二管腔内超声图像中可见的身体管腔的轮廓。在一些实施例中,第一身体管腔特性或第二身体管腔特性包括轮廓面积、最小直径、最大直径、轮廓偏心率、轮廓中心位置、身体管腔之间的最短距离、可见的身体管腔的数量、可见的身体管腔的类型或这些中的任一个在第一管腔内超声图像和第二管腔内超声图像之间的变化中的至少一项。在一些实施例中,该模型是根据给定静脉区段的第一身体管腔特性中的至少一些的平均值和标准偏差、一个或多个经注释的图像、教科书数据或存储图像库中的至少一项训练或导出的。在一些实施例中,第一身体管腔是外周静脉,且多个区段包括下腔静脉(IVC)、汇合点、髂总静脉(CIV)、分支、髂外静脉(EIV)或股总静脉(CFV)中的至少一个。所述技术的实施方式可包括硬件、方法或过程,或计算机可访问介质上的计算机软件。
一个总体方面包括一种用于外周血管的血管内超声(IVUS)成像系统。该血管内超声成像系统包括IVUS成像导管,该IVUS成像导管被配置成在IVUS成像导管被定位于患者的第一外周血管内时获得IVUS图像,该第一外周血管包括多个区段和子区段;处理器电路,其被配置成与IVUS成像导管和显示器通信,其中处理器电路被配置成:在IVUS成像导管被定位于患者的第一外周血管内时接收由IVUS成像导管获得的第一IVUS图像,第一外周血管包括多个区段和子区段,其中第一IVUS图像与多个区段和子区段中的第一区段和第一子区段相关联,其中第一IVUS图像包括第一外周血管和第二外周血管的描绘,第一外周血管包括第一组第一血管特性,第二外周血管包括第一组第二血管特性;在IVUS成像导管在患者的第一外周血管内以回拉速度移动时,接收由IVUS成像导管获得的第二IVUS图像,其中第二IVUS图像包括第一外周血管和第二外周血管的描绘;根据第二IVUS图像计算第二组第一血管特性和第二组第二血管特性;基于第一组第一血管特性、第一组第二血管特性、第二组第一血管特性、第二组第二血管特性或回拉速度中的至少一个和概率模型,确定多个区段和子区段中的与第二IVUS图像相关联的第二区段和第二子区段;以及将第二区段或第二子区段的指示输出到显示器。这方面的其他实施例包括相应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序,每个计算机系统、装置和计算机程序都被配置成执行该方法的动作。
本发明内容部分以简化的形式介绍了一些构思,这些构思将在下文的具体实施方式部分中进一步描述。本发明内容部分并非旨在确定所要求保护的主题的关键特征或必要特征,也并不旨在限制所要求保护的主题的范围。如在权利要求中限定的,IVUS回拉虚拟静脉造影系统的特征、细节、实用性和优点的更广泛的介绍,将在下面的对本公开的各种实施例的书面描述中提供,并在附图中例示说明。
附图说明
将参照附图描述本公开的例示说明性实施例,其中:
图1是根据本公开的多个方面的管腔内成像系统的图解性示意图。
图2示出了根据本公开的至少一个实施例的人体内的静脉。
图3示出了根据本公开的至少一个实施例的人体内的血管(例如动脉和静脉)。
图4是根据本公开的至少一个实施例的用于识别成像探头当前位于哪个静脉区段的方法的呈框图形式的示意图。
图5是根据本公开的至少一个实施例的血管或其他身体管腔的示意图。
图6A是根据本公开的至少一个实施例的状态转换矩阵的图表视图。
图6B是示出了根据本公开的至少一个实施例的在一帧和下一帧之间穿过给定距离的概率的直方图。
图7是根据本公开的至少一个实施例的示例屏幕显示。
图8示出了根据本公开的多个方面的示例管腔内定向引导方法的流程图。
图9是根据本公开的实施例的处理器电路的示意图。
具体实施方式
本公开总体上涉及医学成像,包括使用管腔内成像设备进行的与患者的身体管腔相关联的成像。例如,本公开描述了用于在一系列IVUS图像中自动识别血管区段的系统、设备和方法。这可以减少对X射线图像的需求,从而降低患者和医生的辐射剂量。它还可以减少手工识别血管区段的需求,从而减少临床医生或临床团队的时间和注意力负担。这种自动识别依赖于通过计算机视觉算法从IVUS图像中识别出的界标,计算机视觉算法例如可包括机器学习或其他模式识别算法。然后,这些界标可由概率算法(如贝叶斯图网络)进行评估,该概率算法将这些界标与先验的解剖结构信息进行匹配,以便识别每个IVUS图像帧的正确静脉区段。
因此,本公开包括医学图像分析技术,其可包括深度学习、隐马尔可夫模型、贝叶斯或其他概率模型或时间序列建模中的一种或多种,并可应用于图像引导治疗、图像引导介入和其他领域。
在临床环境中,外周深静脉介入使用成像技术(如X射线和血管内超声)来评估临床上重要的慢性髂静脉阻塞、评估血栓后疾病、定位和评估病变部位,以及指导和检查支架的放置和部署。该过程的一个必要部分是在IVUS图像和/或X射线图像中识别指定的静脉区段(如髂总静脉、下腔静脉)。目前,这是由手工完成的,通常使用X射线和IVUS的组合。本公开能够实现自动识别IVUS图像中的静脉区段或其他血管或身体管腔区段,而无需X射线图像或手工区段识别。
减轻负担作用于多个层面。首先,在目前的系统中,精确识别静脉区段和区段过渡部需要拍摄附加的X射线图像,并暂停(甚至逆转)IVUS导管的回拉。此外,还必须在现场进行手工注释。这需要频繁使用X射线,这是现有系统的第二个缺点。众所周知,暴露于这种辐射不仅对患者有害,而且对临床医生和在整个职业生涯中的许多天里整天在具有X射线的情况下工作的工作人员也有害(也许更有害)。
通过直接从在一次顺利的IVUS回拉过程中获取的图像序列中得出所需的静脉区段定位,且无需减慢速度、手工注释或增加X射线剂量,本公开克服了这些缺点。
本文公开的设备、系统和方法可包括概率图模型,其在最高层面上描述了系统的静脉区段状态(即IVUS导管的末端或成像传感器的位置)。实际上,该末端可处于以下状态或位置:下腔静脉、汇合点、髂总静脉、分支、髂外静脉、股总静脉(可能的情况下,和大隐静脉)。这些状态中的每一种可被进一步细分为更小的小状态,从而指示出在静脉区段中的相对位置(起点、中间、终点)。
在t=0时(例如,回拉过程中的第一IVUS图像帧),系统处于给定状态或小状态的概率被针对每个状态或小状态进行设置。这种概率可依赖于关于回拉的信息(例如,它可能总是在下腔静脉中开始,或在由用户指定的其他位置处开始)。在每个时间步长处(例如,针对每个新帧),该系统可停留在相同的状态或位置,或者可转换到另一状态或位置;每个状态转换的概率被编码在状态转换矩阵中。
可以通过多个图像分析算法(例如,深度学习或DL算法)分析每个IVUS帧。这种分析的输出可包括静脉(或其他身体管腔)、与静脉平行延伸的0、1或2条动脉以及可存在于静脉内的导丝的分割结果。数字特征是从这些分割结果中导出的。这些特征可包括静脉和动脉横截面积/直径、动脉位置(或不存在)、导线存在和位置,以及静脉、动脉和导线的其他形状和位置特征。特征也可以是动态的,例如静脉面积的时间(帧到帧)梯度或动脉朝向或远离静脉的移动。
这些特征中的每一个的预期值都以具有特定于区段的参数的概率分布的形式按每个静脉区段来表示。这些参数可以根据文献预设,或者它们可以根据IVUS回拉过程中的观察值导出(即,模型可被优化),或两者的结合。
可以从图像帧中导出的另一特征是导管移动的速度(或者换句话说,两个连续的帧之间的距离,单位为毫米)。与其他特征不同的是,该特征并不根据特定于区段的预期值进行检查,而是用于调整转换矩阵,该转换矩阵管控着该系统从一个状态到另一个状态的进展(更高的速度意味着更快的进展)。
一旦所有模型参数被设置,新的观察结果(回拉、一系列IVUS帧)就可以通过模型进行分析,以便计算出产生该观察结果的最可能的状态序列(即每帧的静脉区段的识别结果)。从该状态序列中读取静脉区段开始/停止的帧位置,并反馈给用户,例如作为该系列IVUS图像或完整的IVUS回拉的纵向视图中的标签。在一个示例中,这些功能可被并入现有的IVUS软件和系统中。
通过计算或识别回拉序列中每个图像的最可能的区段,本公开极大地帮助临床医生标记血管区段。在与医学成像传感器(如管腔内超声传感器)通信的医学成像控制台(如管腔内成像控制台)上实施的本文所述的血管分割系统,提供了时间节省和所捕获的图像的位置确定性上的改进。这种改进的成像工作流程将原始成像数据转换为带注释的横截面和纵向图像以及解剖结构测量结果,而没有为减慢或暂停回拉、获取X射线图像或手工识别血管区段而通常需要的例程。通过允许更高效的工作流程和更有用的临床输出,这种非常规的方法改进了医疗成像控制台和传感器的功能。
血管分割系统可被实施为一组逻辑分支和数学运算,其输出可在显示器上查看,并由在处理器上执行的控制过程来操作,该处理器可接受来自键盘、鼠标或触摸屏界面的用户输入,并与一个或多个医学成像传感器(如管腔内超声传感器)通信。在这方面,控制过程响应于不同的传感器输入和用户动作来执行一些具体操作。处理器、显示器、传感器和用户输入系统的一些结构、功能和操作在本领域中是已知的,而其他结构、功能和操作则在本文中叙述,以便能够实现本公开的具有特性的新颖特征或方面。血管分割系统可包括血管的图形化表示以及静脉和动脉的分割信息。
这些描述仅是出于示例性的目的提供的,不应被视为限制本公开的范围。可以添加、删除或修改一些特征,而不脱离所要求保护的主题的精神。
出于促进对本公开的原理的理解的目的,现在将参考附图中所示的实施例,并且将使用具体语言来描述上述实施例。然而,应理解的是,对本公开的范围没有任何限制。对所描述的装置、系统和方法的任何改变和进一步修改,以及对本公开的原理的任何进一步应用,都被完全设想到且包括在本公开的范围内,如对于本公开有关的领域的技术人员来说通常会出现的那样。具体而言,已全部设想到关于一个实施例描述的特征、部件和/或步骤可与关于本发明的其他实施例描述的特征、部件和/或步骤相组合。然而,出于简洁的目的,这些组合的多种重复将不再单独描述。
图1是根据本公开的多个方面的包含IVUS回拉虚拟静脉造影系统的管腔内成像系统的图解性示意图。在一些实施例中,管腔内成像系统100可以是血管内超声(IVUS)成像系统。管腔内成像系统100可包括管腔内设备102、患者接口模块(PIM)104、控制台或处理系统106、监视器108和外部成像系统132,外部成像系统可包括血管造影术、超声、X射线、计算机断层扫描(CT)、磁共振成像(MRI)或其他成像技术、设备和方法。管腔内设备102被设定尺寸、被成形和/或以其他方式在结构上被布置成可被定位在患者的身体管腔内。例如,在各种实施例中,管腔内设备102可以是导管、导丝、导引导管、压力导丝和/或流量导丝。在一些情况下,系统100可以包括附加元件和/或可以在没有图1中所示的一个或多个元件的情况下实现。例如,系统100可以省略外部成像系统132。
管腔内成像系统100(或血管内成像系统)可以是适合在患者的管腔或脉管中使用的任何类型的成像系统。在一些实施例中,管腔内成像系统100是管腔内超声(IVUS)成像系统。在其他实施例中,管腔内成像系统100可包括被配置成用于前视管腔内超声(FL-IVUS)成像、管腔内光声(IVPA)成像、心内超声心动图(ICE)、经食道超声心动图(TEE)和/或其他合适的成像模式的系统。
可以理解的是,系统100和/或设备102可被配置成获得任何合适的管腔内成像数据。在一些实施例中,设备102可包括具有任何合适的成像模式(例如光学成像、光学相干断层扫描(OCT)等)的成像部件。在一些实施例中,设备102可包括任何合适的非成像部件,包括压力传感器、流动传感器、温度传感器、光纤、反射器、反射镜、棱镜、消融元件、射频(RF)电极、导体或其组合。一般来说,设备102可包括成像元件,以便获得与管腔120相关联的管腔内成像数据。设备102可被设定尺寸和被成形(和/或被配置成)用于插入患者的血管或管腔120。
系统100可被部署在具有控制室的导管室中。处理系统106可被设置于控制室内。可选地,处理系统106可被设置于其他地方,例如被设置于导管室本身内。导管室可包括无菌区,而其相关联的控制室可以是无菌的,或者可以不是无菌的,这取决于要执行的过程和/或医疗设施。导管室和控制室可用于执行任何数量的医学成像过程,如血管造影术、荧光透视、CT、IVUS、虚拟组织学(VH)、前视IVUS(FL-IVUS)、管腔内光声(IVPA)成像、血流储备分数(FFR)测定、冠状动脉血流储备(CFR)测定、光学相干断层扫描(OCT)、计算机断层扫描、心内超声心动图(ICE)、前视ICE(FLICE)、管腔内触诊、经食道超声、荧光透视和其他医学成像模式或其组合。在一些实施例中,设备102可从比如控制室的远程位置进行控制,使得操作员无需靠近患者。
管腔内设备102、PIM 104、监视器108和外部成像系统132可以直接或间接地与处理系统106通信联接。这些元件可通过有线连接(如标准铜链路或光纤链路)和/或通过使用IEEE 802.11Wi-Fi标准、超宽带(UWB)标准、无线FireWire、无线USB或其他高速无线网络标准的无线连接与医疗处理系统106通信。处理系统106可与一个或多个数据网络(例如基于TCP/IP的局域网(LAN))通信联接。在其他实施例中,可以使用不同的协议,如同步光网络(SONET)。在一些情况下,处理系统106可与广域网(WAN)通信连接。处理系统106可利用网络连接来访问各种资源。例如,处理系统106可以通过网络连接与医学数字成像和通信(DICOM)系统、图片存档和通信系统(PACS)和/或医院信息系统通信。
在高层面上,超声成像管腔内设备102从安装在管腔内设备102的远端附近的扫描仪组件110中所包括的换能器阵列124发射超声能量。超声能量被围绕扫描仪组件110的介质(如管腔120)中的组织结构反射,且超声回波信号被换能器阵列124接收。扫描仪组件110产生表示超声回波的电信号。扫描仪组件110可包括一个或多个单个的超声换能器和/或呈任何合适构造的换能器阵列124,比如平面阵列、曲面阵列、圆周阵列、环形阵列等。例如,在一些情况下,扫描仪组件110可以是一维阵列或二维阵列。在一些情况下,扫描仪组件110可以是旋转式超声设备。扫描仪组件110的有源区域可包括一种或多种换能器材料和/或由超声元件组成的一个或多个区段(例如,一行或多行、一列或多列和/或一个或多个取向),其可被统一地或独立地控制和激活。扫描仪组件110的有源区域可按各种基本或复杂的几何形状进行图案化或结构化。扫描仪组件110可被设置成呈侧视取向(例如,垂直于和/或正交于管腔内设备102的纵向轴线发射超声能量)和/或前视取向(例如,平行于和/或沿着该纵向轴线发射超声能量)。在一些情况下,扫描仪组件110在结构上被布置成以相对于该纵向轴线的倾斜角度沿着近侧或远侧方向发射和/或接收超声能量。在一些实施例中,超声能量发射可通过选择性地触发扫描仪组件110的一个或多个换能器元件而以电子方式进行转向。
扫描仪组件110的超声换能器可以是压电式微机械超声换能器(PMUT)、电容式微机械超声换能器(CMUT)、单晶体、锆钛酸铅(PZT)、PZT复合材料、其他合适的换能器类型和/或其组合。在一个实施例中,超声换能器阵列124可包括在1个声学元件到1000个声学元件之间的任何适当数量的单个换能器元件或声学元件,包括诸如2个声学元件、4个声学元件、36个声学元件、64个声学元件、128个声学元件、500个声学元件、812个声学元件和/或其他更大或更小的值。
PIM 104将接收到的回波信号传送到处理系统106,在那里超声图像(包括流动信息)被重建并显示在监视器108上。控制台或处理系统106可包括处理器和存储器。处理系统106可以是能够操作的以利于本文描述的血管内成像系统100的功能。例如,处理器可以执行存储在非暂时性有形计算机可读介质上的计算机可读指令。
PIM 104利于处理系统106和管腔内设备102中所包括的扫描仪组件110之间的信号通信。这种通信可包括向管腔内设备102内的集成电路控制器芯片提供命令,选择换能器阵列124上的具体元件来用于发射和接收,向集成电路控制器芯片提供发射触发信号,以激活发射器电路来生成用于激励选定的换能器阵列元件的电脉冲,和/或经由被包括在集成电路控制器芯片上的放大器,接受从选定的换能器阵列元件接收的经放大的回波信号。在一些实施例中,PIM 104在将数据转送到处理系统106之前执行回波数据的初步处理。在此类实施例的示例中,PIM 104执行数据的放大、过滤和/或聚合。在一个实施例中,PIM 104还提供高压和低压DC电力以支持包括位于扫描仪组件110内的电路的管腔内设备102的操作。
处理系统106通过PIM 104从扫描仪组件110接收回波数据并且处理该数据,以便重建位于围绕扫描仪组件110的介质中的组织结构的图像。一般而言,设备102可用在患者的任何合适的解剖结构和/或身体管腔内。处理系统106输出图像数据,使得血管或管腔120的图像,例如管腔120的横截面IVUS图像,被显示在监视器108上。管腔120可以代表被流体填充或流体包围的结构,既包括自然的,也包括人造的。管腔120可以在患者体内。管腔120可以是血管,比如患者脉管系统的动脉或静脉,包括心脏脉管系统、外周脉管系统、神经脉管系统、肾脉管系统和/或身体内部的任何其他合适的管腔。例如,设备102可用于检查任何数量的解剖结构位置和组织类型,包括但不限于:器官,其包括肝脏、心脏、肾脏、胆囊、胰腺、肺;管道;肠;神经系统结构,其包括大脑、硬脑膜囊、脊髓和周围神经;尿路;以及心脏的血液、腔室或其他部分内的瓣膜,和/或身体的其他系统。除了自然结构之外,设备102还可用于检查人造结构,例如但不限于心脏瓣膜、支架、分流器、过滤器和其他设备。
控制器或处理系统106可包括处理电路,该处理电路具有与存储器和/或其他合适的有形计算机可读存储介质通信的一个或多个处理器。控制器或处理系统106可被配置成执行本公开的一个或多个方面。在一些实施例中,处理系统106和监视器108是独立的部件。在其他实施例中,处理系统106和监视器108被集成在单个部件中。例如,系统100可包括触摸屏设备,其包括具有触摸屏显示器和处理器的壳体。系统100可包括任何合适的输入设备,如触摸感应板或触摸屏显示器、键盘/鼠标、操纵杆、按钮等,以便供用户选择监视器108上显示的选项。处理系统106、监视器108、输入设备和/或其组合可被称为系统100的控制器。控制器可与设备102、PIM 104、处理系统106、监视器108、输入设备和/或系统100的其他部件通信。
在一些实施例中,管腔内设备102包括一些类似于传统固态IVUS导管的特征,例如可从Philips获得的导管和美国专利No.7,846,101中公开的那些,该美国专利在此通过引用整体并入。例如,管腔内设备102可包括在管腔内设备102的远端附近的扫描仪组件110和沿着管腔内设备102的纵向主体延伸的传输线束112。线缆或传输线束112可包括多个导体,该多个导体包括1个、2个、3个、4个、5个、6个、7个或更多个导体。
传输线束112在管腔内设备102的近端处端接在PIM连接器114中。PIM连接器114将传输线束112电联接到PIM 104并且将管腔内设备102物理联接到PIM 104。在一个实施例中,管腔内设备102还包括导丝退出端口116。因此,在一些实例中,管腔内设备102是快速交换导管。导丝退出端口116允许将导丝118朝向远端插入,以便引导管腔内设备102通过管腔120。
监视器108可以是显示设备,如计算机监视器或其他类型的屏幕。监视器108可用于向用户显示可选择的提示、指令和成像数据的可视化表示。在一些实施例中,监视器108可用于向用户提供特定于过程的工作流程,以便完成管腔内成像过程。处理器电路可被配置成生成屏幕显示并向监视器108输出显示数据以便显示该屏幕显示。
外部成像系统132可被配置成获得患者的身体(包括血管120)的X射线、射线照相、血管造影/静脉造影(例如,在具有造影剂的情况下)和/或荧光透视(例如,在没有造影剂的情况下)图像。外部成像系统132还可被配置成获得患者的身体(包括血管120)的计算机断层扫描图像。外部成像系统132可包括外部超声探头,其被配置成用于在被定位于体外时获得患者的身体(包括血管120)的超声图像。在一些实施例中,系统100包括其他成像模式系统(例如MRI),以便获得患者的身体(包括血管120)的图像。处理系统106可将患者的身体的图像与通过管腔内设备102获得的管腔内图像结合使用。
图2示出了根据本公开的至少一个实施例的人体内的静脉。例如,图中显示并标记了下部躯干和腿部的静脉。例如,标记可以表示本领域认可的静脉区段。本公开的多个方面可以与外周血管(例如,躯干或腿部的静脉)有关。可见的是下腔静脉(IVC)220、左右髂总静脉(CIV)240、左右髂外静脉(EIV)260和左右股总静脉(CFV)270。还可见的是汇合点230和多个分支250,在汇合点230处IVC 220分成左右髂总静脉240,在多个分支250处小静脉从大静脉(被标记出)分支出。
还可见的是管腔内设备102,如IVUS导管,其包括扫描仪组件110,该扫描仪组件110包括换能器阵列124。例如,管腔内设备102可由临床医生插入,然后以稳定的速度回拉(例如,沿回拉方向210),以便从静脉内部收集图像或其他数据。导管102的插入和/或回拉可通过导丝118来辅助。
各种类型的管腔内成像系统被用于诊断和治疗疾病。例如,血管内超声(IVUS)成像被用作用于使患者体内的血管可视化的诊断工具。这会有助于评估人体内的病变或受压的血管(例如动脉或静脉),以便确定治疗需要、优化治疗和/或评估治疗的效果(例如,通过在治疗之前和之后对血管成像)。
在一些情况下,使用包括一个或多个超声换能器的IVUS设备进行管腔内成像。IVUS设备可进入血管并被引导至待成像的区域。换能器发射超声能量并接收从血管反射的超声回波。对超声回波进行处理,以便生成所关注的血管的图像。所关注的血管的图像可包括位于血管内的一个或多个病变或阻塞部被和/或因受压而变窄的部位。可在血管内放置支架以便处置这些阻塞部或狭窄,并可进行管腔内成像以便查看支架在血管内的放置情况。其他类型的治疗包括血栓切除术、消融术、血管成形术、药物治疗等。
了解具体的IVUS帧属于哪个动脉或血管区段可能具有挑战性且耗费时间,尤其是因为医生在专用IVUS屏幕上可能只看到横截面IVUS图像和重建的纵向视图(图像纵向显示或ILD),而没有任何解剖结构参考(骨性界标)供其参考。要了解IVUS探头相对于患者的解剖结构的位置,医生目前需要在回拉期间查看荧光透视X射线图像。此外,在外周血管介入治疗过程中,区段的边界的解剖结构参照物是与其他血管的汇合点和分支,医生和其他用户在进行回拉时可在IVUS上识别这些汇合点和分支,且他们必须在头脑中记住这些汇合点和分支。临床医生也可以叫出所关注的区域,以便由可能不太专业的其助手进行标记。
图3示出了根据本公开的至少一个实施例的人体内的血管(例如动脉和静脉)。例如,标记出了人体的静脉。本公开的多个方面可以与外周血管有关,例如躯干或腿部的静脉和动脉。可见的有下腔静脉(IVC)220、髂总静脉(CIV)240、髂外静脉(EIV)260、腹主动脉320、髂总动脉330和髂外动脉350。此外,还可见的有脊柱310、髋骨或髂骨340以及两处压迫部360,在压迫部360处动脉压靠在静脉上,使静脉的形状变形。这些列出的解剖结构特征中的任何一个,包括其形状及其相对位置,都可用作用于IVUS图像中的特征识别的界标特征。
图4是根据本公开的至少一个实施例的用于识别成像探头当前位于哪个静脉区段的方法400的呈框图形式的示意图。在一些示例中,方法400可包括贝叶斯图网络。可见的有在时间t-1时的静脉状态(例如,区段名称或缩写和/或小区段名称或缩写)410、在时间t时的静脉状态420和在时间n时的静脉状态430。在一个示例中,动脉可靠近静脉,使其出现在从静脉内获取的IVUS图像中。还可见的有在时间t-1时测量到的或估计出的回拉速度440,以及在时间t时测量到的或估计出的回拉速度45。在图4所示的非限制性示例中,方法400还包括一个或多个测量到的、计算出或估计出的动脉特性460,以及一个或多个测量到的、计算出的或估计出的静脉特性470,这些特性例如可以直接或间接地从在回拉期间生成的IVUS图像中导出,使得在时间t时的静脉特性和动脉特性可以从在时间t时可用的最新帧或IVUS图像中导出。方法400的输出是针对时间t的被分段的帧或IVUS图像480,其包括最可能的当前区段的名称或缩写的注释。
箭头表示依赖关系:在时间t时的静脉区段状态的状态420依赖于在时间t-1时的状态410,而例如静脉偏心率和面积之类的具体值(例如,从在时间t时的被分段的帧图像中导出的)在一种静脉状态下比在另一种静脉状态下更有可能被观察到,例如,在静脉状态IVC下比在静脉状态CFV下更有可能观察到较大的静脉面积。应注意的是,动脉位置、静脉偏心率和静脉面积只是动脉特征460和静脉特性470的示例,不应被理解为限制性的。
可以采用多种分割算法。在一个示例中,回拉过程中的每一个图像帧都可以通过几种基于深度学习(DL)的分割算法来进行分析,包括(但不必限于):
管腔分割:返回包含导管的静脉的轮廓
动脉分割:在帧中可见的所有动脉的轮廓
非管腔静脉分割:从管腔分离出来的静脉的轮廓
导丝分割:导丝的轮廓或位置,当IVUS过程包括进入左腿和右腿两者的静脉时,该导丝在下腔静脉和汇合点处是可见的。
脊骨或其他骨骼特征的分割
每个分割或检测模型可使用现有的DL方法,如U-net网络。管腔和动脉分割可能尤其重要,其他类型的界标是可选的或不太重要。分割算法可各自返回描述轮廓的坐标集,然后该坐标集可被用于提取特征,比如:
轮廓区域
最小直径/最大直径
轮廓偏心率
轮廓中心位置
例如管腔轮廓与最近的动脉轮廓之间的最短距离
在一帧中可见的动脉的数量
一些特征的时间导数(例如,帧与帧的差异)。
然后,可限定模型490,其返回针对当前帧的最可能的静脉区段,从而得到被分段的帧480。模型490可以是这样的数学模型,即其在数学/逻辑上将动脉特征460和/或静脉特性470相互关联。在一些实施例中,模型490是概率模型、贝叶斯模型、图网络、U-net网络、深度学习网络和/或其他合适的数学逻辑。在一些实施例中,模型490是隐马尔可夫模型(HMM)。HMM可被视为一种具体类型的概率或贝叶斯模型,其通常用于处理时间序列数据。在一个示例中,静脉区段的可能性可以从两个来源导出。
首先,对于每一区段,训练或定义过程都会针对上述特征收集足够的统计数据。例如,此类统计数据可被表示为具体的静脉区段内的此类特征的所有观测值的平均值和标准偏差。为了收集这些统计数据,该过程可以使用先前生成并存储的经注释的回拉库(其指示静脉区段的起点/终点),以及先前描述的所有血管轮廓和其他可识别特征。这些轮廓可由人类注释者生成,或者可以来自分割算法。除了平均值/标准偏差之外,还可以使用其他描述,例如平均向量和协方差矩阵、非正态分布、特征值直方图,或甚至是经过训练以便从所收集的数据中学习特征的可能性的算法。静脉420和血管特征(例如动脉特征460和静脉特征470)之间的箭头描述了这种依赖关系。
其次,管腔内成像设备(尤其是换能器阵列)在第t帧时位于一定的静脉区段的可能性取决于它在第t-1帧中的位置(在图4中通过位于要素410和420(Vt-1和Vt)之间的箭头指示)。例如,在单个时间步长内从下腔静脉直接跳到股总静脉是高度不可能的。因此,HMM或其他概率模型490可包括转换矩阵T,其描述了对于所有状态来说从一个状态(静脉区段)跳转到另一个状态或保持处于相同状态的可能性。
对于一些实施例来说,这两个要素的限定足以定义HMM模型或其他概率模型。然而,动脉也与待识别的静脉平行延伸,并具有其自己的指定区段。因此,可以利用位于静脉状态415、425和435旁边的动脉状态(At-1、At、An)对概率模型490进行扩展。这些动脉状态可以具有其自己的转换矩阵T,且可以按照每个动脉状态和每个静脉状态收集特征统计数据。因此,动脉轮廓特征可按照每个动脉状态更加一致地限定,而在静脉状态中管腔特征更加均匀。动脉状态At(425)和静脉状态Vt(420)之间的线进一步指示出,动脉和静脉的一些组合是可能的,而其他组合是不可能的(或甚至在生物学上是不可能的)。例如,不可能在CFV旁边发现主动脉。
图5是根据本公开的至少一个实施例的血管或其他身体管腔120的示意图500。该示意图示出了将管腔120划分为多个区段510,以及将每个区段划分为多个子区段520(在该图中以竖条表示)。每个区段510的子区段520的数量是根据关于每个区段的长度的先验信息和回拉速度的估计或指示导出的。
通常情况下,导管会在同一静脉区段510中停留多帧(例如50至100帧),然后再移动到下一个区段,原因很简单,因为导管需要时间来穿过该区段。这个时间是由以毫米为单位的区段长度和导管被回拉的速度来限定的。为了并入已知的静脉区段510的典型长度,每个区段510被分成多个更小的子区段520。在一个示例中,每个子区段的长度为一毫米,但也可以使用其他更大或更小的长度来代替或补充。每帧的子区段的数量与区段长度的先验信息(例如教科书)成正比,且与估计出的回拉速度成反比(例如,更快的回拉将在更少的帧期间穿过相同的距离)。仍然可按照每个完整的大的区段510来收集特征统计数据:在这种情况下,概率模型中的每个大区段的子区段520将使用相同的特征均值和方差来评估每个帧中的轮廓特征。替代性地,当这些特征在整个区段内具有已知方差时,可以针对同一区段内的不同子区段对一些或全部特征分配不同的均值。例如,导丝或最近分支出的静脉可在CIV的第一(最头端的)子区段中可见,但在较尾端的子区段中不可见。
转换矩阵T现在可被限定为概率函数。例如,如果子区段520的数量是回拉序列中的图像帧的数量的两倍,并且子区段520被从左到右编号为0...N,那么对于任意n,从任意子区段n开始的最可能的状态转换可被定义为到子区段n+2的步长。这意味着,如果静脉区段序列的估计仅取决于转换矩阵(即,在没有IVUS图像信息的情况下),则该序列将仅包括步长为2的转换:0、2、4、...、N。这样的序列将与图5中所选的(子)区段序列具有相同的相对划分,例如,它将遵循关于区段长度的先验信息。在概率模型几乎没有或没有图像信息可用的情况下,这种选择可能是合适的。
可以允许从n到n+1、n+3或到n(保持在同一子区段内)或n-1(返回)的状态转换,但具有较低的可能性。这有利于在观察到的图像特征与先验信息之间的互动:可以进行除了步长为2之外的状态转换,但前提是这会导致当前帧中观察到的图像特征具有较高的可能性。
图6A是根据本公开的至少一个实施例的状态转换矩阵600的图表视图。如上文图5所述,状态转换矩阵600可被选择为具有行610和列620的矩阵,其包含多个状态转换概率630。在图6A的示例中,状态转换矩阵630是带状对角矩阵,其中较高的状态转换概率630用较亮的颜色表示,较低的状态转换概率用较暗的颜色表示。在本示例中,每个状态转换概率的行号表示管腔内成像设备在给定时间t时所处的子区段编号,且基于管腔内成像设备穿过身体管腔的运动,沿该行的最高值表示下一个时间点t+1时的最可能的子区段编号。
图6B是示出了根据本公开的至少一个实施例在一帧和下一帧之间穿过给定距离的概率的直方图640。例如,直方图640可以显示由来自图6A的状态转换矩阵600的行610表示的可能的净移动。在此示例中,x轴660表示从时间t到时间t+1的移动距离,y轴650表示概率。因此,直方图640中的每个条641的高度表示给定距离的转换可能性。在此示例中,最高可能性在2处,表示在时间t和时间t+1之间从状态n到n+2的状态转换。为了简单性或计算效率,超出从n-6至n+9的带(或任何其他期望的阈值范围)的值可被设为零。
在一些实施例中,还可以使用依赖于回拉速度的转换矩阵来增强概率模型490。上述的转换矩阵假定了恒定的回拉速度,反映在(例如)n到n+2的统一的最可能的状态转换中,这意味着管腔内成像设备在一帧或时间步与后续的帧或时间步之间移动两个子区段(例如两毫米)。然而,如果回拉速度估计值可用,则它们也可以反映在状态转换矩阵中。较高的回拉速度意味着较大的状态转换步长(跳过更多的子区段)是可能的,这将被实现为图6B中的数值向右移动(例如,使最可能的步长是4而不是2)。类似地,管腔内成像设备(如导管或导丝)静止不动的指示将有利于为0的步长,而回推(导管反转方向)将有利于负的步长,如-1。
对于回拉过程中的每一帧来说,回拉速度估计值是可用的。因此,转换矩阵变得与时间/帧相关。从状态Vt-1到Vt的每个状态转换现在都依赖于转换矩阵Tt-1,转换矩阵Tt-1本身是估计出的回拉速度St-1的函数。现在这个与时间相关的状态转换矩阵仍然可以像以前一样用于概率模型计算,且不需要进一步的调整。
图7是根据本公开的至少一个实施例的示例屏幕显示700。屏幕显示700包括以管腔内传感器图像730(例如IVUS图像)为特征的横截面图像窗口705。此外,横截面图像窗口705还包括帧编号710和已识别的区段名称或缩写750(其例如可以是通过图4的方法400识别出的区段名称或缩写)。横截面图像窗口705还包括血管边界的自动绘制的轮廓740,该轮廓已被用于得出血管统计数据720。例如,屏幕显示700可显示在回拉过程后记录的数据,或在回拉期间获得的部分数据。
边界检测、图像处理、图像分析和/或模式识别的示例包括于2001年3月13日授权的以D.Geoffrey Vince、Barry D.Kuban和Anuja Nair为发明人的名称为“VASCULARPLAQUE CHARTERIZATION”的美国专利No.6,200,268、于2002年4月30日授权的以JonD.Klingensmith、D.Geoffrey Vince和Raj Shekhar为发明人的名称为“INTRAVASCULARULTRASONIC ANALYSIS USING ACTI VE CONTOUR METHOD AND SYSTEM”的美国专利No.6,381,350、于2006年7月11日授权的以Anuja Nair、D.Geoffrey Vince、Jon D.Klingensmith和Barry D.Kuban为发明人的名称为“SYSTEM AND METHOD OF CHARACTERIZING VASCULARTISSUE”的美国专利No.7,074,188、于2007年2月13日授权的以D.Geoffrey Vince、AnujaNair和Jon D.Klingensmith为发明人的名称为“NON-INVASIVE TISSUE CHARACTERIZATIONSYSTEM AND METHOD”的美国专利No.7,175,597、于2007年5月8日授权的以JonD.Klingensmith、Anuja Nair、Barry D.Kuban和D.Geoffrey Vince为发明人的名称为“SYSTEM AND METHOD FOR VASCULAR BORDER DETECTION”的美国专利No.7,215,802、于2008年4月15日授权的以Jon D.Klingensmith、D.Geoffrey Vince、Anuja Nair和BarryD.Kuban为发明人的名称为“SYSTEM AND METHOD FOR IDIFYING A VASCULAR BORDER”的美国专利No.7,359,554,以及于2008年12月9日授权的以Jon D.Klingensmith、Anuja Nair、Barry D.Kuban和D.Geoffrey Vince为发明人的名称为“SYSTEM AND METHOD FORVASCULAR BORDER DETECTION”的美国专利No.7,463,759,这些专利的教导通过引用整体地并入本文。
在图7所示的示例中,屏幕显示700还可选地包括由多个横截面图像770组成的纵向图像760。纵向图像760显示IVC 220、汇合点230、CIV 240、分支250、EIV 260和CFV 270。在一些实施例中,可对同一静脉(或其他身体管腔)执行两次回拉:一次是获取纵向图像,另一次是获取所选定的关注点的详细信息。在这种情况下,该系统可基于如上文在图4至图6中确定的管腔内成像设备的当前位置,在纵向图像760上放置和移动位置指示标记或“进度条(scrubber)”780。在其他示例中,在手术后记录中对细节进行检查,且可以将进度条或位置指示标记780放置在与图像700相对应的准确的帧位置处,而不是实际执行第二次回拉。在一些实施例中,概率模型可以是根据从纵向图像的经注释的版本训练或导出的,而不是根据教科书数据或存储图像库训练或导出的。
图8示出了根据本公开的多个方面的示例管腔内定向引导方法800的流程图。可以理解的是,方法800的步骤可以以不同于图8所示的顺序执行,在其他实施例中在这些步骤之前、期间和之后可以提供附加步骤,和/或可以替换或取消所述的步骤中的一些。例如,这些步骤可以作为编码指令在处理器(如图1的处理系统106或图9的处理器电路950)上执行,并响应于临床医生或其他用户的输入显示在例如图1的监视器108上。根据实现方式,这些步骤可以在回拉过程中实时或近乎实时地执行,或者可以在该过程后使用所记录的数据执行,或其组合。
在步骤810中,系统被初始化并准备成像。在一个示例中,管腔内设备已被插入所关注的血管中并准备开始成像过程。在一些实施例中,用户可以在该过程(例如,IVUS回拉过程)开始时使用方向信息初始化IVUS成像系统,例如进入身体(例如,右侧或左侧股静脉)和目标解剖结构的入口点或进入点或移动方向。系统可利用这些信息来选择具体算法、数据集或身体区域进行图像识别。在其他实施例中,无需用户输入。
在步骤820中,IVUS成像系统100捕获IVUS图像。此类图像可在该过程(例如回拉过程)期间被离散地或连续地捕获,并被存储在处理系统106的存储器中。
在步骤830中,处理器106对所捕获的IVUS图像执行边界检测、图像处理、图像分析和模式识别,以识别解剖结构界标(例如,具体的静脉和动脉、静脉或动脉之间的分支点、骨、器械等)。在执行回拉过程时,算法检测这些界标,如上文图4至图6所述。
在步骤840中,处理器识别IVUS成像探头当前最可能所处的区段,如上文图4至图6所述。
在步骤870中,处理系统更新显示器以显示探头当前所处的区段的名称,和/或将当前区段名称与当前IVUS图像帧一起存储在存储器中。然后执行返回到步骤820。在对记录的数据执行该方法的一些实施例中,显示器可只更新一次,以显示所有区段标记。
本领域的普通技术人员将理解,对于一些实施例,上述步骤中的一个或多个步骤可被取消或以不同的顺序执行,并且可添加其他步骤。
总体而言,上述特征使个系统能够将界标之间的所有IVUS图像分组并标记为属于患者的血管的具体指定区段。该系统会相应地自动计算用于诊断该区段的相关指标(例如压迫),突出显示需要注意的区域,并指示IVUS帧的相对解剖结构位置。
图9是根据本公开的实施例的处理器电路950的示意图。处理器电路950可以在超声成像系统100或其他设备或工作站(例如第三方工作站、网络路由器等)中实现,或者可以根据实现方法的需要在云处理器或其他远程处理单元中实现。如图所示,处理器电路950可包括处理器960、存储器964和通信模块968。这些元件可以彼此直接通信或例如通过一个或多个总线间接通信。
处理器960可包括中央处理单元(CPU)、数字信号处理器(DSP)、ASIC、控制器或通用计算设备、精简指令集计算(RISC)设备、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他相关逻辑设备(包括机械和量子计算机)的任意组合。处理器960还可包括被配置成执行本文所述的操作的另一硬件设备、固件设备或其任意组合。处理器960也可以被实现为计算设备的组合,例如,DSP和微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器或任何其他此类配置。
存储器964可包括缓存存储器(例如,处理器960的缓存存储器)、随机存取存储器(RAM)、磁阻式RAM(MRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存盘、固态存储器设备、硬盘驱动器、其他形式的易失性和非易失性存储器,或者不同类型的存储器的组合。在一个实施例中,存储器964包括非暂时性计算机可读介质。存储器964可以存储指令966。指令966可包括这样的指令,即,当由处理器960执行时,该指令使处理器960执行本文所描述的操作。指令966也可被称为代码。术语“指令”和“代码”应被广义地解释为包括任何类型的计算机可读语句。例如,术语“指令”和“代码”可以指一个或多个程序、例程、子例程、函数、过程等。“指令”和“代码”可包括单个计算机可读语句或许多计算机可读语句。
通信模块968可包括任何电子电路和/或逻辑电路,以利于处理器电路9509和/或其他处理器或设备之间的数据的直接通信或间接通信。在这方面,通信模块968可以是输入/输出(I/O)设备。在一些实例中,通信模块968利于处理器电路950和/或超声成像系统100的各种元件之间的直接通信或间接通信。通信模块968可以通过多种方法或协议在处理器电路950内部进行通信。串行通信协议可包括但不限于US SPI、I2C、RS-232、RS-485、CAN、以太网、ARINC 429、MODBUS、MIL-STD-1553或任何其他合适的方法或协议。并行协议包括但不限于ISA、ATA、SCSI、PCI、IEEE-488、IEEE-1284和其他合适的协议。在适当的情况下,可通过UART、USART或其他适当的子系统来桥接串行通信和并行通信。
外部通信(包括但不限于软件更新、固件更新、处理器与中央服务器之间的预设共享或来自超声设备的读数)可使用任何合适的无线或有线通信技术来完成,例如线缆接口(比如USB、micro USB、Lightning或FireWire接口)、蓝牙、Wi-Fi、ZigBee、Li-Fi或蜂窝数据连接(如2G/GSM、3G/UMTS、4G/LTE/WiMax或5G)。例如,蓝牙低功耗(BLE)无线电可用于建立与云服务的连接、传输数据和接收软件补丁。控制器可被配置成与远程服务器或本地设备(如笔记本电脑、平板电脑或手持设备)进行通信,或包括能够显示状态变量和其他信息的显示屏。信息也可以在比如USB闪存盘或记忆棒之类的物理介质610上传输。
在上述的示例和实施例的基础上,可以有许多变化。例如,血管识别系统可用于除了所述的那些之外的体内解剖结构系统,或可用于对除了所述的那些之外的其他疾病类型、对象类型或过程类型进行成像。本文所描述的技术可应用于各种类型的管腔内成像传感器,无论是现有的还是以后开发的。例如,如果静脉区段在IVUS获取期间或之后自动出现在用户的屏幕上,而无需人工介入,则包括用于静脉区段检测的自动方法的任何系统均可被视为采用了本文所述的技术。本公开可应用于图像引导介入的IVUS领域。进一步的应用可以考虑用在由移动传感器沿着从A到B的轨迹采集图像的任何领域,其中至少一些关于轨迹和每个预定义的子轨迹的预期观测结果/测量结果的先验信息是可用的。
在一些实施例中,本文公开的设备、方法和系统的共同使用将作用于完整的(例如,记录的)图像序列。这可包括使用全套回拉帧或部分回拉(包括部分回拉序列,每次从帧1到当前的“实时”帧)。虽然不使用全部回拉可能无法提供最佳结果,但使用与使用全部回拉的方案相同的方法、模型和甚至在很大程度上相同的代码,在技术上是可行的。在一些情况下,所提出的模型的最佳使用是作用于完整的IVUS图像序列,并在回拉完成后生成完整的区段检测输出,而不是在每一帧后生成区段预测。
构成本文所述技术的实施例的逻辑操作被不同地称为操作、步骤、对象、元件、部件或模块。此外,应理解的是,这些操作可以按任何顺序执行,除非明确地另外要求,或者要求的语言内在地需要特定的顺序。所有的方向性提法,例如,上、下、内、外、向上、向下、左、右、侧、前、后、顶、底、上方、下方、竖直、水平、顺时针、逆时针、近侧和远侧,仅被用于识别的目的,以便帮助读者理解所要求保护的主题,并且不产生限制,尤其是对于血管分割系统的位置、取向或使用。连接的提法,例如,附接、联接、连接和接合,应作广义的解释,且可包括位于元件集合之间的中间构件和元件之间的相对运动,除非另有说明。因此,连接的提法不必意味着两个元件是直接连接和呈相互固定的关系。术语“或”应被解释为“和/或”,而不是“排他性地或”。除非在权利要求中另有说明,否则所述的数值应被解释为仅是例示说明性的,而不应被视为限制性的。
上述说明书、示例和数据提供了如权利要求中限定的血管分割系统的示例性实施例的结构和用途的完整描述。尽管上文对所要求保护的主题的各种实施例进行了具有一定程度的特性的描述,或参照了一个或多个单独的实施例,但本领域技术人员可以在不脱离所要求保护的主题的精神或范围的情况下对所公开的实施例进行大量修改。还可以设想到其它的实施例。意图在于,上述描述中包含的和附图中显示的所有事项应被解释为仅用于例示说明具体的实施例,而不是限制性的。可以对细节或结构进行修改,而不脱离如以下权利要求中所限定的主题的基本要素。

Claims (20)

1.一种管腔内超声成像系统,包括:
处理器电路,其被配置成用于与管腔内超声成像导管通信,其中所述处理器电路被配置成:
在所述管腔内超声成像导管被定位于患者的第一身体管腔内时接收由所述管腔内超声成像导管获得的第一管腔内超声图像,所述第一身体管腔包括多个区段,其中所述第一管腔内超声图像与所述多个区段中的第一区段相关联,且所述第一管腔内超声图像包括所述第一身体管腔和第二身体管腔的描绘,其中所述第一身体管腔包括第一组第一身体管腔特性,所述第二身体管腔包括第一组第二身体管腔特性;
在所述管腔内超声成像导管在所述患者的所述第一身体管腔内以回拉速度移动时,接收由所述管腔内超声成像导管获得的第二管腔内超声图像,其中所述第二管腔内超声图像包括所述第一身体管腔和所述第二身体管腔的描绘;
基于所述第二管腔内超声图像,计算第二组第一身体管腔特性和第二组第二身体管腔特性;
使用模型确定所述多个区段中的与所述第二管腔内超声图像相关联的第二区段,其中所述模型与所述第一组第一身体管腔特性、所述第一组第二身体管腔特性、所述第二组第一身体管腔特性、所述第二组第二身体管腔特性或所述回拉速度中的至少一个相关联;以及
将所述第二区段的指示输出到与所述处理器电路通信的显示器。
2.根据权利要求1所述的管腔内超声成像系统,其中,所述第一身体管腔包括多个子区段,
其中,所述第一管腔内超声图像与所述多个子区段中的第一子区段相关联,以及
其中,所述处理器电路被进一步配置成:
使用所述模型确定所述多个子区段中的与所述第二管腔内超声图像相关联的第二子区段,以及
将所述第二子区段的指示输出到所述显示器。
3.根据权利要求1所述的系统,其中,所述处理器电路被进一步配置成将所述患者的所述第一身体管腔的示意图输出到所述显示器,其中所述示意图包括:
所述多个区段;以及
所述第二区段的视觉指示。
4.根据权利要求1所述的系统,其中,所述模型包括状态转换矩阵。
5.根据权利要求1所述的系统,其中,所述模型包括贝叶斯模型、图网络、隐马尔可夫模型、U-net网络或深度学习网络中的至少一种。
6.根据权利要求1所述的系统,其中,所述处理器电路被配置成进一步基于被定位在所述第一身体管腔内且在所述第二管腔内超声图像中可见的导丝的轮廓或位置来确定与所述第二管腔内超声图像相关联的所述第二区段。
7.根据权利要求1所述的系统,其中,所述处理器电路被配置成进一步基于在所述第二管腔内超声图像中可见的所述患者的身体的骨骼特征的分割结果来确定与所述第二管腔内超声图像相关联的所述第二区段。
8.根据权利要求1所述的系统,其中,所述处理器电路被配置成进一步基于从所述第一身体管腔分支出且在所述第二管腔内超声图像中可见的身体管腔的轮廓来确定与所述第二管腔内超声图像相关联的所述第二区段。
9.根据权利要求1所述的系统,其中,所述第一身体管腔特性或所述第二身体管腔特性包括轮廓面积、最小直径、最大直径、轮廓偏心率、轮廓中心位置、身体管腔之间的最短距离、可见的身体管腔的数量、可见的身体管腔的类型或这些中的任一个在所述第一管腔内超声图像和所述第二管腔内超声图像之间的变化中的至少一项。
10.根据权利要求9所述的系统,其中,所述模型是根据给定区段的所述第一身体管腔特性中的至少一个的平均值和标准偏差训练或导出的。
11.根据权利要求9所述的系统,其中,所述模型是根据一个或多个经注释的图像、教科书数据或存储图像库训练或导出的。
12.根据权利要求1所述的系统,其中,所述第一身体管腔是外周静脉,且所述多个区段包括下腔静脉(IVC)、汇合点、髂总静脉(CIV)、分支、髂外静脉(EIV)或股总静脉(CFV)中的至少一个。
13.一种管腔内超声成像方法,包括:
在管腔内超声成像导管被定位于患者的第一身体管腔内时,在与所述管腔内超声成像导管通信的处理器电路处,接收由所述管腔内超声成像导管获得的第一管腔内超声图像,所述第一身体管腔包括多个区段,其中所述第一管腔内超声图像与所述多个区段中的第一区段相关联,且所述第一管腔内超声图像包括所述第一身体管腔和第二身体管腔的图像,其中所述第一身体管腔包括第一组第一身体管腔特性,所述第二身体管腔包括第一组第二身体管腔特性;
在所述管腔内超声成像导管在所述患者的所述第一身体管腔内以回拉速度移动时,接收由所述管腔内超声成像导管获得的第二管腔内超声图像,其中所述第二管腔内超声图像包括所述第一身体管腔和所述第二身体管腔的描绘;
根据所述第二管腔内超声图像,计算第二组第一身体管腔特性和第二组第二身体管腔特性;
基于模型确定所述多个区段中的与所述第二管腔内超声图像相关联的第二区段,其中所述模型与所述第一组第一身体管腔特性、所述第一组第二身体管腔特性、所述第二组第一身体管腔特性、所述第二组第二身体管腔特性或所述回拉速度中的至少一个相关联;以及
将所述第二区段的指示输出到与所述处理器电路通信的显示器。
14.根据权利要求13所述的方法,其中,所述方法还包括将所述患者的所述第一身体管腔的示意图输出到所述显示器,其中所述示意图包括:
所述多个区段;以及
所述第二区段的视觉指示。
15.根据权利要求13所述的方法,其中,所述模型包括贝叶斯模型、图网络、隐马尔可夫模型、U-net网络或深度学习网络中的至少一种和状态转换矩阵。
16.根据权利要求13所述的方法,其中,进一步基于以下中的至少一项来确定与所述第二管腔内超声图像相关联的所述第二区段:
被定位在所述第一身体管腔内且在所述第二管腔内超声图像中可见的导丝的轮廓或位置,
在所述第二管腔内超声图像中可见的所述患者的身体的骨骼特征的分割结果,或
从所述第一身体管腔分支出且在所述第二管腔内超声图像中可见的身体管腔的轮廓。
17.根据权利要求13所述的方法,其中,所述第一身体管腔特性或所述第二身体管腔特性包括轮廓面积、最小直径、最大直径、轮廓偏心率、轮廓中心位置、身体管腔之间的最短距离、可见的身体管腔的数量、可见的身体管腔的类型或这些中的任一个在所述第一管腔内超声图像和所述第二管腔内超声图像之间的变化中的至少一项。
18.根据权利要求17所述的方法,其中,所述模型是根据给定区段的所述第一身体管腔特性中的至少一些的平均值和标准偏差、一个或多个经注释的图像、教科书数据或存储图像库训练或导出的。
19.根据权利要求13所述的方法,其中,所述第一身体管腔是外周静脉,且所述多个区段包括下腔静脉(IVC)、汇合点、髂总静脉(CIV)、分支、髂外静脉(EIV)或股总静脉(CFV)中的至少一个。
20.一种用于外周血管的血管内超声(IVUS)成像系统,所述系统包括:
IVUS成像导管,其被配置成在所述IVUS成像导管被定位于患者的第一外周血管内时获得IVUS图像,所述第一外周血管包括多个区段和子区段;
处理器电路,其被配置成与所述IVUS成像导管和显示器通信,其中所述处理器电路被配置成:
在所述IVUS成像导管被定位于所述患者的所述第一外周血管内时,接收由所述IVUS成像导管获得的第一IVUS图像,所述第一外周血管包括多个区段和子区段,其中所述第一IVUS图像与所述多个区段和子区段中的第一区段和第一子区段相关联,且所述第一IVUS包括所述第一外周血管和第二外周血管的描绘,其中所述第一外周血管包括第一组第一血管特性,所述第二外周血管包括第一组第二血管特性;
在所述IVUS成像导管在所述患者的所述第一外周血管内以回拉速度移动时,接收由所述IVUS成像导管获得的第二IVUS图像,其中所述第二IVUS图像包括所述第一外周血管和所述第二外周血管的描绘;
根据所述第二IVUS图像,计算第二组第一血管特性和第二组第二血管特性;
基于所述第一组第一血管特性、所述第一组第二血管特性、所述第二组第一血管特性、所述第二组第二血管特性或所述回拉速度中的至少一项和概率模型,确定所述多个区段和子区段中的与所述第二IVUS图像相关联的第二区段和第二子区段;以及
将所述第二区段或所述第二子区段的指示输出到所述显示器。
CN202280066189.7A 2021-09-30 2022-09-26 管腔内超声血管区段识别和相关设备、系统和方法 Pending CN118042992A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163250498P 2021-09-30 2021-09-30
US63/250,498 2021-09-30
PCT/EP2022/076614 WO2023052278A1 (en) 2021-09-30 2022-09-26 Intraluminal ultrasound vessel segment identification and associated devices, systems, and methods

Publications (1)

Publication Number Publication Date
CN118042992A true CN118042992A (zh) 2024-05-14

Family

ID=83447872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280066189.7A Pending CN118042992A (zh) 2021-09-30 2022-09-26 管腔内超声血管区段识别和相关设备、系统和方法

Country Status (3)

Country Link
EP (1) EP4408297A1 (zh)
CN (1) CN118042992A (zh)
WO (1) WO2023052278A1 (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7226417B1 (en) 1995-12-26 2007-06-05 Volcano Corporation High resolution intravascular ultrasound transducer assembly having a flexible substrate
US6381350B1 (en) 1999-07-02 2002-04-30 The Cleveland Clinic Foundation Intravascular ultrasonic analysis using active contour method and system
US6200268B1 (en) 1999-09-10 2001-03-13 The Cleveland Clinic Foundation Vascular plaque characterization
US7074188B2 (en) 2002-08-26 2006-07-11 The Cleveland Clinic Foundation System and method of characterizing vascular tissue
US7359554B2 (en) 2002-08-26 2008-04-15 Cleveland Clinic Foundation System and method for identifying a vascular border
US7175597B2 (en) 2003-02-03 2007-02-13 Cleveland Clinic Foundation Non-invasive tissue characterization system and method
US7215802B2 (en) 2004-03-04 2007-05-08 The Cleveland Clinic Foundation System and method for vascular border detection
JP6243763B2 (ja) * 2014-03-14 2017-12-06 テルモ株式会社 画像処理装置、画像処理装置の作動方法、及びプログラム
JP7378484B2 (ja) * 2018-10-26 2023-11-13 コーニンクレッカ フィリップス エヌ ヴェ 自動及び支援ラベル及びブックマークを用いた管腔内超音波イメージング

Also Published As

Publication number Publication date
EP4408297A1 (en) 2024-08-07
WO2023052278A1 (en) 2023-04-06

Similar Documents

Publication Publication Date Title
US20200129142A1 (en) Intraluminal ultrasound navigation buidance and associated devices, systems, and methods
EP3870070B1 (en) Speed determination for intraluminal ultrasound imaging and associated devices, systems, and methods
JP7542708B2 (ja) 自動及び支援ラベル及びブックマークを用いた管腔内超音波イメージング
US11596384B2 (en) Intraluminal ultrasound vessel border selection and associated devices, systems, and methods
CN113518588B (zh) 管腔内超声方向引导和相关联的设备、系统和方法
US20200129158A1 (en) Graphical longitudinal display for intraluminal ultrasound imaging and associated devices, systems, and methods
US20220395333A1 (en) Co-registration of intravascular data and multi-segment vasculature, and associated devices, systems, and methods
US20230051383A1 (en) Automatic intraluminal imaging-based target and reference image frame detection and associated devices, systems, and methods
US20230008714A1 (en) Intraluminal image-based vessel diameter determination and associated devices, systems, and methods
CN115003229A (zh) 基于管腔内成像对管腔内处置异常的检测和可视化
CN115397335A (zh) 具有自适应缩放的管腔内图像可视化及相关系统、方法和装置
CN118042992A (zh) 管腔内超声血管区段识别和相关设备、系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication