CN113950294A - 用于基于图像的设备分割的基于被动超声传感器的初始化 - Google Patents
用于基于图像的设备分割的基于被动超声传感器的初始化 Download PDFInfo
- Publication number
- CN113950294A CN113950294A CN202080040310.XA CN202080040310A CN113950294A CN 113950294 A CN113950294 A CN 113950294A CN 202080040310 A CN202080040310 A CN 202080040310A CN 113950294 A CN113950294 A CN 113950294A
- Authority
- CN
- China
- Prior art keywords
- medical device
- interventional medical
- image
- shape
- interventional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002604 ultrasonography Methods 0.000 title claims description 155
- 230000011218 segmentation Effects 0.000 title claims description 36
- 238000000034 method Methods 0.000 claims abstract description 124
- 230000008569 process Effects 0.000 claims abstract description 73
- 238000012545 processing Methods 0.000 claims abstract description 42
- 230000015654 memory Effects 0.000 claims abstract description 33
- 238000001914 filtration Methods 0.000 claims description 29
- 239000000523 sample Substances 0.000 claims description 24
- 238000012285 ultrasound imaging Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 10
- 230000000717 retained effect Effects 0.000 claims description 7
- 238000012800 visualization Methods 0.000 description 14
- 238000003384 imaging method Methods 0.000 description 10
- 230000001052 transient effect Effects 0.000 description 6
- 230000000747 cardiac effect Effects 0.000 description 5
- 230000008439 repair process Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 230000002792 vascular Effects 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013152 interventional procedure Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000004115 mitral valve Anatomy 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000002033 PVDF binder Substances 0.000 description 1
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 229920001577 copolymer Polymers 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 229920002981 polyvinylidene fluoride Polymers 0.000 description 1
- 208000037804 stenosis Diseases 0.000 description 1
- 230000036262 stenosis Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
- A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/42—Details of probe positioning or probe attachment to the patient
- A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
- A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Robotics (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
一种用于基于介入医学设备的位置确定来介入医学流程中介入医学设备的形状的控制器(220)包括存储指令的存储器(221)和运行指令的处理器(222)。所述指令使包括控制器(220)的系统(200)实施包括以下操作的过程：获得(S320)所述介入医学设备(201)的位置，并且获得(S330)包括所述介入医学设备的体积的影像。所述过程还包括基于介入医学设备(201)的位置，对所述影像应用(S340)图像处理以识别所述介入医学设备(201)，包括识别所述介入医学设备(201)的形状。所述过程还包括(S350)对所述介入医学设备(201)进行分割以获得所述介入医学设备(201)的经分割的表示。所述介入医学设备(201)的经分割的表示被叠加(S360)在所述影像上。
Description
背景技术
超声跟踪技术通过分析当来自超声探头的成像波束扫过视场时由被动超声传感器接收到的信号来估计被动超声传感器(例如，PZT、PVDF、共聚物或其他压电材料)在诊断超声B模式图像的视场(FOV)中的位置。被动超声传感器是声压传感器，并且这种被动超声传感器可以被用于确定其所附接的介入医学设备的位置。飞行时间测量结果提供了被动超声传感器与超声探头的成像阵列之间的轴向/径向距离，而幅值测量结果和对直接波束发射序列的了解提供了被动超声传感器的横向/角度位置。
图1图示了用于使用被动超声传感器跟踪介入医学设备的已知系统。在图1中，超声探头102发射成像波束103，其扫过介入医学设备105的端部上的被动超声传感器104。组织107的图像由超声探头102反馈。一旦由信号处理算法确定，被动超声传感器104在介入医学设备105的端部上的位置就被提供为端部位置108。端部位置108被叠加在组织107的图像上作为叠加图像109。组织图像107、端部位置108和叠加图像109都被显示在显示器100上。
用于被动超声传感器的已知技术提供被动超声传感器104的位置但不提供介入医学设备105的形状。在许多临床情况下，例如心脏和血管介入，确定介入医学设备105的形状可能是有利的。
发明内容
本发明的一个目的是至少部分地提供该形状。
根据本公开的一方面，一种用于基于介入医学设备的位置来在介入医学流程中确定介入医学设备的形状的控制器包括存储指令的存储器和运行指令的处理器。所述指令当由所述处理器执行时使包括所述控制器的系统实施包括以下操作的过程：获得所述介入医学设备的位置以及获得包括所述介入医学设备的体积的影像。当所述处理器运行指令时实施的所述过程还包括基于所述介入医学设备上的点的位置来对图像应用图像处理以识别所述介入医学设备，包括识别所述介入医学设备的形状。当所述处理器运行指令时实施的所述过程还包括对所述介入医学设备进行分割以获得所述介入医学设备的经分割的表示。所述介入医学设备的经分割的表示被叠加在所述影像上。
根据本公开的另一方面，一种存储有形非瞬态计算机可读存储介质存储计算机程序。当由处理器执行时，所述计算机程序使包括所述有形非瞬态计算机可读存储介质的系统执行用于基于介入医学设备的位置来确定所述介入医学流程中所述介入医学设备的形状的过程。当所述处理器执行来自所述有形非瞬态计算机可读存储介质的计算机程序时执行的过程包括：获得所述介入医学设备上至少一个点的位置以及获得包括所述介入医学设备的体积的影像。当所述计算机程序由处理器执行时执行的过程还包括：基于所述介入医学设备的位置来对所述影像应用图像处理以识别介入医学设备，包括识别所述介入医学设备的形状。当所述计算机程序由处理器运行时执行的过程还包括对所述介入医学设备进行分割以获得所述介入医学设备的经分割的表示。所述介入医学设备的经分割的表示被叠加在所述影像上。
根据本公开的又一方面，一种用于基于使用超声成像探头定位的被动超声传感器的位置来确定介入医学流程中的介入医学设备的形状的系统包括超声成像探头、被动超声传感器和控制器。所述超声成像探头在所述介入医学流程期间发射波束。所述被动超声传感器在所述介入医学流程期间被固定在所述介入医学设备上。所述控制器包括存储指令的存储器和运行指令的处理器。所述指令当由所述处理器执行时使所述系统实施包括以下操作的过程：基于来自所述超声成像探头的波束的发射而获得所述被动超声传感器的位置以胶获得包括所述介入医学设备和所述被动超声传感器的体积的影像。当所述处理器运行指令时实施的所述过程还包括基：于所述被动超声传感器的位置对所述影像应用图像处理以识别所述介入医学设备，包括识别所述介入医学设备的形状和所述介入医学设备的位置。当所述处理器运行指令时实施的所述过程还包括对所述介入医学设备进行分割以获得所述介入医学设备的经分割的表示。所述介入医学设备的经分割的表示与所述被动超声传感器的位置一起被叠加在所述影像上。
附图说明
当结合附图阅读时，可以根据以下详细描述最好地理解示例实施例。需要强调的是，各种特征不一定按比例绘制。事实上，为了讨论的清楚，尺寸可以任意增加或减少。在适用和现实的地方，相同的附图标记指代相同的元件。
图1图示了用于使用被动超声传感器跟踪介入医学设备的已知系统。
图2图示了根据代表性实施例的用于基于图像的设备分割的基于被动超声传感器的初始化的系统。
图3图示了根据代表性实施例的用于基于图像的设备分割的基于被动超声传感器的初始化的过程。
图4图示了根据代表性实施例的用于基于图像的设备分割的基于被动超声传感器的初始化的可视化进展。
图5图示了根据代表性实施例的用于基于图像的设备分割的基于被动超声传感器的初始化的另一过程。
图6图示了根据代表性实施例的用于基于图像的设备分割的基于被动超声传感器的初始化的另一过程。
图7示出了根据代表性实施例的一组二维或X平面图像，用于优化用于基于图像的设备分割的基于被动超声传感器的初始化的视图。
图8图示了根据代表性实施例的在用于基于图像的设备分割的基于被动超声传感器的初始化中叠加在超声体积中的介入医学设备的网格的可视化。
具体实施方式
在下文的详细说明中，出于解释的目的，并且并非限制，阐述了公开具体细节的例示性实施例，以便提供对根据本发明的教导的实施例的透彻的理解。可以省去已知的系统、设备、材料、操作方法和制造方法的描述，以避免遮蔽对代表性实施例的描述。尽管如此，在本领域普通技术人员的能力范围内的系统、设备、材料和方法是在本教导的范围内的，并且可以根据代表性实施例来使用。应当理解，本文所使用的术语仅出于描述特定实施例的目的，而并非旨在进行限制。所定义的术语是在本教导的技术领域中通常理解和接受的定义术语的科学技术含义之外的含义。
应当理解，虽然在本文中可以使用术语第一、第二、第三等来描述各种元件或部件，但是这些元件或部件不应受到这些术语的限制。这些术语仅用于区分一个元件或部件与另一元件或部件。因此，在不脱离发明构思的教导的情况下，下面讨论的第一元件或部件也可以被称为第二元件或部件。
本文所使用的术语仅出于描述特定实施例的目的，而并不旨在进行限制。如说明书和权利要求书中所使用的术语“一”、“一个”和“所述”的单数形式旨在包括单数形式和复数形式两者，除非上下文另有明确规定。另外，当在本说明书中使用时，术语“包括”和/或“包含”和/或类似术语指定存在所记载的特征、元件和/或部件，但并不排除存在或增加一个或更多其他特征、元件、部件和/或其组。如本文所使用的术语“和/或”包括相关联的所列项目中的一个或多个项目的任何组合和所有组合。
除非另有说明，否则当说元件或部件被“连接到”、“耦合到”或“邻近”另一元件或部件时，将理解的是，该元件或部件能够被直接连接或耦合到另一元件或部件，或可以存在中间元件或部件。也就是说，这些和类似术语包括可以采用一个或多个中间元件或部件来连接两个元件或部件的情况。然而，当元件或部件被称为“直接连接”到另一元件或部件时，这仅包括两个元件或部件彼此连接而没有任何中间或中间元件或部件的情况。
鉴于前述内容，因此，本公开内容通过其各个方面、实施例和/或特定特征或子部件中的一个或多个，旨在带来如下具体指出的优点中的一个或多个优点。为了解释而非限制的目的，阐述了公开具体细节的示例实施例，以便提供对根据本教导的实施例的透彻理解。然而，与本文中公开的具体细节背离的与本公开内容一致的其他实施例仍在权利要求的范围内。此外，可以省去对众所周知的装置和方法的描述，以避免遮蔽对示例实施例的描述。这样的方法和装置在本公开内容的范围内。
如本文所述，可以使用被动超声传感器的位置来容易地获得介入医学设备(例如，线)的形状。可以使用识别被动超声传感器位置的系统来量化形状。被动超声传感器的位置可用于初始化图像处理算法，所述算法使用例如空间过滤或与已知形状的互相关来确定设备的形状。一旦确定了介入医学设备的形状，就可以生成介入医学设备的网格并并叠加其以增强可视化。
图2图示了根据代表性实施例的用于基于图像的设备分割的基于被动超声传感器的初始化的系统。
在参考图2，超声系统200包括超声成像探头210、控制器220、控制台290、介入医学设备201和被动超声传感器S1。作为警告，超声系统200表示包括控制器220的系统，控制器220用于获得介入医学设备的位置和包括介入医学设备的体积的图像。然而，其他类型的定位和成像系统可以用于执行这里描述的特征，并且仍然落入本公开的精神和范围内。类似地，超声系统200表示包括控制器220的系统，所述控制器220用于基于介入医学设备201的位置来对图像应用图像处理，并且用于分割介入医学设备以获得介入医学设备201的经分割的表示。然而，其他类型的成像系统可以用于执行本文中描述的这些特征，并且仍然落入本公开的精神和范围内。因此，本文中描述的系统不一定是超声系统。
所述控制器220包括存储指令的存储器221和运行指令的处理器222。作为另一请求，如本文所述的控制器220可以分布在多个设备中，每个设备包括存储器和处理器的组合以执行归属于本文中的控制器220的一个或多个特征功能。
控制台290包括存储指令的存储器291和运行指令的处理器292。控制台290还包括监视器295和触摸面板296。存储器291和处理器292可以被认为是确定被动超声传感器S1的位置并将被动超声传感器S1的位置提供给控制器220的传感器单元。替代地，可以使用存储器和处理器(未示出)的另一种组合来接收来自被动超声传感器S1的电压读数和来自超声成像探头210的波束的时序并且确定被动超声传感器S1的位置以提供给控制器220。
使用超声系统200或与本文中的描述一致的其他实施例，可以通过使用被动超声来定位介入医学设备201的端部(或介入医学设备201上的另一位置)以量化介入医学设备201的形状传感器S1。介入医学设备201的端部是使用被动超声传感器S1在二维或三维超声空间中定位的。然后，诸如空间滤波的图像处理技术被应用于超声图像以增强可能被识别为介入医学设备201的主体的结构。介入医学设备201可以基于出现在被动超声传感器S1的已知位置附近的最显著的类似设备的结构而被分割并叠加在图像上。
处理器222或控制器的处理器292是有形的和非瞬态的。如本文中所用的，术语“非瞬态”应被解释为不是状态的永恒特征，而是将持续一时段的状态的特征。术语“非瞬态”特别地否定了稍纵即逝的特征，例如载波或信号的特征或者仅在任何时间在任何地方瞬态存在的其他形式。处理器205是制品和/或机器部件。用于控制器220的处理器222被配置为执行软件指令以执行如在本文的各种实施例中所描述的功能。用于控制器220的处理器22可以是通用处理器，或者可以是专用集成电路(ASIC)的一部分。用于控制器220处理器222还可以是微处理器、微计算机、处理器芯片、控制器、微控制器、数字信号处理器(DSP)、状态机或可编程逻辑设备。用于控制器的处理器222也可以是逻辑电路，包括诸如现场可编程门阵列(FPGA)的可编程门阵列(PGA)，或者包括分立门和/或晶体管逻辑的另一种类型的电路。用于控制器220处理器222可以是中央处理单元(CPU)、图形处理单元(GPU)或两者。此外，本文所述的任何处理器可包括多个处理器、并行处理器或两者。多个处理器可以被包括在或耦合到单个设备或多个设备。如本文中所使用的“处理器”涵盖能够执行程序或机器可执行指令的电子部件。对包括“处理器”的计算设备的引用应当被解读为能够包括超过一个处理器或处理内核。所述处理器例如可以是多核处理器。处理器还可以是指单个计算机系统之内的或者被分布在多个计算机系统之间的处理器的集合。术语计算设备也应被解释为可能指计算设备的集合或网络，每个计算设备均包括一处理器或多个处理器。许多程序具有由多个处理器执行的指令，所述多个处理器可以是在相同的计算设备之内或者所述多个处理器甚至可以分布在多个计算设备上。
诸如本文中描述的存储器221或存储器291的存储器是可以存储数据和可执行指令并且在指令被存储在其中的时间期间非瞬态的有形存储介质。如本文中所用的，术语“非瞬态”应被解释为不是状态的永恒特征，而是将持续一时段的状态的特征。术语“非瞬态”特别地否定了稍纵即逝的特征，例如载波或信号的特征或者仅在任何时间在任何地方瞬态存在的其他形式。本文中描述的存储器是制品和/或机器部件。本文中描述的存储器是计算机可读介质，计算机可以从中读取数据和可执行指令。如本文中所描述的存储器206可以是随机存取存储器(RAM)、只读存储器(ROM)、闪存、电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘中的一个或多个磁盘、可移动磁盘、磁带、光盘只读存储器(CD-ROM)、数字通用磁盘(DVD)、软盘、蓝光碟或本领域已知的任何其他形式的存储介质。存储器可以是易失性的或非易失性的、安全的和/或加密的、不安全的和/或未加密的。“存储器”是计算机可读存储介质的示例。计算机存储器是处理器能够直接访问的任何存储器。计算机存储器的示例包括但不限于RAM存储器、寄存器和寄存器文件。对“计算机存储器”或“存储器”的引用应解释为可能是多个存储器。存储器例如可以是同一计算机系统内的多个存储器。存储器也可以是分布在多个计算机系统或计算设备之间的多个存储器。
为方便起见，为了一致性起见，将在整个本公开中以及用于其他实施例中使用对超声系统200的特征的引用。然而，如上所述，超声系统200只是可以执行本文中所描述的功能和功能性的系统的示例。
图3图示了根据代表性实施例的用于基于图像的设备分割的基于被动超声传感器的初始化的过程。
在S310，图3的过程开始于从超声成像探头发射波束。例如，在S310，图2中的超声成像探头210可以发射波束作为波束序列的部分。
接下来，在S320，图3的过程前进到获得被动超声传感器S1位置在超声体积中的位置。可以在预定的三维坐标系中确定被动超声传感器S1的位置，其中为超声影像设置了原点。可以执行配准以将针对超声图像的三维坐标系与其他三维坐标系对齐，例如，针对介入医学设备201的三维坐标系，包括当介入医学设备201是诸如内窥镜的成像设备时，从介入医学设备的视点的影像。可以通过在两个不同的底层坐标系中对齐图像中的界标来执行配准，以便通过图像变换将一个坐标系导入另一个坐标系。还可以执行配准以将2D或3D超声图像与2D或投影成像空间对齐，例如通过识别每个成像空间中的共同界标或识别另一个成像空间中的超声换能器的姿态。
在S330，图3的过程接下来包括获得包括介入医学设备201和被动超声传感器S1的超声体积的影像。该图像可以是在介入医学流程期间由超声成像探头210发射的超声波束产生的超声影像。
在S340，图3的过程包括基于被动超声传感器S1的位置对影像应用图像处理以使用约束来识别介入医学设备201，包括识别介入医学设备201的形状和介入医学设备201的位置。可以基于介入医学设备201上的点的位置或者基于介入医学设备201上的至少一个点的位置来应用S340的图像处理。在S340处使用的约束可以包括像素强度、相对像素位置、(一个或多个)预定形状和/或(一个或多个)尺寸特性中的一个或多个特性。例如，与介入医学设备201的位置相对应的像素的像素强度可以高于与介入医学流程的对象的解剖特征相对应的像素的像素强度。作为另一示例，搜索可以被限制到从对应于被动超声传感器S1的位置的像素以距离、像素或其他方式测量的预定范围内的像素。图像处理可以涉及基于预定特性过滤像素以消除像素，使得原始图像的剩余元素更好地显示介入医学设备201。即，设备形状(即，介入医学设备201的)的元素在过滤之后被保留。因此，图像处理有意丢弃诸如解剖特征的形状表示，但不一定基于形状，因为丢弃可以基于像素强度或像素位置等。
在其他示例中，用于图像过滤的特征可以包括从例如与具有不同形状的不同介入医学设备相对应的预定形状库中选择的预定形状。在另一示例中，用于图像过滤的特征可以包括预定形状的尺寸特征，例如最小或最大长度、宽度、高度、直径、半径、横截面积、曲率等。例如，作为介入医学设备201的线可能具有非常小的横截面，并且对线的搜索可以寻找面积或直径小于对应于非常小的横截面的阈值的末端。
在S350，图3的过程接下来包括重建和分割对介入医学设备201的形状的重建或介入医学设备的预定形状以获得介入医学设备201的经分割的表示。预定设备形状可用作预定约束，使得预定设备形状被用作介入医学设备201的形状的候选。过滤后保留的设备的形状(即，介入医学设备201的)的元素可用于重建设备形状。分割是诸如解剖特征的结构和/或诸如介入医学设备201的介入医学设备表面的表示，并且包括例如结构表面上的三维(3D)坐标中的一组点组成，以及通过连接相邻的三点的组定义的三角形平面分割，使得整个结构被不相交的三角形平面的网格覆盖。结构的三维模型是通过分割获得的。如本文针对S350所描述的分割和其他实施例中的类似操作可以涉及对介入医学设备201、解剖结构和/或存在于三维超声体积中的其他结构执行分割。
在S360，图3的过程包括将介入医学设备201的经分割的表示与被动超声传感器S1的位置一起叠加在影像上。
图3的过程和本文中其他实施例的特征可用于多种类型的介入手术。例如，在结构性心脏修复中，本文中的特征的使用可以被用于检查以确保在介入医学设备201的部署期间的正确的形状/路径。额外地或替代地，本文中的特征的使用可以被用于在诸如间隔穿刺的侵入性手术期间检测介入医学设备201是否离开了期望路径。例如，参考标记物可以被放置在目标解剖结构的位置。作为本文所述特征用于结构性心脏修复的额外或替代用途，二尖瓣或其他植入物的形状可在结构性心脏修复期间在三个维度上量化。
图4图示了根据代表性实施例的用于基于图像的设备分割的基于被动超声传感器的初始化的可视化进展。
在可视化A中，图4的进展示出了介入医学设备201的端部位置。
在可视化B处，图4的进展显示了图像处理的效果或结果。在图4中，效果是整体影像的细节大大减少，但介入医学设备201的细节更多。
在可视化C处，图4的进展示出了叠加在原始图像上的介入医学设备201。即，在可视化B中识别和突出显示的介入医学设备201可以被叠加在可视化C中。当然，来自可视化B的介入医学设备201的可视化可以被增强，例如通过填充缺失的像素以完全填充根据从模型库中检索到的模型的完整预期形状。因此，用于减少用于可视化B的整体图像的细节的图像处理还可以包括增强以增强介入医学设备的细节。
在图4中，介入医学设备201的形状是从基于被动超声传感器S1的位置初始化的图像处理中获得的。使用被动超声传感器S1的跟踪在3D体积中定位介入医学设备201的端部或其他位置。在图4的实施例中应用图像处理技术以使管状结构显得更清晰。被动超声传感器S1的位置附近的最高强度管状结构可以被假设为介入医学设备201的主体，其然后被叠加在原始图像上。
在一个实施例中，涉及图4的进程的过程可以用于在三维体积中应用的图像处理算法以定位和增强介入医学设备201的可视化。来自超声成像探头210的二维成像平面可用于扫描包括介入医学设备201的三维空间。随后可以分析所得的影像以获得空间和/或空间中的介入医学设备201的三维体积模型。然后可以分割空间和/或介入医学设备201的三维体积模型。例如，可以设置初始二维平面以使其包括被动超声传感器，并且然后该二维平面递增地旋转以大致围绕被动超声传感器枢转。可以对旋转扫描中的每一帧执行诸如过滤和聚类的二维图像处理以识别介入医学设备201的部分。可以分析每个平面中的介入医学设备201的视图以确定来自扫描的哪个平面提供设备的最佳显示，例如设备的最长部分，或者示出被动超声传感器附近的最远侧部分。然后显示介入医学设备的分割。
图5图示了根据代表性实施例的用于基于图像的设备分割的基于被动超声传感器的初始化的另一过程。
在S510，图5的过程开始于获得被动超声传感器S1在超声体积中的位置。
在S520，图5的过程接下来包括设置过滤器约束和搜索约束。即，可以在被动超声传感器S1的位置处开始在影像中搜索介入医学设备201。针对约束的搜索可以是针对影像中满足预定约束的区域的搜索。满足预定约束的区域可以在距被动超声传感器的指定半径或距离内并且可以包括诸如具有高于预定阈值的像素强度的一个或多个像素的特性。在示例中，预定约束可以针对作为介入医学设备201的形状的部分的特定形状，例如一个拐角或一组拐角、将出现在超声影像中的介入医学设备201的轮廓中的一个或多个角度，以及其他类型的约束。约束可以是预定约束，并且可以基于介入医学设备201的类型、手术类型和介入医学流程的对象的特征(包括解剖特征)而变化。
在S530，图5的过程接下来移动到使用过滤器约束来将过滤器应用于所述超声体积。由控制器220或包括控制器220的超声系统200执行的过程可以包括过滤来自超声成像系统的影像以消除介入医学流程的对象的表示。例如，可以执行过滤以消除介入医学流程的对象的组织、骨骼和其他解剖特征的表示，因为在图像处理中寻找的对象是介入医学设备201。
在S540，图5的过程包括搜索围绕被动超声传感器位置的最大强度的区域并识别具有最大强度的点。最大强度可以是高于预定阈值的像素强度，或者是大于邻近像素强度的预定阈值的相对强度。
在S550，图5的过程接下来包括连接相邻的点。相邻点可以针对强度超过阈值并且在距被动超声传感器S1的位置预定距离内的像素。
在S560，图5的过程以将介入医学设备201的形状叠加在超声影像上而结束。叠加的介入医学设备201是介入医学设备201的表示，并且可以叠加在超声影像上，并且例如通过突出显示的轮廓突出显示。
图的过程图5和本文的其他实施例可用于多种类型的介入流程。例如，在外周血管介入中，本文的特征可用于在狭窄或阻塞通过(crossing)期间监测介入式医学装置201(例如线)的形状，以检测介入式医学装置201的屈曲。额外地或替代地，本文中的特征可用于检测诸如线的介入医学设备201相对于血管的进展以检查介入医学设备201是否已经离开血管壁。
图6图示了根据代表性实施例的用于基于图像的设备分割的基于被动超声传感器的初始化的另一过程。
图6的过程图在S610开始于获得被动超声传感器在超声体积中的位置。
接下来，在S620处，图6的过程包括设置过滤器约束并且识别介入医学设备201模型。过滤器约束可以是预定约束或者可以是针对每个不同的介入医学流程动态设置的约束。可以应用过滤器约束以识别满足预定约束的区域，使得要执行的图像处理仅在所识别的区域处执行或至少在所识别的区域处开始。
在S630，图6的过程接下来包括将识别出的介入医学设备201模型的端部固定到被动超声传感器在超声体积中的位置。
在S640，图6的过程包括确定相对于被动超声传感器S1在超声体积中的位置的介入医学设备201最佳角度。该角度可以用于从位置超声传感器S1开始并在来自被动超声传感器S1的角度的方向上对齐介入医学设备201的姿态。
在S650，图6的过程以将介入医学设备201的形状叠加在超声手术上而结束。例如，可以基于S640处的过程来对齐由将预定结构的形状分割为介入医学设备201而产生的网格，并且然后将其放置为使得介入医学设备201的拐角或其他末端的表示与在被动超声图像中或被动超声图像上的被动超声传感器S1的表示交叠。
图7图示了根据代表性实施例的一组二维或X平面图像，用于优化用于基于图像的设备分割的基于被动超声传感器的初始化的视图。
如图7中所示，五个不同的二维或X平面图像被标记为A、B、C、D和E，并且每幅图像示出了介入医学设备201由于不同的视点而变化的视图。最完整的视图是二维或X平面图像“C”的视图，其对应于具有最大量的介入医学设备201的细节的视图。
在图7的实施例中，可以查看来自二维或X平面视图的图像以查看哪个提供了介入医学设备201的最佳细节。来自图7的影像可以在介入医学设备201分割之前或之后获得，并且然后用于例如识别或确认介入医学设备201在底层三维超声体积上的最佳放置、取向和姿态。作为与在图4的上下文中描述的示例一致的示例，可以设置初始二维平面以使其包括被动超声传感器，并且然后该二维平面递增地旋转以大致围绕被动超声传感器枢转。在位置由除被动超声传感器之外的机制确定的实施例中，介入医学设备201上的点的位置仍可用作扫描的起点。可以对旋转扫描中的每一帧执行诸如过滤和聚类的二维图像处理以识别介入医学设备201的部分。可以分析每个平面中的介入医学设备201的视图以确定来自扫描的哪个平面提供设备的最佳显示，例如设备的最长部分，或者示出被动超声传感器附近的最远侧部分。然后显示介入医学设备的分割。
图8图示了根据代表性实施例的在用于基于图像的设备分割的基于被动超声传感器的初始化中叠加在超声体积中的介入医学设备201的网格的可视化。
在图8的实施例中，介入医学设备201可以是SHD设备，其被分割成网格并且被叠加在3维超声体积中。介入医学设备201的形状是已知的，并且可以是刚性的，并且可以适合3维超声体积的超声图像。被动超声传感器的位置被用于初始化搜索体积，以便识别图8中介入医学设备201的正确定向、姿态和总体放置。
作为图8的实施例的示例，介入医学设备201可以是刚性的，例如在经中隔穿刺针或二尖瓣修复设备的情况下。图像处理技术可用于在被动超声传感器附近的区域中搜索设备的特定形状。然后可以将已知设备的网格叠加在二维或三维超声图像上，如图8中所示。已知设备的叠加网格可以被叠加在超声影像上，并且例如通过颜色、亮度或其他视觉特征来突出显示以使叠加网格在组合图像中有区别性。
因此，用于基于图像的设备分割的基于被动超声传感器的初始化能够识别超声图像中的介入医学设备201，并且将介入医学设备201的模型放置在超声图像中或超声图像上。用于基于图像的分割的基于被动超声传感器的初始化可以以多种方式使用，例如确保介入医学设备201以正确的姿势并沿着正确的路径部署，例如在期间检测不规则的路径介入医学流程(例如，中隔穿刺或慢性完全闭塞通路)，和/或在介入医学流程期间在三维中量化介入医学设备201。
尽管已经参考几个示例性实施例描述了用于基于图像的设备分割的基于被动超声传感器的初始化，但是应当理解，已经使用的词语是描述和说明词语，而不是限制词语。在不脱离用于基于图像的设备分割的基于被动超声传感器的初始化在其方面的范围和精神的情况下，可以在所附权利要求的范围内进行改变，如当前陈述和修改的那样。尽管已经参考特定手段、材料和实施例描述了用于基于图像的设备分割的基于被动超声传感器的初始化，但是用于基于图像的设备分割的基于被动超声传感器的初始化不旨在限于所公开的详情；相反，用于基于图像的设备分割的基于被动超声传感器的初始化扩展到所有功能等效的结构、方法和用途，例如在所附权利要求的范围内。
例如，以上示例描述了本文中的特征用于结构性心脏修复或外周血管介入的使用。本文中的特征的其他实际应用可以包括在深部组织活检期间检测诸如针的介入医学设备201的弯曲。本文特征的其他实际应用可以包括提供可靠的体内二维投影基准，用于超声和/或X射线之间的配准。
提供了以下示例：
示例1、一种用于基于介入医学设备(201)的位置来在介入医学流程中确定介入医学设备(201)的形状的控制器(220)，包括：
存储器(221)，其存储指令，以及
处理器(222)，其被配置为运行指令，其中，所述指令当由所述处理器运行时使包括所述控制器(220)的所述系统实施包括以下操作的过程：
获得(S320)所述介入医学设备(201)上的点的位置；
获得(S330)包括所述介入医学设备(201)的体积的影像；
基于所述介入医学设备的所述位置，对所述影像应用(S340)图像处理以识别所述介入医学设备，包括识别所述介入医学设备的所述形状；并且
对所述介入医学设备进行分割(S350)以获得所述介入医学设备的经分割的表示，其中，所述介入医学设备的所述经分割的表示被叠加(S360)在所述影像上。
示例2、根据示例1所述的控制器(220)，其中，由所述系统实施的所述过程还包括：
基于来自超声成像探头的射束的发射来获得(S320)被动超声传感器的位置，其中，所述介入医学设备的位置对应于所述被动超声传感器的位置；并且
开始(S340)在所述被动超声传感器的所述位置处的所述影像中搜索所述介入医学设备并且在所述影像中搜索满足预定约束的区域，以向所述影像应用所述图像处理，
其中，所述介入医学设备的所述经分割的表示与所述被动超声传感器的所述位置一起被叠加在所述影像上。
示例3、根据示例2所述的控制器(220)，其中，由所述系统实施的所述过程还包括：
对所述影像应用(S340)所述预定约束以分离所述影像中可能符合包括所述介入医学设备的所述形状的部分的区域，
其中，所述预定约束包括像素强度的特性，以及相对于所述被动超声传感器的所述位置的像素位置。
示例4、根据示例2所述的控制器(220)，其中，由所述系统实施的所述过程还包括：
对所述所述影像应用(S340)预定约束以分离所述影像中可能符合包括所述介入医学设备的所述形状的部分的区域，
其中，所述预定约束包括被用作所述介入医学设备的所述形状的候选的至少一个预定形状。
示例5、根据示例2所述的控制器(220)，其中，由所述系统实施的所述过程还包括：
对所述影像应用(S340)所述预定约束以分离所述影像中可能符合包括所述介入医学设备的所述形状的部分的区域，
其中，所述预定约束包括预定形状的至少一个维度特性。
示例6、根据示例1所述的控制器(220)，其中，由所述系统实施的所述过程还包括：
过滤(S340)所述影像以消除插入所述介入医学设备的所述介入医学流程中的对象的表示，其中，所述介入医学设备的所述形状的所述元素在所述过滤后被保留在所述影像中，并且
基于在所述过滤后被保留在所述影像中的所述介入医学设备的所述形状的所述元素来重建(S350)所述介入医学设备的所述形状以获得对所述介入医学设备的所述形状的重建。
示例7、根据示例6所述的控制器(220)，其中，所述分割是对所述介入医学设备的所述形状的所述重建执行的，并且所述介入医学设备的所述经分割的表示包括对所述介入医学设备的所述形状的所述重建的经分割的表示。
示例8、根据示例1所述的控制器(220)，其中，所述分割是基于所述图像处理对预定形状执行的，并且所述介入医学设备的所述经分割的表示包括所述介入医学设备的所述预定形状的经分割的表示，使得所述预定形状的经分割的表示被叠加在所述影像上。
示例9、一种存储有计算机程序的有形非瞬态计算机可读存储介质，所述计算机程序在由处理器执行时使包括所述有形非瞬态计算机可读存储介质的系统运行用于在介入医学流程中基于介入医学设备的位置来确定所述介入医学设备的形状的过程，当所述处理器(222)运行来自所述有形非瞬态计算机可读存储介质的所述计算机程序时执行的所述过程包括：
获得(S320)所述介入医学设备的位置；
获得(S330)包括所述介入医学设备的体积的影像；
基于所述介入医学设备上的至少一个点的位置，对所述影像应用(S340)图像处理以识别所述介入医学设备，包括识别所述介入医学设备的所述形状；并且
对所述介入医学设备进行分割(S350)以获得所述介入医学设备的经分割的表示，其中，所述介入医学设备的所述经分割的表示被叠加(S360)在所述影像上。
示例10、根据示例9所述的有形非瞬态计算机可读存储介质，其中，由所述系统实施的所述过程还包括：
开始(S340)在所述被动超声传感器的所述位置处的所述影像中搜索所述介入医学设备并且在所述影像中搜索满足预定约束的区域，以向所述影像应用所述图像处理。
示例11、根据示例10所述的有形非瞬态计算机可读存储介质，其中，由所述系统实施的所述过程还包括：
基于来自超声成像探头的射束的发射来获得(S320)被动超声传感器的位置，其中，所述介入医学设备的位置对应于所述被动超声传感器的位置；并且
对所述影像应用(S340)所述预定约束以分离所述影像中可能符合包括所述介入医学设备的所述形状的部分的区域，
其中，所述预定约束包括像素强度的特性，以及相对于所述被动超声传感器的所述位置的像素位置。
其中，所述介入医学设备的所述经分割的表示与所述被动超声传感器的所述位置一起被叠加在所述影像上。
示例12、根据示例10所述的有形非瞬态计算机可读存储介质，其中，由所述系统实施的所述过程还包括：
对所述影像应用(S340)所述预定约束以分离所述影像中可能符合包括所述介入医学设备的所述形状的部分的区域，
其中，所述预定约束包括被用作所述介入医学设备的所述形状的候选的至少一个预定形状。
示例13、根据示例10所述的有形非瞬态计算机可读存储介质，其中，由所述系统实施的所述过程还包括：
对所述影像应用(S340)所述预定约束以分离所述影像中可能符合包括所述介入医学设备的所述形状的部分的区域，
其中，所述预定约束包括预定形状的至少一个维度特征。
示例14、根据示例9所述的有形非瞬态计算机可读存储介质，其中，由所述系统实施的所述过程还包括：
过滤(S340)所述影像以消除插入所述介入医学设备的所述介入医学流程中的对象的表示，其中，在所述过滤后所述形状的元素被保留在所述影像中，并且
基于在所述过滤后被保留在所述影像中的所述介入医学设备的所述形状的所述元素来重建(S350)所述介入医学设备的所述形状以获得对所述介入医学设备的所述形状的重建。
示例15、根据示例14所述的有形非瞬态计算机可读存储介质，
其中，所述分割是对所述介入医学设备的形状的所述形状的所述重建执行的，对所述介入医学设备的所述经分割的表示包括所述介入医学设备的所述形状的所述重建的经分割的表示。
示例16、根据示例9所述的有形非瞬态计算机可读存储介质，
其中，所述分割是基于所述图像处理对预定形状执行的，并且所述介入医学设备的所述经分割的表示包括所述介入医学设备的所述预定形状的经分割的表示，使得所述预定形状的所述经分割的表示被叠加在所述影像上。
示例17、一种用于基于使用超声成像探头(210)定位的被动超声传感器(S1)的位置来在介入医学流程中确定介入医学设备(201)的形状的系统(200)，包括：
超声成像探头(210)，其在所述介入医学流程期间发射波束；
被动超声传感器(S1)，其在所述介入医学流程期间被固定到所述介入医学设备(201)；以及
控制器(220)，其包括存储指令的存储器(221)和运行所述指令的处理器(222)，其中，所述指令当由所述处理器(222)运行时使所述系统执行包括以下操作的过程：
基于来自所述超声成像探头的射束的发射来获得(S320)所述被动超声传感器的所述位置，其中，
获得(S330)包括所述介入医学设备和所述被动超声传感器的体积的影像；
基于所述被动超声传感器的所述位置，对所述影像应用(S340)图像处理以识别所述介入医学设备，包括识别所述介入医学设备的形状和所述介入医学设备的位置；以及
对所述介入医学设备进行分割(S350)以获得所述介入医学设备的经分割的表示，其中，所述介入医学设备的经分割的表示与所述被动超声传感器的位置一起被叠加(S360)在所述影像上。
示例18、根据示例17所述的系统，还包括：
传感器单元(291/292)，其确定所述被动超声传感器的所述位置并且将所述被动超声传感器的所述位置提供给所述控制器(220)；以及
显示器(295)，其基于由所述控制器(220)进行的所述分割来显示所述介入医学设备的所述经分割的表示并且显示由所述传感器单元确定的所述被动超声传感器的所述位置
示例19、根据示例17所述的系统，其中，由所述系统实施的所述过程还包括：
开始(S340)在所述被动超声传感器的所述位置处的所述影像中搜索所述介入医学设备并且在所述影像中搜索满足预定约束的区域，以向所述影像应用所述图像处理
示例20、根据示例17所述的系统，其中，由所述系统实施的所述过程还包括：
过滤(S340)所述影像以消除插入所述介入医学设备的所述介入医学流程中的对象的表示，其中，在所述过滤后所述形状的元素被保留在所述影像中，并且
基于在所述过滤后被保留在所述影像中的所述形状的所述元素来重建(S350)所述形状以获得对所述介入医学设备的所述形状的重建。
本文描述的实施例的说明旨在提供对各种实施例的结构的一般理解。这些图示并不旨在用作对本文描述的本公开内容的所有元件和特征的完整描述。在回顾了本公开内容之后，许多其他实施例对于本领域技术人员而言会是显而易见的。可以利用其他实施例并从本公开内容中导出其他实施例，使得可以在不脱离本公开内容的范围的情况下做出结构和逻辑上的替换和改变。另外，这些图示仅是代表性的，并且可能并没有按比例绘制。图示中的某些比例可能被放大，而其他比例可能被最小化。因此，本公开内容和附图应被认为是说明性的而不是限制性的。
可以仅出于方便的目的而将本文公开的一个或多个实施例独立地和/或共同地称为术语“发明”，但这并不意味着将本申请的范围限制为任何特定的发明或发明构思。此外，虽然在本文中已经图示和描述了特定实施例，但是应当理解，被设计为实现相同或相似目的的任何后续布置都可以代替所示的特定实施例。本公开内容旨在覆盖各种实施例的任何和所有随后的修改或变化。通过回顾说明书，以上实施例的组合以及本文中未具体描述的其他实施例对于本领域技术人员而言将是显而易见的。
所提供的本公开内容的摘要符合37C.F.R.§1.72(b)，并且在提交摘要时应当理解，摘要并不用于解读或限制权利要求的范围或含义。另外，在前面的详细描述中，为了简化本公开内容，各种特征可以被组合在一起或被描述在单个实施例中。本公开内容不应被解读为反映了以下意图：要求保护的实施例需要比每个权利要求中明确记载的特征更多的特征。相反，如以下权利要求所反映的，发明主题可以指向少于所公开的实施例中的任一个实施例的所有特征。因此，以下权利要求被并入详细描述中，其中，每个权利要求独立定义要求保护的主题。
提供对所公开的实施例的前述描述以使得任何本领域技术人员能够实践本公开内容中描述的构思。正因如此，以上公开的主题应被认为是说明性的，而不是限制性的，并且权利要求旨在覆盖落入本公开内容的真实精神和范围内的所有这样的修改、增强和其他实施例。因此，在法律允许的最大范围内，本公开内容的范围将由以下权利要求及其等价方案的最广泛的允许解读来确定，并且不应局限于或限制于前述详细描述。
Claims (22)
1.一种用于基于介入医学设备(201)的位置来在介入医学流程中确定介入医学设备(201)的形状的控制器(220)，所述控制器包括：
存储器(221)，其存储指令，以及
处理器(222)，其被配置为运行指令，其中，所述指令当由所述处理器运行时使包括所述控制器(220)的所述系统实施包括以下操作的过程：
获得(S320)所述介入医学设备(201)上的点的位置；
获得(S330)包括所述介入医学设备(201)的体积的影像；
基于所述介入医学设备的所述位置，对所述影像应用(S340)图像处理以识别所述介入医学设备，包括识别所述介入医学设备的所述形状；并且
对所述介入医学设备进行分割(S350)以获得所述介入医学设备的经分割的表示，其中，所述介入医学设备的所述经分割的表示被叠加(S360)在所述影像上，并且，任选地，
输出与所述经分割的表示叠加的所述影像以显示给所述系统的用户，例如工程师、医学从业者或患者。
2.根据权利要求1所述的控制器(220)，其中，由所述系统实施的所述过程还包括：
基于来自超声成像探头的射束的发射来获得(S320)被动超声传感器的位置，其中，所述介入医学设备的位置对应于所述被动超声传感器的位置；并且
开始(S340)在所述被动超声传感器的所述位置处的所述影像中搜索所述介入医学设备并且在所述影像中搜索满足预定约束的区域，以向所述影像应用所述图像处理，
其中，所述介入医学设备的所述经分割的表示与所述被动超声传感器的所述位置一起被叠加在所述影像上。
3.根据权利要求2所述的控制器(220)，其中，由所述系统实施的所述过程还包括：
对所述影像应用(S340)所述预定约束以分离所述影像中可能符合包括所述介入医学设备的所述形状的部分的区域，
其中，所述预定约束包括像素强度的特性，以及相对于所述被动超声传感器的所述位置的像素位置。
4.根据权利要求2所述的控制器(220)，其中，由所述系统实施的所述过程还包括：
对所述所述影像应用(S340)预定约束以分离所述影像中可能符合包括所述介入医学设备的所述形状的部分的区域，
其中，所述预定约束包括被用作所述介入医学设备的所述形状的候选的至少一个预定形状。
5.根据权利要求2所述的控制器(220)，其中，由所述系统实施的所述过程还包括：
对所述影像应用(S340)所述预定约束以分离所述影像中可能符合包括所述介入医学设备的所述形状的部分的区域，
其中，所述预定约束包括预定形状的至少一个维度特性。
6.根据权利要求1所述的控制器(220)，其中，由所述系统实施的所述过程还包括：
过滤(S340)所述影像以消除插入所述介入医学设备的所述介入医学流程中的对象的表示，其中，所述介入医学设备的所述形状的元素在所述过滤后被保留在所述影像中，并且
基于在所述过滤后被保留在所述影像中的所述介入医学设备的所述形状的所述元素来重建(S350)所述介入医学设备的所述形状以获得对所述介入医学设备的所述形状的重建。
7.根据权利要求6所述的控制器(220)，其中，所述分割是对所述介入医学设备的所述形状的所述重建执行的，并且所述介入医学设备的所述经分割的表示包括对所述介入医学设备的所述形状的所述重建的经分割的表示。
8.根据权利要求1所述的控制器(220)，其中，所述分割是基于所述图像处理对预定形状执行的，并且所述介入医学设备的所述经分割的表示包括所述介入医学设备的所述预定形状的经分割的表示，使得所述预定形状的所述经分割的表示被叠加在所述影像上。
9.一种存储有计算机程序的有形非瞬态计算机可读存储介质，所述计算机程序在由处理器运行时使包括所述有形非瞬态计算机可读存储介质的系统执行用于在介入医学流程中基于介入医学设备的位置来确定所述介入医学设备的形状的过程，当所述处理器(222)运行来自所述有形非瞬态计算机可读存储介质的所述计算机程序时执行的所述过程包括：
获得(S320)所述介入医学设备的位置；
获得(S330)包括所述介入医学设备的体积的影像；
基于所述介入医学设备上的至少一个点的位置，对所述影像应用(S340)图像处理以识别所述介入医学设备，包括识别所述介入医学设备的所述形状；并且
对所述介入医学设备进行分割(S350)以获得所述介入医学设备的经分割的表示，其中，所述介入医学设备的所述经分割的表示被叠加(S360)在所述影像上。
10.根据权利要求9所述的有形非瞬态计算机可读存储介质，其中，由所述系统实施的所述过程还包括：
开始(S340)在被动超声传感器的所述位置处的所述影像中搜索所述介入医学设备并且在所述影像中搜索满足预定约束的区域，以向所述影像应用所述图像处理。
11.根据权利要求10所述的有形非瞬态计算机可读存储介质，其中，由所述系统实施的所述过程还包括：
基于来自超声成像探头的射束的发射来获得(S320)被动超声传感器的位置，其中，所述介入医学设备的位置对应于所述被动超声传感器的位置；并且
对所述影像应用(S340)所述预定约束以分离所述影像中可能符合包括所述介入医学设备的所述形状的部分的区域，
其中，所述预定约束包括像素强度的特性，以及相对于所述被动超声传感器的所述位置的像素位置。
其中，所述介入医学设备的所述经分割的表示与所述被动超声传感器的所述位置一起被叠加在所述影像上。
12.根据权利要求10所述的有形非瞬态计算机可读存储介质，其中，由所述系统实施的所述过程还包括：
对所述影像应用(S340)所述预定约束以分离所述影像中可能符合包括所述介入医学设备的所述形状的部分的区域，
其中，所述预定约束包括被用作所述介入医学设备的所述形状的候选的至少一个预定形状。
13.根据权利要求10所述的有形非瞬态计算机可读存储介质，其中，由所述系统实施的所述过程还包括：
对所述影像应用(S340)所述预定约束以分离所述影像中可能符合包括所述介入医学设备的所述形状的部分的区域，
其中，所述预定约束包括预定形状的至少一个维度特性。
14.根据权利要求9所述的有形非瞬态计算机可读存储介质，其中，由所述系统实施的所述过程还包括：
过滤(S340)所述影像以消除插入所述介入医学设备的所述介入医学流程中的对象的表示，其中，在所述过滤后所述形状的元素被保留在所述影像中，并且
基于在所述过滤后被保留在所述影像中的所述介入医学设备的所述形状的所述元素来重建(S350)所述介入医学设备的所述形状以获得对所述介入医学设备的所述形状的重建。
15.根据权利要求14所述的有形非瞬态计算机可读存储介质，
其中，所述分割是对所述介入医学设备的形状的所述形状的所述重建执行的，对所述介入医学设备的所述经分割的表示包括所述介入医学设备的所述形状的所述重建的经分割的表示。
16.根据权利要求9所述的有形非瞬态计算机可读存储介质，
其中，所述分割是基于所述图像处理对预定形状执行的，并且所述介入医学设备的所述经分割的表示包括所述介入医学设备的所述预定形状的经分割的表示，使得所述预定形状的所述经分割的表示被叠加在所述影像上。
17.一种用于基于使用超声成像探头(210)定位的被动超声传感器(S1)的位置来在介入医学流程中确定介入医学设备(201)的形状的系统(200)，所述系统包括：
超声成像探头(210)，其在所述介入医学流程期间发射波束；
被动超声传感器(S1)，其在所述介入医学流程期间被固定到所述介入医学设备(201)；以及
控制器(220)，其包括存储指令的存储器(221)和运行所述指令的处理器(222)，其中，所述指令当由所述处理器(222)运行时使所述系统执行包括以下操作的过程：
基于来自所述超声成像探头的射束的发射来获得(S320)所述被动超声传感器的所述位置，其中，
获得(S330)包括所述介入医学设备和所述被动超声传感器的体积的图像；
基于所述被动超声传感器的所述位置，对所述影像应用(S340)图像处理以识别所述介入医学设备，包括识别所述介入医学设备的形状和所述介入医学设备的位置；以及
对所述介入医学设备进行分割(S350)以获得所述介入医学设备的经分割的表示，其中，所述介入医学设备的经分割的表示与所述被动超声传感器的位置一起被叠加(S360)在所述影像上，以及，任选地，
显示器，其用于从所述控制器接收与所述经分割的表示叠加的所述影像并且用于将其显示给所述系统的用户，例如工程师、医学从业者或患者。
18.根据权利要求17所述的系统，还包括：
传感器单元(291/292)，其确定所述被动超声传感器的所述位置并且将所述被动超声传感器的所述位置提供给所述控制器(220)；以及
显示器(295)，其基于由所述控制器(220)进行的所述分割来显示所述介入医学设备的所述经分割的表示并且显示由所述传感器单元确定的所述被动超声传感器的所述位置。
19.根据权利要求17所述的系统，其中，由所述系统实施的所述过程还包括：
开始(S340)在所述被动超声传感器的所述位置处的所述影像中搜索所述介入医学设备并且在所述影像中搜索满足预定约束的区域，以向所述影像应用所述图像处理。
20.根据权利要求17所述的系统，其中，由所述系统实施的所述过程还包括：
过滤(S340)所述影像以消除插入所述介入医学设备的所述介入医学流程中的对象的表示，其中，在所述过滤后所述形状的元素被保留在所述影像中，并且
基于在所述过滤后被保留在所述影像中的所述形状的所述元素来重建(S350)所述形状以获得对所述介入医学设备的所述形状的重建。
21.一种用于在介入医学流程中确定介入医学设备形状的方法，所述方法包括：
获得(S320)所述介入医学设备上的点的位置；
接收或获得(S330)包括所述介入医学设备的体积的影像；
基于所述介入医学设备上的至少一个点的位置，对所述影像应用(S340)图像处理以识别所述介入医学设备，包括识别所述介入医学设备的形状；并且
对所述介入医学设备进行分割(S350)以获得所述介入医学设备的经分割的表示，其中，所述介入医学设备的所述经分割的表示被叠加(S360)在所述影像上，并且，任选地，
向所述方法的用户，例如向工程师、医学从业者或患者，提供与所述经分割的表示叠加的所述影像。
22.一种包括计算机可读指令的计算机程序，所述计算机可读指令在由控制器的处理器运行时使所述控制器执行根据权利要求21所述的方法。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962855013P | 2019-05-31 | 2019-05-31 | |
| US62/855,013 | 2019-05-31 | ||
| EP19189347.8A EP3771435A1 (en) | 2019-07-31 | 2019-07-31 | Passive-ultrasound-sensor-based initialization for image-based device segmentation |
| EP19189347.8 | 2019-07-31 | ||
| PCT/EP2020/063878 WO2020239514A1 (en) | 2019-05-31 | 2020-05-19 | Passive-ultrsound-sensor-based initialization for image-based device segmentantion |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113950294A true CN113950294A (zh) | 2022-01-18 |
Family
ID=70681869
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080040310.XA Pending CN113950294A (zh) | 2019-05-31 | 2020-05-19 | 用于基于图像的设备分割的基于被动超声传感器的初始化 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20220218302A1 (zh) |
| EP (1) | EP3975863A1 (zh) |
| JP (1) | JP2022534916A (zh) |
| CN (1) | CN113950294A (zh) |
| WO (1) | WO2020239514A1 (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012095784A1 (en) * | 2011-01-13 | 2012-07-19 | Koninklijke Philips Electronics N.V. | Visualization of catheter in three-dimensional ultrasound |
| US20130079628A1 (en) * | 2007-10-02 | 2013-03-28 | General Electric Company | Dynamic reference method and system for interventional procedures |
| US20140187947A1 (en) * | 2012-12-31 | 2014-07-03 | General Electric Company | Ultrasound imaging system and method for identifying data from a shadow region |
| WO2014155285A1 (en) * | 2013-03-28 | 2014-10-02 | Koninklijke Philips N.V. | Instrument localization in guided high dose rate brachytherapy |
| WO2015092628A1 (en) * | 2013-12-20 | 2015-06-25 | Koninklijke Philips N.V. | Ultrasound imaging systems and methods for tracking locations of an invasive medical device |
| WO2016009350A1 (en) * | 2014-07-16 | 2016-01-21 | Koninklijke Philips N.V. | Intelligent real-time tool and anatomy visualization in 3d imaging workflows for interventional procedures |
| WO2016092415A1 (en) * | 2014-12-09 | 2016-06-16 | Koninklijke Philips N.V. | Single-modality-based visual distinguishing of medical intervention device from tissue |
| WO2018234230A1 (en) * | 2017-06-19 | 2018-12-27 | Koninklijke Philips N.V. | INTERLACEMENT IMAGING AND CONTINUOUS SEQUENCES FOR ULTRASONIC INSTRUMENT TRACKING |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3082615B1 (en) * | 2013-12-20 | 2019-11-27 | Koninklijke Philips N.V. | Automatic ultrasound beam steering and needle artifact suppression |
| CN106999209B (zh) * | 2014-12-01 | 2020-08-18 | 皇家飞利浦有限公司 | 光学形状感测工具的配准 |
| JP7216655B2 (ja) * | 2017-03-30 | 2023-02-01 | コーニンクレッカ フィリップス エヌ ヴェ | Ｏｓｓ奥行短縮検出システム |
-
2020
- 2020-05-19 WO PCT/EP2020/063878 patent/WO2020239514A1/en active Search and Examination
- 2020-05-19 CN CN202080040310.XA patent/CN113950294A/zh active Pending
- 2020-05-19 JP JP2021570310A patent/JP2022534916A/ja active Pending
- 2020-05-19 US US17/614,697 patent/US20220218302A1/en active Pending
- 2020-05-19 EP EP20725568.8A patent/EP3975863A1/en active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130079628A1 (en) * | 2007-10-02 | 2013-03-28 | General Electric Company | Dynamic reference method and system for interventional procedures |
| WO2012095784A1 (en) * | 2011-01-13 | 2012-07-19 | Koninklijke Philips Electronics N.V. | Visualization of catheter in three-dimensional ultrasound |
| CN103313661A (zh) * | 2011-01-13 | 2013-09-18 | 皇家飞利浦电子股份有限公司 | 三维超声中导管的可视化 |
| US20130281839A1 (en) * | 2011-01-13 | 2013-10-24 | Koninklijke Philips Electronics N.V. | Visualization of catheter of three-dimensional ultrasound |
| US20140187947A1 (en) * | 2012-12-31 | 2014-07-03 | General Electric Company | Ultrasound imaging system and method for identifying data from a shadow region |
| WO2014155285A1 (en) * | 2013-03-28 | 2014-10-02 | Koninklijke Philips N.V. | Instrument localization in guided high dose rate brachytherapy |
| WO2015092628A1 (en) * | 2013-12-20 | 2015-06-25 | Koninklijke Philips N.V. | Ultrasound imaging systems and methods for tracking locations of an invasive medical device |
| WO2016009350A1 (en) * | 2014-07-16 | 2016-01-21 | Koninklijke Philips N.V. | Intelligent real-time tool and anatomy visualization in 3d imaging workflows for interventional procedures |
| WO2016092415A1 (en) * | 2014-12-09 | 2016-06-16 | Koninklijke Philips N.V. | Single-modality-based visual distinguishing of medical intervention device from tissue |
| CN106999154A (zh) * | 2014-12-09 | 2017-08-01 | 皇家飞利浦有限公司 | 医学介入设备与组织的基于单模态的视觉区分 |
| JP2017536903A (ja) * | 2014-12-09 | 2017-12-14 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 組織からの医療介入デバイスの単一モダリティベースの視覚的識別 |
| US20170366756A1 (en) * | 2014-12-09 | 2017-12-21 | Koninklijke Philips N.V. | Single-modality-based visual distinguishing of medical intervention device from tissue |
| WO2018234230A1 (en) * | 2017-06-19 | 2018-12-27 | Koninklijke Philips N.V. | INTERLACEMENT IMAGING AND CONTINUOUS SEQUENCES FOR ULTRASONIC INSTRUMENT TRACKING |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020239514A1 (en) | 2020-12-03 |
| EP3975863A1 (en) | 2022-04-06 |
| JP2022534916A (ja) | 2022-08-04 |
| US20220218302A1 (en) | 2022-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2718543T3 (es) | Sistema y procedimiento para la navegación basada en imágenes fusionadas con la colocación de marcador tardío | |
| JP6395995B2 (ja) | 医療映像処理方法及び装置 | |
| US8861822B2 (en) | Systems and methods for enhanced imaging of objects within an image | |
| JP5717942B2 (ja) | 超音波画像におけるエッジ検出 | |
| JP4750429B2 (ja) | 画像表示装置 | |
| KR101932721B1 (ko) | 의료 영상들의 정합 방법 및 장치 | |
| JP5530592B2 (ja) | イメージング・パラメータの記憶法 | |
| EP2807978A1 (en) | Method and system for 3D acquisition of ultrasound images | |
| US9936896B2 (en) | Active system and method for imaging with an intra-patient probe | |
| US20160007970A1 (en) | Segmentation of large objects from multiple three-dimensional views | |
| US20160317118A1 (en) | Automatic ultrasound beam steering and needle artifact suppression | |
| JP6611880B2 (ja) | ３ｄイメージングシステムのためのデータ表示及び処理アルゴリズム | |
| JP2007296362A (ja) | 機能強化型超音波画像表示装置 | |
| JP6644795B2 (ja) | 解剖学的オブジェクトをセグメント化する超音波画像装置及び方法 | |
| KR102273020B1 (ko) | 의료 영상 정합 방법 및 그 장치 | |
| US9990725B2 (en) | Medical image processing apparatus and medical image registration method using virtual reference point for registering images | |
| KR20140127635A (ko) | 영상 정합 방법 및 장치 | |
| CN105025807B (zh) | 用来对静止流体池进行识别和定界的扫描 | |
| US7376254B2 (en) | Method for surface-contouring of a three-dimensional image | |
| US20130303889A1 (en) | Optical coherence tomography apparatus for diagnosing breast cancer and method of controlling same | |
| US20120123249A1 (en) | Providing an optimal ultrasound image for interventional treatment in a medical system | |
| US20130170724A1 (en) | Method of generating elasticity image and elasticity image generating apparatus | |
| US20220218302A1 (en) | Passive-ultrasound-sensor-based initialization for image-based device segmentation | |
| EP3771435A1 (en) | Passive-ultrasound-sensor-based initialization for image-based device segmentation | |
| US11452495B2 (en) | Apparatus and method for detecting a tool |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |