CN105874507B - 多成像模态导航系统 - Google Patents

多成像模态导航系统 Download PDF

Info

Publication number
CN105874507B
CN105874507B CN201380081270.3A CN201380081270A CN105874507B CN 105874507 B CN105874507 B CN 105874507B CN 201380081270 A CN201380081270 A CN 201380081270A CN 105874507 B CN105874507 B CN 105874507B
Authority
CN
China
Prior art keywords
imaging data
imaging
volume
data
tissue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380081270.3A
Other languages
English (en)
Other versions
CN105874507A (zh
Inventor
N·A·阿科曼多
D·利布利希
J·P·奥康纳
L·普洛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ultrasonix Medical Corp
Original Assignee
Analogic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Analogic Corp filed Critical Analogic Corp
Publication of CN105874507A publication Critical patent/CN105874507A/zh
Application granted granted Critical
Publication of CN105874507B publication Critical patent/CN105874507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Vascular Medicine (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

一种方法包括:获得针对感兴趣体积的第一3D成像数据。所述第一3D成像数据包括结构成像数据和感兴趣目标组织。所述方法还包括获得2D成像数据。所述2D成像数据包括针对感兴趣体积的平面的结构成像数据。所述平面包括一组基准标记中的至少三个基准标记。所述方法还包括通过将所述至少三个基准标记与在所述第一3D成像数据中识别出的对应基准标记进行匹配并使用映射图,在所述第一3D成像数据中定位对应于所述2D成像数据的所述平面的平面,包括位置和取向。所述方法还包括视觉显示所述第一3D成像数据,其中所述2D成像数据在所述第一3D成像数据中定位的对应平面处被叠加。

Description

多成像模态导航系统
技术领域
以下总体上涉及成像,并由其适用于多成像模态导航系统。
背景技术
超声成像系统包括将超声射束发射到检查视野的换能器阵列。当射束贯穿视野中的(例如,物体或对象的子部分的)结构时,射束的子部分从所述结构处衰减、散射和/或反射,其中一些反射(回波)贯穿返回换能器阵列。换能器阵列接收回波,所述回波被处理以生成物体或对象的子部分的图像。所述图像被视觉显示。
超声成像在医学和非医学应用中得到广泛使用。医学应用的例子是超声引导活检。通常,活检是一种移除感兴趣组织(例如,前列腺、肺、乳房等)的小样本以供后续检查例如癌细胞的异常的过程。对于活检,将针插入通过皮肤并前进到进行采样的目标组织。通常响应于发现肿块、组织的异常物理增大等来执行活检。
通过超声引导活检,超声用于帮助医生将针定位和/或导航到感兴趣组织。在Pelissier等人于2010年5月6日提交的、序列号为12/775,403、题目为“FreehandUltrasound Imaging Systems and Method for Guiding Find Elongate Instruments”中描述了一种非限制性的方法,所述文献通过引用全文合并于此。在‘403中,电磁传感器被附接到超声探头和针仪器上,并与监视其位置和取向的位置跟踪系统通信。
在‘403中,将换能器探头抵靠患者放置,并采集2D数据。根据探头上的跟踪传感器来确定探头(以及针仪器附接到探头处的针)相对超声图像的位置。在‘403中,当针仪器没有附接到探头上时,一旦目标组织被定位,则根据针仪器上的跟踪传感器来确定针相对于超声图像的位置。两个场景都允许医生确定探头和/或针在3D空间中的位置。
通过另一方法,来自第二模态的结构3D体积图像数据也用于进行引导。MRI系统通常能够捕获富有内部结构和特征的高分辨率的3D数据。相比之下,超声能够以能支持实时交互的高采集率来捕获低分辨率到中高分辨率的二维和三维数据集。对于该方法,在活检之前采集3D MRI图像数据。然后,在活检期间,将2D超声数据与3D MRI数据融合。
这已经包括分割以描述不同组织类型,之后将2D US数据和3D MRI数据进行配准。由这两种模态产生的数据集的规模和结构通常由于模态所捕获的不同物理信息而非常不同,需要初始“正规化”过程来重新映射数据集的一个或两者,从而使其尽可能接近结构上可比的空间。融合数据和跟踪系统用于将探头引导到根据结构图像数据识别出的目标组织。
不幸的是,基于机电传感器的跟踪系统通常需要昂贵的设备和手动过程,以便提取关于恶性肿瘤的存在和程度的关键信息。甚至最新的基于超声和MRI融合的系统需要昂贵的基于硬件的跟踪技术。此外,由于对相关性和跟踪的不确定性,医生目前在目标组织和周围组织中获取比绝对必要多的样本。这会导致增加的过程时间和患者不适。
发明内容
本申请的各方面解决了上述和其它问题。
在一个方面,一种方法包括:获得针对感兴趣体积的第一3D成像数据。所述第一3D成像数据包括结构成像数据和感兴趣目标组织。所述方法还包括获得2D成像数据。所述2D成像数据包括针对感兴趣体积的平面的结构成像数据。所述平面包括一组基准标记中的至少三个基准标记。所述方法还包括:通过将所述至少三个基准标记与在所述第一3D成像数据中识别出的对应基准标记进行匹配并使用映射图,在所述第一3D成像数据中定位对应于所述2D成像数据的所述平面的平面,包括位置和方向。所述方法还包括:视觉显示所述第一3D成像数据,其中所述2D成像数据在所述第一3D成像数据中定位的对应平面处被叠加。
在另一方面,一种多模态导航系统,包括:成像数据处理器,其处理3D体积非US成像数据或3D体积US成像数据中的至少一个,产生第一图像数据和第二图像数据中的至少一个,其中,在3D体积非US成像数据和3D体积US成像数据中的至少一个中表示的结构被视觉增强。所述多模态导航系统还包括:3D US成像数据到3D非US成像数据映射生成器,其融合所述3D体积非US成像数据和所述3D体积US成像数据中经处理的至少一个,并基于经融合的所述3D体积非US成像数据和所述3D体积US成像数据中经处理的至少一个,在其间生成映射。所述映射还将在所述3D体积非US成像数据中识别出的标记映射到3D US成像数据。所述映射还将在所述3D体积非US成像数据中识别出的目标组织映射到3D US成像数据。所述多模态导航系统还包括:2D US成像数据到3D非US成像数据组合器,其将2D US成像数据与所述3D非US成像数据进行组合。所述组合器基于所述映射和标记将2D US成像数据放置在3D非US成像数据中对应于相同平面的位置和取向处。所述多模态导航系统还包括显示器,其同时显示经组合的3D非US成像数据和2D US成像数据。
在另一方面,一种编码有计算机可执行指令的计算机可读存储介质,当被处理器执行时,所述计算机可执行指令令所述处理器:基于US 3D成像数据与非US 3D成像数据之间的映射以及表示在所述US 3D成像数据和所述非US 3D成像二者中视觉呈现的结构的一组基准以及当前US 2D成像数据来跟踪US探头相对所述非US 3D成像数据的位置。所述计算机可执行指令在被处理器执行时,还令处理器:至少基于映射来建议所述US探头从所述US探头的当前位置到感兴趣目标组织的路径。
本领域技术人员在阅读和理解所附说明书时可以想到本申请的其它方面。
附图说明
通过例子示出了本申请,且本申请不限制于附图中的图,在附图中相同的附图标记表示类似的元件,其中:
图1示意性图示了示例性多模态导航系统;
图2示意性图示了图1的多模态导航系统的示例性成像数据处理器、3D US成像数据到3D非US成像数据映射生成器、以及2D US成像数据到3D非US成像数据组合器;
图3示意性图示了具有被附接到其US探头上的仪器导航引导件的示例性US成像系统;
图4示意性图示了具有被附接到其外部的仪器导航引导件的示例性手持US成像系统;以及
图5示意性图示了具有集成的仪器导航引导件的示例性手持US成像系统;以及
图6图示了用于多模态导航的示例性方法。
具体实施方式
后文描述了一种用于在对利用US成像探头采集的2D成像数据和感兴趣体积的先前采集的3D成像数据的成像过程期间基于在2D成像数据和3D成像数据二者中视觉呈现的一组基准标记来跟踪US成像探头相对感兴趣体积的位置的方法。后文还描述了用于建议探头的移动以移动探头使得感兴趣目标组织处于探头的视野中的方法。
例如,该方法结合例如前列腺的活检的应用便于定位感兴趣目标组织。在一个实例中,在不使用任何外部跟踪系统(例如,机电传感器)和/或从2D成像数据和/或3D成像数据中分割组织的情况下实现跟踪和/或移动。这样,本文描述的方法能够减轻基于硬件的跟踪,提供优异且更快速的位置识别,并减少整体过程成本和过程时间。
图1示意性图示了与两个或更多个成像系统102连接的示例性多模态导航系统100。图示的多模态导航系统100从两个或更多个成像系统102接收成像数据。在图示的例子中,所述两个或更多个成像系统102包括至少一个非US成像系统104和US成像系统106。
至少一个非US成像系统104生成3D结构成像数据。如本文所使用的,术语“结构成像数据”指的是包括具有对应于扫描结构(例如,器官、骨骼、肿瘤等)的值的体素的成像数据,这与其体素表示功能(例如,新陈代谢变化、造影剂吸收/分散等)的功能成像数据相反。
非US成像系统104例如是MRI成像系统、CT成像系统等。在变型中,从数据储存库获得非US 3D成像数据,所述数据储存库例如是放射信息系统(RIS)、医院信息系统(HIS)、电子医学记录(EMR)和/或其它数据储存库。此外,非US 3D成像数据可以包括来自多于一个成像系统的3D成像数据。
US成像系统106生成3D和2D结构US成像数据。US成像数据通常具有比非US成像数据低的分辨率。在生成初始3D成像数据以及之后后续2D成像数据或者后续2D成像数据和后续3D成像数据的过程期间,采用US成像系统106。对于后者,例如,这可以包括在预定数量的2D US成像数据帧之后生成3D US成像数据。利用前列腺活检过程,当用户引导探头到目标位置进行采样时,以固定时间间隔(例如,几分之一秒)采集2D US成像数据。
多模态导航系统100包括成像数据处理器108。成像数据处理器108处理非US 3D成像数据和/或US 3D成像数据。如下文更详细描述的,在一个实例中,这种处理包括视觉增强在非US 3D成像数据和/或US 3D成像数据中表示的解剖结构,绘制比在处理前结构上更类似的图像数据集。
多模态导航系统100还包括3D US成像数据到3D非US成像数据映射生成器110。3DUS成像数据到3D非US成像数据映射生成器110生成3D US成像数据与3D非US成像数据之间的映射。如下文更详细描述的,所述映射基于增强结构和在3D非US成像数据中识别出的一组初始基准标记。所述基准标记可以包括解剖基准标记、组织基准标记和/或基准标记。
所述映射允许在3D非US成像数据中识别出的一个或多个目标组织被定位在3D US成像数据中。所述映射还允许所述一组初始基准标记被定位在3D US成像数据中。一旦映射,就能够识别出对应于在两类成像数据(低、中和高分辨率)中视觉呈现的结构的一个或多个额外基准标记。手动或半自动识别初始和/或额外的基准标记。
多模态导航系统100还包括2D US成像数据到3D非US成像数据组合器112。该组合器112将当前2D US成像数据与非US 3D成像数据进行组合。如下文更详细描述的,这包括将2D US成像数据的基准标记与非US 3D成像数据中的基准标记进行匹配,其使得当前2D US成像数据与在非US 3D成像数据中的平面和取向匹配。
多模态导航系统100还包括路径建议器114,其根据US探头的当前位置来建议将US探头放置到目标组织(或其它识别出的组织)将处于US探头的视野中的目标组织位置处的路径。在根据导出例如其间的US探头的速度、加速度、方向等的信息基于(存储于存储器116中的)一个或多个采集帧的期间采集到的2D US成像数据,来建议所述路径。
多模态导航系统100还包括显示器118。在一个实例中,显示3D非US成像数据,其中,当前2D US图像数据被叠加到其上。这允许用户视觉看到当前US探头相对在非US成像数据中识别出的感兴趣目标组织被定位在何处。同时绘制字母数字和/或图形标识以在视觉上示出建议的路径,包括预测的方向、平移和/或旋转探头以定位探头从而目标组织处于视野内。
多模态导航系统100允许经由软件跟踪US探头相对目标组织和3D非US成像数据的位置,而没有被附接到US探头上的任何机电跟踪传感器。额外地,图像数据处理和基准标记减轻了将目标组织分割为可辨别的斑点(blob)或组织以及配准所述斑点的必要。此外,多模态导航系统100允许预测US探头在较少的时间内以更高的置信度到达目标组织的路径。
可以理解的是,可以经由一个或多个计算机处理器(例如,中央处理单元(CPU)、微处理器、控制器等)实现多模态导航系统100,所述计算机处理器执行嵌入或编码到计算机可读存储介质(不包括瞬态介质,例如物理存储器)上的一个或多个计算机可执行指令。然而,备选地,能够通过载波、信号和其它瞬态介质携带计算机可执行指令中的至少一个,并经由一个或多个计算机处理器来实现。
图2示意性图示了3D成像数据处理器108、3D US成像数据到3D非US成像数据映射生成器110、以及2D US成像数据到3D非US成像数据组合器112的例子。如本文所讨论的,3D成像数据处理器108处理3D非US成像数据和/或3D US成像数据。在该例子中,3D成像数据处理器108处理3D非US成像数据和3D US成像数据。
3D成像数据处理器108包括非US 3D成像数据处理器202。非US 3D成像数据处理器202包括结构增强器204。该结构增强器204在视觉上增强某些结构特性,例如组织边缘、诸如组织的结构之间的边界等。例如,这能够通过应用梯度算子、缩放体素值的幅度等来实现。非US 3D成像数据处理器102能够包括额外的或备选的处理部件。
3D成像数据处理器108还包括US 3D成像数据处理器206。US 3D成像数据处理器206包括结构增强器208和图像数据重映射器210。例如通过移除散斑(speckle)、应用梯度算子、缩放体素值的幅度等,结构增强器208在视觉上增强了某些结构特性,例如,组织的边缘、组织之间的边界等。
图像数据重映射器210将US 3D成像数据缩放到非US 3D成像数据的大小,并缩放幅度,使得非US 3D成像数据和US 3D成像数据中的每个的总幅度是近似相同的幅度。类似于非US 3D成像数据处理器202,US 3D成像数据处理器206能够包括额外的或备选的处理部件。
通过例子,在一个实例中,通过对US 3D成像数据去除散斑、应用梯度以发现组织边缘、重新缩放US 3D成像数据和/或非US 3D成像数据(例如,从而US 3D成像数据的大小和非US 3D成像数据的大小近似相同)、并重新缩放US 3D成像数据的和/或非US 3D成像数据的强度(例如,从而非US 3D成像数据的总强度和非US 3D成像数据的强度匹配),US 3D成像数据处理器206增强US 3D成像数据中的结构。这种处理将US 3D成像数据转换为更类似于非US 3D成像数据的3D参考系。
3D US成像数据到3D非US成像数据映射生成器110包括目标组织识别器212。目标组织识别器212允许用户识别非US 3D成像数据中的感兴趣目标组织。这可以包括向用户提供用于以下的工具:允许用户手动跟踪目标组织,在目标组织中设置种子点并随后调用自动提取,通过名字选择组织并调用自动提取等。
3D US成像数据到3D非US成像数据映射生成器110还包括初始基准识别器214,初始基准识别器识别非US 3D成像数据中的一组初始基准标记。用户可以经由用户输入手动设置一个或多个基准标记。额外地或备选地,用户可以经由用户输入自动设置并且改变、确认和/或拒绝一个或多个基准标记。
3D US成像数据到3D非US成像数据映射生成器110还包括成像数据融合器216。成像数据融合器216将非US 3D成像数据和US 3D成像数据融合到一起。
3D US成像数据到3D非US成像数据映射生成器110还包括映射部件218。基于增强结构和一组初始基准标记,映射部件218生成融合的非US 3D成像数据和US 3D成像数据之间的映射图或映射。所述映射图允许US 3D成像数据中的任意位置被映射到非US 3D成像数据。映射图还允许目标组织和/或一个或多个基准标记被定位在US 3D成像数据中。
3D US成像数据到3D非US成像数据映射生成器110还包括后续基准识别器220。后续基准识别器220允许用户识别一个或多个额外的基准标记。类似地,用户能够经由用户输入手动和/或自动地设置一个或多个基准标记,并且用户能够经由用户输入改变、确认和/或拒绝所述一个或多个基准标记。
2D US成像数据到非US 3D成像数据组合器112包括数据匹配器222。数据匹配器222基于基准标记将当前2D US成像数据与非US 3D成像数据进行匹配。采集当前2D US成像数据,从而其包括基准标记中的至少三个。数据匹配器222基于所述至少三个基准标记将2DUS成像数据的位置和取向映射到非US 3D成像数据的平面上。
一般而言,至少三个共面基准标记被用于将2D US成像数据与3D非US成像数据中的平面进行匹配。然而,也可以使用多于三个的共面解剖基准标记。使用多于三个的共面解剖基准标记可以减轻由于组织变形而引起的误差,所述组织变形可以移动2D US成像数据中的基准标记,从而所述基准标记不再与3D非US成像数据中的对应基准标记对齐。
使用多于三个的共面基准标记还可以改善拟合的分辨率。额外的基准标记也可以是共面的。然而,也可以使用在3D非US成像数据中但是相对2D US成像数据在平面外部的基准标记。可以使用最小二乘法或其它方法将2D US成像数据拟合到3D非US成像数据。在一个实例中,所述拟合优化成像数据集之间的相关性。
当采集3D US成像数据时,2D US成像数据到非US 3D成像数据组合器112采用类似的方法来将3D US成像数据映射到3D非US成像数据中的对应的位置和取向。3D非US成像数据与2D US成像数据同时显示在非US 3D成像数据中的确定的位置和取向处。建议路径是如上所述确定的,并被同时显示。
图3图示了US成像系统106的例子。在该例子中,US成像系统106包括控制台302和与其接口分开的US换能器探头304。
超声换能器探头304包括具有多个换能器元件306的换能器阵列。换能器阵列能够是线性的、弯曲的和/或其它形状的、完全填满的、稀疏的和/或其组合等。换能器元件306能够以2D和/或3D模式操作。换能器元件306发射超声信号并接收回波信号。
仪器引导件308(例如,活检针引导件)通过耦合件310(例如,支架、夹子等)被附接到US换能器探头304。在一个实例中,在仪器引导件308中缩回位置处支撑活检针,直到如本文所描述的感兴趣目标组织通过US换能器探头304被定位。然后,针前进以采集感兴趣目标组织的样本。
发射电路312选择性地启动或激发换能器元件306中的一个或多个。更具体地,发射电路312生成被传送到换能器元件306的一组脉冲(或脉冲信号)。所述一组脉冲启动一组换能器元件306,使得换能器元件306将超声信号发射到检查或扫描视野。
接收电路314接收响应于发射的超声信号而生成的一组回波(或回波信号)。回波通常是发出的超声信号与扫描视野中的物体(例如,流动血细胞、器官细胞等)之间的相互作用的结果。接收电路314可以被配置用于空间组合、滤波(例如,FIR和/或IIR)和/或其它回波处理。
射束形成器316处理接收到的回波。在B模式中,这包括向回波应用时间延迟和权重,并对延迟的和加权的回波进行求和。扫描变换器318例如通过将射束变形的数据变换为用于视觉呈现结果数据的显示器或显示区域的坐标系,来扫描变换数据以供显示。
用户接口(UI)320包括一个或多个输入设备(例如,按钮、把手、滑动器等,触摸屏和/或物理机械设备)和/或一个或多个输出设备(例如,液晶显示器、发光二极管等),其允许与系统106进行交互。显示器322视觉显示US成像数据。
控制器324控制系统106的各种部件。例如,这种控制可以包括启动或激发换能器阵列202的单个换能器元件或换能器元件组用于A模式、B模式、C平面和/或其它数据采集模式,操纵和/或聚焦发射的信号等,启动换能器元件306用于操纵和/或聚焦接收到的回波等。
US探头304和显示器322是相对控制台302的物理分离的机电部件。US探头304和显示器322与控制台302通过通信路径326和328进行通信。通信路径326和328可以是有线(例如,物理电缆和连接器)和/或无线的。
图4图示了US成像系统106的变型。在该例子中,控制台302包括单个壳体402。单个壳体402容纳并物理上支撑换能器元件306、仪器引导件308、发射电路312、接收电路314、射束形成器316、扫描变换器318和控制器324,其所有都在单个壳体402内部。
用户接口320和/或显示器322是壳体402的一部分。例如,在一个实例中,显示器322是壳体402的一侧的子部分。用户接口320可以包括壳体402的其他位置处的物理机械控制件。超声窗口404也是控制台200的一部分或与其集成。在该实例中,换能器元件204被放置在壳体402中超声窗口404的后方,并通过其发出信号并接收回波。
在图4中,US成像系统106是手持超声装置,其使用例如来自电源(如电池、电容器等)的内置功率来对其中的部件供电,和/或来自外部电源的功率。手持设备的例子在Walker等人于2003年3月6日提交的、题目为“Intuitive Ultrasonic Imaging System andRelated Method Thereof”的US 7,699,776中描述,其通过引用被并入到本文。
具有内部仪器引导件的手持超声装置的例子在O’Conner于2011年1月31日提交的、题目为“Ultrasound imaging apparatus”的、序列号为13/017,344中描述,并且具有外部仪器引导件的例子则在Pelissier于2008年8月7日提交的、题目为“Hand-HeldUltrasound System having Sterile Enclosure”的美国8,226,562中描述,这两篇文献都通过引用被并入到本文。
图5图示了图4的变型,其中仪器引导件308被放置在单个壳体402外部,并通过耦合件310被附接到壳体402上。
尽管本文描述的方法不需要使用外部跟踪系统和/或机电传感器,但是外部跟踪系统和/或机电传感器可以结合本文描述的方法一起使用。例如,当仪器引导件不是成像系统106的一部分或被附接到其上时,被附接到仪器的机电传感器可以被配准到3D非US成像数据坐标系并用于跟踪仪器。
图6图示了用于将US探头导航到感兴趣目标组织的方法。
注意,后续动作的顺序是出于解释性的目的而非限制性的。这样,可以以不同的顺序执行一个或多个动作,包括但不限于同时。此外,可以省略一个或多个动作和/或添加一个或多个其它动作。
在602处,执行感兴趣体积的3D体积结构扫描,生成3D体积结构成像数据。
在604处,处理所述3D体积结构成像数据以视觉增强在此处表示的结构(例如,边缘、边界等)。
在606处,在视觉增强的3D体积结构成像数据中识别一个或多个感兴趣目标组织和一组初始基准标记。
在608处,执行感兴趣体积的3D体积US扫描,生成3D体积US成像数据。
在610处,处理3D US体积结构成像数据以视觉增强在此处表示的结构(例如,边缘、边界等)。
在612处,融合视觉增强的非US体积结构成像数据和US体积结构成像数据。
在614处,生成在经融合的视觉增强的非US体积结构成像数据与US体积结构成像数据之间的映射。
在616处,在经融合的成像数据的3D非US成像数据中识别额外的基准标记。
在618处,利用US探头执行体积的平面的2D US扫描,生成2D US成像数据。如本文所讨论的,扫描的平面包括至少三个共面基准标记。
在620处,基于所述基准标记,2D US平面与3D体积结构成像数据中的对应的2D平面匹配。
在622处,显示3D体积结构成像数据,其中,2D US平面在对应的2D平面的位置处被叠加到其上。
在624处,基于在过程期间先前执行的2D US扫描,确定从US探头的当前位置到目标组织的路径。
在626处,在所显示的3D体积结构成像数据上同时叠加指示路径的标识。
在628处,确定目标组织是否在US探头的视野中。
如果目标组织不在US探头的视野内,则在630处,基于建议的路径移动US探头,并重复动作618至628。
如果目标组织在US探头的视野内,则在632处,对目标组织进行活检。
在634处,确定是否存在需要活检的其它目标组织。
如果存在需要活检的其它组织,则重复动作618至632。
如果不存在需要活检的其它组织,则在636处,完成过程,和/或不再使用多成像模态导航系统100。
可以通过在计算机可读存储介质上编码或嵌入的计算机可读指令实现上述内容,当被计算机处理器执行时,所述计算机可读指令令处理器执行所描述的动作。额外地或备选地,通过信号、载波或其它瞬态介质携带计算机可读指令中的至少一个。
已经通过各种实施例描述了本申请。当阅读本申请时,他人可以想到修改和变型。本发明意图被解释为包括所有这种修改和变型,包括只要它们落入到随附权利要求及其等价物的范围内。

Claims (23)

1.一种成像方法,包括:
获得针对感兴趣体积的第一3D成像数据,其中,所述第一3D成像数据包括结构成像数据和感兴趣目标组织;
获得2D成像数据,其中,所述2D成像数据包括所述感兴趣体积中表示的结构成像数据,其中,所述2D成像数据包括一组解剖或组织基准标记中的至少三个解剖或组织基准标记;
通过使用预定映射图将所述2D成像数据中的所述至少三个解剖或组织基准标记与在所述第一3D成像数据中识别出的对应的解剖或组织基准标记进行匹配,在所述第一3D成像数据中定位对应于所述2D成像数据的平面的平面,包括位置和取向;并且
视觉显示所述第一3D成像数据,其中,所述2D成像数据在所述第一3D成像数据中定位的对应平面处被叠加。
2.根据权利要求1所述的成像方法,还包括:
获得针对所述感兴趣体积的第二3D成像数据,其中,所述第二3D成像数据包括结构成像数据和所述感兴趣目标组织,其中,所述第一成像数据和第二成像数据对应于不同的成像模态;并且
基于在所述第一3D成像数据中识别出的所述一组解剖或组织基准标记并且通过融合所述第一3D成像数据和所述第二3D成像数据来生成所述第一3D成像数据的体素与所述第二3D成像数据的体素之间的所述预定映射图,其中,所述预定映射图提供所述一组解剖或组织基准标记和所述目标组织到所述第二3D成像数据中的对应位置的映射。
3.根据权利要求2所述的成像方法,其中,所述至少三个解剖或组织基准标记包括在所述第一3D成像数据和所述第二3D成像数据二者中均视觉呈现的解剖结构。
4.根据权利要求3所述的成像方法,其中,所述解剖结构包括组织的边缘或者两个不同组织之间的边界。
5.根据权利要求1所述的成像方法,还包括:
视觉增强所述第一3D成像数据中的结构;
在视觉增强的第一3D成像数据中识别所述目标组织;并且
在所述视觉增强的第一3D成像数据中识别一组解剖基准标记。
6.根据权利要求5所述的成像方法,其中,所述结构是通过应用梯度缩放或幅度缩放中的一个或多个来视觉增强的。
7.根据权利要求4所述的成像方法,还包括:
视觉增强所述第二3D成像数据中的结构。
8.根据权利要求7所述的成像方法,其中,所述结构是通过从所述第二3D成像数据中移除散斑来视觉增强的。
9.根据权利要求7所述的成像方法,还包括:
将所述第一3D成像数据或所述第二3D成像数据中的至少一个的大小缩放为近似等于所述第二3D成像数据或所述第一3D成像数据中的至少一个的大小。
10.根据权利要求7所述的成像方法,还包括:
缩放所述第一3D成像数据的和所述第二3D成像数据的每个体素的强度值,使得所述第一3D成像数据的和所述第二3D成像数据的总体强度近似相等。
11.根据权利要求1所述的成像方法,其中,利用具有视野的US探头来采集所述2D成像数据,并且所述方法还包括:
确定针对所述US探头的路径,所述路径被预测为将所述US探头从所述第一3D成像数据中的当前位置移动到所述目标组织处于所述US探头的所述视野中的位置,其中,所述路径基于在采集所述2D成像数据之前预定数量的采集帧中采集到的2D成像数据。
12.根据权利要求11所述的成像方法,其中,所述路径基于以下中的一个或多个:在帧之间所述US探头的移动的速度或加速度。
13.根据权利要求11所述的成像方法,还包括:
视觉显示示出被叠加到所显示的第一3D成像数据上的路径的标识,其中,所述标识示出预测的平移和旋转。
14.根据权利要求2所述的成像方法,其中,所述第一3D成像数据具有第一图像分辨率,并且所述第二3D成像数据具有第二图像分辨率,并且所述第一图像分辨率大于所述第二图像分辨率。
15.根据权利要求2所述的成像方法,其中,以第一成像模态生成所述第一3D成像数据,并且以第二成像模态生成所述第二3D成像数据,其中,所述第一成像模态是MRI或CT中的一个,并且所述第二成像模态是US。
16.一种多模态导航系统(100),包括:
成像数据处理器(108),其处理3D体积非US成像数据或3D体积US成像数据中的至少一个,从而分别产生第一图像数据或第二图像数据中的至少一个,其中,在3D体积非US成像数据或所述3D体积US成像数据中的所述至少一个中表示的结构被视觉增强;
3D US成像数据到3D非US成像数据映射生成器(110),其融合所述3D体积非US成像数据和所述3D体积US成像数据中的经处理的至少一个和所述3D体积非US成像数据和所述3D体积US成像数据中的另一个,并基于经融合的所述3D体积非US成像数据和所述3D体积US成像数据中的经处理的至少一个,生成在所述3D体积非US成像数据和所述3D体积US成像数据中的经处理的至少一个和所述3D体积非US成像数据和所述3D体积US成像数据中的另一个之间的映射;
其中,所述映射还包括将在所述3D体积非US成像数据中识别出的解剖或组织标记映射到所述3D US成像数据,并且其中,所述映射还将在所述3D体积非US成像数据中识别出的目标组织映射到所述3D US成像数据;
2D US成像数据到3D非US成像数据组合器(116),其将2D US成像数据与所述3D非US成像数据进行组合,其中,所述组合器基于所述映射和所述解剖或组织标记将所述2D US成像数据放置在所述3D非US成像数据中对应于相同平面的位置和取向处;以及
显示器(118),其同时显示经组合的3D非US成像数据和所述2D US成像数据。
17.根据权利要求16所述的多模态导航系统,还包括:
路径建议器(114),其建议针对采集到所述2D US成像数据的US探头的路径,其中,所建议的路径预测从所述US探头的当前位置到感兴趣组织的位置的路径。
18.根据权利要求16所述的多模态导航系统,其中,所述3D非US成像数据包括MRI3D成像数据或CT3D成像数据中的至少一个。
19.根据权利要求16所述的多模态导航系统,其中,所述成像数据处理器通过应用边缘检测或幅度缩放算法中的至少一个来处理所述3D体积非US成像数据。
20.根据权利要求16所述的多模态导航系统,其中,所述成像数据处理器通过应用去散斑、边缘检测或幅度缩放算法中的至少一个来处理所述3D体积US成像数据。
21.根据权利要求20所述的多模态导航系统,其中,所述成像数据处理器通过将所述3D体积US成像数据的大小缩放为所述3D体积非US成像数据的大小来处理所述3D体积US成像数据。
22.根据权利要求16所述的多模态导航系统,其中,所述成像数据处理器通过正规化所述3D体积US成像数据和所述3D体积非US成像数据的总强度来处理所述3D体积US成像数据和所述3D体积非US成像数据。
23.根据权利要求16所述的多模态导航系统,其中,所述标记包括至少三个共面解剖标记。
CN201380081270.3A 2013-11-27 2013-11-27 多成像模态导航系统 Active CN105874507B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2013/072154 WO2015080716A1 (en) 2013-11-27 2013-11-27 Multi-imaging modality navigation system

Publications (2)

Publication Number Publication Date
CN105874507A CN105874507A (zh) 2016-08-17
CN105874507B true CN105874507B (zh) 2019-09-27

Family

ID=49780385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380081270.3A Active CN105874507B (zh) 2013-11-27 2013-11-27 多成像模态导航系统

Country Status (4)

Country Link
US (1) US10026191B2 (zh)
EP (1) EP3074947B1 (zh)
CN (1) CN105874507B (zh)
WO (1) WO2015080716A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008017051A2 (en) 2006-08-02 2008-02-07 Inneroptic Technology Inc. System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities
US8690776B2 (en) 2009-02-17 2014-04-08 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image guided surgery
US11464578B2 (en) 2009-02-17 2022-10-11 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures
US9901406B2 (en) 2014-10-02 2018-02-27 Inneroptic Technology, Inc. Affected region display associated with a medical device
US10991069B2 (en) * 2014-10-08 2021-04-27 Samsung Electronics Co., Ltd. Method and apparatus for registration of medical images
US10188467B2 (en) 2014-12-12 2019-01-29 Inneroptic Technology, Inc. Surgical guidance intersection display
US9949700B2 (en) * 2015-07-22 2018-04-24 Inneroptic Technology, Inc. Medical device approaches
US9675319B1 (en) 2016-02-17 2017-06-13 Inneroptic Technology, Inc. Loupe display
US20190209130A1 (en) * 2016-05-16 2019-07-11 Bk Medical Holding Company, Inc. Real-Time Sagittal Plane Navigation in Ultrasound Imaging
US11064979B2 (en) * 2016-05-16 2021-07-20 Analogic Corporation Real-time anatomically based deformation mapping and correction
CN106923862B (zh) * 2017-03-17 2020-11-27 苏州佳世达电通有限公司 一种超声扫描导引装置及超声扫描导引方法
US11259879B2 (en) 2017-08-01 2022-03-01 Inneroptic Technology, Inc. Selective transparency to assist medical device navigation
US10657709B2 (en) * 2017-10-23 2020-05-19 Fit3D, Inc. Generation of body models and measurements
US11484365B2 (en) 2018-01-23 2022-11-01 Inneroptic Technology, Inc. Medical image guidance
CN109009435A (zh) * 2018-08-20 2018-12-18 真健康(北京)医疗科技有限公司 一种肺结节穿刺导航系统
JP7538705B2 (ja) 2020-12-08 2024-08-22 富士フイルムヘルスケア株式会社 超音波診断システム及び操作支援方法
US12004821B2 (en) 2022-02-03 2024-06-11 Medtronic Navigation, Inc. Systems, methods, and devices for generating a hybrid image

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102651999A (zh) * 2009-12-09 2012-08-29 皇家飞利浦电子股份有限公司 超声和x射线系统的组合
CN102917647A (zh) * 2010-05-27 2013-02-06 皇家飞利浦电子股份有限公司 对象的特定取向的确定

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5325449A (en) 1992-05-15 1994-06-28 David Sarnoff Research Center, Inc. Method for fusing images and apparatus therefor
US5672877A (en) 1996-03-27 1997-09-30 Adac Laboratories Coregistration of multi-modality data in a medical imaging system
JP3537594B2 (ja) 1996-06-13 2004-06-14 アロカ株式会社 超音波診断装置
US20030128801A1 (en) 2002-01-07 2003-07-10 Multi-Dimensional Imaging, Inc. Multi-modality apparatus for dynamic anatomical, physiological and molecular imaging
US7699776B2 (en) 2002-03-08 2010-04-20 University Of Virginia Patent Foundation Intuitive ultrasonic imaging system and related method thereof
US20030194050A1 (en) 2002-04-15 2003-10-16 General Electric Company Multi modality X-ray and nuclear medicine mammography imaging system and method
US6856666B2 (en) 2002-10-04 2005-02-15 Ge Medical Systems Global Technology Company, Llc Multi modality imaging methods and apparatus
WO2004049259A1 (en) 2002-11-27 2004-06-10 Koninklijke Philips Electronics N.V. Image processing system and medical examination apparatus for correlating features in medical images
ES2246029T3 (es) 2003-04-11 2006-02-01 Medcom Gesellschaft Fur Medizinische Bildverarbeitung Mbh Combinacion de los datos de las imagenes primarias y secundarias de un objeto.
US20040210133A1 (en) 2003-04-15 2004-10-21 Dror Nir Method and system for selecting and recording biopsy sites in a body organ
DE10323008A1 (de) 2003-05-21 2004-12-23 Siemens Ag Verfahren zur automatischen Fusion von 2D-Fluoro-C-Bogen-Bildern mit präoperativen 3D-Bildern unter einmaliger Verwendung von Navigationsmarken
DE10333543A1 (de) * 2003-07-23 2005-02-24 Siemens Ag Verfahren zur gekoppelten Darstellung intraoperativer sowie interaktiv und iteraktiv re-registrierter präoperativer Bilder in der medizinischen Bildgebung
US20050031176A1 (en) 2003-08-08 2005-02-10 Hertel Sarah R. Method and apparatus of multi-modality image fusion
US6966878B2 (en) 2003-08-28 2005-11-22 Ge Medical Systems Global Technology Company, Llc Method and apparatus for obtaining a volumetric scan of a periodically moving object
US6980844B2 (en) 2003-08-28 2005-12-27 Ge Medical Systems Global Technology Company Method and apparatus for correcting a volumetric scan of an object moving at an uneven period
US20070270687A1 (en) 2004-01-13 2007-11-22 Gardi Lori A Ultrasound Imaging System and Methods Of Imaging Using the Same
US8145012B2 (en) 2004-02-20 2012-03-27 Koninklijke Philips Electronics N.V. Device and process for multimodal registration of images
US7483034B2 (en) 2004-02-25 2009-01-27 Siemens Medical Solutions Usa, Inc. System and method for GPU-based 3D nonrigid registration
US7724943B2 (en) 2004-04-21 2010-05-25 Siemens Medical Solutions Usa, Inc. Rapid and robust 3D/3D registration technique
US8090429B2 (en) 2004-06-30 2012-01-03 Siemens Medical Solutions Usa, Inc. Systems and methods for localized image registration and fusion
US7327865B2 (en) 2004-06-30 2008-02-05 Accuray, Inc. Fiducial-less tracking with non-rigid image registration
US7639896B2 (en) 2004-08-09 2009-12-29 Carestream Health, Inc. Multimodal image registration using compound mutual information
EP1825813A4 (en) 2004-12-13 2009-02-25 Hitachi Medical Corp ULTRASONIC DIAGNOSTIC APPARATUS
JP5111387B2 (ja) 2005-11-14 2013-01-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 解剖学的構造のシルエット合成レンダリング
US8425418B2 (en) 2006-05-18 2013-04-23 Eigen, Llc Method of ultrasonic imaging and biopsy of the prostate
DE102007023656A1 (de) 2007-05-22 2008-12-04 Siemens Ag Verfahren zur Datenauswertung
US8226562B2 (en) 2007-08-10 2012-07-24 Ultrasonix Medical Corporation Hand-held ultrasound system having sterile enclosure
FR2920961B1 (fr) 2007-09-18 2017-06-02 Koelis Systeme et procede d'imagerie et de localisation de ponctions sous echographie prostatique
US8270691B2 (en) 2007-10-09 2012-09-18 Siemens Aktiengesellschaft Method for fusing images acquired from a plurality of different image acquiring modalities
US8111892B2 (en) 2008-06-04 2012-02-07 Medison Co., Ltd. Registration of CT image onto ultrasound images
CN102083370B (zh) 2008-06-11 2014-03-05 皇家飞利浦电子股份有限公司 多模式计算机辅助诊断系统和方法
CN102215770B (zh) 2008-06-20 2013-11-13 皇家飞利浦电子股份有限公司 用于执行活检的方法和系统
US9895135B2 (en) 2009-05-20 2018-02-20 Analogic Canada Corporation Freehand ultrasound imaging systems and methods providing position quality feedback
CN102481115B (zh) 2009-06-05 2014-11-26 皇家飞利浦电子股份有限公司 用于集成式活检和治疗的系统和方法
FR2949316A1 (fr) 2009-08-31 2011-03-04 Koelis Systeme et procede de controle pour le guidage precis vers la prostate d' une aiguille percutanee
US8834455B2 (en) 2010-03-25 2014-09-16 Sonowand As Attachment device for attaching a rigid body to an arbitrary medical instrument
JP5558931B2 (ja) 2010-06-16 2014-07-23 日立アロカメディカル株式会社 超音波診断装置
US10485513B2 (en) 2011-01-31 2019-11-26 Analogic Corporation Ultrasound imaging apparatus
US8831708B2 (en) 2011-03-15 2014-09-09 Siemens Aktiengesellschaft Multi-modal medical imaging
US8861672B2 (en) * 2011-11-16 2014-10-14 Siemens Medical Solutions Usa, Inc. Patient positioning system
KR101881924B1 (ko) * 2011-12-29 2018-08-27 삼성전자주식회사 초음파 영상 처리 방법 및 장치
US9183354B2 (en) * 2012-08-15 2015-11-10 Musc Foundation For Research Development Systems and methods for image guided surgery

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102651999A (zh) * 2009-12-09 2012-08-29 皇家飞利浦电子股份有限公司 超声和x射线系统的组合
CN102917647A (zh) * 2010-05-27 2013-02-06 皇家飞利浦电子股份有限公司 对象的特定取向的确定

Also Published As

Publication number Publication date
CN105874507A (zh) 2016-08-17
WO2015080716A1 (en) 2015-06-04
EP3074947B1 (en) 2020-07-01
US20170169577A1 (en) 2017-06-15
EP3074947A1 (en) 2016-10-05
US10026191B2 (en) 2018-07-17

Similar Documents

Publication Publication Date Title
CN105874507B (zh) 多成像模态导航系统
US11504095B2 (en) Three-dimensional imaging and modeling of ultrasound image data
JP6430498B2 (ja) 超音波剪断波エラストグラフィ測定のマッピングのためのシステムおよび方法
KR102522539B1 (ko) 의료영상 표시장치 및 의료영상 처리방법
US11642096B2 (en) Method for postural independent location of targets in diagnostic images acquired by multimodal acquisitions and system for carrying out the method
JP2018514352A (ja) 後期マーカー配置による融合イメージベース誘導のためのシステムおよび方法
US20160095573A1 (en) Ultrasonic diagnostic apparatus
CN111315301A (zh) 用于将超声乳房图像与其他成像模态的乳房图像相关的超声系统和方法
JP5736220B2 (ja) 医用撮像装置、医用撮像方法、及び、その方法を具現化するようにプログラムされたコード命令を含むコンピュータ・プログラム
CN109313698A (zh) 同步的表面和内部肿瘤检测
US20160210511A1 (en) Imaging based instrument event tracking
CA2969874C (en) Method for optimising the position of a patient's body part relative to an imaging device
EP3017766B1 (en) Ultrasound imaging apparatus and control method thereof
WO2016039763A1 (en) Image registration fiducials
JP5645160B2 (ja) 超音波治療システム
US12112437B2 (en) Positioning medical views in augmented reality
US10470824B2 (en) Imaging apparatus and interventional instrument event mapper
KR20180087698A (ko) 대상체에 관한 횡파 탄성 데이터를 표시하는 초음파 진단 장치 그 동작 방법
EP3807900A1 (en) Registration of an anatomical body part by detecting a finger pose
EP3747387B1 (en) Wrong level surgery prevention

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200219

Address after: American Delaware

Patentee after: ULTRASONIX MEDICAL Corp.

Address before: Massachusetts, USA

Patentee before: ANALOGIC Corp.

TR01 Transfer of patent right