CN107847291B

CN107847291B - 用于活检记载的针尖端识别的工作流

Info

Publication number: CN107847291B
Application number: CN201680043898.8A
Authority: CN
Inventors: 闫平昆; J·克吕克尔; S·F·汤普森; W·林; S·孔斯
Original assignee: Koninklijke Philips NV
Current assignee: Koninklijke Philips NV
Priority date: 2015-07-28
Filing date: 2016-07-18
Publication date: 2022-03-01
Anticipated expiration: 2036-07-18
Also published as: JP2021191428A; JP2018527975A; CN107847291A; WO2017017556A1; JP6975134B2; EP3328309A1; JP7143493B2; US11723632B2; US20180214139A1

Abstract

介入仪器(16)被插入到患者(14)内以执行由医学成像设备(10)引导的介入医学流程。触发控制器(26)被激活。电子数据处理设备(30)被编程为操作所述医学成像设备以：采集和显示被插入到所述患者内的所述介入仪器(16)的视频(50)；检测所述触发控制器的激活；响应于所述检测，处理所采集的视频的视频段(54)以识别作为所述视频段的捕获由所述介入仪器执行的医学介入事件的帧的触发图像(60)并且识别所识别的触发图像中所述医学介入事件的位置(62)；并且显示所识别的触发图像的具有叠加的标记(102)的静止图像，所述叠加的标记指示所述医学介入事件的所述识别的位置。

Description

用于活检记载的针尖端识别的工作流

技术领域

以下总体涉及成像引导的外科手术领域，诸如活检领域、近距离放疗领域等。

背景技术

图像引导的外科手术流程用于多种目的，诸如组织样本提取(即活检)流程、靶向激光消融流程和近距离放疗流程(其中放射性粒子被递送到目标位置)。这样的流程的范例是前列腺活检流程。前列腺癌影响了美国六分之一男性，并且在2014年是美国男性中的癌症死亡的第二主要原因。前列腺活检通常在超声成像引导下被执行，使用亮度模式(“B”-模式)超声视频成像来帮助泌尿科医师瞄准已知的病变或其他可疑前列腺区域以便进行活检。用于超声引导的前列腺活检的已知系统是UroNav^TM系统(可从美国佛罗里达州盖恩斯维尔的Invivo Corp.,获得)，其采用通过磁共振成像(MRI)采集并且与超声成像融合(即空间上配准)的参考图像。这允许在MRI上识别的病变的精确瞄准，而无需机架中的MRI流程。除了通过MRI识别的点目标外，UroNav^TM系统也能够用于在预先定义的前列腺区域的情况下引导系统六分仪穿刺活检。在其他已知的超声引导的前列腺活检系统中，参考帧由最初采集的三维超声参考图像提供，或活检样本被称为机器人操纵器参考帧。

不管参考帧如何选择，活检位置的缜密记载在具有可能的或确认的前列腺癌的患者的纵向管理中是有帮助的。借助于适当的活检样本(即核心)位置记载，可疑的发现，或低级别肿瘤的发现，能够以规律间隔(例如6或12个月)在相同位置中利用重复的活检进行随诊，以监测潜在的变化和状况的恶化；或者，良性发现能够用来谨慎地对新的之前未采样的位置进行采样，以便最大化重复活检上的肿瘤检测的可能性。这些方法能够帮助患者摆脱不必要的激进治疗并且朝向“活动监测”或具有减少的副作用、成本和对生活质量影响的局部治疗。

准确地记载活检位置中的关键步骤是在击发之后清楚地对活检针尖端成像的超声视频帧的精确识别和该图像中的针尖端的准确识别。与(UroNav^TM系统中的)MRI图像或其他参考的关联然后提供了参考图像空间中的活检位置。然而，记载活检位置的任务会是繁琐的，并且涉及执行活检的泌尿科医师与操作超声成像系统的助手之间的仔细协调。一旦活检针已经被击发以获得组织样本，就需要暂停超声视频采集。示出部署的针的超声帧然后通过以下来被视觉地选择：循环通过超声视频帧直至识别泌尿科医师清楚地观察到活检针的帧。此后，例如使用鼠标或跟踪球或触摸屏将针尖端标记在选定帧的“冻结”显示中，在选定帧中定位针尖端。这些步骤中的每一个减慢了活检工作流，需要训练，并且是依赖操作者的并且容易发生操作者错误。

虽然前列腺活检在本文中被描述为说明性范例，但是本领域技术人员应容易理解，类似的困难出现在采用医学成像视频引导的其他图像引导的外科手术流程的记载位置中。例如，所公开的技术被容易地应用于前列腺、肝脏或其他器官或组织的活检流程，以及应用于诸如近距离放疗流程的其他图像引导的外科手术流程。

以下公开了解决上面提及的问题以及其他问题的新的且改善的系统和方法。

发明内容

在一个公开的方面中，一种设备被配置为协同被插入到患者内的介入仪器操作以执行介入医学流程。所述设备包括医学成像设备，所述医学成像设备包括显示部件、触发控制器、以及电子数据处理设备。所述电子数据处理设备被编程为操作所述医学成像设备以通过引导和位置记载操作来为所述介入医学流程提供图像引导和位置记载，包括：使所述医学成像设备采集并显示被插入到所述患者内的所述介入仪器的视频；检测所述触发控制器的激活；响应于所述检测，处理所采集的视频的视频段以识别作为所述视频段的捕获由所述介入仪器执行的医学介入事件的帧的触发图像并且识别所识别的触发图像中所述医学介入事件的位置；并且使所述医学成像设备显示所识别的触发图像的具有叠加的标记的静止图像，所述叠加的标记指示所述医学介入事件的所识别的位置。

在另一公开的方面中，一种活检引导和位置记载设备包括触发控制器和超声成像设备，所述超声成像设备包括显示部件和电子处理器。所述超声成像设备被配置为执行包括以下的方法：采集并显示正在被活检的人类解剖结构的视频；检测通过所述触发控制器的用户激活生成的活检触发信号；处理所采集的视频以自动识别作为所述视频的示出击发的活检针尖端的帧的触发图像并且识别所识别的触发图像中的所述击发的活检针尖端的位置；并且将所述自动识别的触发图像显示为具有叠加的标记的静止图像，所述叠加的标记指示所述击发的活检针尖端的自动识别的位置。

在另一公开的方面中，一种活检设备包括活检针组件以及紧接的前一段落的活检引导和位置记载设备，所述活检针组件被配置为击发所述活检针尖端来收集活检样本。在一些这样的活检设备中，所述活检设备还包括经直肠超声探头，所述经直肠超声探头被配置用于插入到患者的直肠内，其中，所述活检针组件与所述经直肠超声探头紧固在一起以便插入到所述患者的所述直肠内，和/或与诸如经会阴网格板的定位设备相组合而与所述直肠超声探头紧固在一起。

在另一公开的方面中，一种活检引导和位置记载方法包括：采集并在显示设备上显示正在被活检的人类解剖结构的医学成像视频；检测触发信号；响应于检测到所述触发信号，处理所采集的医学成像视频以识别作为所述医学成像视频的示出击发的活检针尖端的帧的触发图像并且识别所识别的触发图像中的所述击发的活检针尖端的位置；并且利用所识别的触发图像的具有叠加的标记的静止图像显示来代替被显示在所述显示设备上的所述视频，所述叠加的标记指示所述击发的活检针尖端的所识别的位置。

一个优点在于提供更高效的活检工作流。

另一优点在于提供活检位置的更准确识别。

另一优点在于提供错误活检位置识别的降低的可能性。

给定的实施例可以不提供前述优点，提供前述优点中、一个、两个、更多个或全部，和/或可以提供对于本领域技术人员在阅读和理解本公开后将变得显而易见的其他优点。

附图说明

本发明可以采取各种部件和部件的布置，以及各种步骤和步骤的安排的形式。附图仅出于图示优选实施例的目的，并且不应被解释为对本发明的限制。

图1图解性地图示了如本文中公开的提供活检位置记载的超声引导的前列腺活检系统。

图2图解性地图示了使用图1的系统合适地执行的包括活检位置记载的活检样本采集方法。

图3图解性地图示了在图1和2中采用的针尖端检测的合适的实施方式的流程图。

图4图示了使用图3的实施方式在体模中识别的触发帧。

图5图示了叠加有指示针的线性标记的图4的触发帧。

具体实施方式

参照图1，示出了说明性超声引导的前列腺活检系统。超声成像系统10提供图像引导用于瞄准已知的病变或其他可疑的前列腺区域以便进行活检。超声成像系统10例如可以是可从荷兰埃因霍温的皇家飞利浦有限公司获得的EPIQ^TM超声成像系统，或可以是另一商用或定制的超声成像系统。直肠超声探头12被插入到患者14的直肠内。(在图解性的图1中患者的下半部分被切开，以揭示否则将会从视图被遮挡的插入的探头12。通常，患者侧躺着或仰躺着，其中腿部被抬高并且被固定在台面延伸部上)。说明性超声探头12经由线缆15与超声成像系统10连接。说明性超声探头12包括用于收集活检样本的集成式活检针组件16。更一般地，任何类型的图像引导的活检技术都可以被采用，例如，如所图示的使用一体式探头12、16的经直肠超声引导的活检，其中，超声探头被插入到直肠内并且经由直肠壁进入前列腺；或经会阴活检，其中，超声探头进入到直肠内，但是活检针经过会阴以进入前列腺(任选地使用立体网格板等)；等等。对于说明性的经直肠前列腺活检流程，患者14侧躺(如图1中图解性地指示的那样)在图解性地指示的具有合适的枕头或其他支撑物(未示出)的病床或支撑体18上。说明性超声成像系统10包括用于显示超声图像的显示部件20和一个或多个用户接口部件，例如用户接口显示器22和用户控制面板24，所述用户控制面板24包括用户输入设备，例如键盘、专用按钮、跟踪球或鼠标或其他定点设备等等。代替定点设备或除了定点设备之外，一个或两个显示部件20、22可以是通过按压显示器20上的位置实现用户输入的触摸屏显示器。

为了瞄准病变或其他组织，当超声成像系统10在例如以例如大约15-30帧每秒的高帧率提供亮度模式(B-模式)成像帧的视频模式下操作时，泌尿科医师(或，更一般地，医学专业人员)操纵探头组件12、16以将其与目标对齐。当操纵探头组件12、16时，泌尿科医师观察示出B-模式视频的超声显示器20，以便接收(几乎)实时反馈从而实现对病变或其他目标组织的精确瞄准。当泌尿科医师满意目标处于适当的对齐时，泌尿科医师击发活检针以采集活检样本。泌尿科医师然后立即撤回具有采集的活检核心的活检针，并且将该核心存储在活检样品容器中。如接下来描述的，图1的系统提供了活检位置的自动或半自动记载，使得泌尿科医师能够集中于执行活检样本回收和存储动作，并且然后能够复查提出的活检位置关联，如果必要的话则对它进行修正，并且将最终选择的位置与活检样本相关联。

用户控制面板24包括用于活检位置关联的触发控制器26。图示性触发控制器26是为了图示性目的而在图1中以放大孤立方式图解性地示出的“活检”按钮26。应认识到，触发控制器26可以采取其他形式，诸如与超声成像系统10无线电波或红外联系的手持远程控制器、在用户接口显示器22中示出的软键盘(在这种情况下其将会是触敏的)等等。当活检按钮26被按压时，执行活检位置关联操作。为此目的，超声成像系统10还包括在图1中图解性地指示的微处理器、微控制器、或其他电子数据处理部件30。虽然图示性电子处理器30包括被容纳在超声成像系统10内部的微处理器或微控制器，但是在其他实施例中，电子处理器可以具有另一物理架构，例如为通过视频线缆与超声成像系统连接以接收、处理和显示由超声成像系统采集的视频的台式或笔记本计算机。图示性电子处理器30被编程为实施B-模式超声视频采集模块32，所述B-模式超声视频采集模块32引起超声成像系统10采集B-模式视频并将采集的B-模式视频显示在显示部件20上以便由泌尿科医师或其他医学专业人员进行观察。当泌尿科医师按压触发按钮26时，电子处理器30检测到该触发信号。在接收到触发信号后，超声成像系统10继续在一定的预定时间间隔内采集视频内容(或者，替代地在一定的预定帧数内以给定帧率进行测量)，其中所述预定时间间隔长到足以采集活检针尖端到正在被活检的组织内的击发。此后，活检位置关联器模块34处理在活检按钮26激活之后采集的该视频段，以便确定活检位置。图示性活检位置关联器模块34包括自动针尖端检测器36，所述自动针尖端检测器36处理视频段的帧，以便识别最佳地捕获击发的活检针尖端的“触发”帧(或触发图像)，并且识别该触发图像中的活检针尖端位置。这种自动识别能够例如通过将以(由于直肠超声探头/活检针组件12、16的取向而是己知的)适当的击发角度取向的线性活检针尖端模式匹配到每个图像帧中的最突出的线性特征来完成。

自动识别的触发帧在超声成像系统10的显示部件20被显示为静止图像显示(也被称为静止帧显示)–即，触发帧被显示为静态图像。此外，指示自动识别的针尖端位置的标记被叠加在触发图像的静止图像显示上。应认识到，由于针尖端检测过程是快速的，从泌尿科医师的角度来看，在激活触发控制器26之后，显示器20上的B-模式视频仅一会儿或甚至看起来即时由触发图像的静止图像显示代替。泌尿科医师然后复查具有叠加的标记的显示的触发图像。在一个实施例中，叠加的标记是虚线或短划线，或被显示为透明或半透明标记，使得下面的针尖端图层能够在它后面被看见；额外地或替代地，泌尿科医师能够使用合适的切换控制器或用户输入面板24的按钮在示出或隐藏叠加的标记之间进行切换。如果泌尿科医师满意显示的结果，则泌尿科医师能够通过经由用户输入设备的合适的输入(例如使用鼠标或跟踪球点击在显示器上示出的“接受”按钮)来接受它。另一方面，如果泌尿科医师不满意自动识别的触发图像和/或识别的活检针尖端位置，泌尿科医师可以调用视频搜索用户接口38，以便浏览在触发活检针击发之后采集的视频段的帧，以便手动地找到泌尿科医师偏好的不同触发图像。这种手动搜索优选以自动识别的触发图像开始，所述自动识别的触发图像很可能在构成视频段的帧序列中至少靠近如由泌尿科医师判断的“最佳”图像。

以此方式，经由超声成像设备10的用户输入部件22、24来接收用户输入，所述用户输入将击发的活检针尖端的记载位置识别为以下中的一个：(i)经由针尖端检测器36自动识别的击发的活检针尖端的位置，或(ii)由泌尿科医师使用搜索用户接口38从视频识别的手动识别的触发图像中的击发的活检针尖端的手动识别的位置。此后，医学成像设备10的参考帧中的击发的活检针尖端的记载位置被变换为记载参考帧或空间40。该参考空间40能够以各种方式被定义。例如，参考空间40可以根据与超声图像融合的参考磁共振图像来进行定义。参考帧的这种选择由UroNavTM系统提供。有利地，可疑的病变可以在磁共振图像中被容易地识别，使得UroNavTM系统能够在病变瞄准阶段期间将这些叠加在B-模式视频上。在另一方法中，参考帧40根据在开始活检流程之间使用超声成像系统10采集的三维参考超声图像来进行定义。作为又一范例，参考帧40可以根据用于定位直肠超声探头/活检针组件12、16的机器人操纵器的机械体系来进行定义。

由于记载的活检位置在记载参考帧中进行确定，泌尿科医师然后使用用户接口42来将活检样本与记载位置相关联，并且记载参考帧40中的记载的活检位置被记录在活检位置记载存储设备44中。记载存储设备44例如可以是本地存储介质(诸如超声成像系统10的硬盘)，和/或可以是网络数据存储设备(诸如电子病历(EMR)或电子健康档案(EHR))。在制作活检样本/记载的活检位置关联中，泌尿科医师可以合适地使用来自活检样品容器的活检样本索引编号或任何其他可审计的活检样本识别体系。

在一些实施例中，触发控制器26仅仅操作为触发由电子处理器30执行的击发的活检针尖端位置关联处理的执行。在这样的实施例中，泌尿科医师首先操作单独的控制器(未示出)来击发活检针尖端来采集活检样本。此后立即地，泌尿科医师(或助手)激活触发控制器26以执行超声成像系统10的活检针尖端位置关联功能。

在其他实施例(包括图示性实施例)中，触发控制器26也触发活检针尖端组件16以激发活检针尖端来采集活检样本。在这些实施例中，通过激活图示性触发控制器26生成的触发信号经由线缆15被传送给超声探头组件12或被更具体地传送给活检针组件16，并且触发活检针尖端组件16以将活检针尖端击发到病变内来采集活检核心(即活检样本)。同时地，触发控制器26的激活也开始了活检尖端位置关联操作。作为初始步骤，该操作包括在长到足以采集击发的活检针尖端的图像的时间间隔(或，相当地，帧数)内继续视频收集。该时间间隔是短暂的，例如分数秒到几秒，因为它仅仅需要跨越活检针击发并被嵌入到目标组织内的时间。在激活触发控制器26以击发活检针尖端并开始尖端位置关联操作之后，泌尿科医师经由活检针引导检索包含或保持活检样本的击发的针尖端，并且将活检样本放置到活检样品容器内。

继续参照图1并且进一步参照图2，描述了使用包括超声系统10和处理器30的图1的系统执行的活检引导和位置记载工作流。B-模式视频50继续被采集并且被显示，以提供图像引导用于瞄准活检针。在泌尿科医师已经对齐目标组织之后，活检针尖端被击发，例如使用具有击发按钮的手持活检枪(特征未示出)。在击发活检针之后，超声设备10的触发按钮26被按压以生成开始活检针尖端位置和记载流程的触发信号52。在触发信号52被输出之后，视频采集在时间间隔△t(其可以以时间单位或基于帧/秒速率的B-模式视频帧数方式进行测量)内继续。因此，在检测到触发信号52之后采集视频段54，所述视频段54对现在被嵌入在目标组织中的之前触发的活检针尖端进行成像。

在一些替代性实施例中，活检针尖端的击发也触发活检针尖端位置和记载流程的开始。换言之，在这些实施例中，同一触发控制器被致动以同时触发活检针击发和记载流程的开始两者。在这些实施例中，时间间隔△t在与活检针击发的开始相同的时间处开始，并且因此在这些实施例中，△t应当长到足以包含击发时间并且在已经到达静止嵌入到目标组织内之后采集针尖端。

不管活检针尖端是由触发控制器26还是由单独的控制器击发，对击发的活检针尖端进行成像的视频段54在逐帧的基础上由针尖端检测器36进行分析，以自动识别示出击发的针尖端的触发帧60，并且针尖端位置(即尖端)62在触发帧或图像60中进行识别。针尖端检测器36合适地利用具有已知角度的针尖端模式64，并且任选地进一步利用针尖端在已知的一般区域66中的先验知识。对已知区域66的这种定位将搜索区域设置在视频帧段内以优化针尖端检测器66的性能。例如，在为采用网格板的经会阴活检流程提供引导和记载的实施例中，活检的网格位置定义了先验已知区域66。该信息64、66基于直肠探头组件12、16的近似已知的位置和取向来提供。例如，能够在每个视频帧内利用合适的比较度量(例如，|图像像素-模式像素|的和)来扫描针尖端模式64以评价是否找到匹配。

继续参考图1和2，在操作70中，触发帧60被显示有指示识别的尖端62的叠加的标记。泌尿科医师然后关于是否接受该自动识别的活检针尖端位置62来作出决定72。如果它被接受，那么在操作74中，关联用户接口42被调用以执行活检样本/活检位置关联，包括如已经描述的那样从超声图像帧空间变换到参考空间40。另一方面，如果决定72是自动识别的针尖端位置62是不满意的，那么在操作76中，视频搜索用户接口38被调用，泌尿科医师经由所述视频搜索用户接口38手动地逐帧搜索视频段54以手动地选择记载触发帧并且然后手动地识别该帧中的活检针尖端位置。手动识别的尖端位置然后如已经描述的那样经由操作74被关联到活检样本。

参考图3，描述了由针尖端检测器36合适地执行的图示性针尖端检测方法。在操作80中，从视频段54选择第一帧。尖端检测算法82然后被应用，在图示性范例中所述尖端检测算法82尝试以其已知角度将活检针尖端模式64匹配到被分析的视频帧中的线性特征。在决定84中，确定该尝试在图像帧中找到针尖端的这种尝试是否成功。如果否，那么流程进入到决定86，其中确定视频段54中是否有更多要分析的帧，并且如果这样，在操作88中选择下一帧。

如果决定84确定识别当前被分析的帧中的尖端的尝试是成功的，那么流程进入到评分操作90，所述评分操作90关于活检针尖端位置已经被准确识别的可能性对使用一定定量度量的匹配进行评分。例如，所述度量可以对模式64的像素值与被分析的帧的匹配的线性特征中的对应像素的值之前的在逐像素的基础上的差进行求和。在另一方法中，所述度量可以测量被分析的帧的匹配的线性特征的方面(诸如宽度和长度)，并且将这些与模式宽度和长度进行比较。在视频段54的所有帧都已经被分析之后，在操作92中，最高评分的帧被识别为触发帧或图像60，并且活检针尖端位置62在该触发帧60中进行识别。

参照图4和5，示出了针对成像体模的活检针尖端识别的范例。图4示出了包括可能是活检针尖端的线性特征100的图像。图5示出了具有被叠加的识别的活检针尖端位置的指示标记102的同一图像。

在下文中，描述了一些进一步的图示性实施例。

在一种方法中，提供了用户输入触发的针尖端检测。用户(例如泌尿科医师)确定何时开始自动针尖端检测。在图示性实施例中，该确定有利地通过按压活检按钮26来自动进行，所述活检按钮26也触发活检针尖端的击发。在其他实施例中，单独的控制器被采用，第一控制装置被激活以将活检针尖端击发到组织内而第二控制装置触发尖端位置关联流程的开始。在任一情况下，基于图像处理的自动针尖端检测算法被应用以从一组给定的图像帧(例如视频段54)检测针尖端，并且返回针击发帧的帧编号(即触发帧60)。如果泌尿科医师不满意自动选择的触发帧和尖端位置，那么用户接口(UI)38使得操作者(例如泌尿科医师)能够手动地选择针击发帧以及调整针尖端位置。UI 42使得操作者能够将活检核心关联到自动或手动识别的尖端位置。

针尖端检测器36接收组成视频段54的一组N个超声帧，所述一组N个超声帧中的至少一些示出了被嵌入在活检样本正在被采集的组织中的击发的活检针尖端。其他输入数据(如活检引导线(活检针的预期路径，例如针尖端模式64的角度和方向)和参数设置)也任选地被提供给针尖端检测器36。对于该段中的每个帧(或至少对于尖端检测算法82成功定位了针尖端的每个帧；在一些实施例中，尖端检测算法82不能定位针尖端的任何帧被分配为零的分数)，针尖端检测器36的输出包括针尖端位置L_i(0<i<N+1)以及对应的针分数S_i(0<i<N+1)。检测到的击发帧N_击发针对视频段54被识别，所述检测到的击发帧N_击发是具有最高分数值(最高S_i)的帧。分数是检测到的信号实际上有多可能源于针尖端的度量。在一种合适的方法中，尖端检测算法82首先尝试在预先定义的区域66中的每个单个帧中检测针，并且针分数基于任何给定帧中的检测的置信水平来进行计算。然后在结束的时候确定最可能示出实际针击发的超声帧。一旦检测到针尖端，实况成像流就被冻结，因为通过针尖端检测器36识别的击发超声帧N_击发被显示为静止帧。(替代地，系统最初可以显示最后一个帧，即当泌尿科医师手动地触发算法时的帧)。可视化的针尖端标记被显示在检测到的针尖端位置L_击发处，所述可视化的针尖端标记能够是高亮的图形对象，像黄条(可选地透明的或部分透明的，和/或被示为短划线或虚线，以便显现下面的被检测为针尖端的图像特征)。泌尿科医师然后可以检查识别的击发超声帧并且还有标记的识别的针尖端位置。如果结果是满意的，泌尿科医师就接受自动识别的尖端位置L_击发，并且处理移动到关联操作74。否则，泌尿科医师能够经由搜索用户联系操作76选择来调整它(即手动地识别尖端位置)。

在该尖端搜索用户联系操作76的合适的实施例中，要执行的第一操作是手动地识别针击发帧。搜索用户接口38使得泌尿科医师能够从一个帧移动到另一个帧。例如，在一个特定的用户设备实施方式中，泌尿科医师能够使用鼠标(未示出)的中间轮来浏览帧，或移动被显示在显示器20上显示的观察面板的右侧边缘处的滚动条。随着泌尿科医师通过不同的帧，针对每个帧的检测到的针尖端位置被显示(例如针对每个分析的帧通过图3的模式匹配操作82、84输出)。当泌尿科医师在一帧处停止时，如果泌尿科医师满意该帧中的针尖端位置，那么调整结束并且工作流进入到关联操作74。否则，用户能够进一步选择来调整手动识别的触发图像中的针尖端。

如果泌尿科医师选择调整标记位置，提供的用户接口38再次被使用，例如在特定实施例中，泌尿科医师使用鼠标在面板中的期望位置处点击，这会将标记带到该位置。泌尿科医师也可以首先将鼠标定点在活检引导线处，并且然后滚动中间轮，这会沿着活检引导线来回移动标记直至它在期望位置处。

在关联操作74中，泌尿科医师将记载活检针尖端位置(即自动或手动识别的活检针尖端位置)关联到靶向目标/区域。在一种合适的方法中，从参考MRI图像或其他参考空间40识别的一系列目标或区域被显示。关联用户接口42使得泌尿科医师能够浏览并且为活检选择适当的目标。当活检样本采集被执行并且针尖端已经被标记时，泌尿科医师合适地将活检与目标或区域相关联。在一些实施例中，泌尿科医师也具有向记录中添加针对活检的新目标标记的选项。如果目标以期望的顺序被预先定义，则所述系统能够被配置为为用户自动前进到下一目标。关联数据被存储在记载存储设备44中。

替代性实施例(未示出)不包括自动针尖端检测器36。在这种情况下，能够采用变型活检针尖端位置关联流程。在该变型流程中，针尖端位置L_i被设置为固定位置，例如来自训练数据集的针尖端的平均位置。针分数S_i被设置为恒定数值，并且然后N_击发是组中的最后一个帧。

虽然图示性介入流程是经直肠前列腺活检流程，但是应认识到，公开的图像引导和位置记载设备和方法可以在用于其他人类解剖结构(诸如像肝脏的其他器官)的活检流程中被容易地采用，和/或使用其他进入路径(诸如经会阴Bx进入)而被容易地采用。

应进一步认识到，公开的图像引导和位置记载设备和方法可以在其他类型的介入流程中被容易地采用，诸如在近距离放疗流程中，其中介入仪器是近距离放疗种子递送仪器，并且对应于活检针尖端的击发的医学介入事件是近距离放疗种子递送仪器的放射性种子的放置。

应进一步认识到，公开的图像引导和位置记载设备和方法可以容易地配合使用除了超声外的引导医学成像模态的图像引导的介入医学流程被采用。例如，医学成像模态可以是计算机断层摄影(CT)或锥形束CT或磁共振成像(MRI)。

应进一步认识到，由电子处理器30执行的公开的处理操作可以通过存储指令的非瞬态存储介质来体现，所述指令可由微处理器、微控制器或其他电子数据处理部件30读取和执行以执行这些操作。通过非限制性图示，这样的非瞬态存储介质可以包括硬盘驱动器或其他磁性存储介质、闪速存储器、只读存储器(ROM)或其他电子存储介质、光盘或其他光学存储介质、其各种组合等等。

已经参考优选实施例描述了本发明。他人在阅读和理解以上具体实施方式的情况下可能想到修改或替代。目的是，本发明被解释为包括所有这种修改和替代，只要它们落入权利要求书及其等价方案的范围之内。

Claims

1.一种被配置为协同被插入到患者(14)内的介入仪器(16)操作以执行介入医学流程的设备，所述设备包括：

医学成像设备(10)，其包括显示部件(20)；

触发控制器(26)；以及

电子数据处理设备(30)，其被编程为操作所述医学成像设备以通过引导和位置记载操作来为所述介入医学流程提供图像引导和位置记载，所述引导和位置记载操作包括：

使所述医学成像设备采集并显示被插入到所述患者内的所述介入仪器(16)的视频(50)；

检测所述触发控制器的激活；

响应于所述检测，处理所采集的视频的视频段(54)以识别作为所述视频段的捕获由所述介入仪器执行的医学介入事件的帧的触发图像(60)并且识别所识别的触发图像中的所述医学介入事件的位置(62)，其中，所述的处理所采集的视频的视频段(54)以识别作为所述视频段的捕获由所述介入仪器执行的医学介入事件的帧的触发图像(60)包括如下操作：

尝试在所采集的视频的视频段(54)的每个帧中识别(82、84)活检针尖端；

使用针对活检针尖端识别的可靠性度量来至少对所述活检针尖端被成功识别的每个帧进行评分(90)；并且

将所述触发图像(60)识别为最高评分的帧；并且

使所述医学成像设备显示所识别的触发图像的具有叠加的标记(102)的静止图像，所述叠加的标记指示所述医学介入事件的所识别的位置。

2.根据权利要求1所述的设备，其中，以下之一：

(I)所述介入仪器(16)包括活检仪器，并且所述医学介入事件包括由所述活检仪器进行的活检针的击发以采集活检样本；以及

(II)所述介入仪器包括近距离放疗种子递送仪器，并且所述医学介入事件包括由所述近距离放疗种子递送仪器放置放射性种子。

3.根据权利要求1和2中的任一项所述的设备，其中，所述引导和位置记载操作还包括：

经由超声成像设备(10)的一个或多个用户输入设备(22、24)接收以下中的一项：

(i)所述医学介入事件的所识别的位置(62)可接受的指示，其中，所述医学介入事件的所识别的位置被指定为所述医学成像设备的参考帧中的所述医学介入事件的记载位置；或

(ii)所述医学介入事件的所识别的位置不可接受的指示，其中，所述引导和位置记载操作还包括提供用户接口(38)，经由所述用户接口(38)，所述视频段(54)被浏览，并且所述医学成像设备的所述参考帧中的所述医学介入事件的所述记载位置被手动地选择。

4.根据权利要求3所述的设备，其中，所述引导和位置记载操作还包括：

将所述医学成像设备的所述参考帧中的所述医学介入事件的所述记载位置变换到记载参考帧(40)；并且

记录所述记载参考帧中的所述医学介入事件的所述记载位置。

5.根据权利要求1或2所述的设备，其中，所识别的触发图像(60)的具有所述叠加的标记(102)的所述静止图像显示代替所述视频(50)在所述医学成像设备(10)的所述显示部件(20)上的显示。

6.根据权利要求1或2所述的设备，其中，所述触发控制器(26)与所述介入仪器(16)可操作地连接(15)，使得所述触发控制器的激活触发所述介入仪器执行所述医学介入事件。

7.根据权利要求6所述的设备，其中，所述引导和位置记载操作还包括：

将所述视频段(54)选择为包括在检测到所述触发控制器(26)的激活处开始的预定时间间隔或数量的帧(△t)的视频段。

8.一种活检引导和位置记载设备，包括：

触发控制器(26)；以及

超声成像设备(10)，其包括显示部件(20)和电子处理器(30)，所述超声成像设备被配置为执行包括以下的方法：

采集并显示正在被活检的人类解剖结构的视频(50)，

检测通过对所述触发控制器的用户激活而生成的活检触发信号，

处理所采集的视频以自动识别作为所述视频的示出击发的活检针尖端的帧的触发图像(60)并且识别所识别的触发图像中的所述击发的活检针尖端的位置(62)，其中，所述的处理所采集的视频(50)以自动识别作为所述视频的示出击发的活检针尖端的帧的触发图像(60)包括如下操作：

尝试在所采集的视频的视频段(54)的每个帧中识别(82、84)所述活检针尖端；

将所述触发图像(60)识别为最高评分的帧；并且

将自动识别的所述触发图像显示为具有叠加的标记(102)的静止图像，所述叠加的标记指示所述击发的活检针尖端的自动识别的所述位置。

9.根据权利要求8所述的活检引导和位置记载设备，其中，由所述超声成像设备(10)执行的所述方法还包括：

经由所述超声成像设备的用户输入部件(22、24)接收用户输入，所述用户输入将所述击发的活检针尖端的记载位置识别为以下中的一个：(i)所述击发的活检针尖端的自动识别的所述位置(62)，以及(ii)手动识别的触发图像中的所述击发的活检针尖端的手动识别的位置，所述手动识别的触发图像包括所述视频(50)的帧；

将所述击发的活检针尖端的所述记载位置变换到记载参考帧(40)；并且

将所述记载参考帧中的所述击发的活检针尖端的所述记载位置记录在活检位置记载存储设备(44)中。

10.根据权利要求9所述的活检引导和位置记载设备，其中，所述记载参考帧(40)包括与自动或手动识别的所述触发图像融合的参考三维磁共振图像。

11.根据权利要求8所述的活检引导和位置记载设备，其中，尝试在所述视频段(54)的每个帧中识别(82、84)所述活检针尖端包括，尝试在所述视频段的每个帧中以已知的活检针尖端角度或方向来匹配线性针尖端图像模式(64)。

12.根据权利要求9或10所述的活检引导和位置记载设备，其中，所述方法还包括：

在检测到所述触发控制器(26)的激活之后，终止视频(50)的所述采集和显示预定时间间隔或数量的帧(△t)；并且

选择所述视频的包括在所述预定时间间隔或数量的帧(△t)期间采集的所述视频帧的视频段(54)以进行处理。

13.根据权利要求9或10所述的活检引导和位置记载设备，其中，自动识别的所述触发图像(60)的所述显示代替所述视频(50)的所述显示。

14.根据权利要求9或10所述的活检引导和位置记载设备，其中，所述触发控制器(26)被配置为触发所述活检针尖端的所述击发以收集活检样本。