CN106456253A - 免于重建的自动多模态超声配准 - Google Patents

免于重建的自动多模态超声配准 Download PDF

Info

Publication number
CN106456253A
CN106456253A CN201580025340.2A CN201580025340A CN106456253A CN 106456253 A CN106456253 A CN 106456253A CN 201580025340 A CN201580025340 A CN 201580025340A CN 106456253 A CN106456253 A CN 106456253A
Authority
CN
China
Prior art keywords
image
equipment according
registration
dynamically
collection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580025340.2A
Other languages
English (en)
Other versions
CN106456253B (zh
Inventor
J·克吕克尔
A·M·塔赫玛塞比马拉古奥施
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN106456253A publication Critical patent/CN106456253A/zh
Application granted granted Critical
Publication of CN106456253B publication Critical patent/CN106456253B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/378Surgical systems with images on a monitor during operation using ultrasound

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

图像共配准(S390)需要:发射能量,并且响应地和动态地采集图像(216),所采集的图像具有给定维度;重复地并且动态地利用所述采集从所采集的图像中间选择,并且作为所述选择的结果,重复地并且动态地改变所述给定维度的图像的集合(226)中的成员资格;并且与所述改变(S376)同步地将所述集合动态地并且迭代地配准到具有比所述给定维度更高的维度的图像。所述共配准是能利用用于采集的成像探头(140)和用于跟踪所述探头的位置和取向的跟踪系统实现的,所述配准专用于所述采集,其中所述探头在所述采集期间动态地进行以下中的任意一项或多项:成角、旋转和平移。所述配准通过所述集合的成员的个体变换(220)初始化,但是在不需要将所述集合重建为具有比所述给定维度更高的维度的图像的情况下,其从所述集合导出在所述成员外部的额外像素(219)。

Description

免于重建的自动多模态超声配准
技术领域
本发明涉及共配准图像,并且更具体涉及将N维图像配准到具有较小维度的图像的集合。
背景技术
医学超声(US)和计算机断层摄影(CT)成像的自动配准能够使诊断以及介入流程受益。通常以这两种模态来采集三维(3D)图像。Kadoury等人(“Kadoury”)共同所有的国际公开No.WO2012/117381中的US-CT的方法包含基于空间跟踪的2D US“扫掠”来重建三维(3D)US体积,跟随有自动3DUS-CT配准。
发明内容
下文在本文中提出的内容是对Kadoury方法的进一步的发展。如在Kadoury中,利用US之外的模态(诸如CT或磁共振成像(MRI))的3D已有图像实现配准。然而,省略了根据US2D帧的重建的准备步骤。尽管仍然使用空间跟踪,但是其被用于将帧对齐为整体单元。如在Kadoury中,执行变换来实现所述共配准。然而,动态、重复并且逐渐地完成US采集和配准,以采集的US帧的稀疏集合开始。因此,针对所述配准的实例的任何准备关于US是免于重建的(reconstruction-free)。所述稀疏起因于基于图像质量和帧间距离的动态选择性。因此,缩短了流程的持续时间。具体地,根据2DUS切片的3DUS的重建花费时间;用户需要回顾3DUS并且需要在图像质量不足够的情况下重做所述扫掠;所述“扫掠”自身进行训练和实践以便创建良好的体积图像质量;并且实际的配准任务仅能够在所述重建完成并且被接受时开始,这引起处理链中的额外的延迟。三维(3D)US探头能够减轻重建问题中的一些问题;然而,3DUS探头是昂贵、非广泛可用的,并且限制待采集的体积的大小。在本文中提出内容解决了这些关心问题以及其他问题。
具体而言,示范性图像共配准设备包括图像采集处理器,其被配置用于发射能量并且响应地和动态地采集图像。所采集的图像具有给定维度。
还包括的是图像选择处理器,其被配置用于利用所述采集从所采集的图像中间重复地并且动态地选择,并且作为所述选择的结果,重复地并且动态地改变该维度的图像集合中的成员资格。
还包括的是图像共配准处理器,其被配置用于与所述改变同步地将所述集合动态地并且迭代地配准到具有比所述给定维度更高的维度的图像。
借助未按比例绘制的如下附图,下文进一步阐述了新颖的、免于重建的自动多模态US配准技术的细节。
附图说明
图1是根据本发明的示范性免于重建的自动多模态US配准设备的示意图;
图2是根据本发明的运行中的渐进图像共配准的概念图;并且
图3是根据本发明的示范性免于重建的自动多模态US配准的流程图。
具体实施方式
整合的架构提供了准确并且实时更新的变换链以将二维(2D)超声(US)图像徒手连接到来自另一模态的预采集的3D参考体积。在本公开中,“实时”意指在没有故意延迟的情况下,给定系统的处理限制和准确地执行功能所要求的时间。
关于在运行中将术前图像体积与术中二维图像的集合(其成员逐渐并且动态地采集以用于选择录入到集合中),在本文中描述了本实施例;然而,根据本原理的系统和方法能够应用于监测介入流程和/或诊断应用的术前、术中和术后图像中的任意图像之间的配准。
还将关于医学系统和仪器来描述实施例;然而,本发明的教导可以宽泛得多并且适于采用在动态地共配准不同维度的图像的过程中采用的任何仪器。共配准可以动态地并且可见地改善,经受一个或多个停止准则。可以在跟踪或分析复杂的生物或机械系统的过程中采用这样的仪器。具体地,本原理适于生物系统的内部跟踪流程、身体的所有区域(诸如肺、胃肠道、排泄器官、血管等)中的流程。感兴趣区域可以是身体器官,诸如,例如肝或肾。可以对标本以及活的动物或人类对象或患者以及更一般地任何对象执行流程。附图中所描绘的元件可以以硬件和软件的各种组合来实施并且提供可以组合在单个元件或多个元件中的功能。本原理可以应用于引导需要将患者与先验医学图像配准的许多介入或手术流程(例如,活检、消融、栓塞、排水等)。这些原理还可以应用在采用多模态配准的诊断应用中并且可以不包含介入流程。例如,由于超声和CT提供补充的诊断信息,因而对这两种模态进行配准来确保在这两种图像中评估相同的病灶可以是有益的。
附图中所示的各种元件的功能能够通过使用专用硬件以及能够运行与适当软件相关联的软件的硬件来提供的。当由处理器提供时,功能能够是通过单个专用处理器、通过单个共享处理器或者通过其中的一些能够被共享的多个个体处理器来提供的。此外,术语“处理器”或“控制器”的明确使用不应当被解释为排他性地指代能够执行软件的硬件,并且能够隐含地包括,但不限于:数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、非易失性存储等。特别地,并且通过范例的方式,作为计算机的一部分的图像采集处理器或者合并计算机的扫描器,执行计算和对数据的其他操纵,用于发出能量并且响应地采集图像。该处理器可以与其他专用处理器共享电路、其他硬件和/或软件。一个或多个处理器可以被实施为一个或多个集成电路。
此外,记载本发明的原理、方面和实施例以及其特定范例的本文中的所有语句旨在包含其结构和功能等同物二者。另外,预期这样的等同物包括当前已知的等同物以及将来发展的等同物二者(即,不管结构如何,执行相同功能的所发展的任何元件)。因此,例如,本领域的技术人员将意识到,下文在本文中呈现的框图和示意图表示实现本发明的原理的说明性系统部件和/或电路的概念视图。类似地,将意识到,任何流程图、流向图等表示可以基本上表示在计算机可读存储媒介中并且因此由计算机或处理器运行的各种过程,无论这样的计算机或处理器是否被明确示出。
此外,本发明的实施例能够采取由计算机可用或计算机可读存储介质可访问的计算机程序产品的形式,所述介质提供用于由计算机或任何指令运行系统使用或与其结合的程序代码。计算机程序能够被临时、暂时或者更长时间段存储在诸如光学存储介质或固态介质的适合的计算机可读介质上。这样的介质仅在不是瞬态传播信号的意义上是非瞬态的,但是包括诸如寄存器存储器、处理器高速缓存、RAM和其他易失性存储器的其他形式的计算机可读媒介。
图1通过说明性和非限制性范例示出了免于重建的自动多模态US配准设备或“图像共配准设备”100。如上文在本文中所提到的,示例性实施例特征在运行中将术前图像体积与术中二维图像的集合(其成员被逐渐地并且动态地采集以用于选择录入到集合中)配准。
设备100包括图像采集处理器110、图像选择处理器120和图像共配准处理器130。其还可以包括成像探头140、空间跟踪系统150和包括显示器170(其能够包括多个屏幕)的用户接口160以及用户可调节控件180。空间跟踪系统的范例是来自DNI的AuroraTM电磁(EM)跟踪系统。能够利用各种类型的电磁定位器系统。在一个范例中,(EM)场发生器具有处于不同取向的天线。固定到探头140的跟踪传感器拾取来自各种取向处的天线的信号。从其相对的信号特性(例如,相对信号强度、相对相位等),来确定传感器相对于天线的位置。在另一实施例中,传感器具有具有不同的取向的接收线圈或天线。在一个实施例中,传感器通过向下通到探头140的手柄的接线与定位器处理器连接。在另一实施例中,使用无线通信路径。设备100的部件110-180通信地连接190,每一个对其他的连接是有线和/或无线的。
图2提供了用作在本文中提出的内容的范例的共配准的概念图。CT系统(未示出)采集3D图像202,示出了其切片204。对经历检查的患者208的感兴趣的身体器官206进行分割。这经由器官206的模型自动地完成。备选地,其能够经由与在显示器170上察看的内容交互地控件180经由对光标的用户操纵来手动地完成。分割的器官206驻留在CT坐标系210CCT中。器官206的表面上的点被指定以形成点云。为了较大的配准准确度,通过密集地采样器官表面来形成点云。器官的网格模型可以自动地提供表面顶点,或者可以完成其他自动表面采样。或者,能够交互地手动完成采样。
在如通过物理附接或合并的固定空间关系中,探头140是作为跟踪系统150的一部分的跟踪传感器212。跟踪系统150还包括EM场发生器(在附图中未示出)。所生成的场214激励跟踪传感器212,引起指示探头140的位置和取向的信号的产生。位置和取向能通过六个参数表示—针对位置的三个参数和针对取向的三个参数。
在已经准备术前CT成像和CT特异性点云的情况下,US探头140在术中能用于检查现在相同患者208中的相同器官206以经历US检查。针对包含器官206的感兴趣区域(ROI)218的2D US图像216的采集来定位探头140。从经受检查的对象内的对应地不同位置来采集图像或帧216。其是使用探头140的不同旋转、平移和/或角度获得的。该步骤与在诊断检查期间或者在介入流程之前通常执行的ROI 218的常规“手术”扫描非常类似,并且几乎不要求训练。当由用户手动地执行时,其提供相对于常规扫掠的优点,常规扫掠针对有效性要求技能和通常地训练和经验。另外,针对图像采集的开始和停止,不存在对于要求与第二操作者同步(即,其在控制台或工作站处)的需求。备选地,能够自动地完成操纵。范例将是控制探头140的运动的机器臂。共配准被专用于US图像的采集,其中探头140在所述采集期间动态地进行以下中的任意一项或多项:成角、旋转和平移。
图像采集处理器110在存储器(未示出)中存储针对每个所采集的帧216的跟踪传感器位置和跟踪传感器取向值。该存储的成像数据可以被用于导出在成员帧外部的额外像素219;然而,在本文中提出的内容免除进行这样的US重建的需要。不是使用信息重建3DUS图像,而是帧216在针对解剖正确性关于彼此原样保留时被处置作为单一整体,用于仿射变换以匹配到与CT体积图像202相配准。因此,来自帧坐标系的个体帧216Fi的个体变换220特定于对应的存储位置和取向值。变换220Ti进入跟踪坐标系222C跟踪中。变换220Ti分离地链接到在跟踪坐标系222C跟踪与CT坐标系210CCT之间的变换224T配准,如下文在本文中所描述的能确定的。
通过US帧216的前述重建,节省对于重建需要的时间。因此,增加了能够由扫描合理地覆盖的体积。避免这样的重建的运动和变形伪影特性和图像质量的其他限制。还避免了对于由用户回顾以用于确保足够的图像质量的后重建以及相关联的额外时间延迟的需要。
仅采集的帧216的稀疏集合226被用于与3D图像202共配准。与扫掠的常规完全采样重建相反,这创建3DUS图像空间的稀疏表示。稀疏3D US表示是个体2DUS图像帧216的集合连同跟踪姿态。因此,集合226实际上是已经从到来的所采集的图像的流当中选择的2DUS图像的跟踪的电影回放。
每个个体2D US图像帧216被立即地处理,并且如果其经过基本自动质量测试,则在运行中被添加到配准过程。更具体地,针对其内容检查帧216,并且测量结果由帧216与已经经过(一个或多个)测试并且可以因此已经被添加到集合226的其他帧的空间接近度。设定成员资格选择能够需要下文在本文中讨论的多个阈值的应用,其能通过分析、经验或者二者的某种组合来确定。
该选择过程能够使用用于选择哪些跟踪的图像216具有要被用于配准的足够的信息的算法。一些准则是例如如下。如果在几乎确切相同空间位置中获得若干帧216,则仅保持所述帧中的一个帧。如果图像216的重要部分中的平均图像强度低于阈值,则其可能是在与患者208的皮肤不足接触的情况下获得的,或者被遮蔽劣化,并且将被丢弃。如果熵或最大梯度低于阈值,则图像216可能不包含用于配准目的的足够的信息,并且将被丢弃。低最大梯度例如指示可能不足的“边缘”信息。
一旦帧216已经被选择用于录入到集合226中,则能够删除不在集合中的先前采集的帧来增加可用的存储。
针对集合226稀疏地确定点云,例如,每帧216几个或若干点。在器官206的自动分割的2D表面上自动地选择点。例如,可以根据沿着分割的表面的相等间距来选择点。US点云能够被匹配到CT特异性点云中的对应的点,以使US图像216与CT图像配准。出于该目的,能够使用迭代最近点(ICP)算法或其衍生物之一。在Vik等人(在下文中,“Vik”)的共同所有的美国专利公开No.2012/0027277中描述了示范性算法。
ICP的输出是变换224T配准。如上文在本文中所提到的,变换224T配准分离地链接到个体变换220Ti。分离的链对应于相应的帧216。针对每个帧216而言,变换的相关联的链被应用以使帧与3DCT图像202配准。
US采集、针对集合226的选择、变换链的更新和用户反馈全部实时动态地并且重复地发生,直到自动地或由用户停止。如在本文中所描述的,整个流程在不需要用户介入的情况下是可执行的。
可以在与3DCT图像202融合或并排地在显示器170上呈现变换的帧216。能够在一个屏幕或分别在超过一个屏幕上完成并排呈现。备选地,反馈可以是数字量化配准准确度,或者可以是当算法确定配准质量满足或不能进一步改进时的可听的蜂鸣声。
因此,用户例如可以在察看显示器170时交互地输入停止指令,其可以示出图像或上文所提到的数字量化配准准确度的融合。另一方面,如果在合理的时间内未实现可接受的质量,则用户可以停止并且重新启动。
可以存在何时结束迭代共配准的自动确定。测试可以是经由另一迭代的改进是否将不是微不足道的,如在Vik的步骤260中。作为另一范例,准则可以是在US的对应点与CT点云之间的平均距离是否低于阈值。
在备选实施例中,能够检测患者208的当前呼吸或心脏相位(即,自然身体周期相位)。检测能够经由附接到患者208的胸骨的额外的跟踪传感器。所述传感器将随身体周期而周期地运动。因此,集合226中的每个帧216还可以与周期的特定相位相关联。帧216能够通过相位分组(例如,吸气、中间、呼气)。因此,替代单个集合226,针对每个相位存在集合。集合的成员帧216全部与相同的相位相关联。CT与US之间的共配准的每个实例属于那时的当前相位。因此能够计算并且在流程期间随后应用贯穿整个身体周期的准确的配准。
在以上讨论中,集合226的成员具有为二的维度,并且CT体积图像202具有为三的维度。
然而,这不是限制。
作为范例,对于成员维度是一和CT图像维度是二而言,其在本文中所提出的内容的预期范围之内。
同样任选地,替代仅在将新成员添加到集合226之前的共配准的每次迭代,新成员可以替换集合中的现有成员。这样的迭代将用于,在其足够地空间接近并且具有足够地较高的图像质量的情况下,利用当前帧216替换其图像质量是边界线的成员。因此,更一般而言,从所采集的帧216中间选择的结果改变集合226中的成员资格。
在图3中示出了代表图像共配准流程300的版本的流程图。
选择感兴趣器官(步骤S302)。执行ROI 218的CT检查(步骤S304)。
创建器官206的表面上的密集点云(步骤S306)。提供US探头140(步骤S308)。
探头140被放置在患者208的皮肤上,并且如由用户控制180的用户动作开始自动配准(步骤S310)。
发起其中发射超声的子流程A(步骤S311)。响应地,采集帧(步骤S312)。存储跟踪传感器212的位置和取向(步骤S313)。如果所采集的帧将被认为是针对要录入到集合226的选择的候选(步骤S314),则返回到超声发射步骤S311;否则,停止对用于录入到集合226的所采集的帧的选择,如下文在本文中所描述的。
同时地,通过用户手动地发起或执行探头移动过程B。如果并且在其包含角度时(步骤S318),则探头140被成角(步骤S320)。如果并且在其包含旋转时(步骤S322),则探头140被旋转(步骤S324)。如果并且在其包含平移时(步骤S326),则探头140被平移(步骤S328)。能够同时地执行三种类型的移动的任何组合。
如果没有下一帧216将从所采集的帧中间选择,对于关于录入到集合226中的候选资格而言(步骤S330),则流程300是完整的。
否则,如果将使下一帧216作为候选(步骤S330),则针对其内容检查该帧216作为当前帧(步骤S332)。具体地,如果熵将被测量(步骤S334),则测量熵(步骤S336)。在Ahuja等人的美国专利公开No.2012/0075440的段落[0038]中找到了熵测量结果的范例,段落[0037]和[0038]通过引用并入本文。如果所测量的熵满足用作图像质量度量的预定熵阈值TE(步骤S338),则满足针对当前帧216的图像质量准则(步骤S340)。否则,如果所测量的熵不满足TE(步骤S338),则不满足针对当前帧216的图像质量准则(步骤S342)。另一方面,如果熵将不被测量(步骤S344),但是图像梯度将被测量(步骤S344),则图像梯度计算在当前帧上进行操作(步骤S346)。所述计算需要通过在多个(例如,四个)方向上贯穿帧216的测量结果,以确定最大梯度。在Bruls等人的共同受让的美国专利公开No.2009/0263039的段落[0026]中找到了图像梯度测量结果的范例,段落[0024]-[0026]通过引用并入本文。如果所测量的最大梯度满足用作图像质量度量的预定梯度阈值(步骤S348),则满足针对当前帧216的图像质量准则(步骤S340)。另一方面,如果所测量的最大梯度不满足梯度阈值(步骤S348),则不满足针对当前帧216的图像质量准则(步骤S342)。最后,如果熵和最大梯度二者都不将被测量(步骤S334、S344),计算当前帧216的平均图像强度(S350)。所述平均图像强度能够等于平均像素强度的测量结果。首先,处理指向当前帧216的第一部分(步骤S352)。如果针对当前部分的平均图像强度未满足预定图像强度阈值(步骤S354),并且该部分的余数超过特定于所测量的平均强度的余数阈值(步骤S356),则不满足针对当前帧216的图像质量准则(步骤S342)。然而,如果尽管针对当前部分的平均图像强度未满足预定图像强度阈值(步骤S354),则该部分的余数未超过余数阈值(步骤S356),做出关于针对当前帧待检查的下一部分是否存在的询问(步骤S358)。如果没有这样的下一部分存在(步骤S358),则满足针对当前帧的图像质量准则(步骤S340)。否则,如果下一部分存在(步骤S358),则处理指向该下一部分作为当前部分(步骤S360)并且分支返回到步骤S354。尽管图像质量测试在该范例中是相互排他性的,但是其任何两个或两个以上项能够被组合为多部分测试。
如果确定图像质量准则未被满足(步骤S362),则处理返回到步骤S330。
如果另一方面图像质量准则被满足(步骤S362),则找到对当前帧216(即,当前候选帧)的集合226中的空间最近帧216(步骤S364)。接近度的该量度能够是例如正对成员帧而言当前帧216的周长上的点与成员帧的周长上的对应点之间的最大距离。因此,空间最近帧是超过预定图像帧距离阈值TFD的那些空间最近帧。处理指向来自空间最近中间的第一成员帧(步骤S366)。该成员帧用作当前成员帧。
当前成员帧在给定搜索区域上与当前候选帧互相关(步骤S368)。
如果互相关函数的最大pmax超过相关性阈值Tρ(步骤S370),则候选帧关于现有集合226是多余的。具体地,候选帧和当前成员帧具有对于在这样的空间接近度处允许这两个帧在集合226中太类似的相应内容。选择过程在步骤S330处重新开始。
如果另一方面ρmax不超过Tρ(步骤S370),则做出关于从集合226中的所选择的最近帧中间是否存在下一候选帧的询问(步骤S372)。如果下一候选存在(步骤S372),则使下一候选作为当前候选(步骤S374)并且返回到互相关步骤S368。否则,如果没有下一候选存在(步骤S372),则候选帧被添加到集合226(步骤S376)。针对现在新近地是集合的成员的帧检索在步骤S313中存储的位置信息(步骤S378)。检索在步骤S313中存储的取向信息(步骤S380)。基于所检索的信息,当前成员帧216Fi通过变换220Ti被变换到跟踪空间中(步骤S382)。对感兴趣器官206进行分割,并且选择器官的表面上的点(步骤S384)。所选择的点被添加到迭代地增长的稀疏US器官表面点云(步骤S386)。如果集合226的候选不超过预定基数阈值TC,例如20帧(步骤S388),则选择过程在步骤S330处重新开始。否则,如果基数超过TC(步骤S388),则集合226与3DCT图像202共配准。具体而言,跟踪空间222C跟踪中的成员帧216与3DCT图像202共配准(步骤S390)。显示器170上的US图像被更新以反映最新配准(步骤S392)。如果预定的图像到图像配准完成准则被满足(步骤S394),则停止选择过程(步骤S396)。还能够通过用户经由用户可调节控件180输入停止指令(即,专用于停止共配准的指令)在任何时间处停止选择过程。另一方面,如果预定的图像到图像配准完成准则未被满足(步骤S394),则选择过程继续(步骤S398)。
图像共配准需要:发射能量,并且响应地并且动态地采集图像,所采集的图像具有给定维度;利用采集从所采集的图像中间重复地并且动态地选择,并且作为选择的结果,重复地并且动态地改变给定维度的图像的集合中的成员;并且与改变同步地将集合动态地并且迭代地配准到具有比给定维度更高的维度的图像。共配准是能利用用于采集的成像探头和用于跟踪探头的位置和取向的跟踪系统来实现的,配准专用于所述采集,其中所述探头在采集期间动态地进行以下中的任意一项或多项:成角、旋转和平移。配准通过对集合中的成员的个体变换被初始化,但是不需要将集合重建为具有比给定维度更高的维度的图像,其从集合导出在成员外部的额外像素。
尽管在附图和前述描述中已经详细说明和描述了本发明,但是这样的说明和描述将被认为是说明性或示范性而非限制性的;本发明不限于所公开的实施例。
例如,像3D CT图像的那个一样,还可以在创建用于较大的共配准准确度的点云中密集地采样集合226的帧中所描述的器官表面。
通过研究附图、说明书和随附的权利要求书,本领域的技术人员在实践所主张的本发明时可以理解和实现所公开的实施例的其他变型。在权利要求中,词语“包括”不排除其他元件或者步骤,并且不定冠词“一”或“一个”不排除多个。权利要求中的附图标记不得被解释为对范围的限制。
互不相同的从属权利要求中记载了特定措施的仅有事实并不指示不能有利地使用这些措施的组合。

Claims (24)

1.一种图像共配准设备,包括:
图像采集处理器(110),其被配置用于发射能量,并且响应地和动态地采集图像,所采集的图像具有给定维度;
图像选择处理器(120),其被配置用于利用所述采集从所述采集的图像中间重复地并且动态地选择,并且作为所述选择的结果,重复地并且动态地改变所述维度的图像集合中的成员资格;以及
图像共配准处理器(130),其被配置用于与所述改变同步地将所述集合动态地并且迭代地配准到具有比所述给定维度更高的维度的图像。
2.根据权利要求1所述的设备,还包括:
成像探头(140),其用于所述采集;以及
跟踪系统(150),其用于跟踪所述探头的位置和取向,
所述配准被专用于所述采集,其中,所述探头在所述采集期间动态地进行以下中的任意一项或多项:成角、旋转和平移。
3.根据权利要求1所述的设备,所述选择包括决定是否要在所述集合(226)中包括所述采集的图像中的当前一个,所述配准的所述迭代对应地响应于所述改变的实例。
4.根据权利要求3所述的设备,所述改变向所述集合添加所述图像(216)中的所述当前一个。
5.根据权利要求1所述的设备,所述选择包括利用所述采集(S310-S314、S330、S332)连续地检查所采集的图像。
6.根据权利要求1所述的设备,所述采集的图像的成像模态不同于具有比所述给定维度更高的维度的所述图像(202)的成像模态。
7.根据权利要求1所述的设备,所述给定维度是二。
8.根据权利要求1所述的设备,所述选择包括从采集的超声图像帧中间选择超声图像帧。
9.根据权利要求1所述的设备,所述采集的图像是经由所述采集从经受检查的对象内的不同位置(S320-S328)采集的。
10.根据权利要求1所述的设备,根据所述配准(S390),迭代将当前在所述集合中的所述图像配准到具有更高维度的所述图像。
11.根据权利要求1所述的设备,所述配准通过所述集合的成员的个体变换(220)来初始化,但是不需要将所述集合重建为具有比所述给定维度更高的维度的图像,所述重建从所述集合导出在所述成员外部的额外像素(219)。
12.根据权利要求1所述的设备,所述配准受所述集合的基数足够高以满足预定基数阈值影响(S388)。
13.根据权利要求1所述的设备,所述图像选择处理器还被配置用于在来自所述采集的图像中间的图像上进行操作(S336)以计算图像质量度量,所述选择基于所述度量。
14.根据权利要求13所述的设备,对所述图像的所述操作包括计算所述图像被操作所基于的平均图像强度(S350),所述选择基于所计算的强度。
15.根据权利要求14所述的设备,所述操作在所述图像的至少一部分上,所述图像选择处理器被配置用于,在所得的所计算的平均图像强度下降到预定图像强度阈值以下的情况下,确定所述至少一部分是否超过预定图像余数阈值(S356)。
16.根据权利要求13所述的设备,对所述图像的所述操作包括计算所述图像被操作所基于的最大梯度和熵中的至少一个(S346)。
17.根据权利要求1所述的设备,所述图像选择处理器还被配置用于计算所述图像中的当前采集的一幅图像与所述集合中的图像之间的空间接近度的测量(S364),所述选择基于所计算的量度。
18.根据权利要求17所述的设备,所述选择(S376)基于超过预定图像帧距离阈值的所述量度。
19.根据权利要求1所述的设备,所述图像中的当前采集的一幅图像和所述集合中的图像二者具有各自的内容,所述选择包括评价(S370)所述各自的内容之间的差异,所述选择基于所述评价。
20.根据权利要求1所述的设备,其被配置用于重复地、自动地并且在不需要用户介入的情况下,当所述配准在所述采集期间演变时,与所述迭代配准的结果同步并且基于所述迭代配准的结果动态地提供用户反馈。
21.根据权利要求1所述的设备,还包括用户接口(160),其被配置用于接收专用于停止所述配准的用户指令。
22.根据权利要求1所述的设备,其被配置用于确定预定的图像到图像配准完成准则是否被满足(S394),并且被配置用于自动地并且在不需要用户介入的情况下,响应于对所述准则被满足的所述确定,停止所述配准。
23.一种图像共配准方法,包括:
发射能量,并且响应地和动态地采集图像,所采集的图像具有给定维度;
利用所述采集从所采集的图像中间重复地并且动态地选择(S330),并且作为所述选择的结果,重复地并且动态地改变所述维度的图像集中的成员资格;并且
与所述改变同步地将所述集合动态地并且迭代地配准到具有比所述给定维度更高的维度的图像。
24.一种收录用于图像共配准的程序的计算机可读介质,所述程序具有由用于执行多个动作的处理器可执行的指令,在所述多个动作中间存在如下动作:
发射能量,并且响应地和动态地采集图像,所采集的图像具有给定维度;
重复地并且动态地利用所述采集从所述采集的图像中间选择,并且作为所述选择的结果,重复地并且动态地改变所述维度的图像集合中的成员资格;并且
与所述改变同步地将所述集合动态地并且迭代地配准到具有比所述给定维度更高的维度的图像(S390)。
CN201580025340.2A 2014-05-16 2015-04-01 免于重建的自动多模态超声配准 Active CN106456253B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461994308P 2014-05-16 2014-05-16
US61/994,308 2014-05-16
PCT/IB2015/052383 WO2015173668A1 (en) 2014-05-16 2015-04-01 Reconstruction-free automatic multi-modality ultrasound registration.

Publications (2)

Publication Number Publication Date
CN106456253A true CN106456253A (zh) 2017-02-22
CN106456253B CN106456253B (zh) 2019-08-16

Family

ID=53189855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580025340.2A Active CN106456253B (zh) 2014-05-16 2015-04-01 免于重建的自动多模态超声配准

Country Status (5)

Country Link
US (2) US11419583B2 (zh)
EP (1) EP3142587B1 (zh)
JP (1) JP6556165B2 (zh)
CN (1) CN106456253B (zh)
WO (1) WO2015173668A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10828014B2 (en) * 2015-03-31 2020-11-10 Koninklijke Philips N.V. Medical imaging apparatus
WO2016175758A2 (en) 2015-04-28 2016-11-03 Analogic Corporation Image guided steering of a transducer array and/or an instrument
JP6664517B2 (ja) * 2016-05-10 2020-03-13 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 追跡デバイス
CN107397588B (zh) * 2016-05-20 2020-03-06 中国科学院深圳先进技术研究院 介入栓塞手术过程的模拟方法及装置
US20180140359A1 (en) * 2016-11-21 2018-05-24 Covidien Lp Electromagnetic navigation registration using ultrasound
US10646284B2 (en) 2017-12-05 2020-05-12 Covidien Lp Multi-rigid registration of magnetic navigation to a computed tomography volume
CN114305499A (zh) * 2018-10-19 2022-04-12 深圳迈瑞生物医疗电子股份有限公司 超声成像方法、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6167296A (en) * 1996-06-28 2000-12-26 The Board Of Trustees Of The Leland Stanford Junior University Method for volumetric image navigation
CN102266250A (zh) * 2011-07-19 2011-12-07 中国科学院深圳先进技术研究院 超声手术导航系统及超声手术导航方法
WO2013052318A1 (en) * 2011-09-25 2013-04-11 Theranos, Inc. Systems and methods for multi-analysis
US20140037161A1 (en) * 2012-08-06 2014-02-06 Vanderbilt University Enhanced method for correcting data for deformations during image guided procedures

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09299371A (ja) * 1996-05-14 1997-11-25 Toshiba Corp 超音波診断装置及びその画像再生方法
US7778688B2 (en) * 1999-05-18 2010-08-17 MediGuide, Ltd. System and method for delivering a stent to a selected position within a lumen
US7775981B1 (en) * 2000-09-06 2010-08-17 Siemens Medical Solutions Usa, Inc. Contrast imaging beam sequences for medical diagnostic ultrasound
US20080292194A1 (en) * 2005-04-27 2008-11-27 Mark Schmidt Method and System for Automatic Detection and Segmentation of Tumors and Associated Edema (Swelling) in Magnetic Resonance (Mri) Images
DE102005034374B3 (de) * 2005-07-22 2007-03-01 Siemens Ag Verfahren zur automatischen Erstellung einer Hintergrundmaske bei Bildern mit verrauschten Hintergrundbereichen, Anwendungen dazu sowie ein Kernspintomographiegerät zur Durchführung der Verfahren und Computersoftwareprodukt
JP2009531933A (ja) 2006-03-29 2009-09-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像信号の表示品位を改善するための方法及びシステム
US8731264B2 (en) * 2006-11-27 2014-05-20 Koninklijke Philips N.V. System and method for fusing real-time ultrasound images with pre-acquired medical images
US20080208061A1 (en) * 2007-02-23 2008-08-28 General Electric Company Methods and systems for spatial compounding in a handheld ultrasound device
JP5095304B2 (ja) * 2007-08-21 2012-12-12 株式会社東芝 超音波診断装置
JP5486182B2 (ja) * 2008-12-05 2014-05-07 キヤノン株式会社 情報処理装置および情報処理方法
JP5608726B2 (ja) * 2009-04-03 2014-10-15 コーニンクレッカ フィリップス エヌ ヴェ 臓器の区分けのための相互作用的なicpアルゴリズム
US9521994B2 (en) 2009-05-11 2016-12-20 Siemens Healthcare Gmbh System and method for image guided prostate cancer needle biopsy
US8556815B2 (en) * 2009-05-20 2013-10-15 Laurent Pelissier Freehand ultrasound imaging systems and methods for guiding fine elongate instruments
US20120075440A1 (en) 2010-09-28 2012-03-29 Qualcomm Incorporated Entropy based image separation
ES2884700T3 (es) * 2010-12-21 2021-12-10 3Shape As Compensación de desenfoque de movimiento
CN103402453B (zh) 2011-03-03 2016-11-16 皇家飞利浦有限公司 用于导航系统的自动初始化和配准的系统和方法
JP2016517746A (ja) * 2013-04-30 2016-06-20 トラクトゥス・コーポレーション 位置及び/または配向センサを有するハンドヘルド画像化デバイスを用いた、組織の完全な検査のための方法、装置及びシステム
KR101563498B1 (ko) * 2013-05-02 2015-10-27 삼성메디슨 주식회사 대상체의 변화 정보를 제공하는 초음파 시스템 및 방법
EP2807978A1 (en) * 2013-05-28 2014-12-03 Universität Bern Method and system for 3D acquisition of ultrasound images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6167296A (en) * 1996-06-28 2000-12-26 The Board Of Trustees Of The Leland Stanford Junior University Method for volumetric image navigation
CN102266250A (zh) * 2011-07-19 2011-12-07 中国科学院深圳先进技术研究院 超声手术导航系统及超声手术导航方法
WO2013052318A1 (en) * 2011-09-25 2013-04-11 Theranos, Inc. Systems and methods for multi-analysis
US20140037161A1 (en) * 2012-08-06 2014-02-06 Vanderbilt University Enhanced method for correcting data for deformations during image guided procedures

Also Published As

Publication number Publication date
CN106456253B (zh) 2019-08-16
US20220346757A1 (en) 2022-11-03
JP2017515576A (ja) 2017-06-15
US20170079623A1 (en) 2017-03-23
US11419583B2 (en) 2022-08-23
US11963826B2 (en) 2024-04-23
JP6556165B2 (ja) 2019-08-07
EP3142587A1 (en) 2017-03-22
EP3142587B1 (en) 2019-07-10
WO2015173668A1 (en) 2015-11-19

Similar Documents

Publication Publication Date Title
CN106456253B (zh) 免于重建的自动多模态超声配准
CN104346821B (zh) 用于医学成像的自动规划
KR102522539B1 (ko) 의료영상 표시장치 및 의료영상 처리방법
CN103402453B (zh) 用于导航系统的自动初始化和配准的系统和方法
CN109584350A (zh) 医学诊断成像中的测量点确定
US11941812B2 (en) Diagnosis support apparatus and X-ray CT apparatus
US8781552B2 (en) Localization of aorta and left atrium from magnetic resonance imaging
KR20130109838A (ko) 병변 진단 지원 장치와 방법
US20130230228A1 (en) Integrated Image Registration and Motion Estimation for Medical Imaging Applications
CN111462168B (zh) 运动参数估计方法和运动伪影校正方法
WO2019200349A1 (en) Systems and methods for training a deep learning model for an imaging system
US10945709B2 (en) Systems, methods and computer readable storage media storing instructions for image-guided interventions based on patient-specific models
JP2009082464A (ja) 画像表示装置および画像表示プログラム
US8724878B2 (en) Ultrasound image segmentation
WO2019200351A1 (en) Systems and methods for an imaging system express mode
CN109350059A (zh) 用于肘部自动对准的组合的转向引擎和界标引擎
Chen et al. Development of Automatic Assessment Framework for Spine Deformity using Freehand 3D Ultrasound Imaging System
CN103919571A (zh) 超声图像分割
US11837352B2 (en) Body representations
JP2021532903A (ja) 医療装置を撮像するためのコンセンサス面の決定
US11341661B2 (en) Method and apparatus for registering live medical image with anatomical model
CN111583354B (zh) 医学图像处理单元的训练方法和医学图像运动估计方法
JP2023551131A (ja) 解剖学的構造の3d表現のガイド取得
Xu et al. Real-time motion tracking using 3D ultrasound
Grandi Multidimensional similarity search for 2D-3D medical data correlation and fusion

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant