CN109155068B - 组合式x射线/相机介入中的运动补偿 - Google Patents

组合式x射线/相机介入中的运动补偿 Download PDF

Info

Publication number
CN109155068B
CN109155068B CN201780030803.3A CN201780030803A CN109155068B CN 109155068 B CN109155068 B CN 109155068B CN 201780030803 A CN201780030803 A CN 201780030803A CN 109155068 B CN109155068 B CN 109155068B
Authority
CN
China
Prior art keywords
image
interest
camera
projection
internal body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780030803.3A
Other languages
English (en)
Other versions
CN109155068A (zh
Inventor
C·比格尔
M·格拉斯
D·巴比克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN109155068A publication Critical patent/CN109155068A/zh
Application granted granted Critical
Publication of CN109155068B publication Critical patent/CN109155068B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G06T3/14—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072—Reference field transducer attached to an instrument or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Abstract

提供了一种辅助治疗过程的系统和方法，并且所述方法包括以下步骤：基于3‑D X射线图像确定与感兴趣身体的内部身体结构有关的3‑D介入矢量，基于所述介入矢量来确定所述感兴趣身体的外表面上的进入点的3‑D位置，将3‑D X射线图像中的内部身体结构的位置和/或取向与在横向于介入矢量生成的额外2‑D X射线图像中的所述内部身体结构的位置和/或进行比较，基于在比较步骤中检测到偏差来校正感兴趣身体的外表面上的进入点的3‑D位置。

Description

组合式X射线/相机介入中的运动补偿
技术领域
本发明涉及基于计算机的手术辅助的领域。具体而言，本发明涉及包括对例如X射线图像的内容的解释的自动图像处理的系统和方法。所述方法可以被实现为能够在合适的设备的处理单元上运行的计算机程序。
背景技术
在使用术中成像的每种手术中，准确地执行对骨的处置的流程的必要步骤是一项挑战。通常，几乎每个步骤都需要基于几幅X射线图像的迭代过程。由此产生显著的辐射暴露。辐射的量可能高度依赖于医师的技术诀窍和技能。
US 2008/0119728 A1描述了一种用于在骨骼医学流程期间在图像之间进行基于视频的配准的系统，所述系统包括立体相机、二维图像探测器和配准处理器，所述立体相机与立体坐标系相关联，所述立体相机采集基准标记的立体图像对，所述基准标记被固定在骨骼结构上，所述基准标记的第一基准表示在立体图像对上显现，2D图像探测器与2D坐标系相关联并且采集骨骼结构的至少两个显著不同的图像，所述基准标记的第二基准表示和所述骨骼结构的第一骨骼表示在所述至少两个基本上不同的2D图像上显现；所述配准处理器与所述立体相机和所述2D图像探测器耦合，并且将立体坐标系和与体积图像探测器相关联的三维(3D)坐标系配准，并且将3D信息叠加在由所述体积图像探测器采集的至少一幅体积图像上，根据所述配准，所述配准处理器通过使用在所述立体图像对中显现的所述第一基准表示与在所述两个显著不同的2D图像中显现的所述第二基准表示配准来所述将立体坐标系与所述2D坐标系配准，并且通过使用在所述立体图像对中显现的所述第一基准表示与在所述两个显著不同的2D图像中显现的所述第二基准表示配准来将所述立体坐标系与2D坐标系配准来将所述3D坐标系与所述2D坐标系配准，而将所述立体坐标系与所述3D坐标系配准。
发明内容
可以将本发明的目的视为提供一种用于更有效地辅助进行外科手术流程的设备。减少患者所暴露的辐射量并且具有更有效的方式来直接评估图像的内容或移动到工作流程的下一步骤将具有很大益处。
所提到的目的通过每个独立权利要求的主题得以解决。在各个从属权利要求中描述了另外的实施例。
通常，用于辅助处置过程的设备可以包括：X射线设备，其具有X射线源和X射线探测器，其中，所述X射线设备被配置为从相对于感兴趣身体的不同角度生成所述感兴趣身体的2D投影图像；相机，其中，所述相机被配置为以所述感兴趣身体的外表面的成像方向来生成图像，并且其中，所述相机被布置为与所述X射线设备成预定关系；以及处理单元，其用于处理来自所述X射线设备的图像数据和来自所述相机的图像数据。
所述处理单元可以被配置为：基于从相对于所述感兴趣身体的不同角度生成的多幅2D投影图像来重建感兴趣身体的3D图像，确定要在内部身体结构上执行的介入的方向，接收具有横向于介入的方向的投影方向的单幅2D投影图像，将所述单幅2D投影图像与所述3D图像配准，检测内部身体结构当在虚拟投影图像中可视化时的位置和/或取向从所述内部身体结构当在单幅2D投影图像中可视化时的位置和/或取向的偏差，并且在所述相机图像中指示针对要在所述内部身体结构上执行的介入的外表面上的位置。
注意，处理单元可以仅由执行该方法的所有步骤的一个处理器实现，或者由一组或多个处理器实现，例如用于处理图像数据的系统处理器，专用于确定几何方面的单独处理器，以及用于控制监视器以使结果可视化的另一处理器。
将所述单幅2D投影图像与所述3D图像配准的步骤可以包括从所述多幅2D投影图像中识别特定投影图像，所述特定投影图像在与单幅2D投影图像的投影方向相同的投影方向上采集。此外，图像内容的比例和取向可以在相似的2D图像中相对于彼此进行调整，以便将一幅图像与另一幅图像配准。
根据另一实施例，所述设备还可以包括输入单元，用于接收输入以用于交互地控制计算机程序单元并且从而接收设备的工作流。输入单元可以是例如计算机键盘，计算机鼠标或触摸屏，使得输入单元可以适于手动识别内部身体结构的几何方面，如图像中的骨骼。否则，输入单元还可以包括用于接收表示流程的工作流的数据集的电子接口。借助于这样的输入设备，例如，可以绘制包围一个或多个椎骨体的框。
根据实施例，所述处理单元还可以被配置为自动识别3D图像中的感兴趣区域并且识别单幅2D投影图像中的对应的感兴趣区域，并且其中，所述单幅2D投影图像与所述3D图像的配准被限制到所述感兴趣区域，所述感兴趣区域包括所述内部身体结构。应当理解，对内部身体结构和/或感兴趣区域的识别也可以例如作为对内部身体结构的手动指示和随后自动定义包围该内部身体结构的感兴趣区域的组合来执行。
如本文所用的术语“内部身体结构”例如指的是骨骼上的任何项，特别是指骨骼的几何方面，即点、线、弧、中心点、轴、圆柱表面、球表面等。内部身体结构尤其可以是基于来自周围结构的X射线图像手动或自动区分的结构。例如，可以识别脊柱的椎骨体，因为周围的软组织在X射线图像中具有不同的外观。
根据另一实施例，所述处理单元还可以被配置为检测不仅一个而且多个内部身体结构的位置和/或取向的偏差。然后，所述处理单元可以被配置为在确定要在相机图像中指示的外表面上的位置时考虑所述多个内部身体结构之间的相互关系。
根据另一实施例，相机的成像方向可以能够与介入的方向对齐。例如，当X射线设备是基于C型臂的X射线设备并且相机固定地附接到X射线探测器的壳体时，这可以是可能的。
根据又一实施例，所述处理单元还可被配置为在3D图像中识别感兴趣身体的外表面上的至少一个标志的位置，以在相机图像中识别所述感兴趣身体的所述外表面上的所述至少一个标志的位置，其中，在所述相机图像中相对于至少一个标志的位置来指示介入的位置。
因此，所述设备可以还包括被配置为附着到所述感兴趣身体的外表面的元件，其中，所述至少一个标志由所述元件形成。当所述X射线设备与所述相机之间的相互关系未预先确定时，例如当所述相机未固定地连接到所述X射线设备时，这样的标志可能特别有用。
最后，所述设备还可以包括用于将信息可视化的监视器。
根据另一方面，可以提供能够在上述设备的处理单元上执行的计算机程序单元。计算机程序单元通常可以包括指令的集合，所述指令的集合用于：接收从相对于感兴趣身体的不同角度生成的多幅2D投影图像，基于所述多幅2D投影图像来生成感兴趣身体的3D图像，接收投具有横向于预期介入的方向的影方向的另外的投影图像，将所述另外的投影图像与出自所述多幅2D投影图像中的特定投影图像配准，所述特定投影图像是在与所述另外的投影图像的投影方向相同的投影方向采集的，确定所述特定投影图像中的内部身体结构与所述另外的投影图像中的内部身体结构的偏差，接收所述感兴趣身体的外表面的相机图像并且在所述相机图像中指示针对在内部身体结构上的预期的介入的外表面上的进入点的位置。
也就是说，至少可以自动执行该过程的所提及方面。应注意，这些方面不包括对患者进行介入的任何步骤。换句话说，所述流程的自动执行步骤不包括通过手术处置人体的任何步骤。
借助于计算机程序单元，可以在X射线图像中自动检测和/或识别内部身体结构的轮廓线或点，例如基于像素的灰度值，其可以被识别并且被与相邻的灰度值进行比较。
换句话说，所确定的偏差可以由处理单元转换成对介入设备的必要调整，例如处理设备在患者体外。可以光学地或声学地提供调节的种类和程度。
该计算机程序单元还可以包括用于在特定投影图像和另外的投影图像中定义包括内部身体结构的感兴趣区域的指令的集合，其中，配准仅限于感兴趣区域。
根据一个实施例，计算机程序单元还可以包括用于在3D图像中确定内部身体结构的预期介入的方向的指令集。
根据另一实施例，计算机程序单元还可以包括用于控制相机的成像方向的指令集，以便将其与预期介入的方向对准。例如，当相机固定地连接到X射线设备的C型臂时，所述计算机程序单元可以控制所述C型臂的移动以实现相机的对准。
计算机程序单元可以优选地被加载到数据处理器的工作存储器中。因此数据处理器或处理单元被装备为执行该方法。此外，本发明涉及一种计算机可读介质，例如CD-ROM，在其处可以存储计算机程序单元。但是，也可通过类似万维网的网络提供计算机程序单元，并且能够从这样的网络将计算机程序下载到数据处理器的工作存储器中。
根据另一方面，提供了一种辅助处置流程的方法，所述方法包括以下步骤：基于3DX射线图像来确定与感兴趣身体的内部身体结构有关的3D介入矢量，基于所述介入矢量来确定所述感兴趣身体的外表面上的进入点的3D位置，将所述3D X射线图像中的内部身体结构的位置和/或取向与在横向于介入矢量生成的额外2D X射线图像中的所述内部身体结构的位置和/或进行比较，基于在比较步骤中检测到偏差来校正感兴趣身体的外表面上的进入点的3D位置。
根据一个实施例，所述方法不包括通过手术来处置患者身体的任何步骤。换句话说，本发明涉及介入步骤之外的方面。
根据一个实施例，所述方法可以还包括基于3D X射线图像来确定与感兴趣身体的多个内部身体结构有关的至少一个3D介入矢量的步骤。比较的步骤可以包括多个内部身体结构的位置和/或取向。特别地，在脊柱的示例中，应当理解，由于介入动作导致的一个椎骨体的运动可能导致邻近的相邻体的运动。
比较内部身体结构中的至少一个的位置和/或取向的步骤还可以包括所述3D X射线图像与额外的2D X射线图像中的标志的识别。如果X射线成像参数与相机成像参数的关系没有被预先确定，所述标志可以提供X射线图像与相机图像之间的链接。
根据一个实施例，所述方法还包括在相机图像中提供对感兴趣身体的外表面上的进入点的指示的步骤。这样的指示可以是插入该图像中的虚拟点，或者可以是例如由激光指示器在患者身体的外表面上实际生成的点。
根据又一实施例，所述方法还可包括将相机的成像方向与3D介入矢量对齐的步骤。当用相机观察特定方向时，医师可以接收关于预期介入的方向的信息。结合先前描述的方面，医师可以从设备接收提示，所述提示显示进入点并指示介入的方向。
必须指出，各实施例是参考不同主题来描述的。具体而言，一些实施例是参考方法型权利要求(计算机程序)描述的，而其他实施例是参考装置型权利要求(系统)描述的。然而，本领域技术人员以上和以下描述可以得出，除非另行指出，除了属于同一类型的主题的特任的任何组合之外，涉及不同主题的特征之间的任何组合也被认为由本申请公开。
以上定义的方面以及本发明的其他方面、特征和优点也可以从下文将要描述的实施例的示例中得出，并且参考也在附图中示出的实施例的示例来解释，但是本发明不限于此。
附图说明
图1A和1B示出了方法步骤的流程图。
图2示出了系统的示意图。
图3是通过所公开的设备来辅助处置患者的脊柱的实例。
图4是相机图像的示例。
贯穿附图，除非另有说明，否则相同的附图标记和字符用于表示所示的实施例的相同特征、元件、部件或部分。此外，虽然现在将参考附图详细描述本公开，但是结合说明性实施例这样做并且不受附图中所示的特定实施例的限制。
附图标记列表
100 处理单元
200 成像设备
220 C型臂
240 X射线源
260 X射线探测器
280 相机
300 输入设备
400 监视器
500 感兴趣区域
520 内部身体结构
540 介入矢量
560 工具
580 标志
600 数据库
具体实施方式
图1A和1B中的流程图(第一页图1A和第二页图1B)示出了根据实施例执行的步骤。应该理解，所描述的步骤可以是主步骤，其中，这些主步骤可能被区分或分为几个子步骤。此外，步骤之间可能还有子步骤。
在下文中，描述了一种方法，其图示了以信息的形式辅助外科医师执行，例如，在人体脊柱的椎骨体上植入固定结构。还可以应用该示例中描述的原理，以便在将修复在人体骨骼上的骨折时辅助外科医师。
应该指出，一些步骤被描述为“必要时”执行。这旨在指示可以省略这些步骤。
所述方法开始于患者躺在手术台上并准备好在脊柱进行介入的时刻。
在该方法的步骤S1中，从不同的成像方向生成多幅2D投影图像。例如，基于C型臂的X射线成像系统可以在手术台上围绕患者移动并且以快速的序列生成多个投影图像。在步骤S2中，基于这样的2D投影图像来生成或重建3D图像。
在步骤S3中，可以在3D图像中识别标志(landmark)。标志可以是单独的元件，其可以在手术开始之前或在手术期间固定在患者的外表面上。该标志尤其可以用作一种允许识别相机图像中的位置的锚点。借助于这样的标志，可以在图像中指示患者身体的外表面处的位置，所述位置可以与内部身体结构的仅在X射线图像中可见的位置有关。
在步骤S4中，在3D图像中识别感兴趣内部身体结构。例如，椎骨体可以是这样的内部身体结构。至少在使用标志时，可以相对于标志确定内部身体结构的位置和/或取向的关系。
此外，在步骤S5中在3D图像中识别预期介入在外表面上的位置。同样在这里，可以确定与标志的关系。
在步骤S6中，生成相机图像。相机图像可以示出患者的外表面，通常在介入区域中，即在感兴趣内部身体结构之上。
如果使用标志，则在步骤S7中在相机图像中识别标志。在步骤S8中，在相机图像中示出针对预期介入的位置。这意味着可以将虚拟标志插入到相机图像中，所述虚拟标志示出或指示患者外表面上的位置，介入仪器或植入物可以通过该位置插入患者体内，其中，仪器或植入物瞄准体内的目标结构。替代地，相机图像可以在身体表面上示出光点，如激光点，其中，这样的光点可以借助于适当的光源发射到外表面或皮肤上。因此，医师将获得关于他必须插入植入物的位置的指示，以便将植入物定位在内部身体结构内而不用实际看到该内部结构。
应注意，标志可用于将相机图像中的外表面上的预期介入的位置与基于3D X射线图像确定的预期介入的位置相关。或者，也可以在没有物理标志或标志元件的情况下实现该相关。例如，相机的成像方向可以与X射线设备的成像方向相关，即，基于两个已知的坐标系，可以将感兴趣的点从X射线系统转换到相机图像。此外，即使相机未附接到X射线设备，也可以基于3D图像数据来生成外表面的图像，其中，观看方向对应于相机的成像方向。知道相机相对于患者身体的关系可能就足够了。
在步骤S9中，医师可以执行介入步骤，即，将以力作用于患者的身体结构。通过对患者的结构放力，医师可以移位或移动这样的结构。例如，医师可以将钉子或螺钉插入一个椎骨体中，并且可以使相邻的椎骨体改变它们的当前位置和/或取向。
在步骤S10中，生成单幅2D投影图像。该投影图像是到感兴趣内部身体结构的侧视图，即具有允许识别感兴趣身体结构的投影方向，并且特别是确定这样的身体结构在平面内的运动的方向，所述平面包括介入的方向或施加力的方向。
在步骤S11中，确定感兴趣区域，所述区域包括内部身体结构。例如，可以绘制包围感兴趣内部身体的框。可以在单幅2D投影图像和3D图像中确定感兴趣区域，或者至少在形成3D图像的基础的出自所述多幅图像中的2D图像中确定感兴趣区域，其中，所述2D图像的投影方向对应于所述额外的单幅2D投影图像的投影方向。
感兴趣区域的大小可以仅是2D图像的一部分。特别地，所述感兴趣区域可以仅略微大于所述感兴趣内部身体结构。例如，所述感兴趣区域可以是具有可以比所述内部身体结构的直径大出至多20％的尺寸的框。或者，所述感兴趣区域可具有沿循所述感兴趣身体结构的轮廓的轮廓。
在步骤S12中，将单幅2D投影图像与3D图像配准，或者至少与形成3D图像的基础的出自所述多幅图像中的相应的2D投影图像配准。在图像的较小部分被确定为感兴趣区域的情况下，仅将单幅2D投影图像中的感兴趣区域与3D图像中的感兴趣区域配准。
在步骤S13中，可以基于配准的图像来确定感兴趣内部身体结构的位置和/或取向的任何改变。当图像仅在先前确定的感兴趣区域内配准时，可以提高确定任何变化或任何偏差的准确度。
基于所确定的偏差，可以在步骤S14中计算用于后续介入动作的新矢量。新矢量考虑了感兴趣内部身体结构的当前位置和取向，其中，感兴趣身体结构也可以是与已经处理过的身体结构相邻的身体结构。矢量和外表面的交点将是预期的下一个介入步骤的插入点。在步骤S15中执行该插入点的确定。再次指出，所有这些介入步骤都不是介入措施的一部分。
在步骤S16中，生成另一幅相机图像。如上所述，可以在该相机图像中识别标志(步骤S17)，并且在步骤S18中在相机图像中可视化在步骤S15中确定的位置(虚拟地或者在患者的外表面上也可见)。
在步骤S19中，介入可以继续下一个介入动作。如图1B中从S19延伸到S10的箭头所示，可以重复步骤S10到S19。
图2示出了设备的示例性实施例。基本上，对于执行该方法的步骤是必需的，处理单元100是该设备的一部分。
示例性成像设备200包括X射线源240和X射线探测器260，其中，这两个单元安装在C型臂220上。在X射线探测器的壳体处，固定地连接相机280。因此，可以知道相机的观察方向与X射线设备的成像方向之间的关系。
此外，图2中的系统包括输入单元300，借助于该输入单元300可以手动输入例如预期的成像方向。还示出了与例如位于网络中的数据库600的连接。数据库600可以包括关于解剖结构的信息，例如来自不同解剖结构的3D扫描，使得可以将成像的解剖结构与该信息进行比较，以便自动确定特定解剖结构。数据库还可以包括关于外科手术的必要和/或可能步骤的序列的信息。注意，还可以基于X射线图像中的可检测方面来自动确定外科手术过程的进展，其中，这些方面可以是仪器和/或植入物。
最后，在图2中存在感兴趣区域500以及位于该感兴趣区域内的身体结构520的指示。感兴趣身体结构可以例如是患者的骨骼。
作为示例，图3图示了用于插入三个椎弓根螺钉以用于脊柱融合目的的混合微创手术。在这样的混合手术中，光学标记物或标志580可以被附着在患者身上，使得相机280可以识别患者的身体表面。内部解剖结构可以源自3D-CT扫描。可以应用基于模型的图像分割来描绘感兴趣身体结构(椎骨520)并计算插入计划(箭头540)。利用相机280与CT X射线设备的坐标系统的已知相关性，内部身体结构520以及介入矢量540形式的插入计划可以叠加在患者的皮肤表面上并呈现给外科医师在如图4所示的显示上的示例。
代替采集用于控制感兴趣身体结构的当前位置和取向的提出了采集单幅2D投影(需要最小剂量)以获得与体内结构和患者皮肤表面之间的变形有关的信息。在图3中的微创手术的情况下，借助于诸如锤子或钻头之类的工具560在第一植入物(未示出)上施加力F将很可能导致基本上沿着插入路径并且因此在yz平面内的变形。一旦正在插入第一植入物，就可以采集yz内的单幅2D X射线投影。该平面被配准到原始采集的CT扫描的相应yz投影上，以将解剖结构与患者的身体表面重新对齐。该配准由分割模型引导，所述分割模型用于描绘每个椎骨。通过应用多个刚性/仿射配准来近似非刚性组织变形，针对每个椎骨一个。利用该校正/更新的插入计划，可以以更高的精度插入第二螺钉(也未示出)。可以重复使用2D图像采集和模型引导图像配准的相同过程以插入第三螺钉(未示出)。
应注意，图3中的相机280的成像方向相对于预期介入矢量540的方向略微倾斜，而图4中的相机的成像方向与预期介入的方向对齐，即，介入的方向的矢量被示为一个点。
虽然己经在附图和前面的描述中详细示例和描述了各实施例，但是这样的示例和描述应当被视为示例性或示范性的，而非限制性的；本发明不限于公开的实施例。
本领域技术人员通过研究附图、公开以及权利要求书，在实践请求保护的本发明时，可以理解和实现对所公开实施例的其他的变型。在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以完成权利要求书中所记载的若干个项目的功能。
尽管特定措施是在互不相同的从属权利要求中记载的，但是这并不指示不能有利地使用这些措施的组合。可以将计算机程序存储/概况在与其它硬件一起提供或者作为另一硬件的一部分提供的诸如光存储介质或者固态介质的合适介质上，但是还可以以诸如经因特网或者其它有线或无线电信系统的其它形式分布。权利要求书中的任何附图标记不应被解释为对范围的限制。

Claims (15)

1.一种用于辅助处置流程的设备，包括：
X射线设备，其具有X射线源(240)和X射线探测器(260)，其中，所述X射线设备被配置为从相对于感兴趣身体的不同角度生成所述感兴趣身体的2D投影图像，
相机(280)，其中，所述相机被配置为以所述感兴趣身体的外表面的成像方向来生成图像，并且其中，所述相机被布置为与所述X射线设备成预定关系，
处理单元(100)，其用于处理来自所述X射线设备的图像数据和来自所述相机的图像数据，其中，所述处理单元被配置为：
基于从相对于所述感兴趣身体的不同角度生成的多幅2D投影图像来重建所述感兴趣身体的3D图像，
确定要在内部身体结构(520)上执行的介入的方向，
接收具有横向于所述介入的所述方向的投影方向的单幅2D投影图像，
将所述单幅2D投影图像与所述3D图像配准，
检测内部身体结构当在虚拟投影图像中可视化时的位置和/或取向从所述内部身体结构当在单幅2D投影图像中可视化时的位置和/或取向的偏差，并且
在所述相机图像中指示针对要在所述内部身体结构上执行的介入的在所述外表面上的位置。
2.根据权利要求1所述的设备，其中，所述处理单元(100)还被配置为识别所述3D图像中的感兴趣区域并且识别所述单幅2D投影图像中的对应感兴趣区域(500)，并且其中，所述单幅2D投影图像与所述3D图像的配准被限制到所述感兴趣区域，所述感兴趣区域包括所述内部身体结构(520)。
3.根据权利要求1或2所述的设备，其中，所述处理单元还被配置为检测多个内部身体结构的位置和/或取向的偏差，并且其中，所述处理单元还被配置为在确定要在所述相机图像中指示的所述外表面上的所述位置时考虑所述多个内部身体结构之间的相互关系。
4.根据权利要求1或2所述的设备，其中，所述相机(280)的所述成像方向能够与所述介入的所述方向对齐。
5.根据权利要求1或2所述的设备，其中，所述X射线设备是基于C型臂(220)的X射线设备，并且其中，所述相机(280)被固定地附接到所述X射线设备。
6.根据权利要求1或2所述的设备，其中，所述处理单元(100)还被配置为：
在所述3D图像中识别所述感兴趣身体的所述外表面上的至少一个标志的位置，
在所述相机图像中识别所述感兴趣身体的所述外表面上的所述至少一个标志的位置，
其中，在所述相机图像中相对于所述至少一个标志的所述位置来指示介入的位置。
7.根据权利要求6所述的设备，还包括被配置为被附着到所述感兴趣身体的所述外表面的元件，其中，所述至少一个标志由所述元件形成。
8.一种能够在根据权利要求1所述的设备的所述处理单元上运行的计算机程序单元，所述计算机程序单元包括指令的集合，所述指令的集合用于：
接收从相对于感兴趣身体的不同角度生成的多幅2D投影图像，
基于所述多幅2D投影图像来生成所述感兴趣身体的3D图像，
接收具有横向于预期介入的方向的投影方向的另外的投影图像，
将所述另外的投影图像与出自所述多幅2D投影图像中的特定投影图像进行配准，所述特定投影图像是在与所述另外投影图像的投影方向相同的投影方向采集的，
确定所述特定投影图像中的内部身体结构与所述另外的投影图像中的所述内部身体结构的偏差，
接收所述感兴趣身体的外表面的相机图像，并且
在所述相机图像中指示针对在所述内部身体结构上的预期介入的在所述外表面上的进入点的位置。
9.根据权利要求8所述的计算机程序单元，还包括用于在所述特定投影图像和所述另外的投影图像中定义包括所述内部身体结构的感兴趣区域的指令的集合，其中，所述配准被限制到所述感兴趣区域。
10.根据权利要求8和9中任一项所述的计算机程序单元，还包括用于在所述3D图像中确定所述内部身体结构的所述介入的方向的指令的集合。
11.一种辅助处置流程的方法，所述方法包括以下步骤：
基于3D X射线图像来确定与感兴趣身体的内部身体结构有关的3D介入矢量，
基于所述介入矢量来确定所述感兴趣身体的外表面上的进入点的3D位置，
将3D X射线图像中的所述内部身体结构的位置和/或取向与在横向于所述介入矢量生成的额外2D X射线图像中的所述内部身体结构的位置和/或取向进行比较，
基于在比较步骤中检测到的偏差来校正所述感兴趣身体的所述外表面上的所述进入点的所述3D位置。
12.根据权利要求11所述的方法，其中，所述方法包括基于3D X射线图像来确定与感兴趣身体的多个内部身体结构有关的3D介入矢量的步骤，并且其中，比较的步骤包括所述多个内部身体结构的位置和/或取向。
13.根据权利要求11或12所述的方法，其中，比较所述内部身体结构中的至少一个的位置和/或取向的步骤包括对所述3D X射线图像与所述额外的2D X射线图像中的标志的识别。
14.根据权利要求11或12所述的方法，还包括在相机图像中提供对所述感兴趣身体的所述外表面上的所述进入点的指示的步骤。
15.根据权利要求11或12所述的方法，还包括将相机的成像方向与所述3D介入矢量对齐的步骤。
CN201780030803.3A 2016-05-19 2017-05-19 组合式x射线/相机介入中的运动补偿 Active CN109155068B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16170451.5 2016-05-19
EP16170451 2016-05-19
PCT/EP2017/062054 WO2017198799A1 (en) 2016-05-19 2017-05-19 Motion compensation in hybrid x-ray/camera interventions

Publications (2)

Publication Number Publication Date
CN109155068A CN109155068A (zh) 2019-01-04
CN109155068B true CN109155068B (zh) 2023-04-04

Family

ID=56081256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780030803.3A Active CN109155068B (zh) 2016-05-19 2017-05-19 组合式x射线/相机介入中的运动补偿

Country Status (5)

Country Link
US (1) US10762647B2 (zh)
EP (1) EP3459044B1 (zh)
JP (1) JP6943884B2 (zh)
CN (1) CN109155068B (zh)
WO (1) WO2017198799A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109155068B (zh) * 2016-05-19 2023-04-04 皇家飞利浦有限公司 组合式x射线/相机介入中的运动补偿
DE102019207803A1 (de) * 2019-05-28 2020-12-03 Friedrich-Alexander-Universität Erlangen-Nürnberg Registrierungseinrichtung, Verfahren zum Registrieren, entsprechendes Computerprogramm und computerlesbares Speichermedium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102473303A (zh) * 2009-08-12 2012-05-23 皇家飞利浦电子股份有限公司 生成对象数据
CN102713976A (zh) * 2010-01-12 2012-10-03 皇家飞利浦电子股份有限公司 对介入装置进行导航
CN104883975A (zh) * 2012-12-28 2015-09-02 皇家飞利浦有限公司 将3d超声和2d x射线影像组合的实时场景建模

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6405072B1 (en) * 1991-01-28 2002-06-11 Sherwood Services Ag Apparatus and method for determining a location of an anatomical target with reference to a medical apparatus
US7097357B2 (en) * 2004-06-02 2006-08-29 General Electric Company Method and system for improved correction of registration error in a fluoroscopic image
US7344307B2 (en) * 2004-11-12 2008-03-18 General Electric Company System and method for integration of a calibration target into a C-arm
US8398541B2 (en) * 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
US8320992B2 (en) 2006-10-05 2012-11-27 Visionsense Ltd. Method and system for superimposing three dimensional medical information on a three dimensional image
DE102010018872A1 (de) 2010-04-30 2011-11-03 Siemens Aktiengesellschaft Bildgebendes Verfahren zur hervorgehobenen Darstellung von Gefäßen in einem Untersuchungsbereich eines Patienten und Medizinsystem zur Durchführung des Verfahrens
EP2663252A1 (en) * 2011-01-13 2013-11-20 Koninklijke Philips N.V. Intraoperative camera calibration for endoscopic surgery
US8948487B2 (en) * 2011-09-28 2015-02-03 Siemens Aktiengesellschaft Non-rigid 2D/3D registration of coronary artery models with live fluoroscopy images
US10255721B2 (en) * 2012-06-20 2019-04-09 Koninklijke Philips N.V. Multicamera device tracking
US20140037049A1 (en) * 2012-07-31 2014-02-06 General Electric Company Systems and methods for interventional imaging
WO2016044934A1 (en) * 2014-09-24 2016-03-31 7D Surgical Inc. Tracking marker support structure and surface registration methods employing the same for performing navigated surgical procedures
CN109155068B (zh) * 2016-05-19 2023-04-04 皇家飞利浦有限公司 组合式x射线/相机介入中的运动补偿

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102473303A (zh) * 2009-08-12 2012-05-23 皇家飞利浦电子股份有限公司 生成对象数据
CN102713976A (zh) * 2010-01-12 2012-10-03 皇家飞利浦电子股份有限公司 对介入装置进行导航
CN104883975A (zh) * 2012-12-28 2015-09-02 皇家飞利浦有限公司 将3d超声和2d x射线影像组合的实时场景建模

Also Published As

Publication number Publication date
EP3459044B1 (en) 2021-03-10
JP6943884B2 (ja) 2021-10-06
JP2019516492A (ja) 2019-06-20
CN109155068A (zh) 2019-01-04
WO2017198799A1 (en) 2017-11-23
US10762647B2 (en) 2020-09-01
US20190206069A1 (en) 2019-07-04
EP3459044A1 (en) 2019-03-27

Similar Documents

Publication Publication Date Title
US10838577B2 (en) Method and apparatus for image-based navigation
US6415171B1 (en) System and method for fusing three-dimensional shape data on distorted images without correcting for distortion
US20190000564A1 (en) System and method for medical imaging
US7606613B2 (en) Navigational guidance via computer-assisted fluoroscopic imaging
US9240046B2 (en) Method and system to assist 2D-3D image registration
LU101009B1 (en) Artificial-intelligence-based determination of relative positions of objects in medical images
KR20170057141A (ko) Ct 이미지를 위한 국소 적용 투명성
CN113613562A (zh) 对x射线成像系统进行定位
KR20190058190A (ko) 증강현실 기술을 이용한 척추 수술 네비게이션 시스템 및 방법
CN111093505B (zh) 放射线拍摄装置以及图像处理方法
US20150216614A1 (en) Entry portal navigation
CN109155068B (zh) 组合式x射线/相机介入中的运动补偿
CN109925053B (zh) 手术路径的确定方法、装置和系统、可读存储介质
US20220028113A1 (en) Artificial-intelligence based reduction support
Yao et al. Deformable 2D-3D medical image registration using a statistical model: accuracy factor assessment
TWI836493B (zh) 註冊二維影像資料組與感興趣部位的三維影像資料組的方法及導航系統
TWI836491B (zh) 註冊二維影像資料組與感興趣部位的三維影像資料組的方法及導航系統
Zheng et al. Reality-augmented virtual fluoroscopy for computer-assisted diaphyseal long bone fracture osteosynthesis: a novel technique and feasibility study results
US20230149083A1 (en) Method and navigation system for registering two-dimensional image data set with three-dimensional image data set of body of interest
US20220096165A1 (en) Interventional device tracking
Hosseinian et al. Photogrammetry in 3D modelling of human bone structures from radiographs
JP2024504482A (ja) ナビゲーション脊椎手術のための拡張現実脊椎ロッドプランニングおよび屈曲のためのコンピュータ実装方法
WO2023089566A1 (en) Method and navigation system for registering two-dimensional image data set with three-dimensional image data set of body of interest
WO2023179875A1 (en) Method for registration of a virtual image in an augmented reality system
Yaniv Fluoroscopic X-ray image guidance for manual and robotic orthopedic surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant