CN118541088A - 荧光透视定位引导 - Google Patents

Abstract

本发明涉及患者定位。为了促进患者定位，提供了一种装置，该装置包括输入单元、处理单元和输出单元。输入单元被配置为接收从第一次图像采集获得的患者的感兴趣解剖结构的X射线图像和描述针对图像采集的感兴趣解剖结构的目标位置的目标姿态参数集合。处理单元被配置为：检测X射线图像中的感兴趣解剖结构，确定描述在第一次图像采集中的检测到的感兴趣解剖结构的当前位置的姿态参数集合，确定所确定的姿态参数集合与目标姿态参数集合之间的差异，并且如果差异等于或大于预定义阈值，则构建轨迹，该轨迹定义用于将感兴趣解剖结构从当前位置带到目标位置的姿态参数集合的序列。处理单元还被配置为根据接收到的X射线图像和轨迹中的姿态参数集合的序列来生成一系列X射线图像，以合成表示在对患者的重新定位期间的动画射线照相成像的帧的虚拟荧光透视图像序列。输出单元被配置为提供合成虚拟荧光透视图像序列以用于对第二次图像采集的定位引导。

Description

荧光透视定位引导

技术领域

本发明总体上涉及患者定位，并且特别涉及用于对图像采集的定位引导的装置和方法、X射线成像系统、计算机程序产品以及计算机可读介质。

背景技术

患者定位是放射学中最重要的质量方面之一。正确定位患者需要技巧和经验。特别是在肌肉骨骼采集中，可能需要多次尝试，直到图像达到足够的质量为止。

发明内容

因此，可能需要促进患者定位。

本发明的目的通过独立权利要求的主题来解决。本发明的其他实施例和优点包含在从属权利要求中。此外，应当注意，本发明中所有关于方法的实施例可以按照所描述的步骤顺序来执行，然而这并不是本文所呈现的方法步骤的唯一和必要的顺序。除非在下文中明确提到相反情况，否则能够用所公开的步骤的另一顺序来执行本文公开的方法，而不会脱离相应的方法实施例。

专业术语是根据它们的通常含义使用的。如果某些术语传达特定含义，则下文将在使用该术语的上下文中给出术语定义。

根据本发明的第一方面，提供了一种用于对图像采集的定位引导的装置。所述装置包括输入单元、处理单元和输出单元。所述输入单元被配置为接收从第一次图像采集获得的患者的感兴趣解剖结构的X射线图像和描述针对图像采集的所述感兴趣解剖结构的目标位置的目标姿态参数集合。所述处理单元被配置为：检测所述X射线图像中的所述感兴趣解剖结构，确定描述在所述第一次图像采集中的检测到的感兴趣解剖结构的当前位置的姿态参数集合，确定所确定的姿态参数集合与所述目标姿态参数集合之间的差异，并且如果所述差异等于或大于预定义阈值，则构建轨迹，所述轨迹定义用于将所述感兴趣解剖结构从所述当前位置带到所述目标位置的姿态参数集合的序列。所述处理单元还被配置为根据接收到的X射线图像和所述轨迹中的姿态参数集合的所述序列来生成一系列X射线图像，以合成表示在对所述患者的重新定位期间的动画射线照相成像的帧的虚拟荧光透视图像序列。所述输出单元被配置为提供所述合成虚拟荧光透视图像序列以用于对第二次图像采集的定位引导。

本文描述的装置呈现合成X射线序列(也被称为虚拟荧光透视序列)，所述合成X射线序列将X射线定位从实际的真实定位绘制到患者的期望定位，从而精确地指示重新定位的影响。

根据单个X射线和一些模型参数来合成荧光检查序列在技术上具有挑战性。然而，利用可用于估计所有姿态参数的方法，能够将来自检查类型(例如，膝盖侧面)的每幅给定的射线照片嵌入到由这些参数跨越的多维质量空间中。可以用单幅这样的图像来训练生成模型，但是有利的是用来自具有多个位置的患者的采集会话的这样的图像的元组来训练生成模型。在替代示例中，可以使用(可以在目标二维(2D)空间中绘制的)解剖结构的三维(3D)图像来训练该生成模型。该生成模型用于回归与给定的真实射线照片的偏差，其中，目标参数偏离真实检测到的参数。

构建从观察到的参数设置到目标参数设置的轨迹，使得该轨迹跟随特定的编排或标绘图，在该编排或标绘图中，一些参数的改变是单独完成的，而其他参数的改变是同时完成的。例如，首先改变平面内位移(中心射束位置)和准直(视场)，然后改变平面内旋转，然后同时改变其余两个角度(旋转和成角)，最后改变关节弯曲。在替代实施例中，可以使用交互式操作者界面来指定轨迹，其中，用户能够直观地模拟和比较重新定位替代方案，然后在所得到的荧光透视序列中观察重新定位替代方案的效果。

通过根据输入图像和定义针对一系列X射线图像中的每幅图像的参数集合的标绘图来生成这一系列X射线图像，从而创建荧光透视序列，这一系列X射线图像从实际参数集合开始，并且以推荐的参数集合结束。所得到的视频可能看起来像要获取用来重现推荐的设置的所有需要的位置改变的荧光透视图像序列，然而，没有额外的X射线剂量的代价。

在一些示例中，虚拟荧光透视序列可以被用作在第一次采集被放射学助理的背景中的质量控制拒绝之后对技术人员的反馈。在这种情况下，动画与患者的现有图像有关，并且感兴趣解剖结构的目标位置是针对这种采集推荐的标准位置。

在一些示例中，替代地，也可以基于标准位置，需要获取从该标准位置偏离的已知位置。在这种情况下，感兴趣解剖结构的目标位置是偏离的已知位置。

虽然下面的讨论通过举例的方式聚焦在虚拟荧光透视序列在第一次采集被放射学助理的背景中的质量控制拒绝之后对技术人员的反馈的情况，但是能够意识到，感兴趣解剖结构的目标位置可以是任何期望的位置，并且能够针对其他应用被不同地定义。

利用本文描述的装置和方法，技术人员不必离开操作室来定位患者。另外，虚拟荧光透视序列在重新定位期间不需要额外的X射线剂量。

根据本发明的示例性实施例，所述处理单元被配置为用指示检测到的感兴趣解剖结构的所需移动的注释来增强所述合成虚拟荧光透视图像序列。

换句话说，可以通过重新定位变化的额外图形表示(例如，解剖元素及其重新定位的基于表面的绘制)来补充X射线序列。

根据本发明的示例性实施例，所述注释包括以下各项中的至少一项：沿着所述轨迹跟随所述感兴趣解剖结构的移动的轴；以及所述轴在所述序列的时间上跨越的角度或子流形。

根据本发明的示例性实施例，所述处理单元被配置为：将检测到的感兴趣解剖结构的可变形模型配准到接收到的X射线图像，根据所述轨迹中的姿态参数集合的所述序列来调整检测到的感兴趣解剖结构的所述可变形模型，并且在每一帧中用经调整的可变形模型来增强所述合成虚拟荧光透视图像序列。

根据本发明的示例性实施例，所述处理单元被配置为：突出显示检测到的感兴趣解剖结构上的界标和/或关键点，并且在所述合成虚拟荧光透视图像序列中绘制经突出显示的界标和/或关键点的移动。

根据本发明的示例性实施例，所述处理单元被配置为应用生成模型来生成所述一系列X射线图像，其中，所述生成模型已经在训练数据上进行了训练。

生成模型的示例可以包括但不限于概率框架和深度编码器-解码器网络架构。将参考图3所示的示例来详细解释示例性深度编码器-解码器网络架构。

根据本发明的示例性实施例，所述训练数据包括所述感兴趣解剖结构的多幅三维(3D)图像。

根据本发明的示例性实施例，所述训练数据包括所述感兴趣解剖结构的多幅二维(2D)图像和根据所述二维图像导出的姿态参数。

根据本发明的第二方面，提供了一种X射线成像系统。所述X射线成像系统包括X射线成像设备，所述X射线成像设备被配置为采集患者的感兴趣解剖结构的X射线图像。所述X射线成像系统还包括根据第一方面的装置，所述装置被配置为基于所采集的所述感兴趣解剖结构的X射线图像来提供合成虚拟荧光透视图像序列以用于对下一次图像采集的定位引导。所述X射线成像系统还包括显示器，所述显示器被配置为显示所述合成虚拟荧光透视图像序列。

这将在下文中进行解释，特别是关于图2所示的示例进行解释。

根据本发明的第三方面，提供了一种用于对图像采集的定位引导的方法。所述方法包括以下步骤：

接收从第一次图像采集获得的患者的感兴趣解剖结构的X射线图像；

接收描述针对图像采集的所述感兴趣解剖结构的目标位置的目标姿态参数集合；

检测所述X射线图像中的所述感兴趣解剖结构；

确定描述在所述第一次图像采集中的检测到的感兴趣解剖结构的当前位置的姿态参数集合；

确定所确定的姿态参数集合与所述目标姿态参数集合之间的差异；

如果所述差异等于或大于预定义阈值，则构建轨迹，所述轨迹定义用于将所述感兴趣解剖结构从所述当前位置带到所述目标位置的姿态参数集合的序列；

根据接收到的X射线图像和所述轨迹中的姿态参数集合的所述序列来生成一系列X射线图像，以合成表示在对所述患者的重新定位期间的动画射线照相成像的帧的虚拟荧光透视图像序列；并且

提供所述合成虚拟荧光透视图像序列以用于对第二次图像采集的定位引导。

这将在下文中进行解释，特别是关于图4所示的示例进行解释。

根据本发明的示例性实施例，所述方法还包括用指示检测到的感兴趣解剖结构的所需移动的注释来增强所述合成虚拟荧光透视图像序列的步骤。

根据本发明的示例性实施例，所述方法还包括以下步骤：将检测到的感兴趣解剖结构的可变形模型配准到接收到的X射线图像；根据所述轨迹中的姿态参数集合的所述序列来调整检测到的感兴趣解剖结构的所述可变形模型；以及在每一帧中用经调整的可变形模型来增强所述合成虚拟荧光透视图像序列。

根据本发明的示例性示例，所述方法还包括显示所述合成虚拟荧光透视图像序列以用于对第二次图像采集的定位引导的步骤。

根据本发明的另一方面，提供了一种包括指令的计算机程序产品，所述指令用于使第一方面的装置或第二方面的系统运行第三方面的方法的步骤。

根据本发明的另外的方面，提供了一种其上存储有计算机程序的计算机可读介质。

如本文所使用的术语“患者”可以包括例如人类对象和动物对象。

如本文所使用的术语“姿态参数”也可以被称为“定位参数”。姿态参数可以描述感兴趣解剖结构的若干解剖标志的位置、取向和尺度。

如本文所使用的术语“机器学习模型”可以指一种统计方法，这种统计方法使得机器能够从数据中“学习”任务而无需显式编程，而是依赖于数据中的模式。例如，机器学习模型可以是深度学习模型。深度学习是机器学习的一个子集，其对人脑的神经通路进行了松散地建模。深度是指输入层与输出层之间的多个层。在深度学习中，算法会自动学习哪些特征是有用的。在Giang Nguyen等人的“Machine Learning and Deep Learning frameworksand libraries for large-scaledata mining:a survey”(Artificial IntelligenceReview，2019年6月，第52卷，第1期，第77-124页)中描述了对机器学习和对应软件框架的总体介绍。

参考下文描述的实施例，本发明的这些特征和其他特征将变得明显并且得到阐明。

附图说明

下面将参考附图来描述本发明的示例性实施例。

图1图示了用于对图像采集的定位引导的示例性装置。

图2图示了示例性X射线成像系统。

图3图示了示例性生成模型。

图4示出了描述用于对图像采集的定位引导的示例性方法的流程图。

附图仅仅是示意性表示，并且仅用于说明本发明的实施例。相同或等效的元件原则上具有相同的附图标记。

具体实施方式

正确的患者定位是诊断性射线照片的先决条件之一，也是日常临床例程中需要解决的典型难题。通常需要多次采集，直到姿态足以达到所需的图像质量为止。高度重视对先前图像的视觉反馈，以纠正任何错误并确保在下一次采集时改进定位。

已经提出了各种由人工智能支持的方法来根据给定的射线照片估计相关的定位参数。这些估计的定位参数可以与为此类采集推荐的理想参数进行比较以评估质量。还可以导出如何改变参数以提高质量的推荐。

为了基于当前图像来将所指示的这些参数的改变可视化，一种众所周知的方法是在图像中放置一些图标，以通过箭头或通过示出目标的实际位置和期望位置来指示要做出的改变。这种图形表示可能有助于指示需要改变的内容，但是用这种图形图标来注释给定图像可能不是将其可视化的最优方式。使用荧光透视法的预先定位是另一种已知的远程定位方法。其优势在于，对于组合式RF/DXR系统，技术人员无需离开操作室来定位患者，然而，这是以在定位期间产生额外的X射线剂量为代价的。

为此，提供了一种装置、一种X射线成像系统和一种方法，它们利用了一种替代方法：通过模拟在对患者的重新定位期间的动画射线照相成像来示出所需的定位变化。虚拟荧光透视序列从当前图像开始，示出所有需要的改变，并且以推荐的定位的射线照片结束。还可以通过重新定位变化的额外图形表示(例如，解剖元素及其重新定位的基于表面的绘制)来补充X射线序列。虚拟荧光透视序列可以被用作在第一次采集被放射学助理的背景中的质量控制拒绝之后对技术人员的反馈。在这种情况下，动画与患者的现有图像有关。替代地，它也可以基于标准位置，需要获取从该标准位置偏离的已知位置。

图1图示了用于对图像采集的定位引导的示例性装置10。示例性装置10包括输入单元12、处理单元14和输出单元16。

一般而言，装置10可以包括用于传达和操纵信息的各种物理和/或逻辑部件，根据一组给定的设计参数或性能约束的需要，这些部件可以被实施为硬件部件(例如，计算设备、处理器、逻辑设备)、由各种硬件部件运行的可执行计算机程序指令(例如，固件、软件)或其任意组合。虽然图1以示例的方式示出了有限数量的部件，但是能够意识到，对于给定的实施方式，可以采用更多或更少数量的部件。

在一些实施方式中，装置10可以被体现为设备或装置(例如，服务器、工作站或移动设备)或者被体现在其中。装置10可以包括运行适当软件的一个或多个微处理器或计算机处理器。装置10的处理单元14可以由这些处理器中的一个或多个处理器来体现。软件可能已经被下载和/或被存储在对应的存储器中(例如，易失性存储器(例如，RAM)或非易失性存储器(例如，闪速存储器))。该软件可以包括配置一个或多个处理器来执行本文描述的功能的指令。

注意，装置10可以采用处理器来实施，也可以不采用处理器来实施，并且也可以被实施为执行某些功能的专用硬件与执行其他功能的处理器(例如，一个或多个经编程的微处理器和相关联的电路)的组合。例如，装置10的功能单元(例如，输入单元12、一个或多个处理单元14和输出单元16)可以以可编程逻辑单元的形式被实施在设备或装置中(例如被实施为现场可编程门阵列(FPGA))。一般而言，装置的每个功能单元都可以以电路的形式来实施。

在一些实施方式中，装置10也可以以分布式方式实施。例如，装置10的一些或所有单元可以被布置为分布式架构中的独立模块，并且被连接在合适的通信网络(例如，第三代合作伙伴计划(3GPP)网络、长期演进(LTE)网络、互联网、LAN(局域网)、无线LAN(局域网)、WAN(广域网)等)中。

将在下文中(特别是关于图2所示的系统和图4所示的方法)详细解释装置10的操作。

图2示意性示出了示例性X射线成像系统100。示例性X射线成像系统100包括如图1所示的装置10、X射线成像装置20、系统控制台30、显示器40以及数据库50。

X射线成像设备20包括X射线源22和X射线探测器24。X射线探测器24与X射线源22间隔开以容纳要被成像的患者。在一些示例中，X射线成像设备20可以是C形臂类型的，并且患者PAT可以躺在检查台上。在一些示例中(例如，在胸部射线照相检查中)，患者PAT可以面向平坦表面站立，该平坦表面后面是X射线探测器24。

一般而言，在图像采集期间，经准直的X射线束从X射线源22发出，在感兴趣区域(ROI)处穿过患者PAT，通过与其中的物质相互作用而经历衰减，然后衰减的射束撞击X射线探测器24的表面。组成ROI的有机材料的密度决定了衰减水平。高密度材料(例如，骨骼)比低密度材料(例如，组织)引起更高的衰减。然后，登记的针对X射线的数字值被合并成数字值的阵列，从而形成针对给定的采集时间和投影方向的X射线投影图像。

操作者可以从系统控制台30控制X射线成像设备20的整体操作。系统控制台30可以被耦合到显示器40，在显示器40上可以查看或复查所采集的X射线图像或成像器设置。操作者(例如，医学实验室技术人员)能够经由系统控制台30通过释放个体X射线暴露(例如通过致动被耦合到系统控制台40的操纵杆或踏板或其他合适的输入单元)来控制图像采集运行。

在操作中，例如在技术专家的帮助下对患者PAT进行定位以进行第一次图像采集。例如，患者PAT被定位用于膝盖射线照相以评估膝盖的骨骼结构(例如定义骨折的存在)以及评估关节内的退行性疾病。

患者定位在肌肉骨骼成像(例如，图3所示的示例性膝盖射线照片)的设置中很重要。多个投影有助于表征骨折、关节对齐和其他病理问题(例如，关节炎和肿瘤)。不标准的投影可能导致漏诊和相关联的病态。标准屈伸定位的重要性是至关重要的，因为这些位置会影响射线照片上的标准解剖结构的外观。当解剖结构因不标准的定位和投影而显现出变化时，考虑将诊断归因于正常研究设置的可能性(即，“假阳性”)非常重要。

为此，装置10被提供用于对图像采集的定位引导。如上所述，装置10可以是任何计算设备，包括台式电脑和膝上型电脑、智能手机、平板电脑等。装置10可以是通用设备或具有适合于提供本文所述的功能的专用仪器单元的设备。在图2的示例中，装置10的部件被示为被集成在一个单个单元中。然而，在替代示例中，一些或所有部件可以被布置为分布式架构中的独立模块，并且被连接在合适的通信网络中。装置10及其部件可以被布置为专用FPGA或硬连线的独立芯片(例如，图2所示的装置)。在一些示例(未示出)中，装置10或其一些部件可以驻留在作为软件例程运行的系统控制台30中。

装置10的输入单元12被配置为接收从第一次图像采集获得的患者的感兴趣解剖结构的X射线图像60。感兴趣解剖结构的示例可以包括但不限于胸部、手部、腕部、前臂、肘部、肱骨、肩部、脚部、脚踝、胫骨-腓骨或患者的任何其他感兴趣解剖结构。

装置10的输入单元12还被配置为接收描述针对图像采集的感兴趣解剖结构的目标位置的目标姿态参数集合。例如，目标姿态参数集合是为此类图像采集推荐的理想参数。在一些示例中，如图2所示，可以从数据库50中取回目标姿态参数集合，数据库50存储针对不同感兴趣解剖结构的多个目标姿态参数集合，这些感兴趣解剖结构包括但不限于患者的胸部、手部、腕部、前臂、肘部、肱骨、肩部、脚部、脚踝、胫骨-腓骨或任何其他感兴趣解剖结构。

可以利用定位协议来定义目标姿态参数集合，该定位协议基于针对特定采集的经验得出的标准。例如，针对膝盖射线照片的目标姿态参数集合可以包括目标旋转参数、目标成角参数、目标弯曲参数、目标视场以及目标中央射束参数。例如，对于标准的侧膝协议，这些参数是那些在图像中定位拟合到骨骼的标准膝盖模型而使得其髁部在投影到探测器上时彼此完全重叠的参数。选择理想的弯曲角度，其通常在完全弯曲与完全伸展之间。

处理单元14被配置为检测X射线图像中的感兴趣解剖结构。例如，可以应用分割模块来分割X射线图像中的感兴趣解剖结构。分割模块的示例可以包括但不限于完全卷积神经网络(FCNS)、U-Net或生成对抗网络(GAN)，这将在下面简要讨论。

FCN源自基于CNN的分割网络。它为给定的分割任务训练端到端、像素到像素的数字输入图像。FCN的思想是构建没有任何全连接层的卷积层并产生与输入相对应的输出大小。使用转置卷积对输入的数据特征图进行编码和解码以获得相同大小的输出。网络解码时，跳过连接会对预先提取的特征图进行求和以恢复在池化操作期间的空间信息。

U-Net是一种FCN，它依赖于在生物医学图像分割中使用数据增强来辅助精确定位。U-Net架构包括多个上采样层、连接特征图的跳跃连接以及可学习的权重过滤器。结果表明，该算法在生物医学图像分割和裂纹检测方面都有很好的表现。

基于GAN的分割模型能够被视为生成器与鉴别器之间的双人游戏，生成器学习如何生成类似真实数据的样本，鉴别器学习如何区分真实数据与生成的数据。同时使生成器代价函数和鉴别器代价函数最小化。代价函数的迭代最小化最终引起纳什均衡，在纳什均衡中，任何一方都不能进一步单方面最小化其代价函数。最后，GAN鉴别器提供输入图像的抽象无监督表示。

处理单元14还被配置为确定描述在第一次图像采集中的检测到的感兴趣解剖结构的当前位置的姿态参数集合。由人工智能支持的方法可以用于根据给定的射线照片来估计相关的定位参数。例如，卷积神经网络(CNN)可以应用于通过两步算法来确定姿态参数集合。在第一步骤中，通过CNN检测姿态鉴别特征(例如，外部轮廓、内部轮廓)。此后，另一个CNN以二元分割掩模的形式将这些特征映射到所有感兴趣姿态参数。关于两步算法的详细讨论，请参考以下出版物：等人的“CNN-based pose-estimation ofmusculoskeletal X-ray images”(OCUPAI 2021)。利用可用于估计所有姿态参数的方法，能够将来自检查类型(例如，膝盖侧面)的每幅给定的射线照片嵌入到由这些参数跨越的多维质量空间中。

处理单元14还被配置为确定所确定的姿态参数集合与目标姿态参数集合之间的差异。换句话说，能够将所确定的姿态参数集合与为此类采集推荐的理想参数进行比较以评估质量。

处理单元14还被配置为在差异等于或大于预定义阈值的情况下构建轨迹，该轨迹定义用于将感兴趣解剖结构从当前位置带到目标位置的姿态参数集合的序列。

在一些示例中，预定义阈值可以是以目标姿态参数集合为中心的最大允许范围，在该最大允许范围内姿态足以达到所需的图像质量。同样以膝盖射线照片为例，最大允许范围可以包括以目标中心射束位置参数为中心的平面内位移的最大允许范围、以目标视场为中心的准直的最大允许范围、以目标旋转参数为中心的角度的最大允许范围、以目标成角为中心的角度的最大允许范围，以及以目标关节弯曲为中心的弯曲的最大允许范围。最大允许范围可以在由这些参数跨越的多维质量空间中定义。在一些示例中，预定义阈值可以是小于以目标姿态参数集合为中心的最大允许范围的阈值。用户可以经由用户界面来设定和调节预定义阈值。

可以构建从观察到的参数设置到目标参数设置的轨迹，使得该轨迹跟随特定的编排或标绘图，在该编排或标绘图中，一些参数的改变是单独完成的，而其他参数的改变是同时完成的。在膝盖射线照片的示例中，首先可以改变平面内位移(即，中心射束位置)和准直(即，视场)，然后可以改变平面内旋转。此后，可以同时改变其余两个角度(即，旋转和成角)。在一些示例中，可以根据在重新定位期间患者或其他患者的先前监测的移动轨迹来导出轨迹。有益的是，所导出的轨迹反映了患者的自然移动轨迹，从而防止患者因不自然的移动轨迹而受伤。这可以通过以下操作来完成：使用相机采集图像序列以捕获患者和/或其他患者在先前检查中的患者重新定位期间的移动轨迹。所采集的图像序列可以用于训练机器学习模型以根据观察到的参数设置与目标参数设置之间的给定差异来估计姿态参数的改变。在一些示例中，可以使用交互式操作者界面(例如，系统控制台40)来指定轨迹，在系统控制台40中，用户能够直观地模拟和比较重新定位替代方案，并且在所得到的荧光透视序列中观察重新定位替代方案的效果。

处理单元14还被配置为根据接收到的X射线图像和轨迹中的姿态参数集合的序列来生成一系列X射线图像，以合成表示在对患者的重新定位期间的动画射线照相成像的帧的虚拟荧光透视图像序列。换句话说，通过根据输入图像和定义针对一系列X射线图像中的每幅图像的参数集合的标绘图来生成这一系列X射线图像，从而创建荧光透视序列，这一系列X射线图像从实际参数集合开始，并且以推荐的参数集合结束。所得到的视频可能看起来像要获取用来重现推荐的设置的所有需要的位置改变的荧光透视图像序列。

例如，可以训练生成模型来重现具有观察到的姿态参数设置的X射线图像与具有用于将感兴趣解剖结构从当前位置带到目标位置的姿态参数集合的序列的X射线图像之间的映射。换句话说，根据所采集的X射线图像，生成模型可以用于根据具有多个位置的患者的假设采集会话来生成额外的合成X射线图像。

生成模型可以用单幅这样的图像来训练，但是有利的是用来自具有多个位置的患者的采集会话的这样的图像的元组来训练。在替代示例中，可以使用解剖结构的3D图像来训练生成模型，该3D图像可以在目标2D(图像)空间中绘制。该生成模型可以用于回归与给定的真实射线照片的偏差，其中，目标参数偏离真实检测到的参数。

在一些示例中，生成模型可以包括使用概率框架进行图像合成的生成模型。在一些示例中，生成模型可以包括深度编码器-解码器网络架构。

图3示出了具有编码器-解码器网络架构的生成模型的示例。该架构依赖于找到输入图像与期望图像之间的映射。输入图像是采集的X射线图像60。期望图像是来自具有多个位置的患者的假设采集会话的合成X射线图像70的序列。

特别地，输入层L1接收从具有第一位置的患者的真实采集会话中采集的X射线图像。然后，L2层和L3层旨在对输入进行编码。随后的L4层和L5层实质上对来自先前层的信息进行解码，从而在输出部处提供从具有与第一位置不同的第二位置的患者的假设采集会话中采集的合成X射线图像。可以基于训练数据集来预先训练每层的权重，该训练数据集包括具有不同姿态参数集合的多对采集的X射线图像。预先训练可以依赖于无监督学习。

在推断阶段，将从具有第一位置的患者的真实采集会话中采集的X射线图像提供给L1层并进入整个网络。层L5上的激活是网络的输出并且表示从具有与第一位置不同的第二位置的患者的假设采集会话中采集的实际合成X射线图像。虽然图3以举例的方式示出了序列中的有限数量的X射线图像，但是能够意识到，对于给定的实施方式，可以生成更多或更少数量的X射线图像。

回到图2，输出单元16被配置为例如向系统控制台30上的显示器40提供合成虚拟荧光透视图像序列70以用于对第二次图像采集的定位引导。

由于合成绘制了图像，因此可以通过注释来增强图像。下面将讨论一些示例性注释。这些示例性注释可以相互组合。

在一个示例中，可以通过像跟随其骨骼移动的轴这样的注释来增强合成X射线图像。而且，可以示出在序列的时间上由这样的轴跨越的角度或子流形以说明要做出的整体改变。例如，如图3所示，图标被放置在图像中以通过箭头指示要做出的改变。

在另一示例中，可以在每一帧中将可变形和参数化的3D模型配准到给定的X射线图像。随后，上述轨迹能够馈送该模型的动画，从而产生完全合成的帧序列。在每一帧中，当在与相应帧相对应的姿态下投影模型时，可以从管头部的视角或对最显著轮廓的预测来呈现经调整的3D模型的绘制。

作为另外的示例，可以突出显示骨骼表面的特殊界标和关键点，以向射线照相人员提供额外的引导和定向(例如，从外部可察觉的那些引导和定向)。可以在荧光透视图像序列中绘制这些关键点的移动。

图4图示了描述用于对图像采集的定位引导的示例性方法200的流程图。方法200可以被实施为存储在非瞬态机器或计算机可读存储介质(例如，随机存取存储器(RAM)、只读存储器(ROM)、可编程ROM(PROM)、固件、闪速存储器等)、可配置逻辑单元(例如，可编程逻辑阵列(PLA)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD))、使用电路技术的固定功能硬件逻辑单元(例如，专用集成电路(ASIC)、互补金属氧化物半导体(CMOS)或晶体管-晶体管逻辑(TTL)技术)或其任意组合中的一组逻辑指令中的设备、模块或相关部件。例如，可以用一种或多种编程语言(包括面向对象的编程语言(例如，JAVA、SMALLTALK、C++、Python等)和常规的过程编程语言(例如，“C”编程语言或类似的编程语言))的任意组合来编写执行方法100中所示的操作的计算机程序代码。例如，该方法可以被实施为图1和图2所示的装置10。

在框210处，例如通过图1或图2所示的示例性装置10来接收从第一次图像采集获得的患者的感兴趣解剖结构的X射线图像。可以通过图2所示的示例性X射线成像设备20来采集患者的感兴趣解剖结构的X射线图像。感兴趣解剖结构的示例可以包括但不限于胸部、手部、腕部、前臂、肘部、肱骨、肩部、脚部、脚踝和胫骨-腓骨。

在框220处，接收目标姿态参数集合。目标姿态参数集合描述针对图像采集的感兴趣解剖结构的目标位置。以膝盖射线照片为例，目标姿态参数集合可以包括目标旋转参数、目标成角参数、目标弯曲参数、目标视场以及目标中央射束参数。可以从数据库(例如，图2所示的数据库50)中取回目标姿态参数集合，该数据库为每个感兴趣解剖结构存储相应的目标姿态参数集合。

在框230处，检测X射线图像中的感兴趣解剖结构。例如，可以应用分割模块(例如，FCNS、U-Net或GAN)来分割X射线图像中的感兴趣解剖结构。

在框240处，确定描述在第一次图像采集中的检测到的感兴趣解剖结构的当前位置的姿态参数集合。例如，机器学习模型(例如，CNN)可以用于根据给定的射线照片来估计相关的定位参数。

在框250处，确定所确定的姿态参数集合与目标姿态参数集合之间的差异。换句话说，确定当前位置与目标位置之间的偏差。

在框260处，如果差异等于或大于预定义阈值，则构建轨迹，该轨迹定义用于将感兴趣解剖结构从当前位置带到目标位置的姿态参数集合的序列。可以构建从观察到的参数设置到目标参数设置的轨迹，使得该轨迹跟随特定的编排或标绘图，在该编排或标绘图中，一些参数的改变是单独完成的，而其他参数的改变是同时完成的。在一个示例中，可以使用经训练的机器学习模型来确定轨迹。在替代示例中，可以使用交互式操作者界面来指定轨迹，其中，用户能够直观地模拟和比较重新定位替代方案，然后在所得到的荧光透视序列中观察重新定位替代方案的效果。

在框270处，根据接收到的X射线图像和轨迹中的姿态参数集合的序列来生成一系列X射线图像，以合成表示在对患者的重新定位期间的动画射线照相成像的帧的虚拟荧光透视图像序列。可以用单幅这样的图像来训练生成模型，但是有利的是用来自具有多个位置的患者的采集会话的这样的图像的元组来训练生成模型。在替代示例中，使用(可以在目标2D空间中绘制的)解剖结构的3D图像来训练该模型。该生成模型用于回归与给定的真实射线照片的偏差，其中，目标参数偏离真实检测到的参数。

在框280处，提供合成虚拟荧光透视图像序列以用于对第二次图像采集的定位引导。例如，可以向操作者显示合成虚拟荧光透视图像序列。还可以通过重新定位变化的额外图形表示来补充荧光透视图像序列。例如，可以通过解剖元素及其重新定位的基于表面的绘制来补充荧光透视图像序列。这可以通过以下操作来完成：将检测到的感兴趣解剖结构的可变形模型配准到接收到的X射线图像，根据轨迹中的姿态参数集合的序列来调整检测到的感兴趣解剖结构的可变形模型，并且在每一帧中用经调整的可变形模型增强合成虚拟荧光透视图像序列。

可以显示合成虚拟荧光透视图像序列以用于对第二次图像采集的定位引导。

在本发明的另一示例性实施例中，提供了一种计算机程序或计算机程序单元，其特征在于，其适于在适当的系统上运行根据前述实施例之一的方法的方法步骤。

因此，计算机程序单元可以被存储在计算机单元上，这也可以是本发明实施例的部分。该计算单元可以适于执行或引起执行上述方法的步骤。此外，它可以适于操作上述设备的部件。计算单元能够适于自动操作和/或执行用户的命令。计算机程序可以被加载到数据处理器的工作存储器中。因此可以配备数据处理器来执行本发明的方法。

本发明的这个示例性实施例涵盖了从一开始就使用本发明的计算机程序和通过更新将现有程序变成使用本发明的程序的计算机程序这两者。

另外，计算机程序单元可能能够提供所有必要的步骤来完成如上所述的方法的示例性实施例的流程。

根据本发明的另外的示例性实施例，提供了一种计算机可读介质(例如，CD-ROM)，其中，该计算机可读介质具有存储在其上的计算机程序单元，前一章节描述了该计算机程序单元。

计算机程序可以被存储和/或分布在合适的介质(例如，与其他硬件一起供应的或作为其他硬件的部分而供应的光学存储介质或固态介质)上，但是也可以以其他形式分布(例如经由互联网或其他有线或无线电信系统进行分布)。

然而，计算机程序也可以通过像万维网这样的网络来呈现，并且能够从这样的网络下载到数据处理器的工作存储器中。根据本发明的另外的示例性实施例，提供了一种用于使计算机程序单元可以用于下载的介质，该计算机程序单元被布置为执行根据本发明的前述实施例之一的方法。

必须注意，本发明的实施例是参考不同的主题描述的。特别地，参考方法型权利要求描述了一些实施例，而参考装置型权利要求描述了其他实施例。然而，本领域技术人员将从以上和以下描述中了解到，除非另有说明，否则除了属于一种类型的主题的特征的任何组合之外，与不同的主题相关的特征之间的任何组合也被认为是与本申请一起公开的。然而，所有的特征都可以组合起来而提供协同效应，而不仅仅是这些特征的简单叠加。

虽然已经在附图和前面的描述中详细说明和描述了本发明，但是这样的说明和描述被认为是说明性或示例性的，而不是限制性的。本发明不限于所公开的实施例。通过研究附图、公开内容和所附权利要求，本领域技术人员在实践所要求保护的发明时能够理解和实现所公开的实施例的其他变型。

在权利要求中，词语“包括”并不排除其他元件或步骤，并且词语“一”或“一个”并不排除多个。单个处理器或其他单元可以实现权利要求中记载的若干项目的功能。某些措施被记载在互不相同的从属权利要求中这一事实并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记都不应被解释为限制范围。

Claims (15)

1.一种用于对图像采集的定位引导的装置(10)，包括：

输入单元(12)；

处理单元(14)；以及

输出单元(16)；

其中，所述输入单元被配置为接收从第一次图像采集获得的患者的感兴趣解剖结构的X射线图像和描述针对图像采集的所述感兴趣解剖结构的目标位置的目标姿态参数集合；

其中，所述处理单元被配置为：

检测所述X射线图像中的所述感兴趣解剖结构，

确定描述在所述第一次图像采集中的检测到的感兴趣解剖结构的当前位置的姿态参数集合，

确定所确定的姿态参数集合与所述目标姿态参数集合之间的差异，

如果所述差异等于或大于预定义阈值，则构建轨迹，所述轨迹定义用于将所述感兴趣解剖结构从所述当前位置带到所述目标位置的姿态参数集合的序列，并且

根据接收到的X射线图像和所述轨迹中的姿态参数集合的所述序列来生成一系列X射线图像，以合成表示在对所述患者的重新定位期间的动画射线照相成像的帧的虚拟荧光透视图像序列；并且

其中，所述输出单元被配置为提供所述合成虚拟荧光透视图像序列以用于对第二次图像采集的定位引导。

2.根据权利要求1所述的装置，

其中，所述处理单元被配置为用指示检测到的感兴趣解剖结构的所需移动的注释来增强所述合成虚拟荧光透视图像序列。

3.根据权利要求2所述的装置，

其中，所述注释包括：

沿着所述轨迹跟随所述感兴趣解剖结构的移动的轴；和/或

所述轴在所述序列的时间上跨越的角度或子流形。

4.根据权利要求2或3所述的装置，

其中，所述处理单元被配置为：将检测到的感兴趣解剖结构的可变形模型配准到接收到的X射线图像，根据所述轨迹中的姿态参数集合的所述序列来调整检测到的感兴趣解剖结构的所述可变形模型，并且在每一帧中用经调整的可变形模型来增强所述合成虚拟荧光透视图像序列。

5.根据权利要求2至4中的任一项所述的装置，

其中，所述处理单元被配置为：突出显示检测到的感兴趣解剖结构上的界标和/或关键点，并且在所述合成虚拟荧光透视图像序列中绘制经突出显示的界标和/或关键点的移动。

6.根据前述权利要求中的任一项所述的装置，

其中，所述处理单元被配置为应用生成模型来生成所述一系列X射线图像，其中，所述生成模型已经在训练数据上进行了训练。

7.根据权利要求6所述的装置，

其中，所述训练数据包括所述感兴趣解剖结构的多幅三维(3D)图像。

8.根据权利要求6或7所述的装置，

其中，所述训练数据包括所述感兴趣解剖结构的多幅二维(2D)图像和根据所述二维图像导出的姿态参数。

9.一种X射线成像系统(100)，包括：

X射线成像设备(20)，其被配置为采集患者的感兴趣解剖结构的X射线图像；

根据前述权利要求中的任一项所述的装置，其被配置为基于所采集的所述感兴趣解剖结构的X射线图像来提供合成虚拟荧光透视图像序列以用于对下一次图像采集的定位引导；以及

显示器(40)，其被配置为显示所述合成虚拟荧光透视图像序列。

10.一种用于对图像采集的定位引导的方法(200)，包括：

接收(210)从第一次图像采集获得的患者的感兴趣解剖结构的X射线图像；

接收(220)描述针对图像采集的所述感兴趣解剖结构的目标位置的目标姿态参数集合；

检测(230)所述X射线图像中的所述感兴趣解剖结构；

确定(240)描述在所述第一次图像采集中的检测到的感兴趣解剖结构的当前位置的姿态参数集合；

确定(250)所确定的姿态参数集合与所述目标姿态参数集合之间的差异；

如果所述差异等于或大于预定义阈值，则构建(260)轨迹，所述轨迹定义用于将所述感兴趣解剖结构从所述当前位置带到所述目标位置的姿态参数集合的序列；

根据接收到的X射线图像和所述轨迹中的姿态参数集合的所述序列来生成(270)一系列X射线图像，以合成表示在对所述患者的重新定位期间的动画射线照相成像的帧的虚拟荧光透视图像序列；并且

提供(280)所述合成虚拟荧光透视图像序列以用于对第二次图像采集的定位引导。

11.根据权利要求10所述的方法，还包括：

用指示检测到的感兴趣解剖结构的所需移动的注释来增强所述合成虚拟荧光透视图像序列。

12.根据权利要求11所述的方法，还包括：

将检测到的感兴趣解剖结构的可变形模型配准到接收到的X射线图像；

根据所述轨迹中的姿态参数集合的所述序列来调整检测到的感兴趣解剖结构的所述可变形模型；并且

在每一帧中用经调整的可变形模型来增强所述合成虚拟荧光透视图像序列。

13.根据权利要求10至12中的任一项所述的方法，还包括：

显示所述合成虚拟荧光透视图像序列以用于对第二次图像采集的定位引导。

14.一种包括指令的计算机程序产品，所述指令用于使根据权利要求1至8中的任一项所述的装置或根据权利要求9所述的系统运行根据权利要求10至13中的任一项所述的方法的步骤。

15.一种计算机可读介质，其上存储有根据权利要求14所述的计算机程序。