CN112584760A - 用于对象摆位和图像引导手术的系统和方法 - Google Patents

Abstract

提供了一种用于对放置在床板(114a，114b)上的对象进行摆位的方法。所述方法(700)可以包括：获得计划图像(702)，所述计划图像示出了所述对象的虚拟表面；以及通过一个或以上捕获设备获得三维(3D)图像(704)，所述3D图像包括与所述对象相对应的一组元素；通过配准所述计划图像和所述3D图像获得配准结果(706)；根据所述配准结果确定所述对象是否需要移动(712)；响应于确定需要移动所述对象，根据所述配准结果使所述对象移动(714)。

Description

用于对象摆位和图像引导手术的系统和方法

技术领域

本公开总体上涉及放射疗法和图像引导手术，并且更具体地涉及用于增强现实辅助对象摆位和/或图像引导手术的系统和方法。

背景技术

在医学成像中(例如，计算机断层扫描(CT)成像、磁共振成像(MRI)、正电子发射断层扫描-计算机断层扫描(PET-CT)成像、正电子发射断层扫描-磁共振成像(PET-MRI)等)或放射疗法(RT)，需要定位对象的目标，以便可以将目标定位在成像设备的成像等中心点或放射治疗设备的治疗等中心点。摆位过程通常在成像过程或RT过程之前进行。摆位过程通常是复杂的，费时的和/或具有低的精度，这可能影响成像过程或RT过程的效率。因此，期望提供用于在成像过程或放射治疗过程之前摆位对象的系统和方法。

在医疗过程(例如手术(例如，CT引导干预))中，通常需要操作者(例如，手术外科医生)在对象(例如，患者)和显示患者的解剖信息的一个或多个监视器之间来回看以引导操作。以这种方式，操作者在大脑中进行了一种映射，以了解目标结构的位置。但是，脑力映射通常是困难且不准确的。因此，期望提供用于帮助图像引导手术的系统和方法。

发明内容

在本公开的一个方面，提供了一种用于对放置在床板上的对象进行摆位的方法。所述方法可以包括：获得计划图像，所述计划图像示出了对象的虚拟表面；以及通过一个或多个捕获设备获得三维(3D)图像，所述3D图像包括与所述对象相对应的一组元素；通过配准所述计划图像和所述3D图像获得配准结果；根据所述配准结果确定所述对象是否需要移动；和/或响应于确定需要移动所述对象，从而根据所述配准结果使对象移动。

在本公开的另一方面，提供了一种用于对放置在床板上的对象进行摆位的方法。所述方法可以包括：获得计划图像，所述计划图像包括在放疗计划中确定的床板的轮廓；以及根据所述床板的所述轮廓确定所述床板的目标位置；通过一个或以上捕获设备获得三维(3D)图像，所述3D图像包括与所述对象相对应的第一组元素和与所述床板相对应的第二组元素；基于所述3D图像确定所述床板的当前位置；和/或使所述床板基于所述床板的所述当前位置和所述床板的所述目标位置移动。

在本公开的另一方面，提供了一种用于对放置在床板上的对象进行摆位的方法。所述方法可以包括：获得计划图像，所述计划图像包括所述对象的虚拟表面；以及通过一个或以上捕获设备获得三维(3D)图像，所述3D图像包括与所述对象相对应的一组元素；通过将所述3D图像与所述计划图像配准来获得配准结果；根据所述配准结果确定所述床板是否需要移动；和/或响应于确定需要移动所述床板，使所述床板根据所述配准结果移动。

在本公开的另一方面，提供了一种用于在医疗过程中引导医疗器械的操作的方法。所述方法可以包括：获得对象的至少一个医学图像；以及确定所述至少一个医学图像的每一个中的一个或以上感兴趣区域；通过一个或多个捕获设备生成三维(3D)图像，所述3D图像包括与所述对象相对应的一组元素；通过将所述至少一个医学图像中的一个或以上感兴趣区域中的至少一个投影到所述3D图像上来生成增强现实图像；和/或提供所述增强现实图像以引导所述医疗器械的操作。

在本公开的另一方面，提供一种用于对放置在床板上的对象进行摆位的系统。所述系统可以包括：至少一个存储设备，其包括一组指令或程序；以及至少一个处理器，配置为与至少一个存储设备通信。当执行所述一组指令或程序时，所述至少一个处理器可以被配置为使所述系统执行以下操作：获得计划图像，所述计划图像示出了所述对象的虚拟表面；以及通过一个或以上捕获设备获得三维(3D)图像，所述3D图像包括与所述对象相对应的一组元素；通过配准所述计划图像和所述3D图像获得配准结果；根据所述配准结果确定所述对象是否需要移动；和/或响应于确定需要移动所述对象，使所述对象根据所述配准结果移动。

在本公开的另一方面，提供一种用于对放置在床板上的对象进行摆位的系统。所述系统可以包括：至少一个存储设备，其包括一组指令或程序；以及至少一个处理器，配置为与所述至少一个存储设备通信。当执行所述一组指令或程序时，所述至少一个处理器可以被配置为使所述系统执行以下操作：获得计划图像，所述计划图像包括在放疗计划中确定的床板的轮廓；以及根据所述床板的轮廓确定所述床板的目标位置；通过一个或以上捕获设备获得三维(3D)图像，所述3D图像包括与所述对象相对应的第一组元素和与所述床板相对应的第二组元素；基于所述3D图像确定所述床板的当前位置；和/或使所述床板基于所述床板的所述当前位置和所述床板的所述目标位置移动。

在本公开的另一方面，提供一种用于对放置在床板上的对象进行摆位的系统。所述系统可以包括：至少一个存储设备，其包括一组指令或程序；以及至少一个处理器，配置为与所述至少一个存储设备通信。当执行所述一组指令或程序时，所述至少一个处理器可以被配置为使所述系统执行以下操作：获取计划图像，所述计划图像包括所述对象的虚拟表面；以及通过一个或以上捕获设备获得三维(3D)图像，所述3D图像包括与所述对象相对应的一组元素；通过将所述3D图像与所述计划图像配准来获得配准结果；根据所述配准结果确定所述床板是否需要移动；和/或响应于确定需要移动所述床板，使所述床板根据所述配准结果移动。

在本公开的另一方面，提供了一种用于在医疗过程中引导医疗器械的操作的系统。所述系统可以包括：至少一个存储设备，其包括一组指令或程序；以及至少一个处理器，配置为与所述至少一个存储设备通信。当执行所述一组指令或程序时，所述至少一个处理器可以被配置为使所述系统执行以下操作：获得对象的至少一个医学图像；确定所述至少一个医学图像的每一个中的一个或以上感兴趣区域；通过一个或以上捕获设备生成三维(3D)图像，所述3D图像包括与对象相对应的一组元素；通过将所述至少一个医学图像中的所述一个或以上感兴趣区域中的至少一个投影到所述3D图像上来生成增强现实图像；和/或提供所述增强现实图像以引导所述医疗器械的操作。

在本公开的另一方面，提供一种用于对放置在床板上的对象进行摆位的系统。所述系统可以包括：获取单元，被配置为获取计划图像，所述计划图像示出了对象的虚拟表面，并且从一个或以上捕获设备获得三维(3D)图像，所述3D图像包括与所述对象相对应的一组元素；配准单元，其被配置为通过配准所述计划图像和所述3D图像来获得配准结果；控制单元，其被配置为基于配准结果确定是否需要移动所述对象，并且响应于确定需要移动所述对象，根据所述配准结果使所述对象移动。

在本公开的另一方面，提供一种用于对放置在床板上的对象进行摆位的系统。所述系统可以包括：获取单元，被配置为获取计划图像，所述计划图像包括在放疗计划中确定的床板的轮廓，并从一个或以上捕获设备获取三维(3D)图像，所述3D图像包括与所述对象相对应的第一组元素和与所述床板相对应的第二组元素；控制单元，其被配置为基于所述床板的轮廓确定所述床板的目标位置，基于所述3D图像确定所述床板的当前位置，并基于所述床板的所述当前位置和床板的所述目标位置使所述床板移动。

在本公开的另一方面，提供一种用于对放置在床板上的对象进行摆位的系统。所述系统可以包括：获取单元，被配置为获取计划图像，所述计划图像包括所述对象的虚拟表面，并从一个或以上捕获设备获得三维(3D)图像，所述三维图像包括与所述对象相对应的一组元素；配准单元，其被配置为通过将所述3D图像与所述计划图像配准来获得配准结果；控制单元，其被配置为基于所述配准结果确定是否需要移动所述床板，并且响应于确定需要移动所述床板，使所述床板根据所述配准结果移动。

在本公开的另一方面，提供了一种用于在医疗过程中引导医疗器械的操作的系统。该系统可以包括：获取单元，被配置为获取对象的至少一个医学图像；以及控制单元，其被配置为确定所述至少一个医学图像的每一个中的一个或以上感兴趣区域；重建单元，被配置为从一个或以上捕获设备生成三维(3D)图像，所述3D图像包括与所述对象相对应的一组元素；投影单元，被配置为通过将所述至少一个医学图像中的所述一个或多个感兴趣区域中的至少一个投影到所述3D图像上来生成增强现实图像；显示单元，其被配置为提供所述增强现实图像以引导医疗器械的操作。

在本公开的另一方面，提供了一种非暂时性计算机可读介质。所述非暂时性计算机可读介质可以存储指令。所述指令在由至少一个处理器执行时，可以使所述至少一个处理器实现一种方法，该方法包括：获得计划图像，所述计划图像示出了所述对象的虚拟表面；以及通过一个或以上捕获设备获得三维(3D)图像，所述3D图像包括与所述对象相对应的一组元素；通过配准所述计划图像和所述3D图像获得配准结果；根据所述配准结果确定所述对象是否需要移动；和/或响应于确定需要移动所述对象，根据所述配准结果使所述对象移动。

在本公开的另一方面，提供了一种非暂时性计算机可读介质。所述非暂时性计算机可读介质可以存储指令。所述指令在由至少一个处理器执行时，可使所述至少一个处理器实现一种方法，包括：获得计划图像，所述计划图像包括在放疗计划中确定的所述床板的轮廓；以及根据所述床板的轮廓确定所述床板的目标位置；通过一个或以上捕获设备获得三维(3D)图像，所述3D图像包括与所述对象相对应的第一组元素和与所述床板相对应的第二组元素；基于所述3D图像确定所述床板的当前位置；和/或使所述床板基于所述床板的当前位置和的所述床板目标位置移动。

在本公开的另一方面，提供了一种非暂时性计算机可读介质。所述非暂时性计算机可读介质可以存储指令。所述指令在由至少一个处理器执行时，可以使所述至少一个处理器实现一种方法，包括：获得计划图像，所述计划图像包括所述对象的虚拟表面；以及通过一个或以上捕获设备获得三维(3D)图像，所述3D图像包括与所述对象相对应的一组元素；通过将所述3D图像与所述计划图像配准来获得配准结果；根据所述配准结果确定表是否需要移动；和/或响应于确定需要移动所述床板，使所述床板根据所述配准结果移动。

在本公开的另一方面，提供了一种非暂时性计算机可读介质。所述非暂时性计算机可读介质可以存储指令。所述指令在由至少一个处理器执行时，可以使所述至少一个处理器实现一种方法，所述方法包括：获得对象的至少一个医学图像；确定所述至少一个医学图像的每一个中的一个或以上感兴趣区域；通过一个或以上捕获设备生成三维(3D)图像，所述3D图像包括与所述对象相对应的一组元素；通过将所述至少一个医学图像中的所述一个或以上感兴趣区域中的至少一个投影到所述3D图像上来生成增强现实图像；和/或提供所述增强现实图像以引导医疗器械的操作。

本申请的一部分附加特性可以在以下描述中进行说明。通过对以下描述和相应附图的研究或者对实施例的生产或操作的了解，本申请的一部分附加特性对于本领域技术人员是明显的。本申请的特征可以通过对以下描述的具体实施例的各个方面的方法、手段和组合的实践或使用得以实现和达到。

附图说明

本申请将通过示例性实施例进行进一步描述。这些示例性实施例将通过附图进行详细描述。这些实施例是非限制性的示例性实施例，在这些实施例中，各图中相同的编号表示相似的结构，其中：

图1是示出根据本公开的一些实施例的示例性系统的示意图；

图2是根据本申请的一些实施例所示的示例性计算设备的示例性硬件和/或软件组件的示意图；

图3是示出根据本公开的一些实施例的示例性移动设备的示例性硬件和/或软件组件的示意图；

图4是示出根据本公开的一些实施例的示例性处理设备的框图；

图5是示出根据本公开的一些实施例的用于定位床板的示例性过程的流程图；

图6是示出根据本公开的一些实施例的用于对放置在床板上的对象进行摆位的示例性过程的流程图；

图7是示出根据本公开的一些实施例的用于对放置在床板上的对象进行摆位的示例性过程的流程图；

图8是示出根据本公开的一些实施例的用于对放置在床板上的对象进行摆位的示例性过程的流程图；

图9是示出根据本公开的一些实施例的用于在医疗过程中引导医疗器械的操作的示例性过程的流程图；

图10是示出根据本公开的一些实施例的用于生成动态增强现实图像的示例性过程的流程图；以及

图11是示出根据本公开的一些实施例的用于在手术期间引导器械的操作的示例性过程的流程图。

具体实施方式

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。然而，本领域技术人员应该明白，可以在没有这些细节的情况下实施本申请。在其它情况下，为了避免不必要地使本申请的各方面变得晦涩难懂，已经在较高的层次上描述了众所周知的方法、过程、系统、组件和/或电路。对于本领域的普通技术人员来讲，显然可以对所披露的实施例作出各种改变，并且在不偏离本申请的原则和范围的情况下，本申请中所定义的普遍原则可以适用于其他实施例和应用场景。因此，本申请不限于所示的实施例，而是符合与申请专利范围一致的最广泛范围。

本申请中所使用的术语仅出于描述特定示例实施例的目的，而非限制性的。如本申请使用的单数形式“一”、“一个”及“该”同样可以包括复数形式，除非上下文明确提示例外情形。还应当理解，如在本申请说明书中使用的术语“包括”、“包含”仅提示存在所述特征、整数、步骤、操作、组件和/或部件，但并不排除存在或添加一个或以上其它特征、整数、步骤、操作、组件、部件和/或其组合的情况。

可以理解的是，本文使用的术语“系统”、“引擎”、“单元”、“模块”和/或“区块”是用于按升序区分不同级别的不同构件、元件、部件、部分或组件的方法。然而，如果可以达到相同的目的，这些术语也可以被其他表达替换。

通常，这里使用的词语“模块”、“单元”或“块”是指体现在硬件或固件中的逻辑，或者是软件指令的集合。本文描述的模块，单元或块可以被软件和/或硬件实现，并且可以被存储在任何类型的非暂时性计算机可读介质或另一存储设备中。在一些实施例中，可以编译软件模块/单元/块并将其链接到可执行程序中。应当理解，软件模块可以从其他模块/单元/块或从它们自身调用，和/或可以响应检测到的事件或中断来调用。可以在计算机可读介质上提供被配置为在计算设备(例如，图2中所示的处理器210)上执行的软件模块/单元/块，所述计算机可读介质例如为光盘、数字视频盘、闪存驱动器、磁性设备。光盘或任何其他有形媒体，或者作为数字下载(并且可以最初以压缩或可安装的格式存储，需要在执行之前进行安装，解压缩或解密)。这里的软件代码可以被部分的或全部的储存在执行操作的计算设备的存储设备中，并应用在计算设备的操作之中。软件指令可以嵌入在诸如EPROM的固件中。还应当理解，硬件模块/单元/块可以包括在连接的逻辑组件中，例如门和触发器，和/或可以包括可编程单元，例如可编程门阵列或处理器。这里描述的模块/单元/块或计算设备功能可以实现为软件模块/单元/块，但是可以用硬件或固件表示。通常，这里描述的模块/单元/块指的是逻辑模块/单元/块，其可以与其他模块/单元/块组合或者分成子模块/子单元/子块，尽管它们是物理组织或存储器件。该描述可适用于系统、引擎或其一部分。

可以理解的是，除非上下文另有明确说明，当单元、引擎、模块或块被称为在另一单元、引擎、模块或块“上”、“连接”或“耦合至”另一单元、引擎、模块或块时，其可以直接在其它单元、引擎、模块或块上，与其连接或耦合或与之通信，或者可能存在中间单元、引擎、模块或块。在本申请中，术语“和/或”可包括任何一个或以上相关所列条目或其组合。

根据以下对附图的描述，本申请的这些和其它的特征、特点以及相关结构元件的功能和操作方法，以及部件组合和制造经济性，可以变得更加显而易见，这些附图都构成本申请说明书的一部分。然而，应当理解的是，附图仅仅是为了说明和描述的目的，并不旨在限制本申请的范围。应当理解的是，附图并不是按比例绘制的。

本申请使用的流程图示出了根据本申请公开的一些实施例所示的系统所执行的操作。应当理解的是，流程图中的操作可以不按顺序执行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将一个或以上其他操作添加到这些流程图中。也可以从流程图中删除一个或以上操作。

本文提供的是具有一个或多个增强现实(AR)可视化组件的系统，用于医疗或工业应用，例如用于疾病治疗、疾病诊断、同步运动控制、研究目的等。在一些实施例中，所述系统可以是放射治疗(RT)系统、计算机断层扫描(CT)系统、超声检查系统、X射线扫描系统、磁共振成像(MRI)系统、正电子发射断层扫描计算系统断层扫描(PET-CT)成像系统、正电子发射断层扫描-磁共振成像(PET-MRI)系统等，或其任意组合。为了说明的目的，以下描述是参考RT系统(或CT系统)而提供的，并且不旨在限制本公开的范围。在本公开的一个方面，AR可视化技术用于对放置在床板上的对象进行摆位。借助于AR可视化，可以简化和/或自动化摆位过程，因此可以提高摆位过程的效率和/或准确性。在本公开的另一方面，AR技术还用于在医疗过程中引导医疗器械的操作。借助于AR可视化，可以简化，自动化和/或半自动化地操作医疗器械，并且因此可以提高操作过程的效率和/或准确性，这可以减少对医疗器械的伤害。操作和/或伴随该操作的成像过程。

图1是示出根据本公开的一些实施例的示例性系统的示意图。如图1所示，系统100可以包括装置110、网络120、一个或以上终端130、处理设备140和存储设备150。在一些实施例中，系统100可以包括一个或以上捕获设备160。系统100中的组件可以采用一种或以上连接方式。仅作为示例，装置110可以通过网络120连接到处理设备140。作为另一示例，装置110可以直接连接至处理设备140。如图中的双向箭头所示，用虚线将装置110和处理设备140连接起来。作为又一个示例，存储设备150可以直接或通过网络120连接到处理设备140。作为又一个示例，终端130可以直接连接到处理设备140(如连接终端130和处理设备140的虚线中的双向箭头所示)或通过网络120连接。作为又一个示例，捕获设备160可以直接或通过网络120连接到处理设备140。

在一些实施例中，装置110可以是RT设备。在一些实施例中，RT设备可以将辐射束传送到对象(例如，患者或幻影)或其一部分。在一些实施例中，RT设备可以包括线性加速器(也称为“直线加速器”)。直线加速器可以从治疗头116a产生并发射辐射束(例如，X射线束)。辐射束可以穿过某些形状的一个或以上准直仪(例如，多叶准直仪(MLC))，并进入对象。在一些实施例中，辐射束可以包括电子、光子或其他类型的辐射。在一些实施例中，辐射束的能量可以在兆电压范围内(例如，＞1MeV)，并且因此可以被称为兆电压束。治疗头116a可以连接到机架111a。机架111a可以旋转，例如绕机架旋转轴线顺时针或逆时针旋转。在一些实施例中，治疗头116a可以与机架116一起旋转。在一些实施例中，RT设备可以包括被配置为在放射治疗期间支撑对象的床板114a。

在一些实施例中，装置110可以是成像设备。成像设备可以通过扫描对象或对象的一部分来生成或提供图像。在一些实施例中，成像设备可以是医学成像设备，例如，正电子发射断层扫描(PET)设备、单光子发射计算机断层扫描(SPECT)设备、计算机断层扫描(CT)设备、磁共振成像(MRI)设备、超声检查设备、X射线扫描设备等，或其任意组合。在一些实施例中，成像装置可包括机架111b以支撑一个或以上成像部件用于对对象进行成像；和/或床板114b，其被配置为在成像过程中支撑对象。在一些实施例中，成像设备可以包括单模态扫描仪。单模态扫描仪可以包括MRI扫描仪、CT扫描仪、PET扫描仪等，或其任意组合。在一些实施例中，成像设备可以包括多模态扫描仪。多模态扫描仪可以包括正电子发射断层扫描计算机断层扫描(PET-CT)扫描仪、正电子发射断层扫描磁共振成像(PET-MRI)扫描仪等或其任意组合。在一些实施例中，成像设备可以经由网络120将图像传输到处理设备140、存储设备150和/或终端130。例如，图像可以被发送到处理设备140以进行进一步处理，或者可以被存储在存储设备150中。

在一些实施例中，装置110可以是成像设备和RT设备的集成设备。在一些实施例中，装置110可以包括一个或以上手术器械。在一些实施例中，装置110可包括被配置为在手术期间支撑对象的手术台(或为简单的床板)。床板114a或114b可以在治疗过程或成像过程中支撑对象，和/或在装置110的校正过程中支撑体模。床板114a或114b可以是可调节的和/或可移动的以适合于不同的应用场景。

在一些实施例中，待治疗或扫描的对象(也称为成像的)可以包括身体、物质等或其任何组合。在一些实施例中，对象可以包括身体的特定部分，例如头部、胸部、腹部等，或其任何组合。在一些实施例中，对象可以包括特定器官，例如乳房、食道、气管、支气管、胃、胆囊、小肠、结肠、膀胱、输尿管、子宫、输卵管管子等。在本公开中，“对象”和“实验对象”可互换使用。

网络120可以包括可以促进系统100的信息和/或数据的交换的任何合适的网络。在一些实施例中，系统100的一个或多个组件(例如，装置110、终端130、处理设备140、存储设备150等)可以与以下的一个或以上其他组件通信信息和/或数据：系统100通过网络120。例如，处理设备140可以经由网络120从终端130获得一个或以上指令。作为另一示例，处理设备140可以经由网络120从装置110或存储设备150获得一个或以上图像。网络120可以是和/或包括公共网络(例如，互联网)，专用网络(例如，局域网(LAN)、广域网(WAN)等)、有线网络(例如，以太网、无线网络(例如802.11网络、Wi-Fi网络等)、蜂窝网络(例如长期演进(LTE)网络)、帧中继网络、虚拟专用网络(“VPN”)、卫星网络、电话网络、路由器、集线器、交换机、服务器计算机和/或其任何组合。仅作为示例，网络120可以包括电缆网络、有线网络、光纤网络、电信网络、内联网、无线局域网(WLAN)、城域网(MAN)、公共电话交换网(PSTN)、蓝牙^TM网络、ZigBee^TM网络、近场通信(NFC)网络等，或其任意组合。在一些实施例中，网络120可以包括一个或以上网络接入点。例如，网络120可包括诸如基站和/或互联网交换点之类的有线和/或无线网络接入点，系统100的一个或以上组件可通过有线和/或无线网络接入点连接到网络120以交换数据和/或信息。

终端130可以启用用户与系统100之间的交互。终端130可以包括移动设备131、平板计算机132、膝上型计算机133等，或其任何组合。在一些实施例中，移动设备131可以包括智能家居设备、可穿戴设备、移动设备、虚拟现实设备、增强现实设备等，或其任意组合。仅作为示例，终端130可以包括如图3所示的移动设备。在一些实施例中，智能家居设备可以包括智能照明设备、智能电器控制设备、智能监控设备、智能电视、智能摄像机、对讲机等，或其任意组合。在一些实施例中，可穿戴设备可以包括手镯、鞋袜、眼镜、头盔、手表、衣物、背包、智能配件等，或其任何组合。在一些实施例中，移动设备可以包括移动电话、个人数字助理(PDA)、游戏设备、导航设备、销售点(POS)设备、膝上型计算机、平板计算机、台式计算机或喜欢，或其任何组合。在一些实施例中，虚拟现实设备和/或增强现实设备可以包括虚拟现实头盔、虚拟现实眼镜、虚拟现实眼罩、增强现实头盔、增强现实眼镜、增强现实眼罩等，或其任意组合。例如，虚拟现实设备和/或增强现实设备可以包括GoogleGlass^TM、OculusRift^TM、Hololens^TM、GearVR^TM等。在一些实施例中，终端130可以是处理设备140的一部分。

处理设备140可以处理从装置110，终端130和/或存储设备150获得的数据和/或信息。例如，处理设备140可以获得计划图像。作为另一示例，处理设备140可以获得3D图像。作为又一示例，处理设备140可以通过配准计划图像和3D图像来获得配准结果。作为又一示例，处理设备140可以基于配准结果来确定是否需要移动床板和/或对象。作为另一示例，处理设备140可以使床板和/或对象根据配准结果移动。作为另一示例，处理设备140可以基于床板的轮廓确定床板的目标位置、基于3D图像确定床板的当前位置、和/或基于床板的当前位置和床板的目标位置使床板移动。

作为又一示例，处理设备140可以获得对象的至少一个医学图像。作为又一示例，处理设备140可以确定至少一个医学图像的每一个中的一个或以上感兴趣区域。作为又一个示例，处理设备140可以生成3D图像。作为又一示例，处理设备140可以通过将至少一个医学图像中的一个或以上感兴趣区域中的至少一个投影到3D图像上来生成增强现实图像。作为又一示例，处理设备140可以提供增强现实图像以用于引导医疗器械的操作。

在一些实施例中，处理设备140可以是计算机、用户控制台、单个服务器或服务器组等。服务器组可以是集中式或分布式的。在一些实施例中，处理设备140可以是本地的或远程的。例如，处理设备140可以经由网络120访问存储在装置110、终端130和/或存储设备150中的信息和/或数据。作为另一示例，处理设备140可以直接连接至装置110，终端130和/或存储设备150以访问所存储的信息和/或数据。在一些实施例中，处理设备140可以被实现在云平台上。仅作为示例，该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。在一些实施例中，处理设备140可以由具有如图2所示的一个或以上组件的计算设备200来实现。

存储设备150可以存储数据、指令和/或任何其他信息。在一些实施例中，存储设备150可以存储从装置110、终端130和/或处理设备140获得的数据。在一些实施例中，存储设备150可以存储数据和/或处理设备140可以执行或用来执行本公开中描述的示例性方法的指令。在一些实施例中，存储设备150可以包括大容量存储设备、可移动存储设备、易失性读写存储器、只读存储器(ROM)等或其任意组合。示例性大容量存储器可以包括磁盘、光盘、固态驱动器等。示例性可移动存储器可以包括闪存驱动器、软盘、光盘、内存卡、压缩盘、磁带等。示例性易失性读写内存可以包括随机存取内存(RAM)。示例性RAM可包括动态随机存取内存(DRAM)、双倍数据速率同步动态随机存取内存(DDRSDRAM)、静态随机存取内存(SRAM)、晶闸管随机存取内存(T-RAM)和零电容随机存取内存(Z-RAM)等。示例性ROM可以包括掩模ROM(MROM)、可编程ROM(PROM)、可擦除可编程ROM

(EPROM)、电可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)和数字多功能盘ROM等在一些实施例中，所述存储设备150可以在云平台上实现。仅作为示例，该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。

在一些实施例中，存储设备150可以连接到网络120以与系统100中的一个或以上其他组件(例如，处理设备140、终端130等)通信。系统100中的一个或以上组件可以经由网络120访问存储在存储设备150中的数据或指令。在一些实施例中，存储设备150可以直接连接到系统100中的一个或以上其他组件或与之通信(例如，处理设备140，终端130等)。在一些实施例中，存储设备150可以是处理设备140的一部分。在一些实施例中，处理设备140可以经由网络120或在处理设备140的后端连接到装置110或与装置110通信。

在一些实施例中，捕获设备160可以被配置为捕获对象和/或床板的一个或以上图像(或视频)。在一些实施例中，捕获设备160可以包括一个或以上数字照相机。在一些实施例中，捕获设备160可以包括一个或以上深度相机。在一些实施例中，捕获设备160可以包括一个或以上单目照相机，一个或以上双目照相机等，或其组合。在一些实施例中，由捕获设备160捕获的图像可以是二维(2D)图像、三维(3D)图像等，或其组合。在一些实施例中，由捕获设备160捕获的图像可以是对象和/或床板的真实场景图像。在一些实施例中，由捕获设备160捕获的图像可以包括对象和/或床板的深度信息。在一些实施例中，捕获设备160可相对于装置110安装(或安装)在固定位置(例如，安装在容纳装置110的手术室的天花板上)。在一些实施例中，捕获设备160可以被定位成使得捕获设备160可以在相对宽的视野内捕获对象和/或床板的相对清晰的图像。在一些实施例中，捕获设备160可以被安装在不同的位置，使得捕获设备160可以从不同的方向(或角度)捕获对象和/或床板的图像。在一些实施例中，捕获设备160的视场可以至少部分重叠，并且捕获设备160可以从不同的方向(或角度)捕获包括对象和/或床板的至少一个相同区域的图像。例如，第一捕获设备161和第二捕获设备162可以分别从对象和/或床板的左上45度和对象和/或床板的右上45度捕获对象和/或床板的图像。

图2是示出根据本公开的一些实施例的可以在其上实现处理设备140的示例性计算设备的示例性硬件和/或软件组件的示意图。如图2所示，计算设备200可以包括处理器210、存储器220、输入/输出(I/O)230和通信端口240。

处理器210可以执行计算机指令(例如，程序代码)并根据本文描述的技术执行处理设备140的功能。计算机指令可以包括例如例程、程序、对象、组件、数据结构、过程、模块和功能，其执行本文描述的特定功能。例如，处理器210可以处理从装置110、终端130、存储设备150、捕获设备160和/或系统100的任何其他组件获得的图像。在一些实施例中，处理器210可以基于与放疗计划有关的信息来处理图像。可以从与系统100相关联的放疗计划系统(TPS)获得放疗计划。与放疗计划有关的信息可以包括代表要治疗或成像的对象的内部解剖学信息的术前医学图像。在一些实施例中，处理器210可以基于从终端130、存储设备150、捕获设备160和/或系统100的任何其他组件获得的信息来生成增强现实(AR)图像。一个或以上AR图像可以表示对象的外表面信息和/或对象的内部解剖信息。在一些实施例中，处理器210可以包括一个或以上硬件处理器，诸如微控制器、微处理器、精简指令集计算机(RISC)、专用集成电路(ASIC)、专用指令集处理器(ASIP)、中央处理单元(CPU)、图形处理单元(GPU)、物理处理单元(PPU)、微控制器单元、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、高级RISC机器(ARM)、可编程逻辑设备(PLD)、能够执行一个或以上功能的任何电路或处理器，等等，或其任意组合。

仅仅为了说明，在计算设备200中仅描述了一个处理器。然而，应注意，本公开中的计算设备200还可以包括多个处理器，因此，如本公开中所述的由一个处理器执行的操作和/或方法步骤也可以由多个处理器联合或分开地执行。处理器。例如，如果在本公开中，计算设备200的处理器同时执行操作A和操作B，则应当理解，操作A和操作B也可以由计算设备200中的两个或更多个不同的处理器联合或分别执行。(例如，第一处理器执行操作A，第二处理器执行操作B，或者第一处理器和第二处理器共同执行操作A和B)。

存储器220可以存储从装置110、终端130、存储设备150和/或系统100的任何其他组件获得的数据/信息。在一些实施例中，存储器220可以包括大容量存储装置、可移动存储装置、易失性读写存储器、只读存储器(ROM)等或其任意组合。例如，大容量存储器可以包括磁盘、光盘、固态驱动器等。可移动存储设备可以包括闪存驱动器、软盘、光盘、存储卡、zip磁盘、磁带等。易失性读写存储器可以包括随机存取存储器(RAM)。RAM可以包括动态RAM(DRAM)、双倍速率同步动态RAM(DDRSDRAM)、静态RAM(SRAM)、晶闸管RAM(T-RAM)和零电容器RAM(Z-RAM)等。ROM可以包括掩模ROM(MROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)和数字多功能盘ROM等在一些实施例中，存储器220可以存储一个或以上程序和/或指令以执行本公开中描述的示例性方法。例如，存储器220可以存储用于摆位对象(或床板)的程序和/或用于引导医疗器械(例如活检针)的操作的程序。

I/O230可以输入和/或输出信号、数据、信息等。在一些实施例中，I/O230可以使用户能够与处理设备140交互。在一些实施例中，I/O230可以包括输入设备和输出设备。输入设备的示例可以包括键盘、鼠标、触摸屏、麦克风等，或其组合。输出设备的示例可以包括显示设备、扬声器、打印机、投影仪等或其组合。显示设备的示例可以包括液晶显示器(LCD)、基于发光二极管(LED)的显示器、平板显示器、曲面屏幕、电视设备、阴极射线管(CRT)、触摸屏屏幕等，或其组合。

通信端口240可以连接到网络(例如，网络120)以促进数据通信。通信端口240可以在处理设备140与装置110，终端130和/或存储设备150之间建立连接。该连接可以是有线连接、无线连接，可以实现数据发送和/或接收的任何其他通信连接，和/或这些连接的任意组合。有线连接可以包括例如电缆、光缆、电话线等，或其任何组合。无线连接可以包括例如蓝牙^TM链接、Wi-Fi^TM链接、WiMax^TM链接、WLAN链接、ZigBee链接、移动网络链接(例如3G、4G、5G等)。或类似内容，或其组合。在一些实施例中，通信端口240可以是和/或包括标准化通信端口，例如RS232、RS485等。在一些实施例中，通信端口240可以是专门设计的通信端口。例如，可以根据数字成像和医学通信(DICOM)协议来设计通信端口240。

图3是示出根据本公开的一些实施例的可以在其上实现终端130的示例性移动设备的示例性硬件和/或软件组件的示意图。如图3所示，移动设备300可以包括通信平台310、显示器320、图形处理单元(GPU)330、中央处理单元(CPU)340、I/O350、内存360和存储器390。在一些实施例中，任何其他合适的组件，包括但不限于系统总线或控制器(未示出)，也可包括在移动设备300内。在一些实施例中，移动操作系统370(例如，iOS^TM、Android^TM、WindowsPhone^TM等)和一个或以上应用程序380可以从存储器390加载到内存360中以便由CPU340执行。应用程序380可以包括浏览器或任何其他合适的移动应用程序，用于从处理设备140接收和渲染与图像处理有关的信息或其他信息。可以通过I/O350实现与信息流的用户交互，并通过网络120将其提供给处理设备140和/或系统100的其他组件。

为了实施本申请描述的各种模块、单元及其功能，计算机硬件平台可用作本文中描述的一个或以上组件的硬件平台。具有用户接口元素的计算机可用于实施个人计算机(PC)或任何其他类型的工作站或终端设备。若计算机被适当的程序化，计算机亦可用作服务器。

图4是示出根据本公开的一些实施例的示例性处理设备的框图。处理设备140可以包括获取单元410、控制单元420、配准单元430、重建单元440、投影单元450和显示单元460。

获取单元410可以获取数据。获取单元410可以从装置110、网络120、终端130、存储设备150、捕获设备160或本公开中公开的能够存储数据的任何设备或组件中的一个或以上获取数据。所获取的数据可以包括对象的图像数据、用户指令、算法等，或其组合。在一些实施例中，对象的图像数据可以包括AR图像、AR视频、术前医学图像数据等。在一些实施例中，获取单元410可以获得在放疗计划中确定的床板的位置信息。在一些实施例中，获取单元410可以获得在放疗计划中确定的床板的轮廓。在一些实施例中，获取单元410可以获得包括在放疗计划中确定的床板的轮廓和/或对象的虚拟表面的计划图像。在一些实施例中，获取单元410可以(例如，从至少两个捕获设备)获取对象和床板的至少两个图像。在一些实施例中，获取单元410可以获取对象的一个或以上医学图像(例如，断层扫描图像)。在一些实施例中，获取单元410可以获取在第一时间段期间生成的对象的一个或以上医学图像。在一些实施例中，对象的医学图像可以包括计算机断层扫描(CT)图像，磁共振(MR)图像，超声图像等或它们的任意组合。例如，一组医学图像可以包括对象的四维(4D)CT图像。在一些实施例中，获取单元410可以在第二时间段内(例如，从一个或以上捕获设备)获取对象的一个或以上图像。在一些实施例中，获取单元410可以获得在第一时间段期间生成的运动的第一波形。在一些实施例中，获取单元410可以获取在第二时间段期间生成的运动的第二波形。可以在本公开的其他地方找到获取单元410的更多描述(例如，图5-11及其描述)。

控制单元420可以控制系统100的模块或组件的操作。在一些实施例中，控制单元420可以基于增强现实图像使床板移动(例如，移动到目标位置)。在一些实施例中，控制单元420可以基于增强现实图像使对象移动到目标位置。在一些实施例中，控制单元420可以确定一个或以上医学图像中的一个或以上感兴趣区域。在一些实施例中，控制单元420可以确定波形中的参考相位。在一些实施例中，控制单元420可以确定床板的目标位置。控制单元420的更多描述可以在本公开的其他地方找到(例如，图5-11及其描述)。

配准单元430可以配准至少两个图像。在一些实施例中，配准单元430可以通过配准两个图像来生成3D图像。在一些实施例中，配准单元430可以通过配准计划图像和3D图像来获得配准结果(参见图7-8)。在一些实施例中，配准单元430可以使用一个或以上图像配准算法(例如，基于灰度和模板的配准算法、基于特征的配准算法、基于域变换的配准算法等)来配准至少两个图像(或其一部分)。在一些实施例中，配准单元430可以在时间和空间上配准至少一个感兴趣区域和动态图像。在一些实施例中，感兴趣区域可以包括床板的轮廓和/或对象的轮廓表面(或轮廓)。在一些实施例中，感兴趣区域可以包括与对象的一部分(例如，诸如肺、肝、心脏等器官)相对应的至少两个元素。在本公开的其他地方可以找到配准单元430的更多描述(例如，图5-11及其描述)。

重建单元440可以基于一个或以上图像生成3D图像。在一些实施例中，重建单元440可以通过融合至少两个图像(或动态图像或视频)来生成动态图像(或视频)。在一些实施例中，重建单元440可以基于一个或以上医学图像来重建对象(或计划图像)的虚拟表面。重建单元440的更多描述可以在本公开的其他地方找到(例如，图5-11及其描述)。

投影单元450可以将虚拟信息投影到真实图像上以生成AR图像。在一些实施例中，投影单元450可以将床板的轮廓投影到3D图像上。在一些实施例中，投影单元450可以将对象的虚拟表面投影到3D图像上。在一些实施例中，投影单元450可以将一组医学图像中的至少一个感兴趣区域投影到动态图像上。在一些实施例中，投影单元450可以将医学图像中的至少一个感兴趣区域投影到动态图像的帧上。投影单元450的更多描述可以在本公开的其他地方找到(例如，图5-11及其描述)。

显示单元460可以显示信息。在一些实施例中，所显示的信息可以引导操作者或医疗器械的操作。在一些实施例中，显示单元460可以显示床板的位置信息。在一些实施例中，显示单元460可以显示床板和/或对象的图像(或视频)。在一些实施例中，显示单元460可以显示对象的虚拟表面、对象的一个或以上感兴趣区域、床板的轮廓等。在一些实施例中，操作者可以根据所显示的信息来调整床板的位置。显示单元460的更多描述可以在本公开的其他地方找到(例如，图5-11及其描述)。

在一些实施例中，如图4所示的一个或以上单元可以在如图1所示的系统100的至少一部分中实现。例如，获取单元410、控制单元420、配准单元430、重建单元440、投影单元450和/或显示单元460可以集成到控制台中(未示出)。经由控制台，用户可以设置用于实现本公开中其他地方描述的操作的参数(例如，用于治疗对象的放疗计划)。在一些实施例中，可以经由处理设备140和/或终端130来实现控制台。

应当注意的是，以上描述仅出于说明的目的而提供，并不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不脱离本申请的范围。例如，处理设备140可以进一步包括用于促进系统100和用户之间的交互的I/O单元。

图5是示出根据本公开的一些实施例的用于摆位床板的示例性过程的流程图。在一些实施例中，流程500的至少一部分可以由处理设备140执行(例如，在图2所示的计算设备200中实现)。例如，流程500可以以指令(例如，应用程序)的形式存储在存储设备(例如，存储设备150、存储器220、存储器390)中，并由处理设备140(例如，图2所示的处理器210，图3所示的CPU340或图4所示的处理设备140中的一个或多个单元)调用和/或执行。以下所示过程的操作仅出于说明的目的。在一些实施例中，流程500可以利用一个或以上未描述的附加操作和/或没有所讨论的一个或以上操作来完成。另外，图5中示出的和下面描述的流程500的操作的顺序不旨在是限制性的。

在一些实施例中，可以在成像过程或处理过程之前执行流程500以摆位由装置110的床板支撑的对象，由此，对象的目标部分可以位于成像设备的成像等中心点或放射线治疗设备的治疗等中心点(或其附近)。在摆位对象之后，可以开始成像过程或治疗过程。例如，在摆位对象之后，可以通过RT设备生成的射线来处理对象。作为另一示例，在摆位对象之后，可以通过CT成像设备扫描对象以生成对象的图像(例如，定位图像)。在一些实施例中，因为对象被支撑在床板上，所以可以首先摆位床板，然后可以相对于床板调整对象的位置。在一些实施例中，可以首先调整对象相对于床板的位置，然后摆位床板。仅出于说明的目的而提供以下示出的用于放射治疗的摆位过程，而无意于限制本公开的范围。可以在本公开的引导下进行用于成像的摆位过程。

在502，可以获得计划图像。计划图像可以包括在放疗计划中确定的床板的轮廓。包括床板的轮廓的计划图像可以由处理设备(例如，获取单元410)获得。在一些实施例中，在放疗计划中确定的床板的轮廓可以是虚拟轮廓。在RT流程之前，可能需要在放疗计划系统(TPS)中生成放疗计划。在放疗计划过程中，可以指定床板的虚拟轮廓，对象相对于床板的位置信息。

在504中，可以确定床板的目标位置。在一些实施例中，床板的目标位置可以由处理设备(例如，控制单元420)确定。可以基于床板的轮廓来确定床板的目标位置。在一些实施例中，可以在放疗计划中指定床板的目标位置，对象相对于床板的目标位置和/或对象的姿势。在一些实施例中，在TPS中生成放疗计划之前，可以指定床板的目标位置，对象相对于床板的目标位置和/或对象的姿势。

在506中，可以获得三维(3D)图像。在一些实施例中，可以基于至少两个图像来生成3D图像。在一些实施例中，可以由处理设备(例如，获取单元410)获取至少两个图像。在一些实施例中，至少两个图像可以由至少两个捕获设备(例如，第一捕获设备161和第二捕获设备162)捕获(或生成)。在一些实施例中，至少两个捕获设备中的每个捕获设备可以捕获至少两个图像之一。至少两个图像可以包括从不同方向(或角度)的对象和/或床板的至少一个相同区域。在一些实施例中，至少两个图像可以是在不同视角下的对象和/或床板的真实场景图像。例如，第一捕获设备161和第二捕获设备162可以从不同的视角(例如，分别在左上方45度和在右上方45度)捕获对象和/或床板的图像。在一些实施例中，至少两个图像可以包括对象和/或床板的深度信息。在一些实施例中，至少两个捕获设备可以在摆位过程中一致地或周期性地自动捕获对象和/或床板的图像，并且可以将图像传输到处理设备140和/或存储设备150中。实时处理，使得处理设备140可以获得图像。在一些实施例中，处理设备140可以将用于捕获对象和/或床板的图像的指令传输到捕获设备，使得捕获设备可以捕获图像并将图像传输到处理设备140。

在一些实施例中，可以基于至少两个图像来生成3D图像。在一些实施例中，3D图像可以由处理设备140(例如，重建单元440)生成。在一些实施例中，处理设备140可以基于一种或以上图像重建算法(例如，单目视觉算法、立体视觉算法、阴影恢复形状算法等)来重建3D图像。在一些实施例中，处理设备140(例如，配准单元430)可以在基于至少两个图像重建3D图像之前配准至少两个图像。在一些实施例中，处理设备140(例如，配准单元430)可以使用一个或以上图像配准算法(例如，基于灰度和模板的配准算法、基于特征的配准算法、基于域转换的配准算法等)来配准至少两个图像(或其一部分)。在一些实施例中，处理设备140可以在配准至少两个图像之前对至少两个图像进行预处理。预处理可以包括例如去噪、图像增强、图像分割等。

在一些实施例中，3D图像可以包括与对象相对应的第一组元素(例如，像素)和与床板相对应的第二组元素(例如，像素)。在一些实施例中，对应于对象的第一组元素可以表示3D图像中的对象。对应于床板的第二组元素可以表示3D图像中的床板。在一些实施例中，对象可以是被支撑在床板上的患者。在一些实施例中，处理设备140可以分割3D图像并获得第一组元素和第二组元素。在一些实施例中，处理设备140可以渲染第一组元素和/或第二组元素，使得第一组元素和第二组元素在视觉上易于区分。例如，第一组元素和第二组元素可以具有以不同颜色示出的轮廓线，其可以分别代表患者和床板的真实轮廓。作为另一示例，第一组元素和第二组元素可以由不同颜色的块表示，其中，这些块的边界可以分别表示患者和床板的真实轮廓。

在508中，可以通过将在502中获得的床板的轮廓投影到3D图像上来生成AR图像。AR图像可以由处理设备140(例如，投影单元450)生成。在一些实施例中，处理设备140可以将床板的轮廓与3D图像融合以生成AR图像。在一些实施例中，可以在相同的坐标系中呈现3D图像和包括床板的轮廓的计划图像。处理设备140可以将床板的轮廓直接叠加在3D图像上。在一些实施例中，可以在不同的坐标系中呈现包括床板的轮廓的3D图像和计划图像。处理设备140可以将包括床板的轮廓的计划图像从其原始坐标系转换为3D图像的坐标系，然后将床板的轮廓叠加在3D图像上。在一些实施例中，3D图像可以包括与床板相对应的第二组元素。第二组元素可以代表床板的真实轮廓。在操作502中获得的床板的轮廓可以是床板的虚拟轮廓。因此，通过将床板的虚拟轮廓投影到3D图像上而生成的AR图像可以包括代表床板的真实轮廓和床板的虚拟轮廓的第二组元素。

在510中，可以在显示设备上显示AR图像。AR图像可以由处理设备140(例如，显示单元460)显示。在一些实施例中，显示单元460可以包括视频显示器(例如，电致发光显示器、电子纸、发光二极管(LED)显示器、液晶显示器(LCD)、等离子显示器、数字微镜器件(DMD)、硅上液体显示器、场发射显示器、激光彩色视频显示器、量子点显示器、干涉式调制器显示器、柔性显示器等)、非视频显示器(例如真空荧光显示器、七段显示器等)、3D显示器(例如，全息显示器、视网膜显示器、雾显示器等)或其组合。例如显示器可以是头戴式显示器(HMD)、显示设备(例如，平板显示器或曲面面板显示器)等。在一些实施例中，操作者可以观察来自显示设备的AR图像。在一些实施例中，AR图像可以直接显示在床板和/或RT设备上，以引导操作，例如通过例如对象本人或在操作者的帮助下进行对象的摆位。

在512中，可以基于3D图像来确定床板的当前位置。床板的当前位置可以由处理设备140(例如，控制单元420)确定。在一些实施例中，如506所描述的，3D图像可以包括与对象相对应的第二组元素。对应于床板的第二组元素可以表示3D图像中床板的真实轮廓。可以基于3D图像中床板的真实轮廓来确定床板的当前位置。

在514中，可以基于床板的当前位置和床板的目标位置使床板移动。可以通过处理设备140(例如，控制单元420)使床板移动。在一些实施例中，床板的目标位置可以在放疗计划中预先确定，例如，在放疗计划期间，床板的虚拟轮廓可以位于目标位置。在一些实施例中，因为在放疗计划过程和摆位过程中床板相对于装置110的目标位置被指定并且一致，所以床板的虚拟轮廓和床板的真实轮廓可以表示在相同的坐标系中。床板的目标位置可以对应于床板的真实轮廓与床板的虚拟轮廓一致的位置。因此，如果床板的真实轮廓与床板的虚拟轮廓一致，则床板可能已到达目标位置。

在一些实施例中，可以在不同的坐标系中表示床板的虚拟轮廓和床板的真实轮廓。例如，床板的虚拟轮廓可以由具有数字成像和医学通信(DICOM)坐标系中的坐标的至少两个元素表示。床板的真实轮廓可以由具有在国际电工委员会(IEC)坐标系中的坐标的至少两个元素表示。处理设备140(例如，控制单元420)可以基于预定的转换关系(例如，旋转矩阵)将表示床板的虚拟轮廓的多个元素的坐标从DICOM坐标系转换成IEC坐标系。

在一些实施例中，在显示装置上显示AR图像之后，操作者可以确定床板的真实轮廓是否与床板的虚拟轮廓一致。如果操作者确定床板的真实轮廓与床板的虚拟轮廓不一致，则操作者可以向处理设备140发送一个或以上指令，处理设备140的获取单元410可以接收指令，然后处理设备140的控制单元420可以使床板根据指令移动。在一些实施例中，操作者可以按下(或操作)与床板的移动相关联的一个或以上操作键(或按钮、手柄)，以便可以将指令发送到处理设备。这样，操作者可以确定连续或间歇地移动床板。例如，操作者可以连续地按压(或操作)操作键(或按钮、手柄)，处理设备140可以使床板连续移动，并且操作者可以根据显示设备中显示的AR图像(或视频)观察床板的真实轮廓的位置的实时变化，直到操作者确定床板的真实轮廓与床板的虚拟轮廓吻合为止，操作者可以停止按(或操作)操作键(或按钮、手柄)，处理设备140可以使床板停止移动，并且床板位于床板的目标位置。作为另一示例，操作者可以间歇地按下(或操作)操作键(或按钮、手柄)，处理设备140可以使床板间歇地移动，并且操作者可以根据显示设备中显示的AR图像(或视频)及时观察床板的真实轮廓的位置的变化，直到操作者确定床板的真实轮廓与床板的虚拟轮廓吻合为止，操作者可以停止按(或操作)操作键(或按钮、手柄)，处理设备140可以使床板停止移动，并且床板位于床板的目标位置。在一些实施例中，可以使床板沿一个或以上方向(例如，上下、左和右、向前和向后)移动。在一些实施例中，处理设备140可以基于AR图像(或视频)，通过比较AR图像中床板的真实轮廓的位置和床板的虚拟轮廓的位置，确定床板的当前位置(捕获在至少两个图像中的至少一个中)与床板的目标位置之间的偏移。在一些实施例中，处理设备140可以在显示设备中显示偏移，以供操作者参考。在一些实施例中，操作者可以基于AR图像和偏移量来按压(或操作)操作键(或按钮，手柄)。

在一些实施例中，处理设备140可以基于AR图像使床板自动移动到床板的目标位置。在一些实施例中，在生成AR图像之后，处理设备140可以基于AR图像，通过比较与床板相对应的第二组元素的至少一部分(例如床板的真实轮廓)和床板的(虚拟)轮廓，来确定床板的当前位置(捕获在至少两个图像中的至少一个中)与床板的目标位置之间的偏移。在一些实施例中，第二组元素中与床板相对应的部分可以代表床板在当前位置处的真实轮廓。在一些实施例中，处理设备140可以基于偏移使床板移动到床板的目标位置。在一些实施例中，如果偏移量大于阈值，则处理设备140(例如，控制单元420)可以使床板移动；如果偏移量小于阈值(这表明床板的真实轮廓可以被认为与床板的虚拟轮廓一致)，则处理设备140(例如，控制单元420)可以使床板停止移动。在一些实施例中，阈值可以根据系统100的默认设置来设置，或者可以由用户或操作者经由终端130来预设。应当注意，响应于确定偏移等于阈值，处理设备140可以使床板移动或使床板停止移动。在一些实施例中，处理设备140(例如，显示单元460)可以显示指示床板已经位于目标位置的通知。

应当注意的是，上述有关流程500的描述仅仅是为了示例和说明，而不限定本申请的适用范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不脱离本申请的范围。例如，流程500可以进一步包括用于确定床板的目标位置的操作。可以基于在放疗计划中确定的床板的轮廓的位置信息来预定床板的目标位置。作为另一示例，在508中，处理设备140可以将对象的虚拟表面(对象的虚拟表面的更多描述可以在本公开的其他地方找到(例如，图6及其描述))投影到3D图像上，以便操作者可以在AR图像中观察对象的虚拟表面。作为另一示例，处理设备140可以根据操作者的指令确定是否将床板的虚拟轮廓和/或对象的虚拟表面投影到3D图像上。作为又一个示例，可以省略操作510。

图6是示出根据本公开的一些实施例的用于摆位放置在床板上的对象的示例性过程的流程图。在一些实施例中，流程600的至少一部分可以由处理设备140(例如，在图2所示的计算设备200中实现)执行。例如，流程600可以以指令(例如，应用程序)的形式存储在存储设备(例如，存储设备150、存储器220、存储器390)中，并由处理设备140(例如，图2所示的处理器210、图3所示的CPU340或图4所示的处理设备140中的一个或以上单元)调用和/或执行。以下所示过程的操作仅出于说明的目的。在一些实施例中，流程600可以利用一个或以上未描述的附加操作和/或没有所讨论的一个或以上操作来完成。另外，图6中所示和下面描述的流程600的操作的顺序并非旨在限制。在一些实施例中，流程600中的至少一部分操作可以在流程500的一个或以上操作之前，之后或之间或同时执行。

在602中，可以获得对象的一个或以上医学图像。在一些实施例中，医学图像可以包括对象的一个或以上断层扫描图像。可以通过处理设备140(例如，获取单元410)获得对象的一个或以上断层图像。在一些实施例中，对象可以是患者或患者的一部分。在一些实施例中，断层扫描图像可以包括一个或以上计算机断层扫描(CT)图像、一个或以上磁共振(MR)图像、一个或以上超声图像等，或其任意组合。在一些实施例中，可以在图5和图6所示的摆位过程之前的成像过程生成断层图像。例如，断层图像可以在放疗计划之前生成，并且断层图像可以提供对象的内脏的解剖结构作为放疗计划的参考。在一些实施例中，所生成的断层图像可以被存储在存储设备150中，并且处理设备140可以从存储设备150获得断层图像。

在604中，可以基于对象的一个或以上医学图像来获得示出对象的虚拟表面(或轮廓)的第二图像。第二图像可以由处理设备140(例如，控制单元420)获得。在一些实施例中，在602中获得的断层图像可以是对象在横断面、冠状面、矢状面或在3D空间中具有任何倾斜角的平面中的2D切片图像。在一些实施例中，断层扫描图像可以形成对象(或其一部分(例如，对象的头部、对象的胸部、对象的腹部等))的体数据。在一些实施例中，第二图像可以是基于断层扫描图像生成的对象的虚拟3D图像，例如虚拟3DCT图像。在一些实施例中，处理设备140可以调整第二图像的窗宽(WW)和/或窗位(WL)，使得第二图像可以示出对象的虚拟表面(或轮廓)。在一些实施例中，对象的虚拟表面可以由对象的虚拟轮廓和/或对象的虚拟轮廓内的区域表示。在一些实施例中，对象的虚拟轮廓可以是对象的虚拟表面的边缘。

在606中，可以通过将对象的虚拟表面投影到3D图像上来生成第二AR图像。第二AR图像可以由处理设备(例如，投影单元450)生成。在一些实施例中，如图5所示，3D图像可以包括与对象相对应的第一组元素(例如，像素)和与床板相对应的第二组元素(例如，像素)。在一些实施例中，第一组元素可以代表对象的真实轮廓表面(或轮廓)。在一些实施例中，通过将对象的虚拟表面投影到3D图像上而生成的第二AR图像可以包括代表对象的真实轮廓表面(或轮廓)和对象的虚拟表面的第一组元素。在一些实施例中，可以通过将对象的虚拟表面投影到在流程500中生成的AR图像上来生成第二AR图像。在一些实施例中，处理设备140可以根据操作者的指令确定是否将床板的虚拟轮廓和/或对象的虚拟表面投影到3D图像上。

在608中，第二AR图像可以显示在显示设备(例如，在510中描述的显示设备)上。第二AR图像可以由处理设备140(例如，显示单元460)显示。在本公开的其他地方可以找到显示设备的更多描述(例如，图5及其描述)。

在610中，可以基于第二AR图像使对象移动到对象的目标位置。处理设备140(例如，控制单元420)可以使对象移动。在一些实施例中，对象(或其一部分)的目标位置可以在放疗计划中预先确定，例如，在放疗计划期间，对象的目标部分(例如，头部、胸部、腹部等)可以设置在目标位置。在一些实施例中，因为对象相对于床板的目标位置在放疗计划过程和摆位过程中被指定且一致，所以对象的虚拟(轮廓)表面(或轮廓)和真实轮廓表面(或轮廓))可以在同一坐标系中表示。对象的目标位置可以对应于对象的真实轮廓表面(或轮廓)与对象的虚拟(轮廓)表面(或轮廓)重合的位置。因此，如果对象的真实轮廓表面(或轮廓)与对象的虚拟(轮廓)表面(或轮廓)一致，则可以认为该对象已到达目标位置。

在一些实施例中，操作者可以使对象移动。例如，基于显示在显示装置上的第二AR图像，操作者可以确定对象的真实轮廓表面(或轮廓)是否与对象的虚拟(轮廓)表面(或轮廓)一致。如果操作者确定对象的真实轮廓表面(或轮廓)与对象的虚拟(轮廓)表面(或轮廓)不一致，则操作者可能会与该对象进行交互并使该对象移动到目标位置(附加或替代地，操作者可以直接将对象移动到目标位置)。如果操作者确定对象的真实轮廓表面(或轮廓)与床板的虚拟(轮廓)表面(或轮廓)一致，则摆位过程可以终止。在一些实施例中，处理设备140可以基于第二AR图像(或视频)通过比较对象的真实轮廓表面(或轮廓)的位置与第二AR图像中对象的虚拟(轮廓)表面(或轮廓)的位置来确定对象的当前位置(捕获在至少两个图像中的至少一个中)与对象的目标位置之间的第二偏移量。在一些实施例中，处理设备140可以在显示设备中显示第二偏移量以供操作者参考。

在一些实施例中，处理设备140可以基于第二AR图像使对象自动移动到对象的目标位置。在一些实施例中，对象可以躺在床板的桌面上。在一些实施例中，处理设备140可以使桌面相对于床板(例如床板的底座)移动。在一些实施例中，在生成第二AR图像之后，处理设备140可以基于第二AR图像，通过比较与对象相对应的第一组元素的至少一部分(例如，对象的真实轮廓表面(或轮廓))和对象的虚拟(轮廓)表面(或轮廓)来确定对象的当前位置(捕获在至少两个图像中的至少一个中)与对象的目标位置之间的第二偏移。在一些实施例中，第一组元素中与对象相对应的部分可以表示对象在当前位置处的真实轮廓表面(或轮廓)。在一些实施例中，处理设备140可以使桌面基于第二偏移移动，使得对象位于对象的目标位置。在一些实施例中，如果第二偏移量大于阈值，则处理设备140(例如，控制单元420)可以使桌面移动；如果第二偏移小于阈值(其指示对象的真实轮廓表面(或轮廓)可被认为与对象的虚拟(轮廓)表面(或轮廓)重合)，则处理设备140(例如，控制单元420)可以使桌面停止移动。在一些实施例中，阈值可以根据系统100的默认设置来设置，或者可以由用户或操作者经由终端130来预设。应当注意，响应于确定第二偏移等于阈值，处理设备140可以使桌面移动或使桌面停止移动。在一些实施例中，处理设备140(例如，显示单元460)可以显示指示对象已经位于目标位置的通知。

应当注意，仅出于说明的目的而提供了对流程600的以上描述，而无意于限制本公开的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不脱离本申请的范围。例如，可以省略操作608。在一些实施例中，处理设备140可以使捕获设备160连续捕获床板和/或对象的图像，并且处理设备140可以生成AR图像的流(例如，AR视频)。

图7是示出根据本公开的一些实施例的用于摆位放置在床板上的对象的示例性过程的流程图。在一些实施例中，流程700的至少一部分可以由处理设备140执行(例如，在图2所示的计算设备200中实现)。例如，流程700可以以指令(例如，应用程序)的形式存储在存储设备(例如，存储设备150，存储器220，存储器390)中，并由处理设备140(例如，图2所示的处理器210，图3所示的CPU340或图4所示的处理设备140中的一个或以上单元)调用和/或执行。以下所示过程的操作仅出于说明的目的。在一些实施例中，流程700可以用一个或以上未描述的附加操作和/或没有所讨论的一个或以上操作来完成。另外，图7中所示和以下描述的流程700的操作的顺序并非旨在限制。

在一些实施例中，可以在成像过程或处理过程之前执行流程700，以对被装置110的床板支撑的对象进行摆位，使得该对象的目标部分可以位于成像设备的成像等中心点或放射治疗设备的治疗等中心点(或在其附近)。在对象被摆位之后，可以执行成像过程或治疗过程。例如，在对象被摆位之后，可以通过RT设备生成的射线来处理对象。作为另一示例，在对象被摆位之后，可以通过CT成像设备扫描对象以生成对象的图像(例如，定位图像)。在一些实施例中，因为对象被支撑在床板上，所以可以首先摆位床板，然后可以相对于床板调整对象的位置。在一些实施例中，可以首先调整对象相对于床板的位置，然后可以摆位床板。仅出于说明的目的提供下面描述的用于放射治疗的摆位过程，而无意于限制本公开的范围。可以在本公开的引导下进行用于成像的摆位过程。

在702中，可以获得计划图像。计划图像可以示出对象的虚拟表面。可以通过处理设备140(例如，获取单元410)来获得示出对象的虚拟表面的计划图像。在一些实施例中，对象的虚拟表面可以由对象的虚拟轮廓和/或对象的虚拟轮廓内的一个或以上区域来表示。在一些实施例中，所述一个或以上区域可以包括在对象的虚拟轮廓内的一个或以上(或所有)感兴趣区域。在一些实施例中，对象的虚拟轮廓可以是对象的虚拟表面的边缘。在一些实施例中，可以基于对象的一个或以上断层扫描图像来获得计划图像。在本公开的其他地方可以找到示出对象的虚拟表面的计划图像的更多描述(例如，图6及其描述)。

在704中，可以获得三维(3D)图像。3D图像可以包括与对象相对应的一组元素(例如，像素)。包括与对象相对应的一组元素(例如，像素)的3D图像可以由处理设备(例如，获取单元410)获得。在一些实施例中，包括在3D图像中的一组元素可以表示对象的真实轮廓表面(或轮廓)。在一些实施例中，可以基于由一个或以上捕获设备(例如，第一捕获设备161和第二捕获设备162)捕获(或生成)的至少两个图像来生成3D图像。在一些实施例中，一个或以上捕获设备中的至少一个可以是深度相机。可以在本公开的其他地方找到生成3D图像的更多描述(例如，图5和图6及其描述)。

在706，可以通过配准计划图像和3D图像来获得配准结果。配准结果可以由处理设备140(例如，配准单元430)获得。在一些实施例中，配准结果包括旋转矩阵和/或平移矩阵。旋转矩阵可以表示计划图像的坐标系和3D图像的坐标系之间的转换关系。通过旋转矩阵，可以将计划图像中的元素转换至3D图像的坐标系中。平移矩阵可以表示计划图像的平移量，以使计划图像中的对象的虚拟(轮廓)表面(或轮廓)与3D图像中对象的真实轮廓表面(或轮廓)对齐。在一些实施例中，当需要以一维平移计划图像以使计划图像中对象的虚拟(轮廓)表面(或轮廓)与3D图像中对象的真实轮廓表面(或轮廓)对齐时，转换矩阵可以是一维转换向量。例如，可以在DICOM坐标系中提供计划图像。可以在IEC坐标系中提供3D图像。可以确定表示DICOM坐标系和IEC坐标系之间的转换关系的旋转矩阵X。元素A₁可以表示计划图像中对象的虚拟表面中的特定点(例如，患者的右眼)。元素A₂可以表示3D图像中对象的真实表面中的特定点。可以通过乘以旋转矩阵X将元素A₁转换为IEC坐标系。变换后的元素A₁可以对应于IEC坐标系中的元素A’。可以基于IEC坐标系中的元素A₂和元素A'确定平移矩阵B。根据旋转矩阵X和平移矩阵B，DICOM坐标系中的计划图像的元素可以被变换和平移以对应于IEC坐标系中的3D图像的元素。

在708，可以生成AR图像。可以通过将对象的虚拟表面投影到3D图像上来生成AR图像。AR图像可以由处理设备140(例如，投影单元450)生成。在一些实施例中，处理设备140可以融合计划图像和3D图像以生成AR图像。计划图像可以包括对象的虚拟(轮廓)表面(或轮廓)。在一些实施例中，3D图像可以包括与对象相对应的一组元素。该组元素可以表示对象的真实轮廓表面(或轮廓)。因此，通过将对象的虚拟(轮廓)表面(或轮廓)投影到3D图像而生成的AR图像可以包括代表对象的真实轮廓表面(或轮廓)和对象的虚拟表面的一组元素。

在710，可以在显示设备上显示AR图像。AR图像可以由处理设备140(例如，显示单元460)显示。在一些实施例中，显示单元460可以包括视频显示器(例如，电致发光显示器、电子纸、发光二极管(LED)显示器、液晶显示器(LCD)、等离子显示器、数字微镜器件(DMD)、硅上液体显示器、场发射显示器、激光彩色视频显示器、量子点显示器、干涉式调制器显示器、柔性显示器等)、非视频显示器(例如真空荧光灯、七段显示器等)、3D显示器(例如，全息显示器、视网膜显示器、雾显示器等)或其组合。示例性显示器可以是头戴式显示器(HMD)、显示设备(例如，平板显示器或曲面面板显示器)等。在一些实施例中，操作者可以观察来自显示设备的AR图像。在一些实施例中，AR图像可以直接显示在床板和/或RT设备上，以引导操作，例如通过例如对象本人或在操作者的帮助下进行对象的摆位。

在712中，可以基于配准结果来确定是否需要移动对象。可以由处理设备140(例如，控制单元420)确定。在一些实施例中，如706所描述的，配准结果可以包括平移矩阵。平移矩阵可以表示计划图像的平移量，以将计划图像中对象的虚拟(轮廓)表面(或轮廓)与3D图像中对象的真实轮廓表面(或轮廓)对齐。换句话说，平移量可以对应于3D图像中的对象的第一位置与计划图像中的对象的第二位置之间的偏移。可以进一步将偏移量与阈值比较，以确定是否需要移动对象。在一些实施例中，如果偏移量大于阈值，则处理设备140(例如，控制单元420)可以确定需要移动对象；如果偏移量小于阈值(表示该对象的真实轮廓表面(或轮廓)被认为与该对象的虚拟(轮廓)表面(或轮廓)重合)，则处理设备140(例如，控制单元420)可以确定不需要移动对象。在一些实施例中，可以根据系统100的默认设置来设置阈值，或者可以由用户或操作者经由终端130来设置阈值。

在714中，可以响应于确定需要移动对象而根据配准结果使对象移动。处理设备140(例如，控制单元420)可以使对象移动。在一些实施例中，如712所描述的，配准结果可以包括平移矩阵，基于该平移矩阵可以确定对象在3D图像中的第一位置与对象在计划图像中的第二位置之间的偏移。可以根据偏移使对象移动。在一些实施例中，可以在操作者的协助下使对象运动。在一些实施例中，处理设备140可以使对象自动移动。可以在本公开的其他地方找到引起对象移动的过程的更多描述(例如，图5和图6及其描述)。

应当注意，仅出于说明的目的而提供了对流程700的以上描述，而无意于限制本公开的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不脱离本申请的范围。例如，可以省略操作708和710。在一些实施例中，处理设备140可以使捕获设备160(例如，连续地)捕获床板和/或对象的一系列图像，并且处理设备140可以生成AR图像的流(例如，AR视频)。

图8是示出根据本公开的一些实施例的用于摆位放置在床板上的对象的示例性过程的流程图。在一些实施例中，流程800的至少一部分可以由处理设备140执行(例如，在图2所示的计算设备200中实现)。例如，流程800可以以指令(例如，应用程序)的形式存储在存储设备(例如，存储设备150，存储器220，存储器390)中，并由处理设备140(例如，图2所示的处理器210，图3所示的CPU340或图4所示的处理设备140中的一个或以上单元)调用和/或执行。以下所示过程的操作仅出于说明的目的。在一些实施例中，过程800可以利用一个或以上未描述的附加操作和/或没有所讨论的一个或以上操作来完成。另外，图8所示和以下描述的流程800的操作的顺序并非旨在限制。

在一些实施例中，可以在成像过程或处理过程之前执行流程800，以对被装置110的床板支撑的对象进行摆位，使得该对象的目标部分可以位于成像等中心点或放射治疗设备的治疗等中心点(或其附近)。在对象被摆位之后，可以执行成像过程或治疗过程。例如，在对象被摆位之后，可以通过RT设备生成的射线来处理对象。作为另一示例，在对象被摆位之后，可以通过CT成像设备扫描对象以生成对象的图像(例如，定位图像)。在一些实施例中，因为对象被支撑在床板上，所以可以首先摆位床板，然后可以相对于床板调整对象的位置。在一些实施例中，可以首先调整对象相对于床板的位置，然后可以摆位床板。仅出于说明的目的提供下面描述的用于放射治疗的摆位过程，而无意于限制本公开的范围。可以在本公开的引导下进行用于成像的摆位过程。

在802中，可以获得计划图像。计划图像可以包括在放疗计划中确定的床板的轮廓和对象的虚拟表面。计划图像可以由处理设备(例如，获取单元410)获得。在一些实施例中，在放疗计划中确定的床板的轮廓可以是虚拟轮廓。在一些实施例中，对象的虚拟表面可以由对象的虚拟轮廓和/或对象的虚拟轮廓内的区域表示。在一些实施例中，对象的虚拟轮廓可以是对象的虚拟表面的边缘。在一些实施例中，可以基于对象的一个或以上断层扫描图像来获得计划图像。

在804中，可以获得三维(3D)图像。3D图像可以由处理设备(例如，获取单元410)获得。在一些实施例中，3D图像可以包括与对象相对应的第一组元素(例如，像素)和与床板相对应的第二组元素(例如，像素)。在一些实施例中，对应于对象的第一组元素可以表示3D图像中的对象。对应于床板的第二组元素可以表示3D图像中的床板。可以在本公开的其他地方找到3D图像的更多描述(例如，图5-7及其描述)。

在806中，可以通过配准计划图像和3D图像来获得配准结果。配准结果可以由处理设备140(例如，配准单元430)获得。在一些实施例中，配准结果包括旋转矩阵和/或平移矩阵。旋转矩阵可以表示计划图像的坐标系和3D图像的坐标系之间的转换关系。平移矩阵可以表示计划图像的平移量，以使计划图像中对象的虚拟(轮廓)表面(或轮廓)与3D图像中对象的真实轮廓表面(或轮廓)重合。配准结果的更多描述可以在本公开的其他地方找到(例如，图7及其描述)。

在808中，可以基于配准结果来确定床板是否需要移动。可以由处理设备140(例如，控制单元420)确定。在一些实施例中，处理设备140(例如，控制单元420)可以首先基于配准结果来确定3D图像中的对象的第一位置与计划图像中的对象的第二位置之间的第一偏移。在一些实施例中，如果在计划图像中对象与床板之间的第一相对距离被认为等于3D图像中对象与床板之间的第二相对距离，则可以将第一偏移确定为等于在3D图像中床板的第三位置和计划图像中床板的第四位置之间的第二偏移。在一些实施例中，如果认为计划图像中的对象与床板之间的第一相对距离不等于3D图像中的对象与床板之间的第二相对距离，则处理设备140(例如，控制单元420)可以基于第一偏移，第一相对距离和第二相对距离来确定第二偏移。此外，处理设备140(例如，控制单元420)可以通过将第二偏移与阈值进行比较来确定是否需要移动床板。在一些实施例中，如果第二偏移量大于阈值，则处理设备140(例如，控制单元420)可以确定床板需要被移动；如果第二偏移量小于阈值，则处理设备140(例如，控制单元420)可以确定不需要移动床板。

在810中，响应于确定需要移动床板，可以使床板根据配准结果移动。可以通过处理设备140(例如，控制单元420)使床板移动。在一些实施例中，配准结果可以包括平移矩阵，基于该平移矩阵，可以确定在3D图像中的床板的第三位置和在计划图像中的床板的第四位置之间的第二偏移。可以使床板根据第二偏移量移动。在一些实施例中，操作者可以使床板移动。在一些实施例中，处理设备140可以使床板自动移动。可以在本公开的其他地方找到引起对象移动的过程的更多描述(例如，图5和图6及其描述)。

在812中，可以获得第二3D图像。第二3D图像可以由处理设备140(例如，获取单元410)获得。在一些实施例中，可以在根据配准结果移动床板之后获得第二3D图像。在一些实施例中，第二3D图像可以包括与对象相对应的第三组元素(例如，像素)和与床板相对应的第四组元素(例如，像素)。在一些实施例中，第二3D图像中包括的第三组元素可以代表对象的真实轮廓表面(或轮廓)。在一些实施例中，第二3D图像中包括的第四组元素可以代表床板的真实轮廓。

在814中，可以通过将计划图像与第二3D图像配准来获得第二配准结果。第二配准结果可以由处理设备140(例如，配准单元430)获得。在一些实施例中，第二配准结果包括第二旋转矩阵和/或第二平移矩阵。第二旋转矩阵可以表示计划图像的坐标系和第二3D图像的坐标系之间的转换关系。平移矩阵可以表示计划图像的第二平移量，以使计划图像中对象的虚拟(轮廓)表面(或轮廓)与第二3D图像中对象的真实轮廓表面(或轮廓)重合。

在816中，可以基于配准结果来确定是否需要移动对象。该确定可以由处理设备140(例如，控制单元420)做出。在一些实施例中，处理设备140(例如，控制单元420)可以基于配准结果来确定第二3D图像中的对象的第五位置和计划图像中的对象的第二位置之间的第三偏移。在一些实施例中，如果确定第二偏移量等于第一偏移量，则计划图像中对象的虚拟(轮廓)表面(或轮廓)可以与在床板根据第二偏移量移动之后的第二3D图像中对象的真实轮廓表面(或轮廓)重合。在这种情况下，第三偏移可以为零。在一些实施例中，如果第二偏移被确定为不等于第一偏移，在根据第二偏移移动床板之后，计划图像中对象的虚拟(轮廓)表面(或轮廓)可能与第二3D图像中对象的真实轮廓表面(或轮廓)不一致。在这种情况下，可以通过比较与第二3D图像中的对象相对应的第三组元素的至少一部分与计划图像中的对象的虚拟(轮廓)表面(或轮廓)来确定第三偏移。此外，处理设备140(例如，控制单元420)可以通过将第三偏移与第二阈值进行比较来确定是否需要移动对象。在一些实施例中，如果第三偏移大于第二阈值，则处理设备140(例如，控制单元420)可以确定需要移动对象；如果第三偏移小于第二阈值，则处理设备140(例如，控制单元420)可以确定不需要移动对象。

在818中，可以响应于确定需要移动对象而根据配准结果使对象移动。处理设备140(例如，控制单元420)可以使对象移动。在一些实施例中，第二配准结果可以包括第二平移矩阵，基于该第二平移矩阵，可以确定第二3D图像中的对象的第五位置和计划图像中的对象的第二位置之间的第三偏移。可以使对象根据第三偏移量移动。在一些实施例中，操作者可以使对象移动。在一些实施例中，处理设备140可以使对象自动移动。可以在本公开的其他地方找到引起对象移动的过程的更多描述(例如，图5和图6及其描述)。

应当注意，仅出于说明的目的而提供了对流程800的以上描述，而无意于限制本公开的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不脱离本申请的范围。例如，操作808和810可以被组合为一个操作。在一些实施例中，处理设备140可以使捕获设备160连续捕获床板和/或对象的图像，并且处理设备140可以生成AR图像的流(例如，AR视频)。

图9是示出根据本公开的一些实施例的用于在医疗过程中引导医疗器械的操作的示例性过程的流程图。在一些实施例中，流程900的至少一部分可以由处理设备140执行(例如，在图2所示的计算设备200中实现)。例如，流程900可以以指令(例如，应用程序)的形式存储在存储设备(例如，存储设备150、存储器220、存储器390)中，并由处理设备140(例如，图2所示的处理器210，图3所示的CPU340或图4所示的处理设备140中的一个或多个单元)调用和/或执行。以下所示过程的操作仅出于说明的目的。在一些实施例中，流程900可以利用一个或以上未描述的附加操作和/或没有所讨论的一个或以上操作来完成。另外，图9中示出的和下面描述的流程900的操作的顺序不旨在是限制性的。

在902中，可以获得在第一时间段期间生成的对象的一组医学图像。对象的该组医学图像可以由处理设备140(例如，获取单元410)获得。在一些实施例中，对象可以是患者或患者的一部分。在一些实施例中，对象的一组医学图像可以包括计算机断层扫描(CT)图像，磁共振(MR)图像，超声图像等或它们的任意组合。例如，该组医学图像可以包括对象的四维(4D)CT图像。在一些实施例中，对象的该组医学图像可以在流程900之前由装置110生成，并且被存储在存储设备150中。在一些实施例中，对象的该组医学图像的生成也可以被称为术前医学检查。在一些实施例中，处理设备140可以从存储设备150或装置110获得对象的该组医学图像。在一些实施例中，第一时间段可以包括对象的一个或以上运动周期。在一些实施例中，该运动可以包括对象的生理运动，例如呼吸运动、心脏运动、肌肉收缩和放松等。在一些实施例中，第一时间段可以包括具有大约4秒的持续时间的呼吸运动周期。

在904中，可以确定一组医学图像中的一个或以上(例如，每个)图像中的一个或以上感兴趣区域。感兴趣区域可以由处理设备140(例如，控制单元420)确定。在一些实施例中，感兴趣区域可以包括将在医疗过程中由医疗器械处理(或治疗)的对象的目标区域。在一些实施例中，感兴趣区域也可以包括目标区域周围的一个或以上区域。该医疗过程可以包括外科手术(例如(图像引导的)干预或活检程序)。该医疗器械可以包括活检针。靶区域可包括器官(例如，肺、肝、心脏等)或其一部分(例如，肿瘤、结节、出血点等，或其任何组合)。在一些实施例中，对象的目标区域可能随着对象的运动(例如，呼吸运动、心脏运动、肌肉收缩和放松等)而移动，并且可能难以识别目标区域的位置。因此，对象的医学图像可以用于引导医疗器械的操作。在一些实施例中，可以基于一种或以上图像分割算法来确定感兴趣区域。示例性图像分割算法可以包括阈值分割、区域增长、分水岭分割、形态分割算法、统计分割等，或其任意组合。

仅作为示例，该组医学图像可以是对象的胸部的4DCT图像，并且对象的肺部可以具有结节。因此，可能需要对结节进行活检以诊断结节是否变为恶性。目标区域可以包括肺的结节。一组胸部4DCT图像中的感兴趣区域可以包括结节、肺、肋骨、心脏、结节附近的血管等。可以通过使用本公开中其他地方示出的一个或以上图像分割算法来分割一组胸部4DCT图像来获得感兴趣区域。由于结节的灰度值可能比正常肺组织的灰度值大，因此可以根据灰度值的差异从肺中分割结节。

在906中，可以获取第二时间段期间的对象(和/或医疗器械)的至少两个图像。在一些实施例中，可以由处理设备140(例如，获取单元410)获取对象的至少两个图像。在一些实施例中，对象的至少两个图像可以由至少两个捕获设备(例如，第一捕获设备161，第二捕获设备162)捕获(或生成)。在一些实施例中，至少两个捕获设备中的每个捕获设备可以捕获至少两个图像之一。在一些实施例中，在第二时间段期间的对象的至少两个图像可以是处于不同视角的对象的真实场景图像(或动态图像或视频)。例如，第一捕获设备161和第二捕获设备162可以从不同的视角(例如，分别在左上方45度和在右上方45度)捕获对象的图像。在一些实施例中，至少两个图像可以包括对象的三维信息(例如，轮廓或表面)。在一些实施例中，对象的3D信息可以包括可以用于重建对象的3D表面的深度信息。在一些实施例中，至少两个捕获设备可以在第二时间段期间捕获对象的至少两个视频(或动态图像)。至少两个图像可以是至少两个视频(或动态图像)的帧图像的至少一部分。在一些实施例中，至少两个捕获设备可以在医疗过程中自动捕获对象的图像(或者动态图像或者视频)，并且图像(或者动态图像或者视频)可以被发送到处理设备140和/或存储设备150实时运行，以便处理设备140可以获取图像(或动态图像或视频)。在一些实施例中，处理设备140可以将用于捕获对象的图像(或动态图像或视频)的指令发送到捕获设备，使得捕获设备可以捕获图像(或动态图像或视频)，并将图像(或动态图像或视频)传输到处理设备140。

在一些实施例中，第二时间段可以包括对象的一个或以上运动周期。在一些实施例中，该运动可以包括对象的生理运动，例如呼吸运动、心脏运动、肌肉收缩和放松等。在一些实施例中，第二时间段可以包括医疗过程的持续时间(或其至少一部分)。在一些实施例中，第二时间段可以具有比第一时间段更长的持续时间以及不同于第一时间段的时间起点。例如，可以从上午8点开始对对象进行术前医学检查(例如，术前CT成像)到上午8:30，并且可以从下午2点开始对对象进行手术到下午5点。第一时间段可能是上午8:10到上午8:20，持续时间为10分钟(包括大约150个呼吸循环)，时间起点为上午8:10。第二时间段可能是下午2:10到下午2:50，持续时间为40分钟(包括大约600个呼吸循环)，时间起点为下午2:10。

在908，可以通过融合至少两个图像(或动态图像或视频)来生成动态图像(或视频)。动态图像可以由处理设备140(例如，重建单元440)生成。在一些实施例中，如果医疗器械被操作为靠近对象，则医疗器械可以被呈现在动态图像中。在一些实施例中，处理设备140可以基于一种或以上图像重建算法(例如，单目视觉算法、立体视觉算法、阴影恢复形状的算法等)来重建3D图像。在一些实施例中，处理设备140(例如，配准单元430)可以在基于至少两个图像重建3D图像之前配准至少两个图像。在一些实施例中，处理设备140(例如，配准单元430)可以使用一个或以上图像配准算法(例如，基于灰度和模板的配准算法、基于特征的配准算法、基于域转换的配准算法等)来配准至少两个图像(或其一部分)。在一些实施例中，处理设备140可以在配准至少两个图像之前对至少两个图像进行预处理。示例性预处理可以包括去噪、图像增强、图像分割等。在一些实施例中，处理设备140可以将由第一捕获设备161捕获的视频的每个图像帧与由第二捕获设备162捕获的视频的一个图像帧融合，并生成动态图像(或视频)。

动态图像可以包括与对象相对应的一组元素。在一些实施例中，动态图像可以是对象的融合的3D动态图像(或融合的3D视频)。在一些实施例中，处理设备140可以处理对象的融合的3D动态图像(或3D视频)。例如，处理设备140可以分割融合的3D动态图像(或3D视频)，使得在3D动态图像或融合的3D视频中，可以从背景(例如，床板)中提取对象。在一些实施例中，可以突出显示对象的轮廓表面(或轮廓)。在一些实施例中，在第二时间段期间，与对象的轮廓表面(或轮廓)相对应的一组元素可以随着对象的运动而周期性地变化。

在910中，可以通过将该组医学图像中的一个或以上感兴趣区域中的至少一个投影到动态图像上来生成动态AR图像。在一些实施例中，一个或以上感兴趣区域中的至少一个可包括对象的目标区域。在一些实施例中，动态AR图像可以呈现对象(或其一部分)的真实场景，一个或以上感兴趣区域中的至少一个，和/或医疗器械的真实场景等。动态AR图像可以由处理设备140(例如，投影单元450)生成。在一些实施例中，动态AR图像可以是对象的3D动态AR图像或3D的AR视频。在一些实施例中，处理设备140可以识别要投影的一组医学图像中的一个或以上感兴趣区域中的至少一个，然后将其投影到在操作908中融合的动态图像上以生成动态AR图像。在一些实施例中，处理设备140可以基于操作者的一个或以上指令来识别要投影的一组医学图像中的一个或以上感兴趣区域中的至少一个(例如，对象的目标区域)。例如，操作者可以通过在终端130上实现的用户界面选择要投影的一个或以上感兴趣区域中的至少一个，并且终端130可以将相应的指令发送到处理设备140。在一些实施例中，处理设备140(例如，配准单元430)可以在时间和空间上配准一个或以上感兴趣区域中的至少一个和动态图像。投影操作的更多描述可以在本公开的其他地方找到(例如，图10及其描述)。在一些实施例中，处理设备140可以将一个或以上感兴趣区域中的至少一个与动态图像融合以生成动态AR图像。

在912，可以提供动态AR图像以引导医疗器械的操作。如上所述，动态AR图像可以包括一个或以上感兴趣区域中的至少一个。在一些实施例中，处理设备140(例如，显示单元460)可以在显示设备上显示动态AR图像。在本公开的其他地方可以找到显示设备的更多描述(例如，图5及其描述)。在一些实施例中，操作者可以从显示设备观察动态AR图像。在一些实施例中，操作者可以调整动态AR图像的显示效果。例如，操作者可以选择放大或缩小和/或拖动动态AR图像，以便操作者可以观察到具有不同放大率的对象的不同部分(或范围)。处理设备140可以从操作者接收与动态AR图像的显示效果相关联的指令，并且执行相应的放大或缩小和/或拖动操作等，以实现显示效果。在一些实施例中，操作者可以选择或改变将被投影到动态图像上的一个或以上感兴趣区域中的至少一个，并且因此，处理设备140可以接收一个或以上指令，用于选择或改变要投影到动态图像上的一个或以上感兴趣区域中的至少一个，并在动态AR图像中执行相应的调整。在一些实施例中，在医疗过程中，操作者可以根据动态AR图像定位一个或以上感兴趣区域中的至少一个，并执行医疗器械(例如，活检针)的操作。例如，操作者可以基于动态AR图像实时地观察活检针的插入位置是否靠近对象的目标区域，针刺方向(或穿刺角度)是否合适，和/或穿刺深度是否合适等。

在一些实施例中，处理设备140可以基于与医疗过程相关联的一个或多个预设参数(例如，穿刺位置)自动识别动态AR图像中的对象的目标区域。例如，如果医疗过程以肺结节为目标，则处理设备140可以通过分割动态AR图像(特别是投影到动态图像上的一个或以上感兴趣区域中的至少一个)来自动识别肺结节所在的对象的目标区域。在一些实施例中，处理设备140可以基于与动态AR图像中的对象的分割目标区域相对应的像素或体素的位置，自动确定用于操作医疗器械的对象中的目标位置。例如，处理设备140可以将肺结节的中心位置确定为目标位置。在一些实施例中，处理设备140可以基于动态AR图像，确定活检针的当前穿刺位置，活检针的当前穿刺角度，活检针的当前穿刺深度，对象中的目标位置与活检针的当前穿刺位置之间的偏移等。在一些实施例中，处理设备140可以在显示设备中显示与目标区域和活检针相关联的位置有关的信息，以供操作者参考，并引导活检针的操作。

应当注意，仅出于说明的目的提供了对流程900的以上描述，而无意于限制本公开的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不脱离本申请的范围。例如，流程900可以进一步包括用于生成控制指令和/或将控制指令发送到控制单元420以生成一个或以上通知以引导医疗器械的操作。作为另一示例，在根据动态AR图像的引导来操作医疗器械之后(或期间)，可以执行术后(或术中)医疗检查(例如，成像过程)以检查医疗器械相对于对象的目标区域的位置。

图10是示出根据本公开的一些实施例的用于生成动态增强现实图像的示例性过程的流程图。在一些实施例中，流程1000的至少一部分可以由处理设备140执行(例如，在图2所示的计算设备200中实现)。例如，流程1000可以以指令(例如，应用程序)的形式存储在存储设备(例如，存储设备150、存储器220、存储器390)中，并由处理设备140(例如，图2所示的处理器210，图3所示的CPU340或图4所示的处理设备140中的一个或多个单元)调用和/或执行。以下所示过程的操作仅出于说明的目的。在一些实施例中，流程800可以利用一个或多个未描述的附加操作和/或没有所讨论的一个或多个操作来完成。另外，图10所示和以下描述的流程800的操作的顺序并非旨在限制。在一些实施例中，可以根据流程1000来执行图9所示的操作910。在一些实施例中，处理设备140(例如，配准单元430)可以在动态AR图像的生成中在时间和空间上配准感兴趣区域和动态图像。

在1002中，可以获得在第一时间段期间产生的运动的第一波形。该运动可以指本公开中其他地方示出的对象的生理运动。运动的第一波形可以由处理设备140(例如，获取单元410)获得。仅作为示例，运动的第一波形可以是与在第一时间段期间对象的呼吸相对应的呼吸波形。在一些实施例中，可以在第一时间段期间使用第一生理信号检测设备(例如，呼吸监测器)来生成第一波形。例如，当在第一时间段期间执行术前CT成像时，第一生理信号检测装置可以用于在第一时间段期间检测第一波形。在一些实施例中，可以根据在908中生成的动态图像来模拟第一波形。在一些实施例中，处理设备140可以从存储设备150或第一生理信号检测设备获得运动的第一波形。

在1004中，可以获取在第二时间段期间产生的运动的第二波形。动作的第二波形可以由处理设备(例如，获取单元410)获取。在一些实施例中，运动的第二波形可以是与在第二时间段期间对象的呼吸相对应的呼吸波形。在一些实施例中，可以在第二时间段期间使用第二生理信号检测装置(例如，呼吸监测器)来生成第二波形。在一些实施例中，第二生理信号检测装置可以与第一生理信号检测装置相同。在一些实施例中，处理设备140可以从第二生理信号检测设备获取第二波形。在一些实施例中，处理设备140可以通过分析在908中生成的动态图像，基于第二时间段内对象表面的运动幅度来生成第二波形。

在1006中，可以确定第一波形中的第一参考相位和第二波形中的第二参考相位。第一参考相位和第二参考相位可以由处理设备140(例如，控制单元420)确定。在一些实施例中，可以将第一波形中的第一特征相位(例如，具有最小运动幅度的相位或具有最大运动幅度的相位)指定为第一波形中的第一参考相位。在一些实施例中，第二波形中的第二特征相位(例如，具有最小运动幅度的相位或具有最大运动幅度的相位)可以被指定为第二波形中的第二参考相位。在一些实施例中，第一波形和第二波形可以不完全相同，这表明存在小的误差。然而，如果误差足够小，则仍可以认为第一波形和第二波形是一致的。在一些实施例中，可以基于第一参考相位和第二参考相位在时间上配准第一波形和第二波形。

在1008中，可以将一组医学图像的第一医学图像中的一个或以上感兴趣区域中的至少一个投影到动态图像(例如，在908中生成的动态图像)的第一帧上(或与该第一帧配准)。操作1008可以由处理设备140(例如，投影单元450)执行。在一些实施例中，可以在与第一参考相位相对应的第一时间点生成第一医学图像。在一些实施例中，可以在与第二参考相位相对应的第二时间点生成第一帧。例如，第一参考相位(表示为

)可以是在第一波形中与时间点T₁相对应的具有最小运动幅度的相位。然后，第一医学图像可以是在时间点T₁生成的图像。在一些实施例中，动态图像的每个帧可以是对象的3D图像。类似地，第二参考相位(表示为

)可以是第二波形中与时间点T₂相对应的具有最小运动幅度的相位。然后，动态图像的第一帧可以是在时间点T₂生成的图像。在一些实施例中，处理设备140可以在将第一医学图像中的一个或以上感兴趣区域中的至少一个投影到动态图像的第一帧上之前，将第一医学图像和动态图像的第一帧配准。

在1010中，可以将一组医学图像的第二医学图像中的一个或以上感兴趣区域中的至少一个投影到动态图像(例如，在908中生成的动态图像)的第二帧上。操作1010可以由处理设备140(例如，投影单元450)执行。在一些实施例中，可以在与第三相位相对应的第三时间点生成第二医学图像。在一些实施例中，可以在对应于第四相位的第四时间点生成第二帧。在一些实施例中，第一时间点的第一参考相位和第三时间点的第三相位之间的相位差可以与第二时间点的第二参考相位和第四时间点的第四相位之间的相位差相同。例如，第二医学图像可以是在与第三相位

相对应的时间点T₃处生成的图像。动态图像的第二帧可以是在与第四相位

相对应的时间点T₄处生成的图像。相位

与

之间的相位差

可以等于相位

与

之间的相位差

在一些实施例中，处理设备140可以在将第二医学图像中的一个或以上感兴趣区域中的至少一个投影到动态图像的第二帧上之前，将第二医学图像和动态图像的第二帧配准。类似地，可以在时间和空间上配准一组医学图像中的其他医学图像和动态图像的其他帧。在一些实施例中，处理设备140可以使用一种或以上图像配准算法(例如，基于灰度和模板的配准算法、基于特征的配准算法、基于域变换的配准算法等)在空间上配准医学图像和动态图像的图像帧。

应当注意，仅出于说明的目的而提供了对流程1000的以上描述，而无意于限制本公开的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不脱离本申请的范围。例如，流程1000可以进一步包括用于确定该组医学图像中的每个医学图像的生成时间点和/或动态图像中每个帧的对应时间点的操作。在一些实施例中，投影单元450可以基于所生成的时间点和对应的时间点来执行投影操作。在一些实施例中，第二时间段的每个运动周期中的动态图像可以以这种方式与第一时间段的运动周期中的该组医学图像的至少一部分配准，并且该组医学图像可以在投影过程中重复使用。

图11是示出根据本公开的一些实施例的用于在手术期间引导器械的操作的示例性过程的流程图。在一些实施例中，该过程可以是成像过程或治疗过程。在一些实施例中，流程1100的至少一部分可以由处理设备140执行(例如，在图2所示的计算设备200中实现)。例如，流程1100可以以指令(例如，应用程序)的形式存储在存储设备(例如，存储设备150、存储器220、存储器390)中，并由处理设备140(例如，图2所示的处理器210、图3所示的CPU340或图4所示的处理设备140中的一个或多个单元)调用和/或执行。以下所示过程的操作仅出于说明的目的。在一些实施例中，流程1100可以利用一个或以上未描述的附加操作和/或没有所讨论的一个或以上操作来完成。另外，图11中示出并在下面描述的流程1100的操作的顺序不旨在是限制性的。

在1102中，可以获得对象的至少一个医学图像。对象的至少一个医学图像可以由处理设备140(例如，获取单元410)获得。在一些实施例中，对象可以是患者或患者的一部分。在一些实施例中，对象的至少一个医学图像可以是静态医学图像，其包括计算机断层扫描(CT)图像、磁共振(MR)图像、超声图像等或它们的任意组合。例如，至少一个医学图像可以包括对象的重建的三维(3D)CT图像。对象的重建3DCT图像可以是静态3DCT图像，其可以指示对象的解剖结构信息。如本文所用，静态医学图像是指未经历或不受生理运动(例如，心脏运动、呼吸运动、肌肉收缩和放松等)影响的对象或其部分的医学图像。可能是因为对象或其一部分远离生理运动源。例如，认为对象的头部、手臂或腿未经历对象的心脏运动或受其影响。在一些实施例中，对象的至少一个医学图像可以在流程900之前由装置110生成，并且被存储在存储设备150中。在一些实施例中，对象的至少一个医学图像的生成也可以被称为术前医学检查。在一些实施例中，处理设备140可以从存储设备150或装置110检索对象的至少一个医学图像。

在1104中，可以确定至少一个医学图像的一个或以上(例如，每个)图像中的一个或以上感兴趣区域。一个或以上感兴趣区域可以由处理设备140(例如，控制单元420)确定。在一些实施例中，感兴趣区域可以包括在医疗过程中需要由医疗器械处理(或治疗)的对象的目标区域。在一些实施例中，感兴趣区域也可以包括目标区域周围的一个或以上区域。该医疗过程可以包括外科手术(例如(图像引导的)干预或活检程序)。该医疗器械可以包括活检针。靶区域可包括器官(例如，肺、肝、心脏等)或其一部分(例如，肿瘤、结节、出血点等，或其任何组合)。在一些实施例中，可以基于一种或以上图像分割算法来确定感兴趣区域。示例性图像分割算法可以包括阈值分割算法、区域增长算法、分水岭分割算法、形态学分割算法、统计分割算法等，或其任意组合。

仅作为示例，至少一个医学图像可以是对象的胸部的一组3DCT重建图像，并且对象的肝脏可以具有结节。因此，可能需要对结节进行活检以诊断结节是否为恶性。目标区域可包括肝脏的结节。一组胸部3DCT重建图像中的感兴趣区域可能包括结节、肝脏、肋骨、结节附近的血管等。可以通过使用本公开中其他地方示出的一个或以上图像分割算法来分割胸部3DCT重建的图像集来获得感兴趣区域。例如，由于结节的灰度值可能比正常肝组织的灰度值大，因此可以根据灰度值的差异将结节从肝脏中分割出来。

在1106中，可以生成包括与对象相对应的一组元素的三维(3D)图像。3D图像可以由处理设备140(例如，获取单元410)生成。在一些实施例中，可以基于对象(和/或器械)的至少两个图像来生成3D图像。在一些实施例中，对象的至少两个图像可以由至少两个捕获设备(例如，第一捕获设备161，第二捕获设备162)捕获(或生成)。在一些实施例中，至少两个捕获设备中的每个捕获设备可以捕获至少两个图像之一。至少两个图像可以包括从不同方向(或角度)的对象和/或床板的至少一个相同区域。在一些实施例中，对象的至少两个图像可以是从不同视角的对象的真实场景图像(或动态图像或视频)。例如，第一捕获设备161和第二捕获设备162可以从不同的视角(例如，分别在左上方45度和在右上方45度)捕获对象的图像。在一些实施例中，至少两个图像可以包括对象的3D轮廓信息(例如，以深度信息的形式)。3D轮廓信息可以用于重建对象的3D表面。在一些实施例中，至少两个捕获设备可以捕获对象的至少两个视频(或动态图像)。至少两个图像可以是至少两个视频(或动态图像)的帧图像的至少一部分。在一些实施例中，至少两个捕获设备可以连续地，周期性地或不定期地在医疗过程中自动捕获对象的图像(或动态图像或视频)，并且图像(或动态图像或视频)可以被实时发送到处理设备140和/或存储设备150，使得处理设备140可以获得图像(或动态图像或视频)。在一些实施例中，处理设备140可以将用于捕获对象的图像(或动态图像或视频)的指令发送到捕获设备，使得捕获设备可以捕获图像(或动态图像或视频)，并将图像(或动态图像或视频)传输到处理设备140。

在一些实施例中，3D图像可以是基于至少两个图像(或动态图像或视频)重建的动态图像(或视频)。动态图像可以由处理设备140(例如，重建单元440)生成。在一些实施例中，如果医疗器械位于对象附近，则可以在动态图像中呈现该器械。在一些实施例中，处理设备140可以基于一种或以上图像重建算法(例如，单眼视觉算法、立体视觉算法、阴影恢复形状的算法等)来重建3D图像。在一些实施例中，处理设备140(例如，配准单元430)可以在基于至少两个图像重建3D图像之前配准至少两个图像。在一些实施例中，处理设备140(例如，配准单元430)可以使用一个或以上图像配准算法(例如，基于灰度和模板的配准算法、基于特征的配准算法、基于域转换的配准算法等)来配准至少两个图像(或其一部分)。在一些实施例中，处理设备140可以在配准至少两个图像之前对至少两个图像进行预处理。示例性预处理可以包括去噪、图像增强、图像分割等。在一些实施例中，处理设备140可以将由第一捕获设备161捕获的视频的每个图像帧与由第二捕获设备162捕获的视频的图像帧配准，并生成动态图像(或视频)。

在一些实施例中，3D图像可以包括与对象相对应的一组元素。在一些实施例中，3D图像可以是对象的重建的3D动态图像(或重建的3D视频)。在一些实施例中，处理设备140可以处理对象的重建的3D动态图像(或3D视频)。例如，处理设备140可以分割重建的3D动态图像(或3D视频)，使得在重建的3D动态图像或重建的3D视频中，可以从背景(例如，床板)中提取对象。在一些实施例中，可以突出显示对象的轮廓表面(或轮廓)。在一些实施例中，与对象的轮廓表面(或轮廓)相对应的一组元素可以随着对象的运动而改变(例如周期性改变)。

在1108中，可以通过将至少一个医学图像中的一个或以上感兴趣区域中的至少一个投影到动态图像上来生成AR图像。在一些实施例中，一个或以上感兴趣区域中的至少一个可包括对象的目标区域。在一些实施例中，AR图像可以呈现对象(或其一部分)的真实场景，一个或以上感兴趣区域中的至少一个和/或器械的真实场景等。AR图像可以由处理设备140(例如，投影单元450)生成。在一些实施例中，AR图像可以是对象的3D动态AR图像或3DAR视频。在这种情况下，至少一个医学图像可以是静态医学图像，其可以被投影到动态图像的每一帧上以生成3D动态AR图像。因此，在所生成的3D动态AR图像中，对象的目标区域可能看起来是静止的，这可能易于识别以引导器械的操作。在一些实施例中，处理设备140可以识别至少一个要投影的医学图像中的一个或以上感兴趣区域中的至少一个，然后将其投影到在操作908中生成的3D图像上以生成AR图像。在一些实施例中，处理设备140可识别至少一幅医学重建图像中的一个或以上感兴趣区域中的至少一个(例如，对象的目标区域)，从而根据操作员的一项或以上指令进行投影。例如，操作者可以通过在终端130上实现的用户界面选择要投影的一个或以上感兴趣区域中的至少一个，并且终端130可以将相应的指令发送到处理设备140。在一些实施例中，处理设备140(例如，配准单元430)可以在空间中配准一个或以上感兴趣区域中的至少一个和动态图像。在一些实施例中，处理设备140可以将一个或以上感兴趣区域中的至少一个与3D图像融合以生成AR图像。

在1110中，可以提供AR图像以引导器械的操作。如上所述，AR图像可以包括一个或以上感兴趣区域中的至少一个。在一些实施例中，处理设备140(例如，显示单元460)可以在显示设备上和/或在设备的一部分(例如，对象被支撑在其上的床板)上显示AR图像。在本公开的其他地方可以找到显示设备的更多描述(例如，图5及其描述)。在一些实施例中，操作者可以从显示设备观看AR图像。在一些实施例中，操作者可以调整AR图像的显示效果。例如，操作者可以选择放大或缩小和/或拖动AR图像，以便操作者可以以不同的放大率查看对象的不同部分(或范围)。处理设备140可以从操作者接收与AR图像的显示效果相关联的指令，并且执行相应的放大或缩小和/或拖动操作等，以实现显示效果。在一些实施例中，操作者可以选择或改变将被投影到3D图像上的一个或以上感兴趣区域中的至少一个，并且相应地，处理设备140可以接收一个或以上指令，用于选择或改变要投影到3D图像上的一个或以上感兴趣区域中的至少一个，并在AR图像中执行相应的调整。在一些实施例中，在该过程期间，操作者可以根据AR图像定位一个或以上感兴趣区域中的至少一个，并执行器械(例如，活检针)的操作。例如，操作者可以基于AR图像实时地观察活检针的插入位置是否靠近对象的目标区域，针刺方向(或穿刺角度)是否合适，和/或穿刺深度是否合适等。

在一些实施例中，处理设备140可以基于与该过程相关联的一个或以上预设参数(例如，穿刺位置)自动识别AR图像中的对象的目标区域。例如，如果该手术针对肺结节，处理设备140可以通过分割AR图像(例如，投影到3D图像上的一个或以上感兴趣区域中的至少一个)，自动识别肺结节所在的对象的目标区域。在一些实施例中，处理设备140可以基于与AR图像中的对象的分割目标区域相对应的元素(例如，像素或体素)的位置，自动确定用于操作医疗器械的对象中的目标位置。例如，处理设备140可以将肺结节的中心位置确定为目标位置。在一些实施例中，处理设备140可以基于AR图像确定活检针的当前穿刺位置，活检针的当前穿刺角度，活检针的当前穿刺深度，对象中的目标位置与活检针的当前穿刺位置之间的偏移等。在一些实施例中，处理设备140可以在显示设备中显示与目标区域和活检针的关联位置相关的信息，以供操作者参考，并引导活检针的操作。

应当注意，仅出于说明的目的而提供了对流程1100的以上描述，而无意于限制本公开的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不脱离本申请的范围。例如，流程1100可以进一步包括用于生成控制指令和/或将控制指令发送到控制单元420以生成一个或以上通知以引导医疗器械的操作。作为另一示例，在器械根据AR图像的指导进行操作之后(或期间)，可以进行术后(或术中)检查(例如成像过程)，检查医疗器械相对于对象目标区域的位置。

上文已对基本概念做了描述，显然，对于阅读此申请后的本领域的普通技术人员来说，上述发明披露仅作为示例，并不构成对本申请的限制。虽然此处并未明确说明，但本领域的普通技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

同时，本申请使用了特定词语来描述本申请的实施例。例如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特性。因此，应当强调并注意的是，本说明书中在不同位置两次或以上提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或以上实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域的普通技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的过程、机器、产品或物质的组合，或对其任何新的和有用的改进。因此，本公开的各方面可以完全以硬件，完全以软件(包括固件、常驻软件、微代码等)或通过组合软件和硬件的实现方式来实现，这些实现方式在本文中通常都统称为“单元”、“模块”或“系统”。此外，本公开的各方面可以采取体现在其上体现有计算机可读程序代码的一个或多个计算机可读介质中体现的计算机程序产品的形式。

计算机可读信号介质可以包含一个内含有计算机程序代码的传播数据信号，例如，在基带上或作为载波的一部分。此类传播信号可以有多种形式，包括电磁形式、光形式等或任何合适的组合。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通信、传播或传输供使用的程序。位于计算机可读信号介质上的程序代码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF等，或任何上述介质的组合。

可以以一种或以上编程语言的任何组合来编写用于执行本公开的各方面的操作的计算机程序代码，面向对象的编程语言包括诸如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python，或者常规程序语言诸如”C“语言、VisualBasic、Fortarn2103、Perl、COBOL2102、PHP、ABAP，动态程序语言诸如Python、Ruby和Groovy，或其他程序语言。程序代码可以完全在用户计算机上执行，部分在用户计算机上作为独立软件包执行，部分在用户计算机上并且部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户计算机，或者可以与外部计算机建立连接(用于例如，通过使用Internet服务提供商的Internet)或在云计算环境中或作为服务(例如软件即服务(SaaS))提供。

此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其它名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，尽管上述各种组件的实现可以体现在硬件设备中，但也可以实现为纯软件解决方案，例如，在现有服务器或移动设备上的安装。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或以上发明实施例的理解，前文对本申请的实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。然而，本申请的该方法不应被解释为反映所声称的待扫描对象物质需要比每个权利要求中明确记载的更多特征的意图。相反，发明的主体应具备比上述单一实施例更少的特征。

在一些实施例中，用于描述和要求保护本申请的某些实施例的表示数量或性质的数字应理解为在某些情况下被术语“大约”，“近似”或“基本上”修饰。例如，除非另外说明，否则“大约”，“近似”或“基本上”可以指示其所描述的值的±20％变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

本文中提及的所有专利、专利申请、专利申请公布和其他材料(如论文、书籍、说明书、出版物、记录、事物和/或类似的东西)均在此通过引用的方式全部并入本文以达到所有目的，与上述文件相关的任何起诉文档记录、与本文件不一致或冲突的任何上述文件或对迟早与本文件相关的权利要求书的广泛范畴有限定作用的任何上述文件除外。举例来说，如果在描述、定义和/或与任何所结合的材料相关联的术语的使用和与本文件相关联的术语之间存在任何不一致或冲突，则描述、定义和/或在本文件中使用的术语以本文件为准。

最后，应当理解的是，本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此，作为示例而非限制，本申请实施例的替代配置可视为与本申请的引导一致。相应地，本申请的实施例不仅限于本申请明确介绍和描述的实施例。

Claims (80)

1.一种在包括存储设备和至少一个处理器的计算设备上实现的方法，用于对放置在床板上的对象进行摆位，所述方法包括：

获得计划图像，所述计划图像示出了所述对象的虚拟表面；

通过一个或以上捕获设备获得三维(3D)图像，所述3D图像包括与所述对象相对应的一组元素；

通过配准所述计划图像和所述3D图像获得配准结果；

根据所述配准结果确定所述对象是否需要移动；以及

响应于确定需要移动所述对象，根据所述配准结果使所述对象移动。

2.根据权利要求1所述的方法，其特征在于所述使所述对象移动包括：

基于所述配准结果，确定所述对象在所述3D图像中的第一位置与所述计划图像中的第二位置之间的偏移；以及

通过使所述床板基于所述偏移移动，使所述对象移动。

3.根据权利要求1所述的方法，还包括：

通过将所述对象的所述虚拟表面投影到所述3D图像上来生成增强现实图像；以及

在显示设备上显示所述增强现实图像。

4.根据权利要求3所述的方法，其特征在于所述显示设备是头戴式显示器(HMD)或面板显示器。

5.根据权利要求1所述的方法，其特征在于所述使所述对象移动包括：

向操作者提供所述配准结果；

从所述操作者接收一个或以上移动所述对象的指令；以及

使所述对象根据所述一个或以上指令移动。

6.根据权利要求1所述的方法，其特征在于所述获得计划图像包括：

基于所述对象的一个或以上断层图像获得所述计划图像。

7.根据权利要求6所述的方法，其特征在于所述对象的所述一个或以上断层图像包括由CT成像设备生成的所述对象的一个或以上计算机断层扫描(CT)图像。

8.根据权利要求1至7任一项所述的方法，其特征在于所述3D图像是基于所述至少两个捕获设备获得的所述对象的至少两个图像生成的合成3D光学图像。

9.根据权利要求1至7任一项所述的方法，其特征在于所述一个或以上捕获设备中的至少一个是深度相机。

10.根据权利要求1至7任一项所述的方法，其特征在于所述一个或多个捕获设备中的至少一个固定在所述对象和所述床板上方，所述一个或多个捕获设备用于从一个或多个方向捕获所述对象和所述床板。

11.根据权利要求1至7任一项所述的方法，其特征在于所述配准结果包括旋转矩阵或平移矩阵。

12.根据权利要求1至7任一项所述的方法，其特征在于所述计划图像包含至少两个元素，所述至少两个元素中的每一个具有在医学数字成像和通信(DICOM)坐标系或国际电工委员会(IEC)坐标系中的坐标。

13.根据权利要求1至7任一项所述的方法，其特征在于所述一组元素中与所述3D图像中的所述对象相对应的每个元素在医学数字成像和通信(DICOM)坐标系统或国际电工委员会(IEC)坐标系统中具有坐标。

14.一种在包括存储设备和至少一个处理器的计算设备上实现的方法，用于对放置在床板上的对象进行摆位，所述方法包括：

获得计划图像，所述计划图像包括在放疗计划中确定的床板的轮廓；

根据所述床板的所述轮廓确定所述床板的目标位置；

通过一个或以上捕获设备获得三维(3D)图像，所述3D图像包括与所述对象相对应的第一组元素和与所述床板相对应的第二组元素；

基于所述3D图像确定所述床板的当前位置；以及

使所述床板根据所述床板的所述当前位置和所述床板的所述目标位置移动。

15.根据权利要求14所述的方法，其特征在于使床板移动包括：

确定所述床板的所述当前位置和所述床板的所述目标位置之间的第一偏移；以及

根据所述第一偏移确定是否需要移动所述床板；

响应于确定需要移动所述床板，基于所述第一偏移使所述床板移动到所述床板的所述目标位置。

16.根据权利要求15所述的方法，还包括：

通过将所述床板的所述轮廓投影到所述3D图像上生成第一增强现实图像；以及

在显示设备上显示所述第一增强现实图像。

17.根据权利要求14所述的方法，其特征在于使床板移动包括：

向操作者提供所述第一偏移；

从所述操作者那里接收一个或以上移动所述床板的指令；以及

使所述床板根据所述一个或以上指令移动到所述床板的所述目标位置。

18.根据权利要求14所述的方法，其特征在于，所述计划图像还包括所述对象的虚拟表面。

19.根据权利要求18所述的方法，还包括：

获得所述对象的一个或以上断层图像；以及

基于所述对象的所述一个或以上断层图像，生成所述对象的所述虚拟表面。

20.根据权利要求19所述的方法，其特征在于所述对象的所述一个或多个断层图像包括由CT成像设备生成的所述对象的一个或多个计算机断层扫描(CT)图像。

21.根据权利要求18所述的方法，还包括：

通过将所述对象的所述虚拟表面投影到所述3D图像上来生成第二增强现实图像；以及

在显示设备上显示所述第二增强现实图像。

22.根据权利要求21所述的方法，还包括：

从操作者那里接收一个或以上移动所述对象的指令；以及

使所述对象根据所述一个或以上指令移动。

23.根据权利要求16或权利要求21所述的方法，其中，所述显示设备是头戴式显示器(HMD)或面板显示器。

24.根据权利要求18所述的方法，还包括：

通过配准所述计划图像和所述3D图像获得配准结果；

根据所述配准结果确定所述对象是否需要移动；以及

响应于确定需要移动所述对象，根据所述配准结果使所述对象移动。

25.根据权利要求24所述的方法，其特征在于，使所述对象移动包括：

基于所述配准结果，确定所述对象在所述3D图像中的第一位置与所述计划图像中的第二位置之间的第二偏移；以及

使所述对象根据所述第二偏移移动。

26.根据权利要求24所述的方法，其特征在于，使所述对象移动包括：

向操作者提供所述配准结果；

从所述操作者接收一个或以上移动所述对象的指令；以及

使所述对象根据所述一个或以上指令移动。

27.根据权利要求24至26任一项所述的方法，其特征在于所述配准结果包括旋转矩阵或平移矩阵。

28.根据权利要求14至27任一项所述的方法，其特征在于所述3D图像是基于至少两个捕获设备获得的所述对象的至少两个图像生成的合成3D光学图像。

29.根据权利要求14至27任一项所述的方法，其特征在于所述一个或以上捕获设备中的至少一个是深度相机。

30.根据权利要求14至27任一项所述的方法，其特征在于所述一个或多个捕获设备中的至少一个固定在所述对象和所述床板上方，所述一个或多个捕获设备，用于从一个或多个方向捕获所述对象和所述床板。

31.根据权利要求14至30任一项所述的方法，其特征在于所述计划图像包含至少两个元素，所述至少两个元素中的每一个具有在医学数字成像和通信(DICOM)坐标系或国际电工委员会(IEC)坐标系中的坐标。

32.根据权利要求14至30任一项上述方法，其特征在于所述3D图像的每个元素具有在医学数字成像和通信(DICOM)坐标系或者国际电工委员会(IEC)坐标系中的坐标。

33.一种在包括存储设备和至少一个处理器的计算设备上实现的方法，用于对放置在床板上的对象进行摆位，所述方法包括：

获得计划图像，所述计划图像包括所述对象的虚拟表面；

通过一个或以上捕获设备获得三维(3D)图像，所述3D图像包括与所述对象相对应的一组元素；

通过将所述3D图像与所述计划图像配准来获得配准结果；

根据所述配准结果确定所述床板是否需要移动；以及

响应于确定需要移动所述床板，使所述床板根据所述配准结果移动。

34.根据权利要求33所述的方法，其特征在于，所述使所述床板移动包括：

基于所述配准结果，确定所述3D图像中所述对象的第一位置与所述计划图像中所述对象的虚拟表面所代表的所述对象的第二位置之间的第一偏移；以及

使所述床板根据所述第一偏移移动。

35.根据权利要求34所述的方法，其特征在于，计划图像示出了放疗计划中确定的床板的轮廓，所述方法还包括：

通过将所述床板的所述轮廓和所述对象的所述虚拟表面投影到所述3D图像上，生成第一增强现实图像；以及

在显示设备上显示所述第一增强现实图像。

36.根据权利要求35所述的方法，其特征在于，使所述床板移动包括：

向操作者提供所述第一偏移；

从所述操作者那里接收一个或以上移动所述床板的指令；以及

使所述床板根据所述一个或以上指令移动。

37.根据权利要求33所述的方法，其特征在于所述将所述3D图像与所述计划图像配准包括：

配准3D图像中对应所述对象的一组元素中的至少一部分与所述计划图像中的所述对象的虚拟表面。

38.根据权利要求33所述的方法，还包括：

在移动所述床板之后，通过所述一个或以上捕获设备获得第二3D图像，所述第二3D图像包括与所述对象相对应的第三组元素和与所述床板相对应的第四组元素。

39.根据权利要求38所述的方法，还包括：

通过比较与所述对象相对应的第三组元素的至少一部分与所述对象的虚拟表面，确定所述第二3D图像中的所述对象的第一位置与所述计划图像中的所述对象的所述虚拟表面所表示的所述对象的第二位置之间的第二偏移；

使所述对象基于所述第二偏移而移动，将所述对象移动到所述计划图像中所述对象的所述虚拟表面的位置。

40.根据权利要求38所述的方法，还包括：

通过将所述第二3D图像与所述计划图像配准获得第二配准结果；

根据所述第二配准结果确定所述对象是否需要移动；以及

响应于确定需要移动所述对象，根据所述第二配准结果使所述对象移动。

41.根据权利要求40所述的方法，其特征在于，所述使所述对象移动包括：

基于所述第二配准结果，确定所述第二3D图像中所述对象的第一位置与所述计划图像中所述对象的所述虚拟表面所表示的所述对象的第二位置之间的第三偏移；以及

使所述对象根据所述第三偏移移动。

42.根据权利要求40所述的方法，其特征在于，计划图像示出了放疗计划中确定的床板的轮廓，并且所述方法还包括：

通过将所述床板的所述轮廓和所述对象的所述虚拟表面投影到所述第二3D图像上来生成第二增强现实图像；以及

在显示设备上显示所述第二增强现实图像。

43.根据权利要求40所述的方法，其特征在于，所述使所述对象移动包括：

向操作者提供所述第二配准结果；

从所述操作者接收一个或以上移动所述对象的指令；以及

使所述对象根据所述一个或以上指令移动。

44.根据权利要求35或权利要求42所述的方法，其中所述显示设备是头戴式显示器(HMD)或面板显示器。

45.根据权利要求33至44任一项所述的方法，其特征在于所述3D图像是基于至少两个捕获设备获得的所述对象的至少两个图像生成的合成3D光学图像。

46.根据权利要求33至44任一项所述的方法，其特征在于所述一个或以上捕获设备中的至少一个是深度相机。

47.根据权利要求33至44任一项所述的方法，其特征在于所述一个或多个捕获设备中的至少一个固定在所述对象和所述床板上方，所述一个或多个捕获设备，用于从一个或多个方向捕获所述对象和所述床板。

48.根据权利要求33至44任一项所述的方法，还包括：

获得所述对象的一个或以上断层图像；以及

基于所述对象的一个或以上断层图像，生成所述对象的所述虚拟表面。

49.根据权利要求48所述的方法，其特征在于所述对象的所述一个或以上断层图像包括由CT成像设备生成的所述对象的一个或以上计算机断层扫描(CT)图像。

50.根据权利要求33至49任一项所述的方法，其特征在于所述计划图像包含至少两个元素，并且所述至少两个元素中的每一个在医学数字成像和通信(DICOM)坐标系或国际电工委员会(IEC)坐标系均具有坐标。

51.根据权利要求33至49任一项上述方法，其特征在于所述3D图像的每个元素具有在医学数字成像和通信(DICOM)坐标系或者国际电工委员会(IEC)坐标系中的坐标。

52.根据权利要求33至49任一项所述的方法，其特征在于所述3D图像包括与所述床板相对应的第二组元素。

53.一种在包括存储设备和至少一个处理器的计算设备上实现的方法，用于在医疗过程中指导医疗器械的操作，所述方法包括：

获得对象的至少一个医学图像；

确定所述至少一个医学图像的每一个中的一个或以上感兴趣区域；

通过一个或以上捕获设备生成三维(3D)图像，所述3D图像包括与所述对象相对应的一组元素；

通过将所述至少一个医学图像中的所述一个或以上感兴趣区域中的至少一个投影到所述3D图像上来生成增强现实图像；以及

提供所述增强现实图像用于指导所述医疗器械的操作。

54.根据权利要求53所述的方法，其特征在于，基于所述对象的一组医学图像生成所述至少一个医学图像。

55.根据权利要求53所述的方法，其特征在于所述提供所述增强现实图像用于指导所述医疗器械的操作包括：

在所述设备上显示增强现实图像。

56.根据权利要求53所述的方法，还包括：

在所述增强现实图像中识别所述对象的目标区域；以及

基于所述对象在所述增强现实图像中的所述目标区域，确定在所述对象中操作所述医疗器械的目标位置。

57.根据权利要求53所述的方法，其特征在于，所述至少一个医学图像包括所述对象的一组医学图像，所述3D图像包括动态3D图像，所述增强现实图像包括动态增强现实图像。

58.根据权利要求57所述的方法，其特征在于，所述通过将所述至少一个医学图像中的所述一个或以上感兴趣区域中的至少一个投影到所述3D图像上来生成增强现实图像，包括：

获得在第一时间段内产生的运动的第一波形；

获得在第二时间段内产生的运动的第二波形；

确定所述第一波形中的第一参考相位和所述第二波形中的第二参考相位；

将所述一组医学图像的第一医学图像中的所述一个或多个感兴趣区域中的至少一个投影到所述动态3D图像的第一帧上，所述第一医学图像在对应于所述第一参考相位的第一时间点生成，所述动态3D图像的第一帧在对应于所述第二参考相位的第二时间点生成；以及

将所述一组医学图像中的第二医学图像中的所述一个或多个感兴趣区域中的至少一个投影到所述动态3D图像的第二帧上，在对应于第三相位的第三时间点生成所述第二医学图像，在对应于第四相位的第四时间点生成所述动态3D图像的所述第二帧，所述第一时间点与所述第三时间点之间的所述相位差与所述第二时间点与所述第四时间点之间的所述相位差相同。

59.根据权利要求58所述的方法，其特征在于，所述确定所述第一波形中的第一参考相位和所述第二波形中的第二参考相位包括：

将所述第一波形中具有最小运动幅度的相位指定为所述第一参考相位；以及

将所述第二波形中具有最小运动幅度的相位指定为所述第二参考相位。

60.根据权利要求58所述的方法，其特征在于，确定所述第一波形中的所述第一参考相位和所述第二波形中的所述第二参考相位：

将所述第一波形中具有最大运动幅度的相位指定为所述第一参考相位；以及

将所述第二波形中具有最大运动幅度的相位指定为所述第二参考相位。

61.根据权利要求58所述的方法，其特征在于，所述获得第二时间段内生成的第二波形包括：

在所述第二时间段期间使用生理信号检测装置检测所述第二波形。

62.根据权利要求58所述的方法，其特征在于，所述获得第二时间段内生成的第二波形包括：

根据在所述第二时间段内所述对象所述表面的运动幅度获得所述第二波形。

63.根据权利要求53至62任一项所述的方法，还包括：

从用户接收一个或以上指令用于选择或改变所述将被投影到所述3D图像上的所述一个或多个感兴趣区域中的至少一个。

64.根据权利要求55所述的方法，其特征在于所述设备是头戴式显示器(HMD)或显示设备。

65.根据权利要求53至64任一项上述的方法，其特征在于所述至少两个捕获设备中的每个设备都是深度相机。

66.根据权利要求53至65任一项所述的方法，其特征在于所述至少两个捕获装置中的每一个都固定在所述对象上方，并且所述至少两个捕获装置被配置为从不同方向捕获所述对象。

67.根据权利要求53-66中任一项所述的方法，其中，所述对象是患者或所述患者的一部分。

68.根据权利要求53至67任一项所述的方法，其特征在于所述医疗器械是活检针。

69.一种用于对放置在床板上的对象进行摆位的系统，包括：

至少一个存储设备，包括一组指令或程序；以及

至少一个处理器，被配置为与所述至少一个存储设备通信，其中，当执行所述一组指令或程序时，所述至少一个处理器被配置为使所述系统执行操作，包括：

获得计划图像，所述计划图像示出了对象的虚拟表面；

通过一个或以上捕获设备获得三维(3D)图像，所述3D图像包括与所述对象相对应的一组元素；

通过配准所述计划图像和所述3D图像获得配准结果；

根据所述配准结果确定所述对象是否需要移动；以及

响应于确定需要移动所述对象，根据所述配准结果使所述对象移动。

70.一种用于对放置在床板上的对象进行摆位的系统，包括：

至少一个存储设备，包括一组指令或程序；以及

至少一个处理器，被配置为与所述至少一个存储设备通信，其中，当执行所述一组指令或程序时，所述至少一个处理器被配置为使所述系统执行操作，包括：

获得计划图像，所述计划图像包括在放疗计划中确定的床板的轮廓；

根据所述床板的所述轮廓确定所述床板的目标位置；

通过一个或以上捕获设备获得三维(3D)图像，所述3D图像包括与所述对象相对应的第一组元素和与所述床板相对应的第二组元素；

基于所述3D图像确定所述床板的当前位置；以及

使所述床板根据所述床板的所述当前位置和所述床板的所述目标位置移动。

71.一种用于对放置在床板上的对象进行摆位的系统，包括：

至少一个存储设备，包括一组指令或程序；以及

至少一个处理器，被配置为与所述至少一个存储设备通信，其中，当执行所述一组指令或程序时，所述至少一个处理器被配置为使所述系统执行操作，包括：

获得计划图像，所述计划图像包括所述对象的虚拟表面；

通过一个或以上捕获设备获得三维(3D)图像，所述3D图像包括与所述对象相对应的一组元素；

通过将所述3D图像与所述计划图像配准来获得配准结果；

根据所述配准结果确定所述床板是否需要移动；以及

响应于确定需要移动所述床板，使所述床板根据所述配准结果移动。

72.一种用于在医疗过程中指导医疗器械的操作的系统，包括：

至少一个存储设备，包括一组指令或程序；以及

至少一个处理器，被配置为与所述至少一个存储设备通信，其中，当执行所述一组指令或程序时，所述至少一个处理器被配置为使所述系统执行操作，包括：

获得至少一个对象的医学图像；

确定所述至少一个医学图像的每一个中的一个或以上感兴趣区域；

通过一个或以上捕获设备生成三维(3D)图像，所述3D图像包括与所述对象相对应的一组元素；

通过将所述至少一个医学图像中的所述一个或多个感兴趣区域中的至少一个投影到所述3D图像上来生成增强现实图像；以及

提供所述增强现实图像用于指导所述医疗器械的操作。

73.一种用于对放置在床板上的对象进行摆位的系统，包括：

获得单元，被配置为

获得计划图像，所述计划图像示出了所述对象的虚拟表面；以及

从一个或以上捕获设备获得三维(3D)图像，所述3D图像包括与所述对象相对应的一组元素；

配准单元，被配置为通过配准所述计划图像和所述3D图像来获得配准结果；以及

控制单元，被配置为

根据所述配准结果确定所述对象是否需要移动；以及

响应于确定需要移动所述对象，使所述对象根据所述配准结果移动。

74.一种用于对放置在床板上的对象进行摆位的系统，包括：

获得单元，配置为

获得计划图像，所述计划图像包括在放疗计划中确定的床板的轮廓；以及

通过一个或以上捕获设备获得三维(3D)图像，所述3D图像包括与所述对象相对应的第一组元素和与所述床板相对应的第二组元素；以及

控制单元，配置为

根据所述床板的所述轮廓确定所述床板的目标位置；

基于所述3D图像确定所述床板的当前位置；以及

使所述床板根据所述床板的所述当前位置和所述床板的所述目标位置移动。

75.一种用于对放置在床板上的对象进行摆位的系统，包括：

获得单元，配置为

获得计划图像，所述计划图像包括所述对象的虚拟表面；以及

通过一个或以上捕获设备获得三维(3D)图像，所述3D图像包括与所述对象相对应的一组元素；

配准单元，被配置为通过将所述3D图像与所述计划图像配准来获得配准结果；以及

控制单元，配置为

根据所述配准结果确定所述床板是否需要移动；以及

响应于确定需要移动所述床板，使所述床板根据所述配准结果移动。

76.一种用于在医疗过程中指导医疗器械操作的系统，包括：

获得单元，被配置为获得对象的至少一个医学图像；

控制单元，被配置为确定所述至少一个医学图像的每一个中的一个或以上感兴趣区域；

重建单元，被配置为通过一个或以上捕获设备生成三维(3D)图像，所述3D图像包括与所述对象相对应的一组元素；

投影单元，被配置为通过将所述至少一个医学图像中的所述一个或以上感兴趣区域中的至少一个投影到所述3D图像上来生成增强现实图像；以及

显示单元，被配置为提供所述增强现实图像用于指导所述医疗器械的操作。

77.一种存储指令的非暂时性计算机可读介质，所述指令在由至少一个处理器执行时使所述至少一个处理器实现一种方法，包括：

获得计划图像，所述计划图像包括对象的虚拟表面；

通过一个或以上捕获设备获得三维(3D)图像，所述3D图像包括与所述对象相对应的一组元素；

通过配准所述计划图像和所述3D图像获得配准结果；

根据所述配准结果确定所述对象是否需要移动；以及

响应于确定需要移动所述对象，使所述对象根据所述配准结果移动。

78.一种存储指令的非暂时性计算机可读介质，所述指令在由至少一个处理器执行时使所述至少一个处理器实现一种方法，包括：

获得计划图像，所述计划图像包括放疗计划中确定的床板的轮廓；

根据所述床板的所述轮廓确定所述床板的目标位置；

通过一个或以上捕获设备获得三维(3D)图像，所述3D图像包括与所述对象相对应的第一组元素和与所述床板相对应的第二组元素；

基于所述3D图像确定所述床板的当前位置；以及

使所述床板根据所述床板的所述当前位置和所述床板的所述目标位置移动。

79.一种存储指令的非暂时性计算机可读介质，所述指令在由至少一个处理器执行时使所述至少一个处理器实现一种方法，包括：

获得计划图像，所述计划图像包括所述对象的虚拟表面；

通过一个或以上捕获设备获得三维(3D)图像，所述3D图像包括与所述对象相对应的一组元素；

通过将所述3D图像与所述计划图像配准来获得配准结果；

根据所述配准结果确定所述床板是否需要移动；以及

响应于确定需要移动所述床板，使所述床板根据所述配准结果移动。

80.一种存储指令的非暂时性计算机可读介质，所述指令在由至少一个处理器执行时使所述至少一个处理器实现一种方法，包括：

获得对象的至少一个医学图像；

确定所述至少一个医学图像的每一个中的一个或以上感兴趣区域；

通过一个或以上捕获设备生成三维(3D)图像，所述3D图像包括与所述对象相对应的一组元素；

通过将所述至少一个医学图像中的所述一个或以上感兴趣区域中的至少一个投影到所述3D图像上来生成增强现实图像；以及

提供所述增强现实图像用于指导所述医疗器械的操作。

Images