CN111275762A - 病人定位的系统和方法 - Google Patents

Abstract

本申请提供了一种病人定位系统。该系统可以获取与病人相关的图像数据和至少两个病人模型，该图像数据中病人保持位姿。每个病人模型代表参考病人，所述参考病人保持参考位姿，所述每个病人模型包括其代表的参考病人的至少一个参考兴趣点和对应的参考位姿的参考表征。该系统还可以使用兴趣点检测模型从图像数据中识别病人的至少一个兴趣点。该系统可以进一步比较病人的至少一个兴趣点与每个病人模型中的至少一个参考兴趣点，确定病人的位姿表征。

Description

病人定位的系统和方法

优先权信息

本申请要求于2019年10月17日递交的美国申请16/656,511的优先权，其内容以引用的方式被包含于此。

技术领域

本申请主要涉及病人定位，更具体地，涉及用于确定病人的位姿表征(posturerepresentation)的系统和方法。

背景技术

病人定位对实现准确和安全的临床检查和/或治疗来说至关重要。例如，在对癌症病人进行放射治疗时，病人需要被准确地放置在计划的位置并保持计划的姿势，以减少对身体正常部位的辐射，提高治疗准确性和效果。为了确保病人的准确定位，可以将病人的实际位姿与计划位姿进行比较，以识别病人的摆位错误。因此，需要提供用于确定能定量描述病人位姿的表征的系统和方法，从而提高定位精度。

发明内容

根据本申请的一个方面，提供了一种在具有至少一个处理器和至少一个存储设备的计算设备上实现的病人定位方法。该方法可以包括获取与病人相关的图像数据和至少两个病人模型。该图像数据中病人保持位姿(posture)。每个病人模型(patient model)代表参考病人(reference patient)，所述参考病人保持参考位姿(reference posture)，所述每个病人模型包括其代表的参考病人的至少一个参考兴趣点(reference interestpoint)和对应的参考位姿的参考表征(reference representation)。该方法还可以包括使用兴趣点检测模型从图像数据中识别该病人的一个或多个兴趣点(interest point)。该方法还可以包括比较病人的一个或多个兴趣点与每个病人模型的一个或多个参考兴趣点，确定所述病人位姿的表征(representation)。

根据本申请的另一方面，提供了一种非暂时性计算机可读存储介质，包括至少一组指令，当由至少一个处理器执行时，该至少一组指令指示至少一个处理器执行上述病人定位方法。

根据本申请的另一方面，提供了一种病人定位系统。该病人定位系统包括获取模块、识别模块、和位姿表征确定模块。获取模块用于获取与病人相关的图像数据和至少两个病人模型。该图像数据中病人保持位姿。每个病人模型代表参考病人，所述参考病人保持参考位姿，所述每个病人模型包括其代表的参考病人的至少一个参考兴趣点和对应的参考位姿的参考表征。识别模块用于使用兴趣点检测模型从所述图像数据中识别病人的一个或多个兴趣点。位姿表征确定模块用于比较病人的一个或多个兴趣点与每个病人模型的一个或多个参考兴趣点，确定所述病人位姿的表征。

本申请的一部分附加特性可以在下面的描述中进行说明。通过对以下描述和相应附图的研究或者对实施例的生产或操作的了解，本申请的一部分附加特性对于本领域技术人员是明显的。本申请的特征可以通过对以下描述的具体实施例的各种方面的方法、手段和组合的实践或使用得以实现和达到。

附图说明

本申请将通过示例性实施例进行进一步描述。这些示例性实施例将通过附图进行详细描述。附图未按比例绘制。这些实施例是非限制性的示例性实施例，在这些实施例中，各图中相同的编号表示相似的结构，其中：

图1是根据本申请一些实施例所示的示例性成像系统的示意图；

图2是根据本申请一些实施例所示的计算设备的示例性硬件和/或软件组件的示意图；

图3是根据本申请一些实施例所示的示例性处理设备的框图；

图4是根据本申请一些实施例所示的示例性处理设备的框图；

图5是根据本申请一些实施例所示的用于确定病人的位姿表征的示例性流程的流程图；

图6是根据本申请一些实施例所示的用于生成代表保持参考位姿的参考病人的病人模型的示例性流程的流程图；

图7是根据本申请一些实施例所示的用于生成兴趣点检测模型的示例性流程的流程图；

图8是根据本申请一些实施例所示的用于生成兴趣点检测模型的示例性流程的流程图；

图9是根据本申请一些实施例所示的示例性初始模型的示意图；

图10是根据本申请一些实施例所示的另一示例性初始模型的示意图；以及

图11是根据本申请一些实施例所示的病人的示例性3D模型和病人模型的示意图。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本说明书中所使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。本申请中的“图像”一词用于统称图像数据(例如，扫描数据、投影数据)和/或各种形式的图像，包括二维(2D)图像、三维(3D)图像、四维(4D)图像等。本申请中的术语“像素”和“体素”可互换使用，是指图像的元素。根据以下对附图的描述，本申请的这些和其他的特征、特点以及相关结构元件的功能和操作方法，以及部件组合和制造经济性，可以变得更加显而易见，这些附图都构成本申请说明书的一部分。然而，应当理解的是，附图仅仅是为了说明和描述的目的，并不旨在限制本申请的范围。应当理解的是，附图并不是按比例绘制的。

本文提供了用于非侵入性生物医学成像的系统和方法，例如用于疾病诊断或研究目的。在一些实施例中，该系统可以包括单模态成像系统和/或多模态成像系统。单模态成像系统可以包括例如超声成像系统、X射线(X-ray)成像系统、计算机断层摄影(CT)系统、磁共振成像(MRI)系统、超声检查系统、正电子发射断层扫描(PET)系统、光学相干断层扫描(OCT)成像系统、超声(US)成像系统、血管内超声(IVUS)成像系统、近红外光谱(NIRS)成像系统、远红外(FIR)成像系统等，或其任意组合。所述多模态成像系统可以包括例如X射线成像-磁共振成像(X-ray-MRI)系统、正电子发射断层扫描-X射线成像(PET-X-ray)系统、单光子发射计算机断层扫描-磁共振成像(SPECT-MRI)系统、正电子发射计算机断层扫描-计算机断层扫描(PET-CT)系统、C型臂系统、数字减影血管造影-磁共振成像(DSA-MRI)系统等。以下说明的成像系统仅用于说明目的，并不旨在限制本申请的范围。

如本文所使用的术语“成像模态”或“模态”广泛地指代收集、生成、处理和/或分析目标物的成像信息的成像方法或技术。该目标物可以包括生物目标物和/或非生物目标物。生物学目标物可以是人类、动物、植物或其一部分(例如，细胞、组织、器官等)。在一些实施例中，目标物可以是有生命或没有生命的有机和/或无机物质的人造成分。

本申请的一个方面涉及用于确定病人的位姿表征的系统。如本文所使用的，位姿的表征是指描述位姿的定量表述。该系统可获取病人的图像数据，所述病人在图像数据中保持位姿。该系统可以进一步使用兴趣点检测模型从图像数据中确定病人的一个或多个兴趣点。该系统还可以获取至少两个病人模型(或称为可变形的表面模型(deformablesurface model))。每个病人模型可以代表参考病人，所述参考病人保持参考位姿。每个病人模型并包括其代表的参考病人的一个或多个参考兴趣点和对应的参考位姿的参考表征。该系统可以进一步比较病人的一个或多个兴趣点与至少两个病人模型中的每一个病人模型的一个或多个参考兴趣点之间，确定病人位姿的表征。

根据本申请的一些实施例，可以使用兴趣点检测模型确定病人的兴趣点。兴趣点检测模型可以是神经网络模型，其被配置为识别病人的图像数据中的兴趣点。本申请的实施例不依赖于预先定义的兴趣点，诸如病人的解剖学关节或腹部。相反，可以使用兴趣点检测模型从图像数据中确定兴趣点，该兴趣点检测模型从训练数据中学习确定兴趣点的最佳机制。与预先定义的兴趣点相比，这种确定兴趣点的方法可以更可靠、稳健，不容易受人为错误或主观性的影响，并且/或者是全自动的。另外，传统方法要求图像数据存在可见的预先定义的兴趣点。而本申请披露的方法不仅能准确识别图像数据中可见的兴趣点，还可以识别被物品(例如，病人的衣服、面罩或毯子)遮盖的兴趣点。

根据本申请的另一方面，可以通过使用至少两个训练样本训练初始模型来生成兴趣点检测模型。每个训练样本可以包括样本病人的样本图像数据以及所述样本病人在样本图像数据中的位姿的表征。每个训练样本的样本图像数据在对应样本病人上可以不包括兴趣点标注。这种训练方法不需要在样本图像数据进行兴趣点标注，可以提高训练兴趣点检测模型的效率，并实现方法的自动化。

图1是根据本申请一些实施例所示的示例性成像系统100的示意图。如图所示，成像系统100可以包括医学成像设备110、网络120、一个或多个终端130、处理设备140、存储设备150以及图像获取设备160。在一些实施例中，医学成像设备110、终端130、处理设备140、存储设备150和/或图像获取设备160可以通过无线连接、有线连接或其组合彼此连接和/或彼此通信。成像系统100的组件之间的连接可以是可变的。仅作为示例，医学成像设备110可以通过网络120或直接连接到处理设备140。再例如，存储设备150可以通过网络120或直接连接到处理设备140。

医学成像设备110可以通过扫描目标物来生成或提供与目标物相关的图像数据。在一些实施例中，目标物可以包括生物目标物和/或非生物目标物。例如，目标物可以包括身体的特定部分，例如头部、胸部、腹部等，或其组合。在一些实施例中，医学成像设备110可以包括如本申请的其他地方所述的单模态扫描仪(例如，CT扫描仪)和/或多模态扫描仪(例如，PET-CT扫描仪)。在一些实施例中，与目标物相关的图像数据可以包括目标物的投影数据、一个或多个图像等。投影数据可以包括由医学成像设备110通过扫描目标物而生成的原始数据和/或由在目标物的图像上的正向投影而生成的数据。

在一些实施例中，医学成像设备110可以包括机架111、检测器112、检测区域113、扫描台114和放射性扫描源115。机架111可以支撑检测器112和放射性扫描源115。可以将目标物放置在扫描台114上并且移动到要扫描的检测区域中。放射性扫描源115可以向目标物发射放射线。放射性射线可以包括粒子射线、光子射线等或其组合。在一些实施例中，放射性射线可以包括辐射粒子(例如，中子、质子、电子、μ介子、重离子)、辐射光子(例如，X射线、γ射线、紫外线、激光)等，或其组合。检测器112可以检测从检测区域113发出的辐射和/或辐射事件(例如，伽马光子)。在一些实施例中，检测器112可以包括至少两个检测器单元。检测器单元可以包括闪烁检测器(例如，碘化铯检测器)或气体检测器。检测器单元可以是单行或多行检测器。

网络120可以包括能促进成像系统100的信息和/或数据的交换的任何合适的网络。在一些实施例中，一个或多个成像系统100的组件(例如，医学成像设备110、处理设备140、存储设备150、终端130)可以通过网络120与成像系统100的一个或多个其他组件交换信息和/或数据。例如，处理设备140可以经由网络120从医学成像设备110获得图像数据。又例如，处理设备140可以经由网络120从终端130获得用户指令。网络120可以是或可以包括公共网络(例如，互联网(Internet))、专用网络(例如，局部区域网络(LAN))、有线网络、无线网络(例如,802.11网络、无线保真(Wireless Fidelity，Wi-Fi)网络)、帧中继网络、虚拟专用网络(VPN)、卫星网络、电话网络、路由器、集线器、交换机、服务器计算机和/或其任何组合。

终端130可以实现用户与成像系统100之间的用户交互。例如，一个或多个终端130可以显示病人的图像，所述图像中可以标注出病人的一个或多个兴趣点。在一些实施例中，终端130可以包括移动设备131、平板计算机132、膝上型计算机133等，或其任意组合。例如，移动设备131可以包括移动电话、个人数字助理(PDA)、游戏设备、导航设备、销售点(POS)设备、笔记本电脑、平板电脑、台式机等，或其任意组合。在一些实施例中，终端130可以包括输入设备、输出设备等。在一些实施例中，终端130可以是处理设备140的一部分。

处理设备140可以处理从医学成像设备110、存储设备150、终端130或成像系统100的其他组件获得的数据和/或信息。在一些实施例中，处理设备140可以是单个服务器或服务器组。服务器组可以是集中式或分布式的。例如，处理设备140可以通过使用至少两个训练样本训练初始模型来生成一个或多个模型(例如，兴趣点检测模型和/或位姿态表征确定模型)。又例如，处理设备140可以应用一个或多个模型进行，例如，在病人的图像数据中识别病人的至少一个兴趣点和/或确定病人的位姿表征等。在一些实施例中，模型可以由处理设备生成，而模型的应用可以在不同的处理设备上执行。在一些实施例中，可以由与成像系统100不同的系统的处理设备或与在其上应用上述模型的处理设备140不同的服务器生成模型。例如，模型可以由提供和/或维护这样的模型的供应商的第一系统生成，而基于提供的模型识别病人的兴趣点和/或确定位姿表征可以在供应商的客户的第二系统上执行。在一些实施例中，响应于诸如识别兴趣点和/或确定位姿表征的请求，可以在线应用上述模型。在一些实施例中，可以离线生成模型。

在一些实施例中，处理设备140可以位于成像系统100本地或远离成像系统100。例如，处理设备140可以经由网络120访问来自医学成像设备110、存储设备150、终端130和/或图像获取设备160的信息和/或数据。又例如，处理设备140可以直接连接到医学成像设备110、终端130、存储设备150和/或图像获取设备160以访问信息和/或数据。在一些实施例中，处理设备140可以在云平台上实现。例如，云平台可以包括私有云、公共云、混合云、社区云、分布式云、云间、多云等，或其组合。在一些实施例中，处理设备140可以由具有如图2所示的一个或多个组件的计算设备200来实现。

在一些实施例中，处理设备140可以包括一个或多个处理器(例如，单芯片处理器或多芯片处理器)。仅作为示例，处理设备140可以包括中央处理单元(CPU)、专用集成电路(ASIC)、专用指令集处理器(ASIP)、图像处理单元(GPU)、物理运算处理单元(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、控制器、微控制器单元、精简指令集计算机(RISC)、微处理器等或其任意组合。

存储设备150可以存储数据、指令和/或任何其他信息。在一些实施例中，存储设备150可以存储从处理设备140、终端130、医学成像设备110和/或图像获取设备160获得的数据。在一些实施例中，存储设备150可以存储处理设备140可以执行的，或处理设备140可以用于执行本申请中描述的示例性方法的数据和/或指令。在一些实施例中，存储设备150包括大容量存储设备(例如磁盘、光盘等)、可移动存储设备(例如闪存驱动器等)、易失性读写内存(例如RAM等)、只读内存(ROM)等，或其任意组合。在一些实施例中，可以在本申请中其他地方描述的云平台上实现存储设备150。在一些实施例中，存储设备150可以连接至网络120以与成像系统100的一个或多个其他组件(例如，处理设备140、终端130)通信。成像系统100的一个或多个组件可以经由网络120访问存储在存储设备150中的数据或指令。在一些实施例中，存储设备150可以是处理设备140的一部分。

图像获取设备160可以是和/或包括能够获取目标物的图像数据的任何合适的设备。例如，图像获取设备160可以包括相机(例如，数码相机、模拟相机等)、红绿蓝(RGB)传感器、RGB深度(RGB-D)传感器，或可以获取目标物的彩色图像数据的其他设备。又例如，图像获取设备160可以用于获取目标物的点云数据。点云数据可以包括至少两个数据点，每个数据点可以表示目标物的身体表面上的物理点，并包括一个或多个物理点的特征值(例如，与物理点的位置和/或组成相关的特征值)。能够获取点云数据的示例性图像获取设备160可以包括3D扫描仪，例如3D激光成像设备、结构光扫描仪(例如，结构光激光扫描仪)。仅作为示例，可以使用结构光扫描仪对目标物执行扫描以获取点云数据。在扫描过程中，结构光扫描仪可以向目标物投射具有特定图案的结构光(例如，结构光斑、结构光网格)。可以根据投射在目标物上的结构光来获取点云数据。作为又一个示例，图像获取设备160可以用于获取目标物的深度图像数据。深度图像数据可以包括目标物的体表上的每个物理点的深度数据，诸如从每个物理点到特定点(例如，图像获取设备160的光学中心)的距离。深度图像数据可以由测距传感器获取，例如，结构光扫描仪、飞行时间(TOF)设备、立体三角测量相机、光三角测量设备、干涉测量设备、编码孔径设备、立体匹配设备等，或其任意组合。

在一些实施例中，图像获取设备160可以独立于如图1所示的医学成像设备110。或者，图像获取设备160可以被集成到或安装在医学成像设备110(例如，机架111)上。在一些实施例中，图像获取设备160所获取的图像数据可以被发送到处理设备140以进行进一步分析，例如，确定目标物的兴趣点。附加地或替代地，可以将图像获取设备160获取的图像数据发送到终端设备(例如，终端130)上显示和/或存储设备(例如，存储设备150)进行存储。关于成像系统100的以上描述旨在是说明性的，而不是限制本申请的范围。对于本领域普通技术人员来说，许多替代、修改和变化将是显而易见的。本文描述的示例性实施例的特征、结构、方法和其他特性可以以各种方式组合以获得另外的和/或替代的示例性实施例。例如，成像系统100可以包括一个或多个附加组件。附加地或替代地，可以省略成像系统100的一个或多个组件，例如图像获取设备160和/或医学成像设备110。又例如，成像系统100的两个或以上组件可以集成到单个组件中。

图2是根据本申请一些实施例所示的计算设备200的示例性硬件和/或软件组件的示意图。如本文所述，计算设备200可用于实现成像系统100的任何组件。例如，处理设备140和/或终端130可以分别通过其硬件、软件程序、固件或其组合在计算设备200上实现。尽管仅示出了一个这样的计算设备，但是为了方便起见，与本文描述的成像系统100有关的计算机功能可以以分布方式在多个相似平台上实现，以分布处理负荷。如图2所示，计算设备200可以包括处理器210、存储器220、输入/输出(I/O)230和通信端口240。

处理器210可以根据本文描述的技术执行计算机指令(例如，程序代码)并执行处理设备140的功能。所述计算机指令可以包括例如执行在此描述的特定功能的常规、程序、对象、组件、数据结构、过程、模块和功能。例如，处理器210可以处理从医学成像设备110、终端130、存储设备150、图像获取设备160和/或成像系统100的任何其他组件获得的图像数据。在一些实施例中，处理器210可以包括一个或多个硬件处理器。仅仅为了说明，在计算设备200中仅描述了一个处理器。然而，需要注意的是，本申请中的计算设备200可以包括多个处理器，因此本申请中描述的由一个处理器实现的操作和/或方法也可以共同地或独立地由多个处理器实现。例如，如果在本申请中计算设备200的处理器执行操作A和操作B，应该理解，操作A和操作B也可以由计算设备中的两个或以上不同的处理器共同地或单独地执行(例如，第一处理器执行操作A并且第二处理器执行操作B，或者第一处理器和第二处理器共同执行操作A和B)。

存储器220可以存储从医学成像设备110、终端130、存储设备150、图像获取设备160和/或成像系统100的任何其他组件获得的数据/信息。在一些实施例中，存储器220包括大容量存储设备、可移动存储设备、易失性读写内存、只读内存(ROM)等，或其任意组合。在一些实施例中，存储器220可以存储一个或多个程序和/或指令以执行在本申请中描述的示例性方法。例如，存储器220可以存储供处理设备140执行以生成兴趣点检测模型的程序。

I/O 230可以输入和/或输出信号、数据、信息等。在一些实施例中，I/O 230可以实现用户与处理设备140的交互。在一些实施例中，I/O 230可以包括输入设备和输出设备。输入设备可以包括可以通过键盘、触摸屏(例如，带有触觉或触觉反馈)、语音输入、眼睛跟踪输入、大脑监控系统或任何其他类似输入机制输入的字母数字键和其他键。通过输入设备接收到的输入信息可以通过例如总线传输到另一个组件(例如，处理设备140)以进行进一步处理。其他类型的输入设备可以包括光标控制设备，例如鼠标、轨迹球或光标方向键等。输出设备可以包括显示器(例如，液晶显示器(LCD)、基于发光二极管(LED)的显示器、平板显示器、曲面屏幕、电视设备、阴极射线管(CRT)、触摸屏、扬声器、打印机等，或其组合。

通信端口240可以连接到网络(例如，网络120)以促进数据通信。通信端口240可以在处理设备140和医学成像设备110、终端130和/或存储设备150之间建立连接。连接可以是有线连接、无线连接、可以启用数据传输和/或接收的任何其他通信连接，和/或这些连接的任何组合。有线连接可以包括例如电缆、光缆、电话线等或其任意组合。无线连接可以包括例如蓝牙链路、Wi-Fi链路、全球微波接入互操作性(World Interoperability forMicrowave Access，WiMAX)链路、WLAN链路、紫蜂链路、移动网络链路(例如3G、4G、5G)等或其组合。在一些实施例中，通信端口240可以是和/或包括标准化通信端口，诸如RS232、RS485等。在一些实施例中，通信端口240可以是专门设计的通信端口。例如，通信端口240可以根据医学数字成像和通信(DICOM)协议来设计。

图3和图4是根据本申请一些实施例所示的示例性处理设备140A和140B的框图。处理设备140A和140B可以示例性的处理设备140。在一些实施例中，处理设备140A可以被配置为应用兴趣点检测模型确定病人的位姿表征。处理设备140B可以被配置为生成一个或多个训练样本和/或使用训练样本生成一个或多个模型(例如，兴趣点检测模型和/或位姿识别确定模型)。在一些实施例中，处理设备140A和140B可以分别在处理单元(例如，图2所示的处理器210或图3所示的CPU 340)上实现。仅作为示例，可以在终端设备的CPU 340上实现处理设备140A，可以在计算设备200上实现处理设备140B。可替换地，处理设备140A和140B可以在同一算设备200或同一CPU 340上实现。例如，处理设备140A和140B可以在同一计算设备200上实现。

如图3所示，处理设备140A可以包括获取模块401、识别模块402、匹配度确定模块403和位姿表征确定模块404。获取模块401可以被配置为获取与成像系统100有关的信息。例如，获取模块401可以获取病人相关的图像数据(例如，一个或多个图像)、代表参考病人的参考模型、参考病人的参考图像数据等，或其任何组合。关于病人的图像数据、参考模型等更多描述可以参见图5和6部分的描述。识别模块402可以被配置为从与病人相关的图像数据中识别病人的一个或多个兴趣点。在一些实施例中，识别模块402可以使用兴趣点检测模型确定兴趣点。有关兴趣点识别的更多描述可以参见操作502部分的描述。匹配度确定模块403可以被配置为确定病人和病人模型之间的匹配度。病人与病人模型之间的匹配度可以显示病人的位姿与该病人模型对应参考病人的参考位姿的相似度。有关匹配度的更多描述可以参见操作504部分的描述。位姿表征确定模块404可以被配置为确定病人的位姿表征。例如，位姿表征确定模块404可以比较所述病人的至少一个兴趣点与所述每个病人模型的至少一个参考兴趣点，确定所述病人的位姿的表征。病人的位姿表征可以指描述病人的位姿的定量表示(quantitative expression)。有关病人的位姿表征的更多描述可以参见操作505部分的描述。

如图4所示，处理设备140B可以包括获取模块405和模型生成模块406。获取模块405可以被配置为获取至少两个训练样本和初始模型。所述训练样本可以用于训练初始模型以生成训练好的模型，例如，兴趣点检测模型(interest point detection model)、位姿表征确定模型(posture representation determination model)。关于训练样本和初始模型的更多描述可以参见图7和8部分的描述。模型生成模块406可以被配置为生成一个或多个模型(例如，兴趣点检测模型、病人模型、位姿表征确定模型)。在一些实施例中，模型生成模块406可以使用本申请中其他地方所述(例如，图5)的机器学习算法来生成模型。关于模型生成的更多描述可以参见图7和8部分。

应该注意的是，上述描述仅出于说明性目的而提供，并不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不会背离本申请的范围。应当理解，图3和图4所示的处理设备或各模块可以利用各种方式来实现。例如，在一些实施例中，处理设备及其模块可以通过硬件、软件或者软件和硬件的结合来实现。在一些实施例中，处理设备140A和/或处理设备140B可以共享两个或多个模块，并且任何一个模块可以分为两个或多个单元。例如，处理设备140A和140B可以共享相同的获取模块；即，获取模块401和获取模块405是同一模块。在一些实施例中，处理设备140A和/或处理设备140B可以包括一个或多个附加模块，例如用于存储数据的存储模块(未示出)。在一些实施例中，处理设备140A和处理设备140B可以集成为一个处理设备140。

图5是根据本申请一些实施例所示的用于确定病人的位姿表征的示例性流程的流程图。在一些实施例中，流程500可以由成像系统100执行。例如，流程500可以被实现为存储在存储设备(例如，存储设备150、存储器220和/或存储器390)中的一组指令(例如，应用程序)。在一些实施例中，处理设备140A(例如，计算设备200的处理器210和/或图3中所示的一个或多个模块)可以执行该指令，并且因此可以被指示执行流程500。

如本文所使用的，病人的位姿可以反映病人(或其一部分)的位置、姿势、形状、大小等。病人的位姿表征可以指描述病人的位姿的定量表示。例如，位姿表征可包括与病人位姿相关的一个或多个参数值和/或编码所述一个或多个参数值的向量(或矩阵)。与病人位姿相关的示例性参数可以包括病人或其一部分(例如，头部、颈部、手、腿和/或脚)在特定坐标系中的坐标、病人的关节(例如，肩关节、膝关节、肘关节和/或踝关节)的关节角度、病人或其一部分的形状和/或大小、整个病人其一部分(例如，上半身、下半身)的长度等，或其任意组合。

在501中，处理设备140A(例如，获取模块401)可以获取与病人相关的图像数据，该图像数据中病人保持位姿。如本文所使用的，与病人相关的图像数据可以指包含整个病人的图像数据或者包含病人的一部分(例如，病人的上半身、下半身或胸部)的图像数据。出于说明目的，下文以包括整个病人的图像数据为例展开。在一些实施例中，在所获取的图像数据中，病人身体的位姿或轮廓可以是完全可见的(例如，病人的位姿或轮廓未被诸如衣服、面罩、毯子等物品遮盖)。或者，在所获取的图像数据中，病人身体的位姿或轮廓受到物品(item)遮盖而仅有部分暴露或可见(partially exposed or visible)(例如，病人的一部分被诸如衣服、面罩、毯子、面罩等物品部分遮盖)。在一些实施例中，与病人相关的图像数据可以包括二维(2D)图像(例如，切片图像)、三维(3D)图像、四维(4D)图像(一系列3D图像)和/或任何相关的图像数据(例如，扫描数据、投影数据)等中的一种或多种。

在一些实施例中，图像数据可以包括彩色图像数据、点云数据(point-clouddata)、深度图像数据(depth image data)、网格数据(mesh data)或医学图像数据等，或其任意组合。彩色图像数据可以包括颜色信息，例如病人的RGB图像。点云数据可以包括至少两个数据点，每个数据点可以代表病人身体表面上的一个物理点，并包括该物理点的特征值(例如，与该物理点的位置和/或组成相关的特征值)。深度图像数据可以包括病人身体表面上多个物理点的深度信息。网格数据可以包括定义病人3D形状的一系列顶点(vertice)、边缘(edge)和面(face)的集合。医学图像数据可以包括病人的解剖学信息，例如用于临床分析、医学干预或研究目的的医疗图像。

在一些实施例中，病人的图像数据可以由图像获取设备(例如成像系统100的医学成像设备110、图像获取设备160或外部图像采集设备)获取。例如，彩色图像数据可以由照相机、RGB传感器、RGB-D传感器等获取。点云数据可以由3D激光成像设备、结构光扫描仪(例如，结构光激光扫描仪)等3D扫描仪获取。深度图像数据可以由本申请其他地方(例如，图1)所描述的测距设备(例如，结构光扫描仪、TOF设备等)等获取。医学图像数据可以由本申请的其他地方(例如，图1和相关描述)所描述的医学成像设备来获取。例如，可以通过CT设备、MRI设备、超声检查系统、X射线设备、PET设备等对病人进行扫描以获取医学图像数据。

在一些实施例中，处理设备140A可以从能够采集图像数据的图像获取设备处获取所述图像数据。或者，所述图像数据可以存储在存储设备(例如，存储设备150、存储器220、存储器390或外部源)中。处理设备140A可以从所述存储设备中获取所述图像数据。

在502中，处理设备140A(例如，识别模块402)可以使用兴趣点检测模型从所述图像数据中识别病人的一个或多个兴趣点。

如本文所使用的，兴趣点检测模型可以指神经网络模型，其被配置为接收与病人相关的图像数据并输出病人的一个或多个兴趣点。病人的兴趣点可以指由兴趣点检测模型确定的病人的代表性物理点(representative physical point)。例如，兴趣点可以包括病人的一个或多个解剖关节(例如，肩关节、膝关节、肘关节和脚踝关节)和/或其他关键物理点(例如，肚脐)，这些点被兴趣点检测模型认定为具有代表性。在一些实施例中，如步骤501所述，病人的身体轮廓在所获取的图像数据中可以是完全可见的，所确定的兴趣点可以包括位于病人身体表面上的点。或者，病人的身体位姿或轮廓所获取的图像数据中只有部分可见，例如，部分身体被物品(例如衣服)遮盖。所确定的兴趣点可以包括位于病人身体表面的可见部分的点和/或位于遮盖物表面的点(该点可以代表被遮盖物遮盖的不可见部分)。仅作为示例，图像数据中，病人的上半身可以被衣服遮盖，所确定的点可以包括代表病人左肩的点，该点位于衣服上遮盖左肩的部分。

在一些实施例中，可以将在501中获得的图像数据输入到兴趣点检测模型中，兴趣点检测模型可以输出病人的兴趣点。每个兴趣点都可以由该兴趣点的一个或多个特征值来表示，例如兴趣点的位置、低级特征(例如，边缘特征、纹理特征、轮廓特征)、高级特征或复杂特征(例如，深度分层特征)等，或其任意组合。

在一些实施例中，可以通过网络(例如，网络120)从成像系统100的一个或多个组件或外部源获得所述兴趣点检测模型。例如，所述兴趣点检测模型可以预先由计算设备(例如，处理设备140B)训练，并存储在成像系统100的存储设备(例如，存储设备150、存储器220和/或存储器390)中。处理设备140A可以访问存储设备以获取兴趣点检测模型。在一些实施例中，可以根据机器学习算法生成兴趣点检测模型。所述机器学习算法可以包括但不限于人工神经网络算法、深度学习算法、决策树算法、关联规则算法、归纳逻辑编程算法、支持向量机算法、聚类算法、贝叶斯网络算法、强化学习算法、特征学习算法、相似度和度量学习算法、稀疏词典学习算法、遗传算法、基于规则的机器学习算法等，或其任何组合。用于生成兴趣点检测模型的机器学习算法可以是监督型学习算法、半监督型学习算法、无监督型学习算法等。在一些实施例中，可以由计算设备(例如，处理设备140B)通过执行本文中披露的用于生成兴趣点检测模型的方法(例如，流程700)，来生成兴趣点检测模型。关于生成兴趣点检测模型的更多描述参见本申请的其他地方，例如图7及其相关描述。

在一些实施例中，兴趣点检测模型可以包括第一部分和第二部分。第一部分可以被配置为从病人的图像数据中提取出全局特征向量(global feature vector)。图像数据的全局特征向量可以包括整个图像数据的一个或多个特征(例如，形状特征、轮廓特征、纹理特征)。第二部分可以被配置为基于所述全局特征向量确定病人的兴趣点。在一些实施例中，兴趣点检测模型可以是位姿表征确定模型的一部分。所述位姿表征确定模型可以是神经网络模型，其用于接收保持特定位姿的病人的图像数据，并输出所述特定位姿的表征。在一些实施例中，位姿表征确定模型可以包括兴趣点检测模型和第三部分。所述第三部分可以基于兴趣点确定病人位姿的表征。在一些实施例中，第一部分、第二部分和第三部分可以是任何可以实现其各自功能的神经网络部分。仅作为示例，第一部分可以是卷积神经网络(CNN)、随机森林网络或用于特征提取的任何神经网络部分。第二部分可以是区域候选网络(Region Proposal Network，RPN)。第三组件可以是全连接网络层。

在503中，处理设备140A(例如，获取模块401)可以获取至少两个病人模型。如本文所使用的，病人模型可以指代表参考病人的模型，所述参考病人保持参考位姿。在一些实施例中，所述至少两个病人模型可以包括代表持有不同姿势和/或处于不同位置的同一参考病人的病人模型。例如，某病人模型可以代表保持俯卧位的参考病人A，另一病人模型可以代表保持仰卧位的参考病人A。又例如，多个病人模型可以代表具有不同膝关节角度的同一参考病人。另外地或替代地，所述至少两个病人模型可以包括代表不同参考病人的病人模型。例如，不同病人模型可以代表具有不同的身体形状(例如，身高和/或体重)和/或保持不同姿势的不同参考病人。

在一些实施例中，代表参考病人的病人模型可以包括参考病人的一个或多个参考兴趣点和该参考病人的参考位姿的参考表征。参考病人的参考兴趣点可以指参考病人的兴趣点。类似于在操作502中描述的病人的兴趣点，参考兴趣点可以用参考兴趣点的一个或多个特征值(例如，参考位置)表示。参考位姿的参考表征可以指参考位姿的表征，例如定量表示。

可选地，病人模型可以进一步包括其对应的参考病人的一个或多个参考身体标识(reference body landmark)。参考身体标识可以代表参考病人的特征区域(characteristic region)。如本文所使用的，人的特征区域可以指预先设定的具有代表性的人体区域。示例性的特征区域可以包括解剖关节、肩膀、脚踝、腰部、膝盖、腹股沟等，或其任意组合。人的特征区域可以是默认设置，也可以由成像系统100的用户设置。在一些实施例中，病人模型的参考身体标识可以由用户(例如，医生、影像专家、技术人员)手动标注。或者，参考身体标识可以由计算设备(例如，处理设备140)根据图像分析算法(例如，图像分割算法)自动生成。又或者，可以由计算设备基于图像分析算法和用户提供的信息，半自动地生成参考身体标识。用户提供的示例性信息可以包括与图像分析算法相关的参数、与特征区域相关的位置参数、对计算设备生成的初始身体标识的调整、否定或确认等。在一些实施例中，特征区域对应的参考身体标识可以由与该特征区域的一个或多个特征(例如位置)相关的一个或多个参考特征值表示。特征区域的特征可以与参考兴趣点的特征相同或不同。

在一些实施例中，参考病人的病人模型可以是参考病人的2D模型或3D模型，该模型上标注出参考病人的一个或多个参考兴趣点。可选择地，该模型还可以进一步包括参考病人的一个或多个身体标识。例如，病人模型可以是2D骨架模型(skeleton model)、3D骨架模型、3D网格模型等。参考病人的2D骨架模型可以是2D图像，其包括2D空间中参考病人的一个或多个解剖学关节和/或骨骼。参考病人的3D骨架模型可以是3D图像，其包含3D空间中的参考病人的一个或多个解剖学关节和/或骨骼。参考病人的3D网格模型可以包括定义参考病人的3D形状的多个顶点、边和面等。

在一些实施例中，在503中获得的病人模型中的至少一个第一病人模型可以事先由成像系统100的计算设备生成。例如，第一病人模型可以由处理设备140由本申请中披露病人模型的生成方法(例如，流程600)来生成，其可以存储在存储设备(例如，存储设备150、存储器220和/或存储器390、外部源)中。处理设备140A可以直接或经由网络(例如，网络120)从所述存储设备获取第一病人模型。附加地或者可替代地，病人模型的至少一个第二病人模型可以由提供和/或维护这种病人模型的供应商的系统来生成和提供，其中该供应商的系统不同于成像系统100。处理设备140A可以经由网络(例如，网络120)从供应商的系统获取至少一个第二病人模型。使用先前生成的病人模型可以提高确定病人的位姿表征的效率。

在一些实施例中，处理设备140A可以根据病人的一个或多个特征，例如性别、身体形状等来获取病人模型。仅作为示例，存在至少两个可用的病人模型组，其中每组病人模型可以代表具有特定特征(例如，具有特定性别和/或特定身体形状)的参考病人。处理设备140A可获取一组病人模型，该组病人模型代表的参考病人与所述病人具有相同的特征或相似的特征。例如，如果病人是女性，则处理设备140A可以获得代表女性参考病人的一组病人模型以供进一步分析。

获得病人模型后，处理设备140A对病人的兴趣点与至少两个病人模型中的每一个病人模型的参考兴趣点进行比较，确定病人的位姿表征。例如，在504中，对于每个病人模型，处理设备140A(例如，匹配度确定模块403)可以基于病人模型中的参考兴趣点和病人的兴趣点，确定病人与病人模型之间的匹配度。如本文所使用的，病人与病人模型之间的匹配度(matching degree)可以测量病人的位姿与该病人模型对应的参考病人的参考位姿有多相似。例如，病人与病人模型之间的匹配度越高，可以说明病人的位姿与病人模型对应的参考病人的参考位姿更相似。在一些实施例中，病人和病人模型之间的匹配度可以用诸如数字、层次、等级等形式来表示。例如，匹配度可以用[0,1]范围内的分数表示，其中“1”表示最高匹配度，而“0”表示最低匹配度。

在一些实施例中，处理设备140A可以基于病人的兴趣点和病人模型的参考兴趣点确定病人与病人模型之间的匹配度。例如，可以构建第一特征向量来表示病人，所述第一特征向量包括病人的兴趣点的一个或多个特征值。对表示参考病人的病人模型，可以构建第一参考特征向量，所述第一参考特征向量可以包括该参考病人的参考兴趣点的一个或多个参考特征值。病人与病人模型之间的匹配度可以与第一特征向量和第一参考特征向量之间的相似度成正相关。两个向量之间的相似度可以基于相似度算法，例如欧几里得距离算法、曼哈顿距离算法、明可夫斯基距离算法、余弦相似度算法、杰卡德相似度算法、皮尔逊相关算法等，或其任何组合确定。

在一些实施例中，如步骤503所述，病人模型可以包括代表参考病人的一个或多个特征区域的一个或多个参考身体标识。处理设备140A可以基于病人的图像数据确定代表病人的一个或多个特征区域的一个或多个身体标识。例如，可以根据用户(例如，医生)提供的信息和/或图像分析技术确定身体标识(body landmark)。身体标识可以包括其对应特征区域的一个或多个特征值。处理设备140A可以进一步基于兴趣点和参考兴趣点之间的比较以及身体标识和参考身体标识之间的比较，确定病人与病人模型之间的匹配度。例如，病人可以由第二特征向量表示，该第二特征向量包括身体标识和兴趣点的特征值。病人模型可以由第二参考特征向量表示，第二参考特征向量包括参考身体标识和参考兴趣点的参考特征值。病人和病人模型之间的匹配度可以与第二特征向量和第二参考特征向量之间的相似度成正相关。

在505中，处理设备140A(例如，位姿表征确定模块404)可以基于病人与每个病人模型之间的匹配度，确定病人的位姿表征。

在一些实施例中，处理设备140A可以在病人模型中选择与病人匹配度最高的病人模型。例如，可以根据匹配程度对病人模型从高到低进行排名，然后选择排名第一的病人模型。处理设备140A可以将所选病人模型对应的参考病人的参考表征指定为病人的位姿表征。为简洁起见，在此将所选病人模型相对应的参考病人称为“所选的参考病人”。或者，处理设备140A可以修改所选的参考病人的参考表征，并且将修改后的参考表征指定为病人的位姿表征。例如，可以根据病人的兴趣点和所选择的参考病人的参考兴趣点来修改参考表征。仅作为示例，基于病人左脚踝的兴趣点与所选的参考病人左脚踝的参考兴趣点之间的位置差，处理设备140A可以修改所选的参考病人的参考表征中与左脚踝相关的参数值。又例如，处理设备140A可以基于病人的兴趣点的坐标与所选的参考病人的参考兴趣点的坐标之间的变换关系来修改参考表征。

在一些实施例中，在确定所选的病人模型之后，处理设备140A可以确定病人的特定身体部位的置信度得分(confidence score)。置信度得分可以显示病人特定的身体部位和所选的参考病人对应的身体部位之间匹配的精确度，进一步地，还可以表征所确定的病人位姿表征中对应该特定身体部位的部分的置信度。例如，病人腹部的置信度得分越高，可以表明所选的参考病人的腹部与病人腹部的匹配度越高，并且在位姿表征中与病人腹部相关的参数值更加可靠。在一些实施例中，病人身体部位的置信度得分可以与各种因素相关。例如，可以与该身体部位是否被衣服遮盖、该身体部位相对于所选的参考病人的对应身体部位的相似度等因素相关，或其任意组合。仅作为示例，相比于未被遮盖的区域，可以分配较低的置信度得分给被某个物品(例如，衣服、面罩、毯子)所遮盖的区域。又例如，若第一区域与所选的参考病人的对应区域相似度较低，而第二区域与所选的参考病人的对应区域相似度较高，可以给第二区域分配更高的置信度得分。附加地或替代地，对于每个兴趣点，处理设备140A可以确定所选的参考病人上与之对应的参考物理点，所述每个兴趣点和其对应的参考物理点位于人体上基本相同的位置。可选地，可以确定兴趣点的坐标与对应参考物理点的坐标之间的变换关系。

关于流程500的以上描述仅出于说明的目的而提供，而无意于限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不会背离本申请的范围。在一些实施例中，流程500可以包括一个或多个附加操作和/或省略所讨论的一个或多个操作。另外，流程500的顺序可以不旨在是限制性的。例如，可以在操作501之前执行操作503，或者可以同时执行操作501和503。又例如，操作504和505可以合并为单个操作，其中处理设备140A可以对病人的兴趣点和至少两个病人模型中的每一个病人模型的参考兴趣点进行比较，确定病人位姿的表征。

在一些实施例中，流程500可以包括附加操作，将所确定的病人的位姿表征应用到诸如医学成像、疾病诊断、治疗计划等领域。在一些实施例中，处理设备140A可以基于位姿表征生成病人的扫描计划。例如，处理设备140A可以基于位姿表征确定要扫描的感兴趣区域(ROI)的位置，并基于ROI的位置来生成针对该ROI的扫描计划。在一些实施例中，处理设备140A可以基于位姿表征来调整病人位置。例如，处理设备140A可以基于位姿表征比较病人的位置和病人的预设位置，确定摆位误差。可以移动病人或病人所在的病床，以减小或消除所述摆位误差。

在一些实施例中，处理设备140A可以基于位姿表征评估病人的治疗计划。例如，在放射治疗开始之前，可以对病人进行扫描来获取病人的计划图像(例如，CT图像)。放射治疗可以包括持续数天(例如2至5周)的至少两个治疗阶段。治疗计划可以基于计划图像来生成。可以在特定治疗阶段前或阶段中获取操作501中描述的病人的图像数据。计算设备(例如，处理设备140A)可以通过执行本申请中披露的确定位姿表征的示例性流程，确定计划图像中病人的位姿表征(称为计划位姿表征)。计算设备可以进一步确定病人的位姿表征与计划位姿表征之间的差异，确定在做计划时和放射治疗时的位姿变化。如果位姿变化大于阈值，则可以移动病人或病人所在的病床以补偿所述位姿变化。或者，可以修改治疗计划(例如，治疗剂量)，以减少对病人的多余辐射，提高靶向性、以及治疗的准确性和效果。

图6是根据本申请一些实施例所示的用于生成代表保持参考位姿的参考病人的病人模型的示例性流程的流程图。在一些实施例中，流程600可以由成像系统100执行。例如，流程600可以被实现为存储在存储设备(例如，存储设备150、存储器220和/或存储器390)中的一组指令(例如，应用程序)。处理设备140(例如，计算设备200的处理器210、图3所示的处理设备140A、图4所示的处理设备140B)执行该指令，并因此可以被指示执行流程600。或者，流程600可以由提供和/或维护这种病人模型的供应商的系统中的计算设备执行，其中供应商的系统不同于成像系统100。出于说明目的，下文以处理设备140A为例描述流程600的实现过程，而并不意图限制本申请的范围。

在601中，处理设备140A(例如，获取模块401)可以获得参考病人的参考图像数据，所述参考病人保持参考位姿。参考病人的参考图像数据可以指保持参考位姿的参考病人的图像数据。参考图像数据可以包括一个或多个2D图像、3D图像、4D图像和/或任何相关的图像数据(例如，扫描数据、投影数据等)。例如，参考图像数据可以包括参考病人的彩色图像数据、点云数据、深度图像数据、网格数据、医学图像数据等或其任意组合。在一些实施例中，参考图像数据可以与501中描述的病人的图像数据类型相同。例如，图像数据和参考图像数据可以都是深度图像数据。或者，参考图像数据可以与病人的图像数据不同。可以将参考图像数据进行转化，使其与病人图像数据类型相同。例如，如果图像数据是病人的2D图像，而参考图像数据是参考病人的3D图像，可以通过对参考图像数据投影将参考图像数据转换为2D图像。

在一些实施例中，参考病人可以是真实的人，也可以是人形模体。参考图像数据可以包括实际扫描数据，其可以由图像获取设备(例如，医学成像设备110、图像获取设备160或外部图像获取设备)对参考病人扫描获取。或者，处理设备140A可以获取参考病人的初始扫描数据，生成该初始扫描数据时参考病人保持与参考位姿不同的初始位姿。处理设备140A可以通过平移或旋转参考病人(或其一部分)等方式将参考病人在初始扫描数据中的位姿转换为参考位姿，以生成参考图像数据。在一些实施例中，参考病人可以是保持参考位姿的虚拟人物模型，其参考图像数据可以是该虚拟人物模型的模拟图像数据(例如，模拟3D模型)。

在602中，处理设备140A(例如，识别模块402)可以使用兴趣点检测模型从参考病人的参考图像数据中识别参考病人的一个或多个参考兴趣点。例如，可以将参考图像数据输入到兴趣点检测模型中，由兴趣点检测模型输出参考病人的参考兴趣点。在603中，处理设备140A(例如，位姿表征确定模块404)可以基于参考图像数据确定参考位姿的参考表征。

在一些实施例中，可以将参考图像数据输入到本申请中其他地方所述的位姿表征确定模型中(例如，图7和相关描述)。位姿表征确定模型可以输出参考表征。或者，可以根据图像分析技术确定参考表征。仅作为示例，处理设备140A可以利用图像分割技术从参考图像数据中分割参考病人和/或参考病人的一个或多个ROI(例如，腹部、胸部和/或四肢)。处理设备140A可以进一步确定与参考病人和/或ROI的参考位姿(例如，位置、姿势、形状和/或大小)相关的一个或多个参数值。所确定的参数值可用于构造参考位姿的参考表征。在一些实施例中，如上文所述，参考病人的参考图像数据可以通过转换初始扫描数据(或被称为初始图像数据)来获得，所述初始扫描数据中参考病人保持初始位姿。处理设备140A可以基于初始位姿的表征确定参考位姿的参考表征。例如，如果参考图像数据是通过旋转初始扫描数据中参考病人右手腕生成的，则处理设备140A可以修改初始位姿的表征中与右手腕的关节角度有关的特征值，以生成参考表征。

图7是示出根据本申请的一些实施例的用于生成兴趣点检测模型的示例性流程的流程图。在一些实施例中，流程700可以由成像系统100执行。例如，流程700可以被实现为存储在存储设备(例如，存储设备150、存储器220和/或存储器390)中的一组指令(例如，应用程序)。处理设备140B(例如，计算设备200的处理器210和/或图4中所示的一个或多个模块)可以执行该指令，由此被指示执行流程700。备选地，流程700可以由提供和/或维护这种兴趣点检测模型的供应商系统中的计算设备执行，其中供应商系统与成像系统100不同。出于说明目的，下文以参考处理设备140B为例描述流程700的实现过程，而并不意图限制本申请的范围。

在701中，处理设备140B(例如，获取模块405)可以获得至少两个训练样本。

每个训练样本可以包括保持第一位姿的样本病人(sample patient)的样本图像数据(sample image data)和第一位姿的表征(简称为第一位姿表征)。如本文所使用的，样本病人的样本图像数据可以指代用于训练兴趣点检测模型的样本病人的图像数据。例如，样本病人的样本图像数据可以包括样本病人的2D图像、点云数据、3D模型(例如，网格模型)、彩色图像数据、深度图像数据或医学图像数据。每个训练样本的样本图像数据可以不包含关于样本病人的兴趣点的标注。在一些实施例中，每个训练样本中样本病人的身体可以是完全可见或未被物品(例如，衣服)遮盖的，或受到物品遮盖的。

在一些实施例中，兴趣点检测模型可用于确定病人图像数据中的一个或多个兴趣点。每个训练样本中的样本图像数据可以与所述病人图像数据是相同类型或不同类型。例如，如果兴趣点检测模型用于确定CT图像中的兴趣点，则训练样本中的样本图像数据也可以包括CT图像。又例如，如果使用兴趣点检测模型来识别2D图像中的兴趣点，则训练样本中的样本图像数据可以是3D图像，其需要通过投影等操作被转换为2D图像。

在一些实施例中，第一位姿的样本病人的样本图像数据的获取方式可以与图6所描述参考病人的参考图像数据的获取方式相似。样本病人的第一位姿表征的确定方式可以与图6所描述病人模型的参考病人的参考表征的确定方式相似。例如，样本图像数据可以是样本病人的实际扫描数据或模拟图像数据。可以使用图像分析技术或位姿表征确定模型，基于样本图像数据确定第一位姿表征。又例如，样本图像数据可以通过转换样本病人的扫描数据来获得，该扫描数据中样本病人保持与第一位姿不同的初始位姿。处理设备140B可以获取初始位姿的表征，并通过修改所述初始位姿的表征确定第一位姿表征。

在702中，处理设备140B(例如，获取模块405)可以获得初始模型。

在703中，处理设备140B(例如，模型生成模块406)可以使用训练样本训练初始模型，以生成兴趣点检测模型。在一些实施例中，可以根据本申请其他地方(例如，操作502和相关描述)所述的机器学习算法来训练初始模型。在一些实施例中，初始模型可以是如图9所示的初始模型900。处理设备140B可以使用训练样本来训练初始模型900，以生成位姿态确定模型。处理设备140B可以将位姿表征确定模型的一部分指定为兴趣点检测模型。如图9所示，初始模型900可以包括第一部分910、第二部分920和第三部分930。对于训练样本，第一部分910可以为从训练样本的样本图像数据中提取全局特征向量。样本图像数据的全局特征向量可以包括整个样本图像数据的一个或多个特征(例如，形状特征、轮廓特征、纹理特征、复杂特征)。第二部分920可以被配置为基于训练样本的全局特征向量确定训练样本的样本图像数据中的至少两个候选兴趣点(candidate interest point)。候选兴趣点也可以被称为样本图像数据的图像块，其具有一个或多个局部特征。第三部分930可以被配置为根据训练样本的候选兴趣点，确定该训练样本的样本病人的第一位姿的预测表征(为简称为第一预测表征)。

在一些实施例中，第一部分910、第二部分920和第三部分930可以是任何能各自实现其功能的神经网络部分。仅作为示例，第一部分910可以是卷积神经网络(CNN)、随机森林网络或其他任何能用于特征提取的神经网络组件。第二部分920可以是区域候选网络(RPN)。第三部分930可以是全连接网络层。

在一些实施例中，在模型训练之前，初始模型900的一个或多个模型参数可以具有初始值。初始模型900的训练可以包括一个或多个第一迭代。出于说明目的，下文以当前的第一迭代为例展开。在当前第一迭代中，处理设备140B可以将每个训练样本的样本图像数据输入到当前第一迭代中的初始模型900中，以获得样本病人的第一位姿的第一预测表征。处理设备140B可以基于每个训练样本的实际表征和与第一预测表征确定第一损失函数的值。第一损失函数可用于测量每个训练样本的实际表征和第一预测表征之间的差异。处理设备140B可以确定在当前第一迭代中，第一终止条件是否被满足。示例性的第一终止条件可以是当前第一迭代中获得的第一损失函数的值小于第一预定阈值。其他示例性的第一终止条件可以包括已经执行了一定数量的第一迭代、第一损失函数收敛(例如，连续两次第一迭代中获得的第一损失函数的差值在阈值之内)等。若当前第一迭代中第一终止条件被满足，处理设备140B可以将当前第一迭代中的初始模型900的第一部分910和第二部分920指定为兴趣点检测模型。可选地，处理设备140B可以将当前第一迭代中的初始模型900指定为位姿态确定模型。另外地或替代地，处理设备140B可以进一步将兴趣点检测模型和/或位姿表征确定模型存储到成像系统100的存储设备(例如，存储设备150、存储器220和/或存储器390)中，和/或输出模型以供进一步使用(例如，用于流程500和/或流程600中)。

如果当前第一迭代中的第一终止条件未被满足，则处理设备140B可以更新当前第一迭代中的初始模型900，并进行下一个第一迭代。例如，处理设备140B可以根据反向传播等算法，基于第一损失函数的值更新初始模型900的模型参数的值。处理设备140B可以将更新后的初始模型900指定为下一第一迭代中的初始模型900。处理设备140B可以执行下一个第一迭代，直到第一终止条件被满足。当第一终止条件在某个第一迭代中被满足后，可以将该第一迭代中的初始模型900的一部分(例如，训练后的第一部分910和训练后的第二部分920)指定为兴趣点检测模型。

在一些实施例中，初始模型可以是如图10所示的初始模型1000。处理设备140B可以使用训练样本来训练初始模型1000以生成训练后的模型，并将训练后的模型指定为兴趣点检测模型。如图10所示，初始模型1000可以包括第一部分1010和第二部分1020。第一部分1010和第二部分1020可以分别具有与初始模型900的第一部分910和第二部分920相同或相似的功能。

在一些实施例中，在模型训练之前，初始模型1000的一个或多个模型参数具有一个或多个初始值。在初始模型1000的训练过程中，可以更新初始模型1000的模型参数的值。在一些实施例中，初始模型1000的训练可以包括一个或多个迭代。出于说明目的，在下面的描述中描述了迭代的当前迭代。当前迭代可以包括图8所示的流程800的一个或多个操作。

在801中，对于每个训练样本，处理设备140B(例如，模型生成模块406)可以利用当前迭代中的初始模型1000，从训练样本的样本图像数据中确定样本病人的至少两个第一候选兴趣点。例如，对于训练样本，可以在将对应的样本图像数据输入到当前迭代中的初始模型1000中以生成第一候选兴趣点。第一候选兴趣点可以包括与该第一候选兴趣点的一个或多个特征(例如，位置、纹理特征、复杂特征等)相关的一个或多个特征值。

在802中，对于每个训练样本，处理设备140B(例如，模型生成模块406)可以将其训练样本图像数据中的样本病人从第一位姿转换为第二位姿，以生成转换后的图像数据，其中转化后的图像数据中样本病人保持第二位姿。例如，对于训练样本，处理设备140B可以将其样本图像数据中的样本病人从第一位姿平移和/或旋转到第二位姿，从而生成训练样本的转换后的图像数据。在一些实施例中，训练样本的样本图像数据可以包括样本病人的3D模型(例如，网格模型)。处理设备140B可以通过在3D空间中旋转样本病人(例如从样本病人的前视视角旋转到侧视角)，来生成训练样本的转换后的图像数据。换句话说，可以从不同于原始样本图像数据的角度渲染(render)3D模型，来生成转换后的图像数据。3D模型的渲染可以从不同角度生成该3D模型的3D渲染投影(rendered 3D projection)。在一些实施例中，转换后的图像数据可以是3D渲染投影本身。或者，转换后的图像数据可以是基于3D渲染投影生成的深度图像(depth image)。

在803中，对于每个训练样本，处理设备140B(例如，模型生成模块406)可以从训练样本转换后的图像数据中识别对应样本病人的至少两个第二候选兴趣点。

训练样本中所识别的每个第二候选兴趣点可以对应该训练样本的一个第一候选兴趣点。如本文所使用的，如果第一选兴趣点和第二候选兴趣点位于样本病人的相同位置或基本相同的位置，则第二候选兴趣点可以被认为对应于第一候选兴趣点。例如，对于位于样本病人鼻子上的第一候选兴趣点，可以在转换后的图像数据中识别样本病人鼻子上的一个点，将其作为与第一候选兴趣点相对应的第二候选兴趣点。训练样本的第二候选兴趣点可以包括与其一个或多个特征(例如，位置、纹理特征、复杂特征等)相关的一个或多个特征值。在一些实施例中，训练样本的第一候选兴趣点中只有一部分可以在转换后的图像数据中找到与之对应的第二候选兴趣点。例如，第一候选兴趣点可以位于训练样本的样本病人的左腿上，而左腿在转换后的图像数据中可能不可见。此时，第一候选兴趣点可能没有与之对应的第二候选兴趣点。

在一些实施例中，可以通过分析转换后的图像数据确定训练样本的第二候选兴趣点和/或第二候选兴趣点的特征值。或者，可以将训练样本的转换后的图像数据输入到当前迭代中的初始模型1000中，并且当前迭代中的初始模型1000可以输出第二候选兴趣点及其特征值。

在804中，处理设备140B(例如，模型生成模块406)可以基于每个训练样本的第一候选兴趣点和第二候选兴趣点，确定第二损失函数的值。

在一些实施例中，第二损失函数可以与每个训练样本的第一候选兴趣点的特征值和第二候选兴趣点的特征值之间的差异相关。例如，对于每个训练样本，可以构建包括第一候选兴趣点的特征值的特征向量A和包括第二候选兴趣点的特征值的特征向量B，再确定特征向量A和B和之间的相似度。第二损失函数可以与所确定的训练样本的相似度具有一定的相关性(例如，负相关性)。在一些实施例中，第二损失函数可以是对比目标函数。在一些实施例中，第二损失函数可以鼓励初始模型1000在图像数据中确定具有不受角度影响的特征(viewpoint invariant characteristic)的兴趣点。如本文所使用的，如果可以容易地在不同角度渲染的图像数据中确定出某个兴趣点，且该兴趣点在不同角度渲染的图像数据中具有基本相同的特征值，则可以认为将该兴趣点具有不受角度影响的特征。仅作为示例，病人的3D模型可以从不同角度渲染，如果可以容易地在渲染投影(或3D渲染投影对应的深度图像)中确定出位于病人鼻子上的兴趣点，且该兴趣点在3D渲染投影(或3D渲染投影对应的深度图像)中具有基本相同的特征值，则可以认为位于鼻子上的兴趣点具有不受角度影响的特征。与特征容易受角度影响的兴趣点相比，具有不受角度影响的特征的兴趣点更加可靠和具有代表性，这可以提高病人定位的准确性。

在805中，处理设备140B(例如，模型生成模块406)可以确定在当前迭代中第二终止条件是否被满足。示例性的第二终止条件可以包括在当前迭代中获得的第二损失函数的值小于第二预定阈值、已经执行了一定数量的迭代、第二损失函数收敛(例如，连续两次迭代中获得的第二损失函数的差差在阈值之内)等。

在806中，如果当前迭代中第二终止条件被满足，处理设备140B(例如，模型生成模块406)可以将当前迭代中的初始模型1000指定为兴趣点检测模型。另外地或替代地，处理设备140B可以进一步将兴趣点检测模型存储到成像系统100的存储设备(例如，存储设备150、存储器220和/或存储器390)中，和/或输出兴趣点检测模型以供进一步使用，例如，在确定病人的位姿表征时(例如，流程500中)或生成病人模型(例如，流程600中)时使用。

在807中，如果当前迭代中第二终止条件不被满足，处理设备140B可以更新初始模型1000。处理设备140B可以在当前迭代中更新初始模型1000，并进行到下一个迭代。例如，处理设备140B可以根据反向传播等算法来更新初始模型1000的模型参数的值。处理设备140B可以将更新后的初始模型1000指定为下一迭代中的初始模型1000。处理设备140B可以执行下一迭代，直到第二终止条件被满足。当第二终止条件在特定迭代中被满足后，可以将该特定迭代中的初始模型1000指定为兴趣点检测模型。

关于流程600至流程800的以上描述仅出于说明的目的而提供，而无意于限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不会背离本申请的范围。在一些实施例中，流程600、700和/或800的顺序可以不旨在限制。例如，可以在操作701之前执行操作702，或者可以同时执行操作701和702。

附加地或替代地，流程700和/或流程800可以包括一个或多个附加操作和/或省略一个或多个操作。例如，处理设备140B可以进一步使用一组测试样本来测试兴趣点检测模型，确定是否兴趣点检测模型是否满足测试条件。如果不满足测试条件，则可以再次执行流程700以进一步训练初始模型。在一些实施例中，可以使用病人的测试图像来测试兴趣点测试模型，该测试图像中包含代表病人特征区域的身体标识。例如，处理设备140B可以使用兴趣点检测模型来识别测试图像的兴趣点，并将所识别的兴趣点与测试图像的已知身体标识进行比较。如果所识别的兴趣点与已知身体标识之间的差大于第一阈值，则可再次执行流程700以进一步训练初始模型。又例如，处理设备140B可以分别基于兴趣点检测模型和已知的身体标识确定测试图像中病人的位姿表征。处理设备140B可以比较位姿表征，如果位姿表征之间的差异大于第二阈值，则再次执行700以进一步训练初始模型。在一些实施例中，在使用样本图像数据训练初级之前，可以对训练样本(或其一部分)的样本图像数据执行预处理操作，例如图像分割、图像增强。

图11是根据本申请一些实施例所示的病人的示例性3D模型1101和示例性病人模型1102的示意图。如图11所示，3D模型1101包括多个兴趣点1104。在一些实施例中，可以使用如本申请其他地方所述(例如，图5和相关描述)的兴趣点检测模型来识别兴趣点1104。病人模型1102包括多个参考兴趣点1103(由病人模型1102上的多个点表示)。

在一些实施例中，3D模型1101可以与病人模型1102匹配。例如，如图11所示，可以确定多个兴趣点匹配对。每个匹配对可包括3D模型1101中的兴趣点和病人模型1102中的参考兴趣点，其中兴趣点和参考兴趣点可以具有相同或相似的特征值(例如，位置)且相互匹配。出于说明目的，在病人模型1102中，匹配对的参考兴趣点由深灰色点表示，其他参考兴趣点由浅灰色点表示。可选地，可以确定3D模型1101中各身体部位的置信度得分，以表征各身体部位与病人模型1102中对应的身体部位的匹配度。例如，可以给构成匹配对的兴趣点所在的身体部位(由图10中的边界框表征)分配较高的置信度得分，而给病人的头部和下半身分配较低的置信度得分。

上文已对基本概念做了描述，显然，对于阅读此申请后的本领域的普通技术人员来说，上述发明披露仅作为示例，并不构成对本申请的限制。虽然此处并未明确说明，但本领域的普通技术人员可以会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。同时，本申请使用了特定词语来描述本申请的实施例。例如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特性。因此，应当强调并注意的是，本说明书中在不同位置两次或以上提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域的普通技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的过程、机器、产品或物质的组合，或对其任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括韧体、常驻软件、微代码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“单元”、“模块”或“系统”。此外，本申请的各方面可以采取体现在一个或多个计算机可读介质中的计算机程序产品的形式，其中计算机可读程序代码包含在其中。

计算机可读信号介质可以包含一个内含有计算机程序代码的传播数据信号，例如在基带上或作为载波的一部分。此类传播信号可以有多种形式，包括电磁形式、光形式等或任何合适的组合。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一组指令执行系统、装置或设备以实现通信、传播或传输供使用的程序。位于计算机可读信号介质上的程序代码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF等，或任何上述介质的组合。本申请各部分操作所需的计算机程序代码可以用任意一种或以上程序设计语言编写，包括面向对象程序设计语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化程序设计语言如C程序设计语言、Visual Basic、Fortran 2103、Perl、COBOL 2102、PHP、ABAP，动态程序设计语言如Python、Ruby,和Groovy，或其他程序设计语言等。该程序代码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过互联网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，尽管上述各种组件的实现可以体现在硬件设备中，但是它也可以实现为纯软件解决方案，例如，在现有服务器或移动设备上的安装。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请的实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。然而，本申请的该方法不应被解释为反映所申明的客体需要比每个权利要求中明确记载的更多特征的意图。相反，发明的主体应具备比上述单一实施例更少的特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。例如，除非另有说明，否则“大约”、“近似”或“基本上”可以表征其所描述的值的±1％、±5％、±10％或±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可以精确。

本文中提及的所有专利、专利申请、专利申请公布和其他材料(如论文、书籍、说明书、出版物、记录、事物和/或类似的东西)均在此通过引用的方式全部并入本文以达到所有目的，与上述文件相关的任何起诉文档记录、与本文件不一致或冲突的任何上述文件或对迟早与本文件相关的权利要求书的广泛范畴有限定作用的任何上述文件除外。举例来说，如果在描述、定义和/或与任何所结合的材料相关联的术语的使用和与本文件相关联的术语之间存在任何不一致或冲突，则描述、定义和/或在本文件中使用的术语以本文件为准。

最后，应当理解的是，本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可以属于本申请的范围。因此，作为示例而非限制，本申请实施例的替代配置可视为与本申请的教导一致。相应地，本申请的实施例不仅限于本申请明确介绍和描述的实施例。

Claims (14)

1.一种病人定位方法，所述方法包括：

获取与病人相关的图像数据，所述图像数据中病人保持位姿；

使用兴趣点检测模型从所述图像数据中识别病人的至少一个兴趣点；

获得至少两个病人模型，每个病人模型代表参考病人，所述参考病人保持参考位姿，所述每个病人模型包括其代表的参考病人的至少一个参考兴趣点和对应的参考位姿的参考表征；以及

比较所述病人的至少一个兴趣点与所述每个病人模型的至少一个参考兴趣点，确定所述病人位姿的表征。

2.根据权利要求1所述的方法，其特征在于，所述确定所述病人位姿的表征包括：

对所述病人模型中的每一个病人模型，基于所述病人模型的至少一个参考兴趣点和所述病人的至少一个兴趣点，确定所述病人与所述病人模型之间的匹配度；

在所述病人模型中选择与所述病人匹配度最高的病人模型；以及

基于所选的病人模型对应的参考表征确定所述病人位姿的表征。

3.根据权利要求2所述的方法，其特征在于，每个病人模型还包括其对应的参考病人的至少一个参考身体标识；

所述基于所述病人模型的至少一个参考兴趣点和所述病人的至少一个兴趣点，确定所述病人与所述病人模型之间的匹配度还包括：

从所述图像数据中，确定代表所述病人的至少一个特征区域的至少一个身体标识；以及

基于所述病人的至少一个身体标识和所述病人模型的至少一个参考身体标识确定所述病人与每个病人模型之间的匹配度。

4.根据权利要求1所述的方法，其特征在于，所述兴趣点检测模型通过以下模型训练过程生成：

获得至少两个训练样本，每个训练样本包括样本病人的样本图像数据和所述样本病人在样本图像数据中的位姿的表征；

获得初始模型；以及

使用所述训练样本训练所述初始模型生成所述兴趣点检测模型。

5.根据权利要求4所述的方法，其特征在于，所述每个训练样本的样本图像数据不包含针对样本病人的兴趣点的标注。

6.根据权利要求1所述的方法，其特征在于，还包括：

对于所述参考病人中的每个参考病人，

获取所述参考病人的参考图像数据，其中参考病人保持参考位姿；

使用所述兴趣点检测模型从所述参考病人的参考图像数据中识别参考病人的至少一个参考兴趣点；以及

基于所述参考图像数据，确定所述参考病人的参考位姿。

7.根据权利要求1所述的方法，其特征在于，所述病人的位姿用一个或多个参数来表示，所述一个或多个参数与所述病人的位置、姿势、形状或大小中的至少一个相关。

8.根据权利要求1所述的方法，其特征在于，所述兴趣点检测模型包括：

第一部分，其被配置为从所述图像数据中提取全局特征向量；以及

第二部分，其被配置为基于所述图像数据的全局特征向量，确定所述病人的至少一个兴趣点。

9.根据权利要求1所述的方法，其中与病人有关的图像数据包括彩色图像数据、点云数据、深度图像数据、网格数据，或医学图像数据中的至少一种。

10.根据权利要求1所述的方法，其特征在于，所述方法进一步包括以下步骤中的至少一个：

基于所述病人的位姿生成所述病人的扫描计划；

基于所述病人的位姿调整所述病人的位置；或

基于所述病人的位姿评估所述病人的治疗计划。

11.根据权利要求1所述的方法，其特征在于，所述图像数据中病人的至少一部分被物品遮盖。

12.根据权利要求1所述的方法，其特征在于，所述兴趣点检测模型是位姿表征确定模型的一部分。

13.一种非暂时性计算机可读存储介质，包括至少一组指令，当由至少一个处理器执行时，所述至少一组指令指示所述至少一个处理器执行如权利要求1-12任一所述的病人定位方法。

14.一种病人定位系统，包括：

获取模块，用于获取与病人相关的图像数据，所述图像数据中病人保持位姿；以及获得至少两个病人模型，每个病人模型代表参考病人，所述参考病人保持参考位姿，所述每个病人模型包括其代表的参考病人的至少一个参考兴趣点和对应的参考位姿的参考表征；

识别模块，用于使用兴趣点检测模型从所述图像数据中识别病人的至少一个兴趣点；以及

位姿表征确定模块，用于比较所述病人的至少一个兴趣点与所述每个病人模型的至少一个参考兴趣点，确定所述病人位姿的表征。

Images