CN111311551A - 基于机器学习的生理运动测量系统和方法 - Google Patents

Abstract

本申请提供了一种生理运动测量的系统。该系统可以获取感兴趣区域的参考图像和目标图像，所述参考图像对应感兴趣区域的参考运动阶段，所述目标图像对应感兴趣区域的目标运动阶段，其中所述参考运动阶段可以与目标运动阶段不同。该系统可以从参考图像确定与感兴趣区域相关的一个或多个特征点，并利用运动预测模型，确定特征点从参考运动阶段到目标运动阶段的运动场。运动预测模型的输入至少可以包括参考图像和目标图像。该系统还可以基于所述运动场确定感兴趣区域的生理状况。

Description

基于机器学习的生理运动测量系统和方法

优先权信息

本申请要求于2019年11月4日递交的美国申请16/673,817的优先权，其内容以引用的方式被包含于此。

技术领域

本申请主要涉及生理运动测量，并且更具体地，涉及基于机器学习技术来测量感兴趣区域(region of interest，ROI)的生理运动的方法和系统。

背景技术

医学成像被广泛用于疾病诊断和/或治疗。患者等目标物可以被医学成像设备扫描以获取该目标物的图像数据。在某些情况下，目标物的ROI在扫描期间可能会经历生理运动(例如，心脏运动、呼吸运动等)，可以基于扫描数据生成与ROI的多个运动阶段相对应的多张图像。对应于不同运动阶段的ROI图像可以用于评估ROI的生理状况(physiologicalcondition)。例如，对患者心脏上进行磁共振(MR)扫描，可以获取多张心脏MR(CMRI)图像以评估患者的心肌功能。因此，期望提供用于生理运动测量的有效系统和方法，从而提高疾病诊断和/或治疗的准确性。

发明内容

本申请的一方面提供了一种生理运动测量方法。该方法可以包括获取感兴趣区域的参考图像和目标图像，参考图像对应感兴趣区域的参考运动阶段，目标图像对应感兴趣区域的目标运动阶段，目标运动阶段不同于参考运动阶段。该方法可以包括从参考图像中确定与感兴趣区域相关的一个或多个特征点(feature point)。该方法还可以包括利用运动预测模型(motion prediction model)，确定一个或多个特征点从参考运动阶段到目标运动阶段的运动场(motion field)，其中运动预测模型的输入至少包括参考图像和目标图像。该方法还可以包括基于所述运动场来确定感兴趣区域的生理状况。

本申请的另一方面提供了一种生成运动预测模型的方法。该方法可以包括获得至少一个训练样本。每个训练样本可以包括指示样本感兴趣区域的生理运动的第一图像和第二图像。第一图像可以对应于样本感兴趣区域的第一运动阶段，并且第二图像可以对应于样本感兴趣区域的第二运动阶段。该方法还可以包括根据无监督学习技术，利用至少一个训练样本，通过训练初始模型生成运动预测模型。

本申请的又一方面提供了一种非暂时性计算机可读存储介质，其包括至少一组指令，当由至少一个处理器执行时，所述至少一组指令指示至少一个处理器执行上述生理运动测量方法。

本申请的又一方面提供了一种生理运动测量系统，包括获取模块、识别模块、运动场确定模块和生理状况确定模块。获取模块被配置为获取感兴趣区域的参考图像和目标图像，所述参考图像对应感兴趣区域的参考运动阶段，所述目标图像对应感兴趣区域的目标运动阶段，所述目标运动阶段和所述参考运动阶段不同。识别模块被配置为从所述参考图像中确定与感兴趣区域相关的一个或多个特征点。运动场确定模块被配置为利用运动预测模型，确定所述一个或多个特征点从参考运动阶段到目标运动阶段的运动场，其中所述运动预测模型的输入至少包括参考图像和目标图像。生理状况确定模块被配置为基于所述运动场，确定所述感兴趣区域的生理状况。

附图说明

本申请将通过示例性实施例进行进一步描述。这些示例性实施例将通过附图进行详细描述。这些实施例是非限制性的示例性实施例，在这些实施例中，各图中相同的编号表示相似的结构，其中：

图1是根据本申请一些实施例所示的示例性成像系统的示意图；

图2是根据本申请一些实施例所示的计算设备的示例性硬件和/或软件组件的示意图；

图3是根据本申请一些实施例所示的示例性处理设备的框图；

图4是根据本申请一些实施例所示的示例性处理设备的框图；

图5是根据本申请一些实施例所示的确定ROI的生理状况的示例性过程的流程图；

图6是根据本申请一些实施例所示的使用无监督学习技术生成运动预测模型的示例性过程的流程图；

图7是根据本申请一些实施例所示的最小化损失函数以生成运动预测模型的示例性过程的流程图；

图8是根据本申请一些实施例所示的心脏运动的示意图；

图9A示出了根据本申请一些实施例的示例性短轴CMRI图像的示意图；

图9B示出了根据本申请一些实施例的示例性长轴CMRI图像的示意图；

图10示出了根据本申请一些实施例的应用运动预测模型的示意图；

图11是根据本申请一些实施例所示的示例性初始模型的示意图；以及

图12是根据本申请一些实施例所示的另一示例性初始模型的示意图。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本说明书中所使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。本申请中的“图像”一词用于统称图像数据(例如，扫描数据、投影数据)和/或各种形式的图像，包括二维(2D)图像、三维(3D)图像、四维(4D)图像等。本申请中的术语“像素”和“体素”可互换使用，是指图像的元素。

根据以下对附图的描述，本申请的这些和其他的特征、特点以及相关结构元件的功能和操作方法，以及部件组合和制造经济性，可以变得更加显而易见，这些附图都构成本申请说明书的一部分。然而，应当理解的是，附图仅仅是为了说明和描述的目的，并不旨在限制本申请的范围。应当理解的是，附图并不是按比例绘制的。

本文提供了用于非侵入性生物医学成像的系统和方法，例如用于疾病诊断或研究目的。在一些实施例中，该系统可以包括单模态成像系统和/或多模态成像系统。单模态成像系统可以包括例如超声成像系统、X射线成像系统、计算机断层摄影(CT)系统、磁共振成像(MRI)系统、超声检查系统、正电子发射断层扫描(PET)系统、光学相干断层扫描(OCT)成像系统、超声(US)成像系统、血管内超声(IVUS)成像系统、近红外光谱(NIRS)成像系统、远红外(FIR)成像系统等，或其任意组合。所述多模态成像系统可以包括例如X射线成像-磁共振成像(X-ray-MRI)系统、正电子发射断层扫描-X射线成像(PET-X-ray)系统、单光子发射计算机断层扫描-磁共振成像(SPECT-MRI)系统、正电子发射计算机断层扫描-计算机断层扫描(PET-CT)系统、C型臂系统、数字减影血管造影-磁共振成像(DSA-MRI)系统等。以下说明的成像系统仅用于说明目的，并不旨在限制本申请的范围。

本申请的一个方面涉及用于生理运动测量的系统和方法。该系统和方法可以获得ROI(例如，患者的心脏或肺部)的参考图像和目标图像，所述参考图像对应ROI的参考运动阶段，所述目标图像对应ROI的不同于参考运动阶段的目标运动阶段。该系统和方法可以从参考图像中确定与ROI相关的一个或多个特征点。该系统和方法还可以利用运动预测模型，确定特征点从参考运动阶段到目标运动阶段的运动场，其中运动预测模型的输入可以至少包括参考图像和目标图像。该系统和方法可以进一步基于运动场确定ROI的生理状况。

根据本申请一些实施例，可以使用运动预测模型来确定特征点从参考运动阶段到目标运动阶段的运动场。运动预测模型可以是神经网络模型，用于接收对应ROI不同运动阶段的两张图像并且输出这两张图像之间的运动场。在本申请一些实施例中，ROI的生理运动测量不依赖于预先设定的ROI形状模型。取而代之的是，可以将运动预测模型用于生理运动测量，该运动预测模型从训练数据中习得确定两张图像之间的运动场的最佳机制。这可以提高测量结果的准确性和可靠性。另外，在一些实施例中，可以根据无监督学习技术使用一个或多个训练样本训练运动预测模型。这可以免除对训练样本的标注，进而提高训练运动预测模型的效率和/或使训练过程自动化。

图1是根据本申请一些实施例所示的示例性成像系统100的示意图。如图所示，成像系统100可以包括成像设备110、网络120、一个或多个终端130、处理设备140和存储设备150。在一些实施例中，成像设备110、终端130、处理设备140和/或存储设备150可以经由无线连接(例如，网络120)、有线连接或其组合彼此连接和/或彼此通信。成像系统100的组件之间的连接可以是可变的。仅作为示例，如图1所示，成像设备110可以通过网络120连接到处理设备140。又例如，成像设备110可以直接或通过网络120连接到处理设备140。再例如，存储设备150可以通过网络120或直接连接到处理设备140。

成像设备110可以通过扫描目标物体以生成或提供与目标物有关的图像数据。在一些实施例中，目标物可以包括生物目标物和/或非生物目标物。生物目标物可以是人类、动物、植物或其一部分(例如，细胞、组织、器官等)。例如，目标物可以包括身体的特定部分，例如头部、胸部、腹部等，或其组合。在一些实施例中，成像设备110可以包括本申请其他地方所述的单模态扫描仪(例如MRI设备、CT扫描仪)和/或多模态扫描仪(例如PET-CT扫描仪)。在一些实施例中，与目标物有关的图像数据可能包括目标物的投影数据、一个或多个图像等。投影数据可以包括由成像设备110通过扫描目标物产生的原始数据和/或对目标物图像进行正向投影产生的数据。

在一些实施例中，成像设备110可以包括机架111、探测器112、检测区域113、扫描台114和放射性扫描源115。机架111可以支撑探测器112和放射性扫描源115。可以将对象放置在扫描台114上以接收扫描。放射性扫描源115可以向物体发射放射线。所述放射线可以包括粒子射线、光子射线等或它们的组合。在一些实施例中，放射线可能包辐射粒子(例如，中子、质子、电子、μ介子、重离子)、辐射光子(例如，X射线、γ射线、紫外线、激光)等，或其任意组合。探测器112可以检测从检测区域113发出的辐射和/或辐射事件(例如，伽马光子)。在一些实施例中，探测器112可以包括至少两个探测器单元。探测器单元可以包括闪烁探测器(例如，碘化铯探测器)或气体探测器。探测器单元可以是单行探测器或多行探测器。

网络120可以包括能促进成像系统100的信息和/或数据的交换的任何合适的网络。在一些实施例中，成像系统100中一个或多个的组件(例如，成像设备110、处理设备140、存储设备150、终端130)可以通过网络120与成像系统100的一个或多个其他组件进行信息和/或数据通讯。例如，处理设备140可以经由网络120从成像设备110获得图像数据。又例如，处理设备140可以经由网络120从终端130获得用户指令。

网络120可以是或可以包括公共网络(例如，互联网)、专用网络(例如，局部区域网络(LAN))、有线网络、无线网络(例如，802.11网络、无线保真(Wireless Fidelity，Wi-Fi)网络)、帧中继网络、虚拟专用网络(VPN)、卫星网络、电话网络、路由器、集线器、交换机、服务器计算机和/或其任何组合。例如，网络120可以包括电缆网络、有线网络、光纤网络、电信网络、内联网、无线局部区域网络(WLAN)、城域网(MAN)、公共交换电话网(PSTN)、蓝牙^TM网络、紫峰(ZigBee^TM)网络、近场通信(NFC)网络等，或其任意组合。

终端130可以连接到成像设备110、处理设备140和/或存储设备150，和/或与之通信。例如，终端130可以显示目标物的ROI的生理状况。在一些实施例中，终端130可以包括移动设备131、平板计算机132、膝上型计算机133等，或其任意组合。在一些实施例中，终端130可以包括输入设备、输出设备等。在一些实施例中，终端130可以是处理设备140的一部分。

处理设备140可以处理从成像设备110、存储设备150、终端130或成像系统100的其他组件获得的数据和/或信息。在一些实施例中，处理设备140可以是单个服务器或服务器组。服务器组可以是集中式或分布式的。例如，处理设备140可以利用一个或多个训练样本训练初始模型以生成运动预测模型。又例如，处理设备140可将运动预测模型应用于生理运动测量。在一些实施例中，运动预测模型可以由处理设备生成，而运动预测模型的应用可以在其他处理设备上执行。在一些实施例中，运动预测模型可以由不同于成像系统100的系统的处理设备，或与在其上应用运动预测模型的处理设备140不同的服务器生成。例如，运动预测模型可以由提供和/或维护这种运动预测模型的供应商的第一系统生成，而应用运动预测模型进行生理运动测量可以在买方客户的第二系统上执行。在一些实施例中，运动预测模型可以响应于生理运动测量请求被在线应用。在一些实施例中，运动预测模型可以离线确定或生成。

在一些实施例中，处理设备140可以位于成像系统100本地，或远离成像系统100。例如，处理设备140可以经由网络120访问来自成像设备110、存储设备150和/或终端130的信息和/或数据。又例如，处理设备140可以直接连接到成像设备110、终端130和/或存储设备150，以访问信息和/或数据。在一些实施例中，处理设备140可以在云平台上实现。例如，云平台可以包括私有云、公共云、混合云、社区云、分布式云、云间、多云等，或其组合。在一些实施例中，处理设备140可以由具有如图2所示的一个或多个组件的计算设备200来实现。

在一些实施例中，处理设备140可以包括一个或多个处理器(例如，单芯片处理器或多芯片处理器)。仅作为示例，处理设备140可以包括中央处理单元(CPU)、专用集成电路(ASIC)、专用指令集处理器(ASIP)、图像处理单元(GPU)、物理运算处理单元(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、控制器、微控制器单元、精简指令集计算机(RISC)、微处理器等，或其任意组合。

存储设备150可以存储数据、指令和/或任何其他信息。在一些实施例中，存储设备150可以存储从处理设备140、终端130和/或成像设备110获得的数据。在一些实施例中，存储设备150可以存储处理设备140可以执行的，或处理设备140可以用来执行本申请中描述的示例性方法的数据和/或指令。在一些实施例中，存储设备150包括大容量存储设备、可移动存储设备、易失性读写内存、只读内存(ROM)等，或其任意组合。在一些实施例中，可以在本申请中其他地方描述的云平台上实现存储设备150。在一些实施例中，存储设备150可以连接至网络120以与成像系统100的一个或多个其他组件(例如，处理设备140、终端130)通信。成像系统100的一个或多个组件可以经由网络120访问存储在存储设备150中的数据或指令。在一些实施例中，存储设备150可以是处理设备140的一部分。

关于成像系统100的以上描述旨在是说明性的，而不是限制本申请的范围。对于本领域普通技术人员来说，许多替代、修改和变化将是显而易见的。本文描述的示例性实施例的特征、结构、方法和其他特性可以以各种方式组合以获得另外的和/或替代的示例性实施例。例如，成像系统100可以包括一个或多个附加组件。附加地或替代地，可以省略上述成像系统100的一个或多个组件。又例如，成像系统100的两个或以上组件可以集成到单个组件中。

图2是根据本申请一些实施例所示的计算设备200的示例性硬件和/或软件组件的示意图。如本文所述，计算设备200可用于实现成像系统100的任何组件。例如，处理设备140和/或终端130可以分别通过其硬件、软件程序、固件或其组合在计算设备200上实现。尽管为了方便起见仅示出了一个这样的计算设备，与本文描述的成像系统100有关的计算机功能可以以分布方式在多个相似平台上实现，以分配处理负荷。如图2所示，计算设备200可以包括处理器210、存储器220、输入/输出(I/O)230和通信端口240。

处理器210可以执行计算机指令(例如，程序代码)并执行与本文描述的技术相符的处理设备140的功能。所述计算机指令可以包括能执行本申请描述的特定功能的指令，例如，例程、程序、对象、组件、数据结构、过程、模块和函数等。例如，处理器210可以处理从成像设备110、终端130、存储设备150和/或成像系统100的任何其他组件获得的图像数据。在一些实施例中，处理器210可以包括一个或多个硬件处理器，诸如微控制器、微处理器、精简指令集计算机(RISC)、特定应用集成电路(ASIC)、特定应用指令集处理器(ASIP)、中央处理单元(CPU)、图形处理单元(GPU)、物理处理单元(PPU)、微控制器单元、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、高阶RISC机器(ARM)、可编程逻辑器件(PLD)、能够执行一个或多个功能的任何电路或处理器等，或其任何组合。仅仅为了说明，在计算设备200中仅描述了一个处理器。然而，需要注意的是，本申请中的计算设备200可以包括多个处理器，因此本申请中描述的由一个处理器实现的操作和/或方法也可以共同地或独立地由多个处理器实现。例如，如果在本申请中计算设备200的处理器执行操作A和操作B，则应该理解，操作A和操作B也可以由计算设备中的两个或以上不同的处理器共同地或单独地执行(例如，第一处理器执行操作A并且第二处理器执行操作B，或者第一处理器和第二处理器共同执行操作A和B)。

存储器220可以存储从成像设备110、终端130、存储设备150和/或成像系统100的任何其他组件获得的数据/信息。在一些实施例中，存储器220包括大容量存储设备、可移动存储设备、易失性读写内存、只读内存(ROM)等，或其任意组合。在一些实施例中，存储器220可以存储一个或多个程序和/或指令以执行在本申请中描述的示例性方法。例如，存储器220可以存储供处理设备140执行以生成运动预测模型的程序。

I/O 230可以输入和/或输出信号、数据、信息等。在一些实施例中，I/O 230可以实现用户与处理设备140的交互。在一些实施例中，I/O 230可以包括输入设备和输出设备。输入设备可能包括可以通过键盘、触摸屏(例如，带有触觉或触觉反馈)、语音输入、眼睛跟踪输入、大脑监控系统或任何其他类似输入机制输入的字母数字键和其他键。通过输入设备接收到的输入信息可以通过总线等传输到另一个组件(例如，处理设备140)以进行进一步处理。其他类型的输入设备可能包括光标控制设备，例如鼠标、轨迹球或光标方向键等。输出设备可以包括显示器(例如，液晶显示器(LCD)、基于发光二极管(LED)的显示器、平板显示器、曲面屏幕、电视设备、阴极射线管(CRT)、触摸屏、扬声器、打印机等，或其组合。

通信端口240可以连接到网络(例如，网络120)以促进数据通信。通信端口240可以在处理设备140和成像设备110、终端130和/或存储设备150之间建立连接。所述连接可以是有线连接、无线连接、可以实现数据传输和/或接收的任何其他通信连接，和/或这些连接的任何组合。有线连接可以包括电缆、光缆、电话线等或其任意组合。在一些实施例中，通信端口240可以是专门设计的通信端口。例如，通信端口240可以根据医学数字成像和通信(DICOM)协议设计。

图3和图4是根据本申请一些实施例所示的示例性处理设备140A和140B的框图。处理设备140A和140B可以是图1描述的处理设备140的示例性实施例。在一些实施例中，处理设备140A可以被配置为在生理状况测量中应用运动预测模型。处理设备140B可以被配置为获得一个或多个训练样本和/或使用训练样本生成运动预测模型。在一些实施例中，处理设备140A和140B可以分别在处理单元上实现(例如，图2所示的处理器210)。仅作为示例，可以在终端设备的CPU 340上实现处理设备140A，可以在计算设备200上实现处理设备140B。可替换地，处理设备140A和140B可以在相同的计算设备200或相同的CPU 340上实现。例如，处理设备140A和140B可以在同一计算设备200上实现。

如图3所示，处理设备140A可以包括获取模块401、识别模块402、运动场确定模块403和生理状况确定模块404。获取模块401可以被配置为获取显示ROI的生理运动的至少两张图像。显示ROI的生理运动的图像可以对应于ROI的至少两个运动阶段。在一些实施例中，所述图像可以至少包括ROI的参考图像和目标图像，参考图像对应ROI的参考运动阶段，目标图像对应ROI的目标运动阶段。关于获取显示ROI的生理运动的图像的更多描述可以在本申请中的其他地方可以找到。参见，例如图5中的操作501及其相关描述。

识别模块402可以被配置为从参考图像确定与ROI有关的一个或多个特征点。特征点可以指ROI中可用于测量ROI生理运动的代表点。关于确定特征点的更多描述可以在本申请的其他地方找到。参见，例如图5中的操作502及其相关描述。运动场确定模块403可以被配置为利用运动预测模型确定一个或多个特征点从参考运动阶段到目标运动阶段的运动场。关于确定特征点的运动场的更多描述可以在本申请的其他地方找到。参见，例如图5中的操作503及其相关描述。生理状况确定模块404可以被配置为基于运动场来确定ROI的生理状况。关于确定ROI的生理状态的更多描述可以在本申请的其他地方找到。参见，例如图5中操作504及其描述。

如图4所示，处理设备140B可以包括获取模块405和模型生成模块406。

获取模块405可以被配置为获取一个或多个训练样本。每个训练样本可以包括显示样本ROI的生理运动的第一图像和第二图像，其中，第一图像和第二图像可以分别对应于样本ROI的第一运动阶段和第二运动阶段。关于获取训练样本的更多描述可以在本申请的其他地方找到。参见，例如图6中的操作601及其相关描述。

模型生成模块406可以被配置为根据无监督学习技术，利用训练样本，通过训练初始模型生成运动预测模型。关于生成运动预测模型的更多描述可以在本申请的其他地方找到。参见，例如图6中的操作602及其相关描述。

应该注意的是，上述仅出于说明性目的而提供，并不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不会背离本申请的范围。应当理解，图3和图4所示的处理设备或各模块可以利用各种方式来实现。例如，在一些实施例中，处理设备及其模块可以通过硬件、软件或者软件和硬件的结合来实现。在一些实施例中，处理设备140A和/或处理设备140B可以共享两个或多个模块，并且任何一个模块可以分为两个或多个单元。例如，处理设备140A和140B可以共享相同的获取模块；即，获取模块401和获取模块405是同一模块。在一些实施例中，处理设备140A和/或处理设备140B可以包括一个或多个附加模块，例如用于存储数据的存储模块(未示出)。在一些实施例中，处理设备140A和处理设备140B可以集成为一个处理设备140。

图5是根据本申请一些实施例所示的确定ROI的生理状况的示例性过程的流程图。在一些实施例中，过程500可以由成像系统100执行。例如，过程500可以以一组指令(例如，应用程序)的形式被实现，该组指令被存储在存储设备(例如，存储设备150、存储器220和/或存储器390)中。在一些实施例中，处理设备140A(例如，计算设备200的处理器210和/或图3中所示的一个或多个模块)可以执行该组指令，由此被指示执行过程500。

如本文所使用的，ROI可以包括经历生理运动的目标物体(例如，患者或另一生物)的任何区域。为了说明的目的，以下描述将患者作为示例性目标对象，这不是要限制本申请的范围。示例的ROI可能是进行心脏运动的心脏、进行呼吸运动的肺部、充满血液并形成血流的区域、进行胃肠运动的胃、进行脑部运动(例如，具有脑血流)的大脑、因心脏运动而引起生理运动的胸部、因呼吸运动而引起生理运动的腹部等，或其任意组合。在一些实施例中，ROI可能包括患者的心脏。如图8所示，心脏可以在径向、周向和纵向上经历收缩和舒张运动。

在501中，处理设备140A(例如，获取模块401)可以获取显示ROI的生理运动的至少两张图像。

显示ROI的生理运动的图像可以对应于ROI的至少两个运动阶段。例如，心动周期可包括收缩期(在此期间左心室和右心室收缩并将血液分别喷射到主动脉和肺动脉中)和舒张期(在此期间心室舒张)。根据诸如心率和/或心脏的运动幅度等参数，心动周期可以分为至少两个心动期，例如5或10个心动期。501中获取的图像可以对应于至少两个心动期，并且显示心脏的心脏运动。又例如，呼吸周期可以包括吸气期(在此期间目标物的胸部膨胀，空气流入肺部)和呼气期(在此期间胸部收缩，空气被排出肺部)。根据诸如呼吸运动的时间或幅度等参数，可以将呼吸周期可以分为至少两个呼吸阶段。例如可以分为四个呼吸阶段，包括吸气中期、吸气末期、呼气中期和呼气末期。图像可以对应于至少两个呼吸阶段，并且显示肺的呼吸运动。

在一些实施例中，所述图像可以至少包括对应于参考运动阶段的参考图像和对应于目标运动阶段的目标图像。参考运动阶段和目标运动阶段可以是ROI的任何两个不同的运动阶段。仅作为示例，对于心脏运动，参考运动阶段可以是舒张末(end of diastole，ED)期，目标运动阶段可以是收缩末(end of systole，ES)期，或者参考运动阶段可以是ES期，而目标运动阶段可以是ED期。又例如，对于呼吸运动，参考运动阶段可以是吸气末期，目标运动阶段可以是呼气末期，或者参考运动阶段可以是呼气末期，目标运动阶段可以是吸气末期。

在一些实施例中，图像可以包括2D图像(例如，切片图像)、3D图像、4D图像(例如，相对于时间的一系列3D图像)，和/或任何相关图像数据(例如，扫描数据、投影数据等)。在一些实施例中，可以使用图像获取设备(例如系统100的成像设备110或外部图像获取设备)获取的图像数据来重建所述图像。例如，可以利用CT设备、MRI设备、超声检查系统、X射线设备、PET设备等，通过对患者进行扫描来获取所述图像。在一些实施例中，所述图像可以包括至少两个心脏MRI(CMRI)图像，所述CMRI图像由MRI设备对患者执行MR扫描而获取。在MR扫描期间，可以获取代表患者心脏运动的心电图(ECG)信号。可以根据ECG信号将患者的心动周期划分为至少两个心动期，并可以将MR扫描中获取的图像数据划分为与心动期对应的至少两张图像数据集。然后，可以基于图像数据集重建CMRI图像。在一些实施例中，CMRI图像可以包括心脏的短轴图像(例如，图9A中的图像901和902)和/或心脏的长轴图像(例如，图9B中的图像907和908)。长轴图像可以显示心脏沿如图8所示的纵向的横截面。短轴图像可以示出心脏垂直于纵向的横截面。在一些实施例中，可以预先生成图像并将其存储在存储设备(例如，存储设备150、存储器220、存储器390或外部源)中。处理设备140A可以从存储设备获取所述图像。

在502中，处理设备140A(例如，识别模块402)可以从参考图像中确定与ROI相关的一个或多个特征点。

如本文所使用的，特征点可以指ROI中可用于测量ROI生理运动的代表点。例如，如果ROI是患者的肺部，则参考图像中与肺部相关的特征点可能包括肺部血管或气管的一个或多个的分支。又例如，如果ROI是患者的心脏，则参考图像中与心脏相关的特征点可以包括一对或多对特征点。每对特征点可以包括位于心脏内膜(即，心肌的内边界)的内点(inner point)和与之对应的位于心脏外膜(即，心肌的外边界)的外点(outer point)。如本文所用，位于或者基本上位于穿过心脏中心(例如，左心室的重心)的同一直线的内点和外点可被认为是相互对应的。例如，短轴CMRI图像中的心脏中心可以指短轴CMRI图像中的心脏内膜或心脏外膜的中心点。

在一些实施例中，可以根据用户输入从参考图像中确定特征点。例如，通过终端130的用户界面，用户可以在参考图像中手动标记一个或多个特征点。或者，可以通过处理设备140A从参考图像自动确定特征点。又或者，可以通过处理设备140A从参考图像中半自动地确定特征点。例如，特征点确定可以由处理设备140A基于图像分析算法结合用户干预来执行。示例性用户干预可以包括提供与图像分析算法有关的参数、提供与特征点有关的位置参数、对处理设备140A标识的初步特征点进行调整或确认、提供指令以使处理设备140A重复或重做特征点确定等。

为了说明的目的，下文提供了用于从参考图像确定心脏的内点和与之对应的外点的示例性过程。在一些实施例中，处理设备140A可以从参考图像对心脏的心内膜和心外膜进行分割。例如，用户可以通过用户界面从参考图像手动标注心内膜和心外膜，并且处理设备140A可以根据用户标注来分割心内膜和心外膜。又例如，处理设备140A可以根据图像分析算法(例如图像分割算法)自动地对心肌的心内膜和心外膜进行分割。可替代地，可以基于图像分析算法并结合用户提供的信息，由处理设备140A半自动地对心内膜和心外膜进行分割。用户可以提供的示例性信息包括与图像分析算法有关的参数、与心内膜和心外膜有关的位置参数、对处理设备140A生成的初步心内膜和/或初步心外膜的调整或确认等。

心肌的心内膜和心外膜被分割后，处理设备140A可以根据心内膜和心外膜的位置，从参考图像中识别出心内膜上的内点和心外膜上与该内点对应的外点。类似于上文所述的心内膜和心外膜的确定方式，可以根据关于内点和与之对应的外点的用户标注来确定内点和与之对应的外点。或者，内点和其对应的外点可以由处理设备140A基于心内膜和心外膜的位置来自动确定。例如，处理设备140A可以确定心外膜与连接内点和心脏中心的线之间的交点，并将该交点指定为内点的对应外点。又例如，处理设备140A可以利用心内膜和心外膜之间的拉普拉斯方程来确定内点和其对应的外点。在一些实施例中，处理设备140A可以确定以心脏中心为圆心、穿过内点的圆(表示为C1)。利用拉普拉斯方程，处理设备140A可以通过扩大圆C1的半径来进一步确定一个或多个候选圆。对于每个候选圆，处理设备140A可以确定候选圆与圆C1的法线在内点处的交点。若某个候选圆的交点位于心脏外膜上，则该交点可以被确定为对应于内点的外点。

在一些实施例中，处理设备140A可以从心脏的参考图像中确定出至少两对内点和外点。例如，处理设备140A可以将心脏分割成至少两个子区域，每个区域可以包括特定的动脉。对于每个子区域，可以从子区域中识别出内点和与之对应的外点，其中，识别出的内点和外点可以用于分析该子区域的生理状况。

在503中，处理设备140A(例如，运动场确定模块403)可以利用运动预测模型，确定一个或多个特征点从参考运动阶段到目标运动阶段的运动场。

特征点的运动场可以包括一个或多个运动向量(motion vector)，每个运动向量对应于一个或多个特征点中的一个特征点。特征点的运动向量可用于描述特征点在参考运动阶段和目标运动阶段之间的运动。仅作为示例，参考图像中某个特征点的位置可以表示为第一坐标(X1，Y1，Z1)。该特征点在目标图像中具有对应点，该特征点与其对应点代表ROI上相同的物理点。可以将与该特征点的对应点的位置表示为第二坐标(X2，Y2，Z2)。该特征点从参考运动阶段到目标运动阶段的运动向量可以是(Ux，Uy，Uz)，其中Ux、Uy和Uz分别等于(X1-X2)、(Y1-Y2)和(Z1-Z2)。在一些实施例中，可能存在与ROI相关的至少两个特征点。运动场可以包括至少两个特征点或其中部分特征点在参考运动阶段和目标运动阶段之间的运动向量。

如本文所使用的，运动预测模型可以是神经网络模型，其被配置为接收对应ROI两个不同运动阶段的一对图像，并输出该对图像之间(或相对于该对图像)的运动场。例如，如图10所示，可以将对应于两个心脏阶段的参考图像1001和目标图像1002输入到运动预测模型中，运动预测模型可以输出从参考图像1001到目标图像1002的运动场。运动预测模型输出的运动场可以包括参考图像1001中每个点从参考运动阶段到目标运动阶段的运动向量。参考图像1001中特征点1003A的运动向量可以由处理设备140A基于整个参考图像1001的运动场来确定。可选地，可以基于特征点1003A的运动向量，在目标图像1002中确定对应于特征点1003A的特征点1003B。

在一些实施例中，可以通过网络(例如，网络120)从成像系统100的一个或多个组件或外部源获得运动预测模型。例如，运动预测模型可以预先由计算设备(例如，处理设备140B)训练，并存储在成像系统100的存储设备(例如，存储设备150、存储器220和/或存储器390)中。处理设备140A可以访问存储设备并获得所述运动预测模型。在一些实施例中，运动预测模型可以根据机器学习算法生成。机器学习算法可以包括但不限于人工神经网络算法、深度学习算法、决策树算法、关联规则算法、归纳逻辑编程算法、支持向量机算法、聚类算法、贝叶斯网络算法、强化学习算法、表示学习算法、相似度和度量学习算法、稀疏字典学习算法、遗传算法、基于规则的机器学习算法等，或其任意组合。

在一些实施例中，运动预测模型可以由计算设备(例如，处理设备140B或外部处理设备)使用监督学习算法(或称为监督训练过程或技术)训练生成。仅作为示例，该计算设备可以获取一个或多个有标注(annotated)的训练样本。每个有标注的训练样本可以包括样本ROI的第一标注图像、样本ROI的第二标注图像，和第一标注图像与第二标注图像之间(或相对于第一标注图像和第二标注图像)的样本运动场，其中所述第一标注图像对应样本ROI的第一运动阶段，第二标注图像对应样本ROI的第二运动阶段。对于有标注的训练样本，第一标注图像中可以标注出与样本ROI相关的一个或多个第一样本特征点，第二标注图像中可以标注出与第一样本特征点对应的一个或多个第二样本特征点。有标注的训练样本的样本运动场可以通过对第一标注图像和第二标注图像进行图像配准来确定。在一些实施例中，样本ROI可以与ROI具有相同的类型。如本文中所使用的，当两个ROI属于相同类型的器官或组织时，它们被认为是相同类型。每个有标注的训练样本的第一标注图像和第二标注图像可以是与如上所述的参考图像和目标图像相同类型的图像。如本文所使用的，使用相同类型的成像技术(例如，MRI技术、CT技术)生成的两张图像被认为是相同类型。每个有标注的训练样本的第一样本特征点和第二样本特征点可以根据本申请其他地方(例如，502和相关描述)所述的特征点确定技术被手动、自动或半自动标注。

该计算设备可以通过根据监督学习技术，利用经标记的训练样本，通过训练第一初始模型来进一步生成运动预测模型。仅作为示例，每个有标注的训练样本的第一标注图像和第二标注图像可以被输入到第一初始模型，其可以输出从第一标注图像到第二标注图像的预测运动场。计算设备可以基于每个有标注的训练样本的预测运动场和已知样本运动场来确定第一损失函数(loss function)的值。例如，第一损失函数可以测量有标注的训练样本的预测运动场和样本运动场之间的差值。或者，对于每个训练样本，计算设备可以根据整个第一标注图像的预测运动场和样本运动场，分别确定从第一运动阶段到第二运动阶段的第一样本特征点的预测运动场和实际运动场。第一损失函数可以测量每个有标注的训练样本的第一样本特征点的预测运动场与实际运动场之间的差值。可以迭代地训练第一初始模型以最小化第一损失函数。第一初始模型的训练后的模型可以被指定为运动预测模型。

在一些实施例中，运动预测模型可以由计算设备(例如，处理设备140B或外部处理设备)使用无监督的学习算法进行训练。例如，可以使用一个或多个未标注的训练样本对运动预测模型进行训练。在本申请的其他地方可以找到有关根据无监督学习技术生成运动预测模型的更多描述。参见，例如图6及其相关描述。

在504中，处理设备140A(例如，生理状况确定模块404)可以基于运动场确定ROI的生理状况。ROI的生理状况可以显示ROI的健康状态。例如，基于运动场，处理设备140A可以确定显示ROI的生理状况的生物学参数的值、显示ROI的生理状况的分析结果(例如，确定ROI的生物学参数的值是否在正常区域内、预测ROI患有某种疾病的风险、关于ROI的治疗建议)等，或其任意组合。

为了说明的目的，以下描述如何确定患者心脏的生理状态，这无意于限制本申请的范围。在一些实施例中，处理设备140A可以直接基于运动场来确定心脏的生理状况。仅作为示例，在502中确定的特征点可以包括与心脏相关的至少两个特征点。处理设备140A可以确定整个心脏的运动参数，以显示整个心脏的生理状况。运动参数可以是全部或部分特征点的运动向量的平均值、最大值、最小值等。处理设备140A可以确定运动参数是否在正常范围内。运动参数超出正常范围可能表示心脏处于异常状态(例如，患有心肌功能障碍)。又例如，特征点可能位于心脏的不同子区域。处理设备140A可以基于特定子区域中的特征点的运动向量，来分析特定子区域的运动参数，以确定特定子区域的生理状况。可替代地，处理设备140A可以通过比较不同子区域的运动参数来确定心脏的生理状况。例如，如果某个子区域的运动参数比所有子区域的运动参数平均大一个阈值，则该子区域可以被视为处于异常状态。

在一些实施例中，处理设备140A可以基于运动场确定心脏的生物学参数，并根据该生物学参数分析心脏的生理状况。例如，可以确定与心脏有关的应力值(strain value)以进行应力分析。应力，也称为心肌收缩力，是量化患者心肌功能障碍的一项指标。如502所描述的，与心脏有关的一个或多个特征点可以包括一对或以上对特征点，每对特征点都包括一个内点和一个与之对应的外点。在一些实施例中，基于位于心脏的某个子区域上的一对内点和外点的运动向量，处理设备140A可以确定该子区域的应力值。

图9A是根据本申请一些实施例所示的心脏的示例性参考图像901和目标图像902的示意图。参考图像901和目标图像902分别是对应于阶段0和阶段t的短轴CMRI图像。可以从参考图像901中确定位于心脏第一子区域上的一对特征点，包括内点903和与之对应的外点904。可以基于内点903和外点904的运动向量来确定第一子区域的径向上的应力值(也被称为径向应力值)和周向上的应力值(也称为周向应力值)。

仅作为示例，处理设备140A可以通过分析参考图像901来确定在阶段0中内点903与外点904之间的距离R₀。处理设备140A还可以基于内点903和外点904的运动向量来确定阶段t中内点903和外点904之间的距离R_t。例如，可以基于内点903和外点904的运动向量，在目标图像902中分别确定与内点903对应的内点905和与外点904对应的外点906。内点905和外点906之间的距离可以被确定为距离R_t。此外，处理设备140A可以根据以下等式(1)和(2)基于R0和Rt分别确定第一子区域的径向应力值ε_R和/或周向应力值ε_C：

图9B是根据本申请一些实施例所示的心脏的示例性参考图像907和目标图像908的示意图。参考图像907和目标图像908可以分别是对应于阶段0和阶段t的长轴CMRI图像。可以从参考图像907中确定出位于第二子区域的外点909。可以基于外点909的运动向量来确定第二子区域的纵向上的应力值(也称为纵向应力值)。仅作为示例，处理设备140A可以基于参考图像907，来确定在阶段0中的外点909与心脏的上部上的参考平面之间的距离L₀。处理设备140A还可以基于外点909的运动向量确定目标图像908中的外部点910，该外点910可以对应于外点909。然后，处理设备140A可以确定在阶段t中的外点910与心脏的上部上的参考平面之间的距离L_t。另外，处理设备140A可以根据以下等式(3)，基于L₀和L_t确定第二子区域的纵向应力值ε_L：

确定某子区域的应力值后，处理设备140A可以根据确定的应力值确定某子区域的生理状况。仅作为示例，如果应力值不在正常应力范围内，则可以将某些子区域视为异常状态。在一些实施例中，可以确定心脏的至少两个子区域的应力值。可以将子区域的应力值相互比较，以识别异常的子区域(例如，应力值与平均应力值的差值大于阈值的异常子区域)。又例如，处理设备140A可以基于不同子区域的应力值来确定整个心脏的总体应力值，并且可以基于总体应力值来确定整个心脏的生理状况。

在一些实施例中，在501中，可以获得对应于至少三个运动阶段的至少三张图像。至少三张图像可以形成至少两对图像。例如，可以获得从ED期到ES期或者从ES期到ED期的10张CMRI图像。对应于连续心动期的每两张图像可以形成一对图像。可选地，对应于不同心动期的任何两个不同图像可以形成一对图像。对于每对图像，处理设备140A可以执行操作502和503以确定对应的运动场。处理设备140A可以基于运动场来确定ROI的生理状况。仅作为示例，可以确定运动场随时间的变化以评估ROI的生理状况。

图6是根据本申请一些实施例所示的使用无监督学习技术生成运动预测模型的示例性过程的流程图。在一些实施例中，过程600可以由成像系统100执行。例如，过程600可以被实现为存储在存储设备(例如，存储设备150、存储器220和/或存储器390)中的一组令(例如，应用程序)。在一些实施例中，处理设备140B(例如，计算设备200的处理器210和/或图4中所示的一个或多个模块)可以执行该组指令，并因此可以被指示执行过程600。可替代地，过程600可以由提供和/或维持这种运动预测模型的供应商的系统的计算设备执行，其中供应商的系统不同于成像系统100。为了说明的目的，下文以处理设备140B为例描述过程600的实现过程，而并不旨在限制本申请的范围。

在601中，处理设备140B(例如，获取模块405)可以获取一个或多个训练样本。

每个训练样本可以包括显示样本ROI的生理运动的图像A(或也称为“第一图像”)和图像B(或也称为第二图像)，其中，图像A和图像B分别对应于样本ROI的第一运动阶段和第二运动阶段。如本文所使用的，训练样本的样本ROI可以指在训练运动预测模型中使用的样本目标物(例如样本患者)的ROI。

在一些实施例中，每个训练样本的样本ROI可以与图5所述的ROI具有相同的类型。每个训练样本的图像A和B可以与图5所述的参考图像和目标图像具有相同的类型。例如，运动预测模型可以在过程500中用于分析对应于两个心脏阶段的两张心脏PET图像，以确定患者心脏在两个心脏阶段之间的生理运动。在这样的情况下，每个训练样本的样本ROI可以是样本患者的心脏，图像A和B可以是对应的样本患者在不同心脏阶段的心脏PET图像。

在一些实施例中，501中ROI的图像的获取方式可以类似于训练样本的图像A和B的获取方式。例如，训练样本的图像A和B可以由图像获取设备通过扫描样本患者来获得。或者，可以从存储图像A和B的存储设备(例如，存储设备150或外部源)中获得图像A和B。

在602中，处理设备140B(例如，模型生成模块406)可以根据无监督学习技术，利用训练样本训练初始模型生成运动预测模型。

在一些实施例中，处理设备140B可以通过使损失函数最小化训练初始模型。损失函数可用于评估模型的准确性和可靠性，例如，损失函数越小，模型的可靠性就越高。当初始模型的损失函数最小时，处理设备140B可以将训练后的模型的至少一部分指定为运动预测模型。在一些实施例中，处理设备140B可以通过执行图7中的过程700中一个或多个操作训练初始模型。

为了说明的目的，在图11中示出了根据本申请一些实施例的示例性初始模型1100。如图11所示，初始模型1100可以包括生成器(generator)1102和转换层(transformation layer)

1104。一个或多个训练样本可以用来训练初始模型1100以生成第一训练模型，每个训练样本都包含对应不同心动期的一对CMRI图像A和B(也称为图像对(A，B))。

以图11所示的训练样本1101为例，生成器1102可以预测从图像A到图像B的第一运动场1103。转换层1104可以根据第一运动场1103使图像A变形(warp)以生成图像B'，其可以被视为预测的图像B(或也被称为预测的第二图像)。仅作为示例，可以根据图像A中每个像素(或体素)的运动向量来使每个像素(或体素)变形，以生成训练样本1101的图像B'。

在一些实施例中，生成器1102和转换层1104可以是能够各自实现其功能的任何神经网络组件。仅作为示例，生成器1102可以是卷积神经网络(CNN)。转换层1104可以是空间转换网络。在一些实施例中，初始模型1100的损失函数可能与每个训练样本的图像B和图像B'之间的第一差值有关。例如，训练样本可以包括至少两个训练样本。损失函数可用于测量训练样本的第一差值的总体水平(例如，平均值)。可以在模型训练中最小化损失函数，从而可以局部或全局地最小化训练样本的图像B和图像B'之间的第一差值。如本文所使用的，两张图像之间的差值可以用能测量两张图像之间的相似度或差值的任何度量来测量。仅作为示例，可以基于图像相似度算法确定两幅图像之间的差值，示例性的图像相似度算法可以包括峰值信噪比(PSNR)算法、结构相似度(SSIM)算法、感知哈希算法、余弦相似度算法、基于直方图的算法、欧几里德距离算法等，或其任意组合。

可选地，对于每个训练样本，处理设备140B还可以使用初始模型1100确定从训练样本的图像B到图像A的第二运动场。例如，对于训练样本1101，图像对(A，B)可以被变换成图像对(B，A)，其可以被输入到生成器1102中以获得训练样本1101的第二运动场。处理设备140B可以进一步确定训练样本1101的第二运动场的相反运动场(或称为反向运动场)。从理论上讲，如果生成器1102足够准确(例如，精度高于阈值)，则第一运动场1103可以基本上等于第二运动场的相反运动场。可以确定相反运动场和第一运动场1103之间的第二差值，以评估生成器1102的准确性。在一些实施例中，在训练初始模型1100时可以考虑每个训练样本的第二差值。例如，可以确定运动一致性损失以测量训练样本的第二差值的总体水平，并将运动一致性损失并入初始模型1100的损失函数中。这可以提高第一训练模型的一致性和可靠性。

在一些实施例中，初始模型1100还可包括如图11所示的判别器(discriminator)1105。包括判别器1105的初始模型1100也可以被称为生成对抗网络(generativeadversarial network，GAN)模型。对于训练样本1101，可以将判别器1105配置为接收训练样本1101的图像B和B'，并辨别哪个是真实图像，以生成针对图像B和B'的判别结果。例如，判别结果可以包括图像B是否为真实图像、图像B为真实图像的概率、图像B'是否为真实图像、图像B'为真实图像的概率等，或其任意组合。在一些实施例中，判别器1105可以是任何可以实现其功能的神经网络组件。仅作为示例，判别器1105可能是图像分类器、patch GAN判别器等。在一些实施例中，可以基于每个训练样本的第一差值、判别结果以及可选地第二差值来确定包括判别器1105的初始模型1100的损失函数。在一些实施例中，包括判定别器1105的初始模型1100的损失函数可能是GAN损失。

在一些实施例中，初始模型可以是初始模型1200，如图12所示。可以使用初始模型1100的相同或相似的训练样本来训练初始模型1200，以生成第二训练模型。初始模型1200可以包括前向通道(forward pipeline)(图12所示的左侧部分)和后向通道(backwardpipeline)(图12所示的右侧部分)。前向和后向通道可各自包括图11所述的初始模型1100相同或相似的配置。例如，如图12所示，前向通道可以包括生成器1102A、转换层1104A和判别器1105A。后向通道可以包括生成器1102B、转换层1104B和判别器1105B。

对于训练样本1101，图像对(A，B)和图像对(B，A)可以分别输入到前向通道和后向通道中。前向通道可用于根据图像B使图像A变形，生成图像B'(即预测图像B)。例如，生成器1102A可以预测从训练样本1101的图像A到图像B的运动场1103A。转换层1104A可以根据运动场1103A使图像A变形生成图像B'。判别器1105A可以被配置为生成图像B和B'之间的判别结果。后向通道可用于根据图像A使图像B变形，生成图像A'(即，预测图像A)。例如，生成器1102B可以预测从训练样本1101的图像B到图像A的运动场1103B。转换层1104B可以根据运动场1103B使图像B变形生成图像A'。判别器1105B可以被配置为生成图像A和A'之间的判别结果。

在一些实施例中，可以训练初始模型1200以最小化初始模型1200的损失函数。初始模型1200的损失函数可以包括与前向通道相关联的第一组件和/或与后向通道相关联的第二组件。第一组件和第二组件中的每一个都可以类似于结合图11所描述的初始模型1100的损失函数。以前向通道为例，对应的第一组件可能与每个训练样本的图像B和B′之间的第一差值和判别结果有关，还可能与运动一致性损失有关。

在一些实施例中，对于训练样本1101，处理设备140B还可以将图像对(A，B)中的图像A替换为由后向通道生成的图像A′，以生成图像对(A′，B)。图像对(A′，B)可以输入到前向通道中，通过根据训练样本1101的图像B使图像A′变形，以生成图像B′(或也称为第三图像)。换句话说，可以通过对训练样本1101的图像B执行反向变换生成图像A'，并且可以通过对训练样本1101的图像A'进行正向变换生成图像B'。从理论上讲，如果初始模型1200足够准确(例如，精度高于阈值)，则图像B'可以与训练样本1101的图像B基本相同。可以确定图像B和B'之间的第三差值，并在训练初始模型1200时将其考虑在内。例如，可以基于与前向通道有关的第一组件、与后向通道有关的第二组件、每个训练样本的第三差值，或其任意组合来确定初始模型1200的损失函数。

附加地或替代地，对于训练样本1101，处理设备140B可以将图像对(B，A)中的图像B替换为由前向通道生成的图像B′，以生成图像对(B′，A)。图像对(B'，A)可以输入到后向通道中，通过根据图像A使图像B'变形，以生成图像A'(或也称为第四图像)。与前述图像B和B'相似，图像A和A'应当是基本相同的。可以确定图像A和A'之间的第四差值，并在训练初始模型1200时将其考虑在内。例如，可以基于第一组件、第二组件、每个训练样本的第三差值、每个训练样本的第四差值或其任意组合，来确定初始模型1200的损失函数。

在一些实施例中，初始模型1200的训练过程可以是迭代过程。误差可能会在迭代过程中累计，这可能会导致漂移误差(drifting error)，从而导致训练后的模型准确性较低。通过考虑每个训练样本的第三差值和/或第四差值，可以消除或减小漂移误差，从而可以提高第二训练模型的准确性和可靠性。

以上示例的初始模型，例如初始模型1100和1200，仅出于说明的目的而提供，而无意于限制本申请的范围。在一些实施例中，可以省略初始模型的一个或多个组件和/或初始模型可以包括一个或多个附加组件。例如，可以去除初始模型1200的判别器1105A和/或判别器1105B。附加地或可替代地，初始模型的两个或以上组件可以集成到单个组件中。例如，初始模型1200的生成器1102A和生成器1102B可以集成到单个生成器中。

在一些实施例中，所生成的运动预测模型可以被处理设备140B或另一计算设备(例如，处理设备140A)用于图像分割。例如，处理设备140B可以获得对应于第三运动阶段的样本ROI的标注图像和对应于第四运动阶段的样本ROI的未标注图像。第三和第四运动阶段可以是样本ROI的两个不同的运动阶段。标注图像可以包括与样本ROI相关的一个或多个第一特征点的标注。可以根据如本申请其他地方(例如502和相关描述)所述的特征点确定技术来确定标注图像中的第一特征点。通过将标注图像和未标注图像输入到运动预测模型中，处理设备140B可以确定第一特征点从第三运动阶段到第四运动阶段的运动场。第一特征点的运动场的确定方式可以类似于步骤503所述的参考图像中特征点的运动场的确定方式。处理设备140B可以基于第一特征点的标注和第一特征点的运动场，生成对应于样本ROI的第四运动阶段的第二标注图像。第二标注图像可以包括对应于第一特征点的一个或多个的第二特征点的标注。例如，对于某个第一特征点，处理设备140B可以根据该第一特征点的运动向量，通过变换该第一特征点的坐标，来确定未标注图像中与该第一特征点对应的第二特征点的坐标。处理设备140B还可以生成所确定的第二特征点的标注。这样一来，可以在未标注的图像中分割ROI(例如，ROI的第二特征点)，并且可以生成分割图像(即，第二标注图像)。

可选地，可以在分割模型的训练中使用标注图像和第二标注图像。分割模型可以用于从包括ROI的图像分割ROI(例如，心脏或肺)。可以通过成像系统100的计算设备(例如，处理设备140A或140B)或外部计算设备来训练分割模型。在一些实施例中，可以使用监督学习技术训练分割模型。为此，可能需要至少两个用样本ROI(例如，通过边界框)标注的训练图像。训练图像中样本ROI的标注可能既耗时又效率低下。标注图像和第二标注图像可以用作经训练分割模型的有标注的训练样本。这可以减轻标注工作，从而提高分割模型的训练效率。

在一些实施例中，训练好的模型可以包括训练好的判别器，例如，从判别器1105训练而成的模型。训练好的判别器可以用于评估第二标注图像的质量。例如，可以基于从标注图像到未标注图像的运动场对标注图像进行变形。可以将变形的标注图像和未标注图像输入到训练后的判别器中，判别器可以确定变形的标注图像和未标注图像之间的判别结果。可选地，判别结果可以包括变形的标注图像是真实图像的概率。例如，如果概率大于阈值，则可能表明从标注图像到未标注图像的运动场是可靠的，进而，可以表明基于运动场生成的第二标注图像的质量可靠并且适合用于训练分割模型。如果概率小于阈值，则可以丢弃第二标注图像。

图7是根据本申请一些实施例所示的最小化损失函数以生成运动预测模型的示例性过程的流程图。在一些实施例中，过程700可以由成像系统100执行。例如，过程700可以被实现为存储在存储设备(例如，存储设备150、存储器220和/或存储器390)中的一组指令(例如，应用程序)。在一些实施例中，处理设备140B(例如，计算设备200的处理器210和/或图4中所示的一个或多个模块)可以执行该组指令，并且可以因此被指示执行过程700。备选地，过程700可以由提供和/或维持这种运动预测模型的供应商的系统的计算设备来执行，其中供应商的系统不同于成像系统100。为了说明的目的，下文以参考处理设备140B为例描述过程700的实现过程，而并不旨在限制本申请的范围。

如图6所描述的，在一些实施例中，可以使用一个或多个训练样本，通过训练初始模型生成运动预测模型。每个训练样本可以包括对应于样本ROI的不同运动阶段的一对图像A和B。在一些实施例中，初始模型可以包括模型训练前具有一个或多个初始值的一个或多个参数。在训练初始模型时，初始模型的模型参数的值可以被更新，使得初始模型的损失函数被最小化。在一些实施例中，初始模型的训练可能包括一个或多个迭代。为了说明的目的，在下面的描述中描述了一个或多个迭代中的当前迭代。当前迭代可以包括图7所示的过程700的一个或多个操作。

在701中，对于每个训练样本，处理设备140B(例如，模型生成模块406)可以利用前一迭代中确定的更新后的初始模型，生成从训练样本的图像A到图像B的第一运动场。

在702中，对于每个训练样本，处理设备140B(例如，模型生成模块406)可以利用更新后的初始模型，根据第一运动场，使训练样本的图像A变形以生成图像B'。

例如，初始模型可以是图11所示的初始模型1100或图12所示的初始模型1200。为便于描述，前一迭代中确定的初始模型1100和初始模型1200的更新后的初始模型可以分别表示为模型M1和模型M2。训练样本的图像对(A，B)可以被输入到模型M1或模型M2中以获得图像B'。

在703中，对于每个训练样本，处理设备140B(例如，模型生成模块406)可以确定训练样本的图像B'和图像B之间的第一差值。可以基于用于测量两张图像之间的相似度或差值的算法来确定图像B'和图像B之间的第一差值。关于确定训练样本的第一差值的更多描述可以在本申请的其他地方找到。参见，例如操作602及其相关描述。

在704中，处理设备140B(例如，模型生成模块406)可以至少部分基于每个训练样本的第一差值来确定损失函数的值。在一些实施例中，训练样本可以包括至少两个训练样本。损失函数可以被配置为测量训练样本的第一差值的整体水平(例如，平均值)。在一些实施例中，可以基于训练样本的第一差值以及一个或多个其他度量来确定损失函数的值。仅作为示例，如图6所述，初始模型1100的损失函数可能包含运动一致性损失。又例如，如图6所述，初始模型1200的损失函数可以与每个训练样本的第三差值和/或第四差值相关。

在705中，处理设备140B(例如，模型生成模块406)可以确定损失函数的值在当前迭代中是否被最小化。例如，如果在当前迭代中获得的损失函数的值小于预定阈值，则可以认为损失函数的值被最小化。又例如，如果执行了一定数量的迭代，则损失函数的值可以被认为是最小的，或者损失函数收敛使得在连续迭代中获得的损失函数的值之差在阈值之内等。

如果确定损失函数的值被最小化，过程700可以进行到步骤706，其中，处理设备140B(例如，模型生成模块406)可以在当前迭代中将更新后的初始模型的至少一部分指定为运动预测模型。例如，从模型M1中的生成器1102生成的更新后的生成器可以视为训练好的生成器，并被指定为运动预测模型。又例如，从模型M2中的生成器1102A或1102B生成的更新后的生成器可以视为训练好的生成器，并被指定为运动预测模型。

如果确定当前迭代中未将损失函数的值最小化，处理700可以进行到步骤707，其中处理设备140B(例如，模型生成模块406)可以进一步更新所述更新后的初始模型，以用于下一迭代中。

例如，处理设备140B可以根据例如反向传播算法，基于损失函数的值，来进一步更新所述更新后的初始模型的模型参数的值。处理设备140B可以执行下一次迭代，直到损失函数的值最小为止。在某个迭代中将损失函数的值最小化之后，可以将该迭代中的更新后的初始模型的至少一部分指定为运动预测模型。

关于过程500、600和700的以上描述仅出于说明的目的而提供，而无意于限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不会背离本申请的范围。在一些实施例中，过程500、600和/或700可以利用未描述的一个或多个附加操作和/或不用所讨论的一个或多个操作来完成。例如，过程600可以包括附加操作，以将运动预测模型存储在存储设备(例如，存储设备150、存储器220和/或存储器390)中以供进一步使用(例如，用在过程500中)。又例如，过程700可以包括附加操作，其中处理设备140B可以进一步使用一组测试样本来测试运动预测模型，以确定是否满足测试条件。如果不满足测试条件，则可以再次执行过程700以进一步训练初始模型。

上文已对基本概念做了描述，显然，对于阅读此申请后的本领域的普通技术人员来说，上述发明披露仅作为示例，并不构成对本申请的限制。虽然此处并未明确说明，但本领域的普通技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。同时，本申请使用了特定词语来描述本申请的实施例。例如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特性。因此，应当强调并注意的是，本说明书中在不同位置两次或以上提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域的普通技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的过程、机器、产品或物质的组合，或对其任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括韧体、常驻软件、微代码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“单元”、“模块”或“系统”。此外，本申请的各方面可以采取体现在一个或多个计算机可读介质中的计算机程序产品的形式，其中计算机可读程序代码包含在其中。

计算机可读信号介质可能包含一个内含有计算机程序代码的传播数据信号，例如在基带上或作为载波的一部分。此类传播信号可以有多种形式，包括电磁形式、光形式等或任何合适的组合。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通信、传播或传输供使用的程序。位于计算机可读信号介质上的程序代码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF等，或任何上述介质的组合。

本申请各部分操作所需的计算机程序代码可以用任意一种或以上程序设计语言编写，包括面向对象程序设计语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化程序设计语言如C程序设计语言、Visual Basic、Fortran2103、Perl、COBOL 2102、PHP、ABAP，动态程序设计语言如Python、Ruby，和Groovy，或其他程序设计语言等。该程序代码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，尽管上述各种组件的实现可以体现在硬件设备中，但是它也可以实现为纯软件解决方案，例如，在现有服务器或移动设备上的安装。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请的实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。然而，本申请的该方法不应被解释为反映所申明的客体需要比每个权利要求中明确记载的更多特征的意图。相反，发明的主体应具备比上述单一实施例更少的特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。例如，除非另有说明，否则“大约”、“近似”或“基本上”可以指示其所描述的值的±1％、±5％、±10％或±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

本文中提及的所有专利、专利申请、专利申请公布和其他材料(如论文、书籍、说明书、出版物、记录、事物和/或类似的东西)均在此通过引用的方式全部并入本文以达到所有目的，与上述文件相关的任何起诉文档记录、与本文件不一致或冲突的任何上述文件或对迟早与本文件相关的权利要求书的广泛范畴有限定作用的任何上述文件除外。举例来说，如果在描述、定义和/或与任何所结合的材料相关联的术语的使用和与本文件相关联的术语之间存在任何不一致或冲突，则描述、定义和/或在本文件中使用的术语以本文件为准。

最后，应当理解的是，本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此，作为示例而非限制，本申请实施例的替代配置可视为与本申请的指导一致。相应地，本申请的实施例不仅限于本申请明确介绍和描述的实施例。

Claims (17)

1.一种生理运动测量方法，包括：

获取感兴趣区域的参考图像和目标图像，所述参考图像对应感兴趣区域的参考运动阶段，所述目标图像对应感兴趣区域的目标运动阶段，所述目标运动阶段和所述参考运动阶段不同；

从所述参考图像中确定与感兴趣区域相关的一个或多个特征点；

利用运动预测模型，确定所述一个或多个特征点从参考运动阶段到目标运动阶段的运动场，其中所述运动预测模型的输入至少包括所述参考图像和目标图像；以及

基于所述运动场，确定所述感兴趣区域的生理状况。

2.根据权利要求1所述的方法，其特征在于，所述感兴趣区域包括目标物的心脏、肺、腹部、胸部、胃中的至少一个。

3.根据权利要求2所述的方法，其特征在于，所述感兴趣区域是心脏，在所述参考图像中，所述与心脏相关的一个或多个特征点包括位于心脏的心内膜上的内点和与之对应的位于心脏的心外膜上的外点。

4.根据权利要求3所述的方法，其特征在于，从所述参考图像中确定内点和与之对应的外点包括：

从所述参考图像中分割所述心内膜和心外膜；以及

基于所述心内膜和心外膜的位置，从所述参考图像中确定所述内点和与之对应的外点。

5.根据权利要求4所述的方法，其特征在于，所述运动场包括对应于所述一个或多个特征点的一个或多个运动向量，确定所述心脏的生理状况包括：

基于所述参考图像，确定在所述参考运动阶段中所述内点和与之对应的外点之间的第一距离；

基于所述内点的运动向量和所述外点的运动向量，确定在所述目标运动阶段中所述内点和与之对应的外点之间的第二距离；以及

基于所述第一距离和所述第二距离，确定与所述心脏相关的应力值。

6.根据权利要求1所述的方法，其特征在于，所述运动预测模型根据以下监督训练过程训练生成：

获取至少一个有标注的训练样本，每个标注的训练样本包括样本感兴趣区域的第一标注图像、所述样本感兴趣区域的第二标注图像、和所述第一标注图像与所述第二标注图像之间的样本运动场，所述第一标注图像对应样本感兴趣区域的第一运动阶段，所述第二标注图像对应样本感兴趣区域的第二运动阶段，所述第一标注图像中标注出与所述样本感兴趣区域相关的一个或多个第一样本特征点，所述第二标注图像中标注出与所述第一样本特征点对应的一个或多个第二样本特征点；以及

根据监督学习技术，利用所述至少一个有标注的训练样本，通过训练初始模型生成所述运动预测模型。

7.根据权利要求1所述的方法，其特征在于，所述运动预测模型根据以下无监督训练过程训练生成：

获取至少一个训练样本，每个训练样本包括样本感兴趣区域的第一图像和第二图像，所述第一图像对应样本感兴趣区域的第一运动阶段，所述第二图像对应样本感兴趣区域的第二运动阶段；

根据无监督学习技术，利用所述至少一个训练样本，训练初始模型以生成所述运动预测模型。

8.根据权利要求7所述的方法，其特征在于，所述初始模型是生成对抗网络模型。

9.一种非暂时性计算机可读存储介质，包括至少一组指令，当由至少一个处理器执行时，所述至少一组指令指示所述至少一个处理器执行如权利要求1-8任一所述的生理运动测量方法。

10.一种生理运动测量系统，包括：

获取模块，其被配置为获取感兴趣区域的参考图像和目标图像，所述参考图像对应感兴趣区域的参考运动阶段，所述目标图像对应感兴趣区域的目标运动阶段，所述目标运动阶段和所述参考运动阶段不同；

识别模块，其被配置为从所述参考图像中确定与感兴趣区域相关的一个或多个特征点；

运动场确定模块，其被配置为利用运动预测模型，确定所述一个或多个特征点从参考运动阶段到目标运动阶段的运动场，其中所述运动预测模型的输入至少包括参考图像和目标图像；以及

生理状况确定模块，其被配置为基于所述运动场，确定所述感兴趣区域的生理状况。

11.一种生成运动预测模型的方法，包括：

获取至少一个训练样本，每个样本包括指示样本感兴趣区域的生理运动的第一图像和第二图像，所述第一图像对应于所述样本感兴趣区域的第一运动阶段，所述第二图像对应于所述样本感兴趣区域的第二运动阶段；以及

根据无监督学习技术，利用所述至少一个训练样本，训练初始模型以生成所述运动预测模型。

12.根据权利要求11所述的方法，其特征在于，所述训练初始模型以生成所述运动预测模型包括：

通过最小化损失函数训练所述初始模型，所述损失函数和每个训练样本的第二图像与预测的第二图像的差值相关，所述预测的第二图像是基于所述训练样本的第一图像与第二图像及所述初始模型生成的；以及

将训练好的初始模型的至少一部分指定为所述运动预测模型。

13.根据权利要求12所述的方法，其特征在于，所述通过最小化损失函数训练所述初始模型包括：

对于所述至少一个训练样本中的每一个训练样本：

利用前一迭代中确定的更新后的初始模型生成从所述第一图像到第二图像的第一运动场；

根据所述第一运动场，使所述训练样本的第一图像变形生成预测的第二图像；

确定所述训练样本的预测的第二图像和第二图像之间的第一差值；以及

至少部分地基于每个训练样本的所述第一差值，确定所述损失函数的值；以及

进一步更新所述更新后的初始模型，以用于下一次迭代中。

14.根据权利要求13所述的方法，进一步包括：

对于所述至少一个训练样本中的每一个训练样本，

利用所述初始模型生成从所述第二图像到第一图像的第二运动场；

确定所述第二运动场的相反运动场；以及

确定所述训练样本的相反运动场和所第一运动场之间的第二差值，

其中，所述损失函数的值进一步基于每一个训练样本的第二差值确定。

15.根据权利要求14所述的方法，进一步包括：

对于所述至少一个训练样本中的每一个训练样本，

利用所述初始模型，根据所述训练样本的第一图像，使所述训练样本的第二图像变形，生成预测的第一图像；

利用所述初始模型，根据所述第二图像，使所述预测的第一图像变形，生成第三图像；

利用所述初始模型，根据所述第一图像，使所述预测的第二图像变形，生成第四图像；以及

确定所述第三图像和第二图像之间的第三差值，和所述第四图像和第一图像之间的第四差值，

其中，所述损失函数的值进一步基于每一个训练样本的第三差值和第四差值确定。

16.根据权利要求12所述的方法，其特征在于，所述初始模型包括一个生成器，且

对于每个训练样本，所述生成器被配置为预测从所述训练样本的第一图像到第二图像的第一运动场。

17.根据权利要求16所述的方法，其特征在于：

所述训练所述初始模型包括训练所述生成器，以及

所述将所述训练好的初始模型的至少一部分指定为所述运动预测模型包括将训练好的生成器指定为所述运动预测模型。

Images