CN111724904A - 用于针对医学扫描的患者建模的多任务渐进式网络 - Google Patents

Abstract

为了在医学系统中根据表面数据针对患者建模进行训练和执行患者建模，使用渐进式多任务模型。提供了用于扫描的不同任务，诸如界标估计和患者姿势估计。针对一个任务学习到的一个或多个特征在另一任务中用作固定或恒定特征。这种基于共享特征的渐进式方案提高了效率，同时避免降低针对任何给定任务的准确性。

Description

用于针对医学扫描的患者建模的多任务渐进式网络

背景技术

本实施例涉及医学扫描。在临床设置中执行医学扫描以进行诊断和/或治疗。临床设置可以包括患者建模。针对扫描的患者建模例如包括：用于确定扫描范围的体外标记的定位，用于验证患者配准或扫描定位的患者姿势估计，用于确定计算机断层摄影（CT）中患者等中心的患者身体形状估计或估计磁共振（MR）中准确的比吸收率（SAR）参数，用于验证患者配准或设置强度的患者体重和/或身高估计，和/或用于模拟定位像和/或CT图像以指导扫描的体内标记估计。不同的临床设置可能在患者建模中使用两个或更多个任务。

当扫描仪配备有光学传感器时，光学传感器测量值可用于解决任何患者建模任务。在使用多个任务进行患者建模的情况下，可以针对每个任务应用单独的解决方案（即模型）。取决于问题的性质，这些特定于任务的解决方案并行运行或者级联在一起。例如，首先从传感器测量值中检测出患者姿势，然后从输出的姿势和输入的传感器测量值中定位体外标记，以及然后根据身体标记和原始传感器测量值估计患者的形状。在完全独立的执行流程中，也可以估计患者的身高和体重。所有这些任务都依赖于相同的输入（传感器输入）并且高度相关的事实在单独的解决方案方法中没有得到利用。此外，当单独的模型在执行流程中级联在一起时，来自较早阶段的错误将传播到稍后的阶段。

发明内容

提供了系统、方法和计算机可读介质上的指令用于在医学系统中根据表面数据训练和执行患者建模。使用渐进式多任务模型。提供了不同的扫描任务，诸如界标估计和患者姿势估计。针对一个任务学习到的一个或多个特征在另一任务中用作固定或恒定特征。这种基于共享特征的渐进式方案提高了效率，同时避免降低任何给定任务的准确性。

在第一方面，提供了一种用于在医学系统中根据表面数据进行患者建模的方法。传感器捕获患者的外表面。表面数据来自患者外表面的捕获。作为第一任务，根据表面数据估计第一患者特性的第一值。通过渐进式多任务网络的第一机器学习模型来估计第一患者特性。作为第二任务，根据所述表面数据估计第二患者特性的第二值。通过渐进式多任务网络的第二机器学习模型来估计第二患者特性。第二机器学习模型包括在训练第一机器学习模型中学习到的特征，其中在第一机器学习模型之后使用在训练第一机器学习模型中学习到的特征作为训练第二机器学习模型中的固定特征来训练第二机器学习模型。基于第一和第二患者特性的第一和第二值来控制患者的扫描。

在一些实施例中，由深度传感器（诸如相机）进行捕获，其中表面数据基于光学测量值。表面数据表示患者的外表面（例如，皮肤和/或衣服），诸如当患者位于医学扫描仪的床上时。

第一特性可以是与第二特性相同或不同类型的特性。所述特性是患者的特性，诸如当患者躺在床上时患者特定部分的位置和/或患者的其他描述词或属性。在一些实施例中，所述特性是来自包括以下各项的组的两个或更多个中的一个：界标（例如，头和/或肩膀的顶部，或特定关节的位置）、姿势（例如，面朝上、侧面或面朝下）、身体形状（例如，表示二维或三维的外表面的网格）、体重、身高或体内标记（例如，特定器官位置的估计）。

在第二机器学习模型中从第一机器学习模型共享来的特征是从机器训练中学习到的特征。所述机器训练把权重值、连接、卷积内核或其他提取的信息确定为在机器训练中学习到的变量或参数。对于渐进式模型，通过如下方式来训练第二机器学习模型：使用在训练第一机器学习模型中学习到的至少一些特征作为恒定特征，以使这些特征在用于由第一或第二机器学习模型进行估计的训练中不会改变。

在一个实施例中，共享特征是从第一机器学习模型内学习到的卷积内核。机器学习模型是通过机器训练从训练数据中学习到的分类器、估计器、预测器或网络，所述训练数据包括许多输入样本和针对样本的对应基础事实输出。机器学习模型例如是神经网络。在一个实施例中，至少第一机器学习模型是第一图像到图像网络，诸如形成为全卷积神经网络的编码器和解码器。第二机器学习模型可以是另一图像到图像网络，其中来自第一图像到图像网络的编码器的特征被用于第二图像到图像网络的编码器。在另一实施例中，第二机器学习模型是神经网络，其中所述特征来自第一图像到图像网络的瓶颈并且被用作所述神经网络的输入。

在另一个实施例中，第一机器学习模型是第一编码器-解码器，其被训练为输出上身界标作为第一特性。第二机器学习模型是第二编码器-解码器，其被训练为输出下身界标作为第二特性。作为第三任务，由第三机器学习模型估计第三特性的第三值。第三机器学习模型是在第一机器学习模型之后使用在训练第一机器学习模型或第一和第二机器学习模型中学习到的特征作为训练第三机器学习模型中的固定特征来训练的。

所述控制是通过配置医学诊断成像扫描仪或治疗扫描仪以基于第一和第二值进行扫描。用于控制的各种实施例是可能的。第二特性可以是身体形状。通过使用人体形状设置等中心来控制扫描仪。第一特性可以是一个或多个界标。通过使用所述一个或多个界标设置扫描范围来控制扫描仪。第二特性可以是患者姿势。通过重新定向床上的患者（例如，向扫描仪中输入正确的姿势）来控制扫描仪。第二特性可以是身体形状。通过基于身体形状以特定吸收率设置执行磁共振扫描来控制扫描仪。第二特性可以是患者体重、身高或体重和身高。通过基于体重、身高或体重和身高配置扫描来控制扫描仪。第二特性可以是体内标记。通过基于模拟的定位像或来自体内标记的图像进行控制来控制扫描仪。

在第二方面，医学扫描仪系统使用患者建模。深度相机被配置为当患者位于医学扫描仪中的患者床上时测量到患者的深度。图像处理器被配置为通过应用渐进式多任务机器学习模型来确定患者姿势、患者身高、患者体重、患者形状和患者界标中的两个或更多个。控制器被配置为基于患者姿势、患者身高、患者体重和患者界标来操作医学扫描仪。在一个实施例中，渐进式多任务机器学习模型是针对以下各项中两个或更多个中的每一个的神经网络：患者姿势、患者身高、患者体重和患者界标，并且在一个神经网络中使用从另一个神经网络学习到的特征。

在第三方面，提供了一种用于机器训练针对患者扫描的渐进式多任务模型的方法。机器训练第一神经网络以根据相机图像输出患者身上的一个或多个界标。第一神经网络的机器训练训练第一神经网络的第一特征。第一特征中的至少一个被分配给第二神经网络。训练第二神经网络以根据相机图像输出患者姿势或患者体重。第二神经网络的机器训练使用第一神经网络的第一特征中的至少一个作为第二神经网络的机器训练期间的固定特征。第一和第二神经网络被存储为机器学习的渐进式多任务机器学习模型。在一个实施例中，第一神经网络被机器训练为编码器-解码器架构。利用所述第一特征来对第二神经网络进行机器训练，所述第一特征来自所述编码器-解码器架构的编码器。

上述任何一个或多个方面可以单独使用或结合使用。方法、系统或计算机可读介质中的一个的任何方面可以在方法、系统或计算机可读介质中的另一个中使用。通过结合附图阅读的优选实施例的以下详细描述，这些以及其他方面、特征和优点将变得显而易见。本发明由所附权利要求书限定，并且本节中的任何内容均不应理解为对那些权利要求的限制。本发明的其他方面和优点在下面结合优选实施例讨论，并且以后可以单独或组合地要求保护。

附图说明

各组件和附图不一定成比例，而是将重点放在说明各实施例的原理上。此外，在附图中，遍及不同的视图，相似的附图标记表示对应的部分。

图1是用于在医学系统中根据表面数据进行患者建模的方法的一个实施例的流程图；

图2是示例深度图像；

图3示出了示例渐进式多任务网络架构；

图4是用于机器训练针对患者扫描的渐进式多任务模型的方法的一个实施例的流程图；

图5图示了示例的估计的患者身体形状特性；和

图6是使用患者建模的医学扫描仪系统的一个实施例的框图。

具体实施方式

多任务渐进式网络把多个患者建模问题解决为多个任务。通过针对不同任务渐进地训练的特征互连的一个网络为多个患者建模任务提供了高效和准确的解决方案。针对一个任务训练所述网络的一部分，并且然后针对另一任务训练网络的另一部分。这种渐进式训练将针对第一或较早的任务学习到的一个或多个特征用作针对第二或稍后的任务而训练的网络的一部分中的恒定（即不可训练）特征。

在患者建模中，该渐进式多任务网络在横向连接后不需要附加的激活（即，将来自较早训练的网络的特征用作恒定特征，避免训练那些特征用于稍后训练的网络），横向连接可以不被包括在任何解码阶段中（即，来自解码器的特征未在针对其它任务的其他网络中使用），完全不同的网络架构可用于不同的任务，并且任何任务可以被划分为子任务（例如，将界标检测划分为上身界标和下身界标检测任务，以根据需要创建子任务）。这些（激活、解码中的横向连接等）未在一个实施例中使用，但是可在其他实施例中使用。

与针对每个任务训练单独的网络相比，多任务渐进式机器学习网络可以提高效率。由于所有任务共享一些内容（例如，采用相同特征的形式的大量计算），因此该方法的推断可以比为每个任务提供单独解决方案并依次和/或并行运行它们要快。由于网络的后续列或特定于任务的部分由先前的列的特征支持（例如，上身和下身子任务网络之间的特征的横向连接），因此与单独训练的情况相比，稍后的列可以更简单地形成。换句话说，可以为所有后续任务降低模型复杂度。可以完成解决新的相关任务（例如手臂界标的定位），而无需对先前任务进行重新训练。这使得向解决方案框架添加新任务更加高效且无风险。

与为每个任务训练单独的网络相比，多任务渐进式机器学习网络可以提高性能。由于在渐进式训练中分别优化了每个任务，因此可以在不降低其他任务准确性的情况下达到该给定任务的最佳可能准确性。由于模型是渐进式训练的，因此先前学习到的解决方案的性能不会改变。标记定位任务传统上是在类似的图像输入、图像输出设置中解决的。如果多任务渐进式网络解决方案将身体标记分组为作为单独任务（例如，渐进式训练的子任务）的两个分类，则可以针对这两组的不同产品需求明确控制所需的模型复杂性。

多任务渐进式机器学习网络可以增加灵活性。由于框架固有地提供用于生成特定于工作流程的“任务图”的机制，因此可以提供定制的执行流程。多任务渐进式网络架构被定制为包括针对特定于工作流程的任务的网络。一个示例是：对于例行CT扫描，患者建模任务的工作流程和顺序是上身标记定位、下身标记定位、患者姿势估计以及患者身高和/或体重估计。另一示例是：对于创伤CT扫描（其中下身严重阻塞），患者建模任务的工作流程和顺序是上身标记定位和患者姿势估计。又一个示例是：对于站立式X射线扫描，患者建模任务的工作流程和顺序是上身标记定位、下身标记定位、手臂身体标记定位以及患者身高和/或体重估计。

作为效率、性能和/或灵活性的结果，使用更少的计算能力和更少的存储器资源提供了更准确的结果。

图1是用于在医学系统中根据表面数据进行患者建模的方法的一个实施例的流程图。机器学习网络包括针对不同任务单独并顺序训练的子部分。来自一个或多个子部分的一个或多个特征渐进地用作一个或多个其他子部分中的固定特征。在应用中，来自一个子部分的这些特征的值渐进地用作所述一个或多个其他子部分中相同特征的值。

图1的方法由图6的医学扫描仪系统或另一系统执行。例如，诸如深度相机之类的传感器捕获患者表面。图像处理器估计两个或更多个患者特性的值。诸如图像处理器之类的控制器基于所估计的特性的值来控制医学扫描仪的扫描。其他设备可以用于执行任何动作。在其他实施例中，服务器、工作站或计算机执行不具有动作10和/或18的所述方法。

该方法按照所示次序（例如，从上到下或按数字）执行，但是可以使用其他次序。例如，动作12、14和16可以同时或以相反的次序执行，这取决于渐进过程中特征的任何共享。由于渐进过程，一个估计在另一个之前执行。在其他实施例中，由于仅共享低级特征，因此可以并行计算所有特性。

可以提供附加的、不同的或更少的动作。例如，不提供动作18。作为另一示例，基于用户输入或其他信息来执行用于配置扫描的其他方面的动作。在又一个示例中，包括用于定位患者和/或激活患者扫描的动作。

在动作10中，传感器捕获患者的外表面。该传感器是深度传感器（例如深度相机），诸如2.5D或RGBD传感器（例如微软Kinect 2或ASUS Xtion Pro）。深度传感器可以诸如使用飞行时间、干涉测量法或编码孔径来直接测量深度。深度传感器可以是捕获投影到患者身上的栅格的一个或多个相机。该传感器可以是从不同方向捕获2D图像的多个相机，从而允许从多个图像重构外表面而无需传输结构光。可以使用其他光学或非电离传感器。

所述传感器指向患者。所述传感器从一个或多个视角捕获患者的外表面。可以捕获外表面的任何部分，诸如从一侧从头到脚和从手到手观看的整个患者或仅躯干。所述传感器捕获处于特定位置和姿势的患者的外表面，诸如当患者躺在床上或工作台上以进行治疗或成像时捕获面向前的表面。

外表面是患者的皮肤。在其他实施例中，外表面包括衣服。传感器可以使用穿过衣服并检测皮肤表面的频率。替代地，外表面是衣服。

外表面被捕获作为从传感器到患者身上不同位置的深度、患者外部的图像或照片、或上述两者。传感器输出感测到的图像和/或深度。来自传感器的外表面的测量值是患者的表面数据。图2示出了来自表面数据的示例图像20，其中灰度的强度被映射到所感测的深度。替代地，传感器测量值被处理以确定外表面信息，诸如利用图像处理从来自不同角度的相机图像中立体地确定外表面或使用图像流并执行从运动求取结构。

在一个实施例中，表面数据可以包括患者的不同表示。创建两个或更多个通道。例如，两个图像具有按照通道的信息的幅度调制的像素强度（例如，一个按照深度，另一个按照颜色）。在一个实施例中，在给定患者身体的3D表面（皮肤表面）的情况下，此数据的2D投影—皮肤表面图像（例如，图像中每个位置处所述表面距扫描仪工作台的高度）和深度图像（例如，测量图像中每个位置处人的厚度）—根据传感器的输出通过图像处理形成。每个通道提供不同的信息。一个通道提供前表面位置到患者所躺的床或工作台、到传感器和/或相对于另一位置的距离或高度。所感测的外表面和传感器相对床的已知位置用于确定距离。另一个通道是患者的厚度。厚度可以是给定深度与最大深度和最小深度的差。可以使用其他厚度。第一通道存储从正面观察或看着躺在病床上的患者的身体表面的深度，并且第二通道存储通过测量从正面观察到的最近点与最远点之间的距离而计算出的厚度。可以使用其他通道，诸如一个通道用于距传感器的深度，而另一个通道用于患者的光学图像。可以使用其他表面数据。

表面数据以传感器的分辨率使用。例如，表面数据为256x256像素。可以使用其他大小，包括矩形视场。表面数据可以被滤波和/或处理。例如，将表面数据更改为给定分辨率。作为另一个示例，对表面数据进行下采样，诸如将256x256像素减少到64x64像素。每个像素可以表示任何面积，诸如被下采样到64x64的每个像素表示1cm²或更大。替代地，传感器以这种较低分辨率进行捕获。可以裁剪表面数据，诸如限制视场。裁剪和下采样可以一起使用，诸如从256x312或其他输入通道数据创建64x64通道数据。更高或更低的分辨率可能有助于回归。

在另一方案中，在输入之前将表面数据正则化。表面数据被重新缩放、调整大小、扭曲或移动（例如，插值）。可以对表面数据进行滤波，诸如低通滤波。输入具有或不具有进一步处理的表面数据（例如，深度图像）以用于在患者建模中估计多个患者特性。

在动作12中，作为第一任务，图像处理器根据表面数据估计第一患者特性的第一值。在患者建模中，外表面数据用于多个任务，诸如用于估计患者的不同特性的任务。例如，作为一个任务，估计患者的体积或体重（例如，120磅的值是针对体重特性估计的）。

图像处理器通过将表面数据输入到机器学习模型中来估计所述特性。机器学习模型是任何机器学习的分类器或网络。例如，使用神经网络来回归输入的表面数据和输出的特性之间的关系。可以使用完全连接的神经网络、卷积神经网络、完全卷积网络、密集网络或其他神经网络。在一个实施例中，使用图像到图像网络（例如，U-net），诸如编码器-解码器网络，其中编码器增加抽象度并降低分辨率，把瓶颈特征的值提供给解码器以降低抽象度并增加分辨率。可以使用支持向量机、基于聚类的机器学习、贝叶斯或其他机器学习回归器。

为了训练机器学习网络，定义机器学习网络布置。该定义是通过学习的配置或编程来实现的。所述网络的层数或单位数、学习的类型和其他特性由程序员或用户控制。在其他实施例中，在学习期间由所述机器定义和选择一个或多个方面（例如，节点的数量、层或单元的数量或学习的类型）。训练数据包括输入的表面数据的许多样本和对应的基础事实（即特性的值），该训练数据用于训练。输入与输出的关系被机器学习。一旦被训练，机器学习模型（机器学习网络）可以被应用以根据患者的输入的表面数据估计所述特性。

可以估计患者的任何特性。所述特性是患者的描述词或患者属性的其他指标。不同的患者可能具有相同或不同的特性值。

所述特性可以是姿势。该姿势可以是各种类别中的任何一种，诸如针对仰卧、俯卧或侧卧的三个分类。在其他示例中，该姿势包括四个类别，即头先仰卧、脚先仰卧、头先俯卧和脚先俯卧。可以提供姿势的其他类别，诸如指示手臂、腿和/或头部相对于躯干的相对位置。

所述特性可以是身体形状。身体形状是三维表面，诸如拟合网格或身体形状的其他表示。整个身体或身体的一部分可以用身体形状特性来表示，诸如表示从给定方向查看的患者外表面的网格或仅表示躯干的网格。

所述特性可以是体重和/或身高。所述特性可以是体内标记。可以估计身体内界标的位置，诸如估计特定器官或器官的各部分的位置或估计骨骼结构的位置。

在一个实施例中，所述特性是一个或多个外部界标的位置。所述界标是解剖点或区域。例如，所述界标可以包括鼻子、眼睛、脖子、胸骨、手指、手或表面数据中表示的患者的任何其他部分。在一个实施例中，界标是头顶部、头底部、肩膀顶部、肩膀底部、躯干底部、躯干顶部、腹股沟、膝盖底部、膝盖顶部、脚踝底部和脚踝顶部，其中顶部和底部参考解剖结构和/或床。

图3示出了用于估计四个界标的位置的由编码器33A和解码器33B形成的示例图像到图像神经网络32。可以估计附加、不同或更少的界标位置。这些界标是头顶部、头底部、肩膀顶部和肩膀底部，但也可以使用其他界标。训练图像到图像神经网络32以输出四通道热图或四个热图。在输入的分辨率或不同分辨率下，提供每个像素或体素是给定界标的概率作为通道的热图。

图3的图像到图像网络32的编码器33A包括具有3x5内核的卷积层，该卷积层用于接收输入的192x529表面数据。卷积层之后是最大池化层。将最大池化层的输出提供给增加抽象度和降低分辨率的四个阶段。每个阶段具有三个卷积层以及后跟的最大池化层。每个卷积层都具有12个卷积或内核，内核大小为3x3。最终阶段将瓶颈特征的值输出到解码器33B。解码器33B包括四个阶段，每个阶段具有三个卷积层以及后跟的上采样层。编码器33B的卷积层与编码器33A具有相同或不同的结构。解码器33B的最终阶段向上采样层输出，该上采样层向空间丢失层输出。内核大小为1x1的最终卷积层输出界标的估计位置。该网络架构可以具有通过机器训练学习到的32k参数。可以使用其他架构。可以使用不同数量的阶段、层、参数和/或层中的卷积。可以使用附加或不同的内核大小、层的组合、层的类型、输入的分辨率和/或输出的分辨率。

再次参考图1，作为第二任务，在动作14中，图像处理器根据所述表面数据估计另一特性的值。使用不同的网络或网络的子部分来估计其他特性。所述估计针对不同的任务。

该特性可以是以下各项中的任一项：外部界标、姿势、身体形状、体重、身高或体内标记。在一个实施例中，不同的任务是对不同类型的特性的估计。估计外部界标、姿势、身体形状、体重、身高或体内标记中与第一特性不同的特性。例如在图3中，图像到图像网络32估计四个外部界标的位置。神经网络30和神经网络36分别估计身体形状和身体姿势的不同特性。在其他实施例中，第二特性与第一特性具有相同的类型，但是不同的特性。例如，通过不同的估计和对应的网络来定位不同的界标。在图3的示例中，图像到图像网络32估计上身界标的位置作为第一特性，并且图像到图像网络34估计下身界标（例如，躯干底部、躯干顶部、腹股沟、膝盖底部、膝盖顶部、脚踝底部和脚踝顶部）的位置作为第二特性。

与用于估计第一特性的模型不同的机器学习模型用于估计第二特性的任务。可以使用与上面讨论的相同或不同类型的机器学习模型。对于相同类型，可以使用相同或不同的架构（例如，层数、每层卷积数、层的类型、层的次序或其他变体）。在图3的示例中，第二机器学习网络是图像到图像网络34（即，与图像到图像网络32相同类型）。编码器35A和解码器35B形成图像到图像网络34。图像到图像网络34具有与图像到图像网络32相同的层布置和内核大小，但是每个卷积层包括15个滤波器而不是图像到图像网络32的12个滤波器，从而产生超过50k参数。输出是7通道热图输出，而不是4通道热图输出。上界标和下界标可以组合为处于输入的表面数据的分辨率（例如，192×592）的11通道热图输出。

神经网络30和36与图像到图像网络32、34为不同的类型。身体形状网络30被设计或配置为输出60维向量，该60维向量表示预学习的形状空间中的特定点。向量的值定义形状，诸如基于使用本征向量的线性形状空间。图5示出了在形状空间中参数化的示例网格50。提供了密集网络顺序层结构（例如，没有跳过连接的前馈）、卷积神经网络或另一网络31。在图3的示例中，两个包括具有3x3内核的卷积层、空间缺失层和最大池化层的阶段向两个包括密集层和空间丢失层的阶段进行馈送。

身体姿势网络36被设计或配置为输出姿势的类别从属关系，诸如四个类别（例如，头先仰卧、脚先仰卧、头先俯卧和脚先俯卧）之一。提供了密集网络顺序层结构（例如，没有跳过连接的前馈）、卷积神经网络或另一个网络37。在图3的示例中，两个包括具有3x3内核的卷积层、空间丢失层和最大池化层的阶段向两个包括密集层和空间丢失层的阶段进行馈送。

可以在多任务渐进式神经网络中提供附加的、不同的或更少的网络30、32、34、36。图3示出了四个子部分，其中每个子部分处置不同的患者建模任务。其他工作流程可以使用两个、三个、五个或更多个患者建模任务和对应的网络。基于任务的数量来设计或配置多任务渐进式神经网络，其中基于所述任务来设计或配置每个组成网络架构。在图3中，每列在单独被检查时形成卷积神经网络（CNN）。

渐进式多任务网络的机器学习模型估计所述特性。渐进式多任务网络是用于执行多个任务的机器学习网络。每个机器学习模型都包括针对该任务学习的特征，诸如学习的卷积内核。

通过经由渐进式训练形成的共享特征来关联针对各任务的网络30、32、34、36，而不是独立地操作网络30、32、34、36。所述训练通过一系列网络30、34、32、36进行，这允许后续训练使用来自对网络30、34、32、36中的另一个网络的先前训练的信息。来自一个或多个网络的一个或多个特征用作后续网络中的特征。在针对任务进行训练时，该任务的来自另一个先前训练的网络的共享组件被冻结（即保持恒定），因此先前学习的任务的性能不会改变。当一个或多个部分使用来自先前应用的部分的特征的值时，所产生的经训练的多任务网络就是渐进式多任务网络。

图4是用于机器训练针对患者扫描的渐进式多任务模型的方法的一个实施例的流程图。针对一个任务学习到的一个或多个特征在另一任务的训练和应用中被用作恒定、固定或设置的特征（即，不改变内核值）。

该训练是由图像处理器使用存储在数据库中的训练数据（例如，针对特性的表面数据样本和对应的基础事实值）来执行的。可以使用其他设备。

以所示的次序或其他次序执行各个动作。可以提供附加的、不同的或更少的动作。例如，可以提供用于训练附加神经网络的动作。

在动作40中，处理器机器训练神经网络。所述训练学习已定义架构的权重、连接、滤波器内核和/或其他参数。权重、连接、滤波器内核和/或其他参数是被学习的特征。例如，网络32中的每个卷积内核都是被训练的特征。使用训练数据，对参数的值进行调整和测试以确定给定输入样本情况下导致输出的最优估计的特征值。亚当（Adam）或另一优化方法用于训练。

被训练的神经网络用于多个任务之一。例如，首先训练图3的图像到图像或编码器-解码器神经网络32。所述训练优化针对所述任务的神经网络32，诸如上身体外界标的位置估计。神经网络32被训练为根据相机图像估计特性的值。

在动作42中，将一个或多个学习到的特征分配给另一神经网络。例如，来自在针对上身界标任务训练图像到图像网络32中学习到的每个卷积层和/或阶段的卷积内核被分配给针对下身界标任务的图像到图像网络34的对应卷积层或阶段。

来自全部或部分最初学习的神经网络32的所有特征或任何子集被分配给另一网络。在图3的示例中，针对网络32在编码器33B的每一阶段中学习到的卷积特征被分配给网络34的编码器35B的对应阶段。该分配由链接或横向连接39A（虚水平线）表示。由于编码器35B的所述阶段的卷积层具有附加的卷积，所以编码器35B中的一些卷积是针对网络32学习到的特征，而其他卷积将被学习。

图3示出其他示例。在两个图像到图像网络32、34之后训练网络30和36。输出瓶颈值的特征被分配给网络30、36的输入。该分配由链接39B表示。编码器33A和35A的特征被用于确定网络31、37所使用的值。在替代实施例中，特征的不同组合被用于不同的网络。

顺序训练的进程允许把来自先前训练的网络的特征分配给要训练的网络。这些分配的特征在训练后续网络中是固定的或不变的，使得针对先前训练的网络的估计保持准确性。分配的恒定特征用作训练后续一个或多个网络的自由或可训练特征的一部分。

在动作44中，处理器机器训练后续神经网络以输出针对一个或多个其他特性的值。使用相同或不同的机器训练、训练数据和/或对应的优化。给定输入样本和一个或多个固定特征，定义的网络架构被训练为针对分配的任务进行估计。

在图3的示例中，图像到图像网络34被训练为估计下身界标的位置。身体形状网络30被训练为估计身体形状。身体姿势网络36被训练为估计身体姿势。每个网络都被训练为针对对应的任务优化所述估计。每个网络的输入都是相同的表面数据样本。

在训练每个后续网络中，使用来自一个或多个先前网络的一个或多个特征。在已经针对一个网络被训练之后，这些分配的特征在训练中保持固定或不变。后续神经网络的机器训练使用先前训练的神经网络的一个或多个特征作为后续神经网络的机器训练期间的固定特征。后续网络的其他参数会变化以进行训练。

在图3中，所有四个任务共享大计算量区段：两个编码器33A和35A。完整模型的训练按照给定要求情况下任务重要性和/或难度的次序渐进式进行。在这种设置中，首先训练上身标记网络32。然后，使用一些学习到的特征（通过横向连接39A）来训练下身标记网络34。这之后是对身体姿势网络36和形状初始化网络30的训练。在针对任务进行训练时，先前训练的该任务的所有共享组件都被冻结（即保持恒定），因此，先前学习的任务的性能不会改变。网络30和36共享网络32和34的整个编码器33A和35A。网络34共享来自编码器33A的各阶段的卷积层的特征，但是还包括要学习的卷积，同时还包括固定的共享特征。

图3仅示出了四个患者建模任务，但是可以将其他和/或不同的任务合并到该框架中。通过在使用先前学习到的特征并渐进地进行训练的架构中在适当位置处进行分支，所述合并使用从先前训练的网络中分配的特征。例如，使用用于手臂界标定位、内部界标估计、患者身高估计和/或患者体重估计的任务和对应网络。

渐进式训练不同于多任务学习。在多任务学习中，定义包括多个输出的单个网络。在训练中针对多个输出使用聚合的目标，使得每个任务中的错误都会影响所有任务。所述训练尝试同时执行每个任务，以优化联合目标。由于联合目标，这种优化是困难的。由于一起解决所有任务，每个个体任务的准确性可能会更低。可以使用针对单个网络依次优化的非联合目标。这种方案可能导致“灾难性的遗忘”。当优化当前任务时，解决方案模型的共享组件被更改。这阻碍了关于已经优化的任务的性能。通过使用从先前训练的网络分配的固定特征，可以避免灾难性的遗忘。渐进式训练使每个任务的准确性最大化，而不会由于针对多个任务进行训练而降低准确性。相反，多任务渐进式网络受益于任务的相似性和相同输入的使用，而不会降低任何任务的准确性。

在训练了各种网络之后，在动作46中存储训练后的网络。存储针对每个网络学习到的权重、连接、内核和/或其他特征。存储渐进式多任务机器学习网络或模型。

可以使用或应用所存储的模型。所存储的模型的副本可由不同的服务器、图像处理器、计算机或工作站使用或应用。在应用中，基于输入的患者表面数据确定每个网络的特征的值。在网络中为不同任务提供相同特征的情况下，由于所述特征在训练中是固定的，因此无需重新计算即可使用针对该特征的计算值。这提高了特性估计的效率。

再次参考图1，对于第二特性的一个或多个值的估计使用在另一机器学习模型之后训练的机器学习模型。由于渐进式网络，在训练较早的机器学习模型中学习到的特征在后续机器学习模型的训练和应用中被用作固定特征。来自一个网络的一个或多个特征在另一网络中用作恒定特征，其中所述恒定特征在所述另一网络的训练期间不改变。

在动作16中，作为一个或多个其他任务，处理器估计一个或多个其他特性的一个或多个值。使用一个或多个其他机器学习模型进行估计。所述机器学习模型是渐进式多任务机器学习网络的一部分。这些其他机器学习模型是在一个或多个其他机器学习模型之后被训练的，因此包括或可能包括来自较早训练的机器学习模型的一个或多个特征。在所述其他模型中使用为了应用较早训练的模型而针对这些特征计算的值。由于特征相同，并且特征的值基于相同的输入，因此根据一个机器学习模型的应用已经计算的值被用在另一机器学习模型的应用中。替代地，特征相同，但依赖于非共享特征的值，因此针对后续机器学习模型计算该值。

在动作18中，控制器控制对患者的扫描。该控制器可以是图像处理器或医学扫描仪的单独处理器。被控制的扫描可以用于治疗，诸如应用X射线或其他辐射进行治疗。被控制的扫描（诸如CT、MR、超声或另一种医学诊断成像扫描）可以用于诊断。通过配置治疗或诊断扫描仪进行控制。所述控制可以用于前端控制，诸如传输的强度、区域扫描、扫描的间隔或分辨率、扫描模式、扫描的运动范围或空间范围、扫描顺序和/或其他扫描设置。所述控制可以用于后端控制，诸如以下各项的控制：滤波类型、所应用的一个或多个图像过程、格式或显示的信息内容、或其他后期获取或测量操作。

控制器基于一个或多个特性来配置医学扫描仪（例如，计算机断层摄影、荧光透视检查或X射线）。医学扫描仪可以配置自身或所述配置的至少一部分基于所述特性的值。控制器可以通过直接控制医学扫描仪来配置。替代地，用户可以基于所述特性的值手动配置医学扫描仪。可以基于所述特性的值将推荐的设置输出给用户。

可以至少部分地使用特性的值来调整或设置用于对患者进行成像或扫描的一个或多个设置。这些值可以帮助规划医学扫描，诸如定义视场和/或X射线强度以控制辐射的剂量。对于CT扫描，这些值可用于确定扫描范围。这可以降低应用到患者的电离辐射的量。这些值可以帮助磁共振（MR）扫描的扫描顺序、线圈放置和/或扫描位置。对于超声扫描，这些值可以帮助成像频率，其中较重的患者使用较低的频率。对于使用dyna-CT扫描的荧光透视检查，这些值对于定位患者和/或扫描仪以及控制X射线源可能有用。可以基于这些值确定或配置医学扫描仪的任何设置或参数。

基于两个或更多个特性的值来控制扫描。患者建模中的不同任务有助于控制扫描。针对对应的两个或更多个特性的两个或更多个值一起用于控制扫描仪的一个参数的设置。替代地，使用不同的值和对应的特性来设置扫描仪的不同参数。

在一个实施例中，身体形状用于控制等中心。扫描的机架位置和/或空间位置围绕患者的等中心定向或定位。替代地或附加地，身体形状用于估计比吸收率（SAR）。代替使用更简单的模型，可以基于身体形状的患者模型来设置用于MR扫描的SAR。使用身体形状的3D网格可以更好地建模患者体内的密度分布。

在另一实施例中，一个或多个界标被用于控制扫描范围。可以基于界标来设置机架和/或床的开始和/或停止位置、扫描视场、扫描模式和/或扫描密度，诸如从上躯干扫描到下躯干，其中界标指示患者躯干的位置。界标可用于为患者的一个区域提供比另一区域更大的密度或分辨率。界标可用于控制扫描的空间分布的各个方面和/或用于图像处理扫描数据。

在又一个实施例中，患者姿势用于控制显示器或扬声器的输出。例如，使患者以特定方式摆姿势。如果姿势不同，则显示器（例如投影或监视显示器）和/或扬声器指示应该改变患者姿势（即，使患者在床上重新定向）。替代地，在扫描仪中改变患者的姿势以反映患者的实际姿势。作为另一示例，除非患者姿势指示患者针对所选择的扫描的正确定位，否则阻止扫描。姿势可用于控制图像处理，诸如基于手臂或腿部相对于躯干的位置进行滤波或重构。

在一个实施例中，患者体重、身高或体重和身高用于控制扫描。使用患者建模来估计体重，而不是由护士或医生来估计患者的体重（例如，诸如在紧急情况期间进行估计）。基于估计的体重来配置扫描的强度、扫描的空间位置、扫描模式、辐射剂量和/或图像处理。例如，在没有基于体重的调整的情况下，患者被暴露于胸部计算机断层摄影（CT）扫描的辐射剂量要高出17-43％。身高可用于配置扫描范围。

在其他实施例中，一个或多个体内标记用于控制。体内标记可用于模拟定位像或图像。然后扫描仪被配置为基于模拟结果进行成像。在另一个示例中，体内标记用于设置扫描的空间位置，诸如扫描范围。

经配置的医学扫描仪扫描患者。为了诊断，对患者成像。基于医学扫描仪的配置来执行所述成像。对于治疗，治疗系统基于所述配置应用辐射或剂量。

图6示出了使用患者建模的医学扫描仪系统的一个实施例。医学扫描仪系统包括显示器60、存储器64和图像处理器62。显示器60、图像处理器62和存储器64可以是医学扫描仪66、计算机、服务器、工作站或用于对来自患者的扫描的医学图像进行图像处理的其他系统的一部分。没有医学扫描仪66的工作站或计算机可以用作医学成像系统。医学成像系统还包括用于感测（成像）患者的外表面的传感器67。

可以提供附加的、不同的或更少的组件。例如，包括计算机网络，该计算机网络用于本地捕获的表面数据的远程图像生成或用于根据远程捕获的表面数据的患者特性的本地估计。机器学习的渐进式多任务模型作为工作站或本地设备上的独立应用或作为部署在网络（云）架构上的服务被应用。作为另一示例，提供了用户输入设备（例如，键盘、按钮、滑块、转盘、轨迹球、鼠标或其他设备）用于用户改变或放置一个或多个标记（例如，界标）。在又一个示例中，未提供医学扫描仪66。

传感器67是深度传感器或相机。可以使用LIDAR、2.5D、RGBD、立体光学传感器或其他深度传感器。可以使用2D相机，诸如使用从运动求取结构。示出了一个传感器67，但是可以使用多个传感器。可以提供光投影仪。传感器67可以直接测量从传感器67到患者的深度。传感器67可以包括用于根据图像确定深度测量值的单独处理器，或者图像处理器62根据由传感器67捕获的图像确定深度测量值。深度可以相对于传感器67和/或床或工作台69。

传感器67指向患者68。传感器67可以是医学扫描仪66的一部分或连接到医学扫描仪66，或者与医学扫描仪66分离。

传感器67被配置为测量到达或针对患者的深度。该深度是从传感器67、工作台69或其他位置到在患者身上各个位置处的患者的距离。可以使用患者上方的任何样本模式。传感器67输出深度测量值和/或表面图像。

图像处理器62是控制器、控制处理器、通用处理器、数字信号处理器、三维数据处理器、图形处理单元、专用集成电路、现场可编程门阵列、人工智能处理器、数字电路、模拟电路、上述各项的组合或其他现在已知或以后开发的用于处理表面数据的设备。图像处理器62是单个设备、多个设备或设备网络。对于多于一个的设备，可以使用并行或顺序的处理划分。组成图像处理器62的不同设备可以执行不同的功能，诸如用于患者建模的处理器和用于基于患者建模来控制扫描的另一处理器（例如，控制器）。在一个实施例中，图像处理器62是控制处理器或医学扫描仪66的其他处理器。图像处理器62根据所存储的指令、硬件和/或固件进行操作并由其配置以执行本文所述的各种动作。

图像处理器62或其他远程处理器被配置为训练机器学习架构。基于用户提供的网络架构和训练数据或网络架构和训练数据的其他来源，图像处理器62学习将一个或多个输入变量（例如表面数据）与针对患者建模中不同任务的输出相关联。训练是渐进式的，使得针对一个或多个网络学习到的特征被用作训练其他网络的恒定特征。训练的结果是用于患者建模的机器学习的渐进式多任务网络。

替代地或附加地，图像处理器62被配置为应用多任务渐进式机器学习网络。响应于表面数据的输入，机器学习模型的一部分输出一个或多个特性的一个或多个值。该输出基于为所述部分内的特征确定的值。这些特征值中的一个或多个在用于生成针对其他任务（即，患者的其他特性）的输出的机器学习模型的其他部分中被使用。

在一个实施例中，图像处理器62被配置为确定来自特性组的两个或更多个特性，所述特性组包括患者姿势、患者身高、患者体重、患者内部界标和患者外部界标。通过将渐进式多任务机器学习模型应用于表面数据来确定特性的值。

图像处理器62可以是控制器。该控制器由软件、固件和/或硬件配置以基于患者姿势、患者身高、患者体重和/或患者界标来操作医学扫描仪66。多任务渐进式机器学习模型输出针对多个任务的信息。针对所述多个任务的输出用于配置所述医学扫描仪66以扫描患者68。

显示器60是CRT、LCD、投影仪、等离子体、打印机、平板电脑、智能电话或其他现在已知或以后开发的显示设备，用于显示输出，诸如特性值的图像、来自传感器67的图像和/或来自医学扫描仪66的图像。

传感器测量值、表面数据、网络定义、特征、机器学习模型、特征值和/或其他信息被存储在非暂时性计算机可读存储器（诸如存储器64）中。存储器64是外部存储设备、RAM、ROM、数据库和/或本地存储器（例如，固态驱动器或硬盘驱动器）。相同或不同的非暂时性计算机可读介质可以用于指令和其他数据。可以使用数据库管理系统（DBMS）并驻留在诸如硬盘、RAM或可移动介质之类的存储器上来实现存储器64。替代地，存储器64在处理器62内部（例如，高速缓存）。

用于实现本文中讨论的训练或应用过程、方法和/或技术的指令被提供在非暂时性计算机可读存储介质或存储器（诸如高速缓存、缓冲器、RAM、可移动介质、硬盘驱动器或其他计算机可读存储介质（例如，存储器64））上。计算机可读存储介质包括各种类型的易失性和非易失性存储介质。响应于存储在计算机可读存储介质中或计算机可读存储介质上的一个或多个指令集，执行附图中所示或本文所述的功能、动作或任务。所述功能、动作或任务独立于特定类型的指令集、存储介质、处理器或处理策略，并且可以由单独或组合操作的软件、硬件、集成电路、固件、微代码等执行。

在一个实施例中，指令被存储在可移动介质设备上以供本地或远程系统读取。在其他实施例中，指令被存储在远程位置用于通过计算机网络传输。在又其他实施例中，指令被存储在给定计算机、CPU、GPU或系统内。因为附图中描绘的一些组成系统组件和方法步骤可以用软件实现，所以系统组件（或过程步骤）之间的实际连接可能取决于对本实施例进行编程的方式而有所不同。

医学扫描仪66是治疗辐射或诊断扫描仪，诸如X射线或粒子治疗系统。医学扫描仪66根据一个或多个设置进行操作以对患者应用扫描。这些设置控制扫描，包括传输、接收、重构和图像处理。一个或多个设置至少部分地由渐进式多任务机器学习模型所输出的特性的值来设置。一旦被所述设置所配置，医学扫描仪66就扫描患者。

在一些实施例中，医学扫描仪被配置为扫描患者的内部区域并根据该扫描生成诊断信息。医学扫描仪是CT、MR、正电子发射断层摄影（PET）、单光子发射计算机断层摄影（SPECT）、X射线或超声扫描仪。医学扫描仪66可以被配置为生成诊断图像信息。该配置使用一个或多个参数的设置，诸如X射线源电压、工作台位置和/或移动范围、机架位置和/或移动范围、焦点、视场、扫描密度、检测器阈值、传输顺序、图像处理设置、滤波设置、重构设置和/或图像生成设置。基于从表面数据生成的患者的特性，自动或手动设置医学扫描仪的一个或多个设置。由医学扫描仪使用所述设置对患者68进行成像。

本文描述的各种改进可以一起使用或分开使用。尽管本文已经参照附图描述了本发明的说明性实施例，但是应当理解，本发明不限于那些精确的实施例，并且在不脱离本发明的范围或精神的情况下，本领域技术人员可以在其中影响各种其他改变和修改。

Claims (20)

1.一种用于在医学系统中根据表面数据进行患者建模的方法，所述方法包括：

利用传感器捕获患者的外表面，所述表面数据来自患者的外表面的捕获；

作为第一任务，根据所述表面数据估计第一患者特性的第一值，第一患者特性由渐进式多任务网络的第一机器学习模型估计；

作为第二任务，根据所述表面数据估计第二患者特性的第二值，第二患者特性由渐进式多任务网络的第二机器学习模型估计，第二机器学习模型包括在训练第一机器学习模型中学习到的特征，第二机器学习模型已在第一机器学习模型之后使用在训练第一机器学习模型中学习到的特征作为训练第二机器学习模型中的固定特征被训练；以及

基于第一和第二患者特性的第一和第二值来控制对患者的扫描。

2.根据权利要求1所述的方法，其中，捕获包括利用作为深度传感器的传感器进行捕获。

3.根据权利要求1所述的方法，其中，捕获包括利用作为相机的传感器进行捕获，其中所述表面数据基于光学测量值。

4.根据权利要求1所述的方法，其中，第一特性是与第二特性不同类型的特性，第一和第二特性分别是以下各项之一：界标、姿势、身体形状、体重、身高或体内标记。

5.根据权利要求1所述的方法，其中，估计第一值包括：利用作为来自第一机器学习模型内的学习到的卷积内核的所述特征进行估计，所述第一机器学习模型包括第一图像到图像网络。

6.根据权利要求5所述的方法，其中，估计所述第二值包括：利用包括第二图像到图像网络的第二机器学习模型进行估计，所述特征来自第一图像到图像网络的编码器并且用于第二图像到图像网络的编码器中。

7.根据权利要求5所述的方法，其中，估计所述第二值包括：利用包括神经网络的第二机器学习模型进行估计，所述特征处于第一图像到图像网络的瓶颈处并且被用作所述神经网络的输入。

8.根据权利要求1所述的方法，其中，估计所述第一值包括：利用包括第一编码器-解码器的第一机器学习模型进行估计，第一编码器-解码器被训练为输出上身界标作为所述第一特性，其中，估计所述第二值包括：利用包括第二编码器-解码器的第二机器学习模型进行估计，第二编码器-解码器被训练为输出下身界标作为第二特性，还包括：作为第三任务，通过第三机器学习模型估计第三特性的第三值，第三机器学习模型已在第一机器学习模型之后使用在训练第一机器学习模型中学习到的特征作为训练第三机器学习模型中的固定特征被训练。

9.根据权利要求1所述的方法，其中，通过以下方式来训练第二机器学习模型：使用在训练第一机器学习模型中学习到的所述特征作为恒定特征，使得所述特征在用于由所述第一机器学习模型进行估计的训练中不改变。

10.根据权利要求1所述的方法，其中，所述第二特性包括身体形状，并且其中控制包括：使用所述身体形状来设置等中心。

11.根据权利要求1所述的方法，其中，所述第一特性包括一个或多个界标，并且其中控制包括：使用所述一个或多个界标来设置扫描范围。

12.根据权利要求1所述的方法，其中，所述第二特性包括患者姿势，并且其中控制包括：使所述患者在床上重新定向或校正输入到医学扫描仪中的姿势。

13.根据权利要求1所述的方法，其中，所述第二特性包括身体形状，并且其中控制包括：基于所述身体形状以特定吸收率设置来执行磁共振扫描。

14.根据权利要求1所述的方法，其中，所述第二特性包括患者体重、身高或体重和身高，并且其中控制包括：基于所述体重、身高或体重和身高来配置扫描。

15.根据权利要求1所述的方法，其中，所述第二特性包括体内标记，并且其中控制包括：基于来自所述体内标记的模拟的定位像或图像进行控制。

16.根据权利要求1所述的方法，其中控制包括：配置医学诊断成像扫描仪或治疗扫描仪以基于第一值和第二值进行扫描。

17.一种使用患者建模的医学扫描仪系统，所述医学扫描仪系统包括：

深度相机，被配置为当患者位于医学扫描仪中的患者床上时测量到患者的深度；

图像处理器，被配置为通过应用渐进式多任务机器学习模型来确定以下各项中的两项或更多项：患者姿势、患者身高、患者体重、患者形状和患者界标；以及

控制器被配置为基于患者姿势、患者身高、患者体重和患者界标来操作所述医学扫描仪。

18.根据权利要求17所述的医学扫描仪系统，其中，所述渐进式多任务机器学习模型包括针对以下各项中的两项或更多项中每一个的神经网络：患者姿势、患者身高、患者体重和患者界标，从所述神经网络中的一个学习到的特征被用在所述神经网络中的另一个中。

19.一种用于机器训练针对患者扫描的渐进式多任务模型的方法，所述方法包括：

机器训练第一神经网络以根据相机图像输出患者身上的一个或多个界标，第一神经网络的机器训练训练第一神经网络的第一特征；

将至少一个第一特征分配给第二神经网络；

机器训练第二神经网络以根据相机图像输出患者姿势或患者体重，第二神经网络的机器训练使用第一神经网络的所述至少一个第一特征作为在第二神经网络的机器训练期间的固定特征；以及

将第一和第二神经网络存储为机器学习的渐进式多任务机器学习模型。

20.根据权利要求19所述的方法，其中，机器训练所述第一神经网络包括对编码器-解码器架构进行机器训练，并且其中机器训练所述第二神经网络包括利用来自所述编码器-解码器架构的编码器的所述第一特征进行机器训练。

Images