CN109410273B - 根据医学成像中表面数据的定位片预测 - Google Patents

Abstract

本发明涉及根据医学成像中表面数据的定位片预测的系统和方法。对于根据表面数据的定位片预测，传感器捕获患者的外表面。生成性对抗网络（GAN）基于患者的外表面生成表示内部器官的定位片。为了进一步适应特定患者，在定位片预测中使用内部地标。由GAN的一个生成器生成的定位片可以基于由另一个生成器生成的地标来改变。

Description

根据医学成像中表面数据的定位片预测

相关申请

本专利文件要求2017年8月15日提交的临时美国专利申请序列号62/545,554的35U.S.C.（美国法典）§119(e) 下的权益，其通过引用结合于此。

背景技术

本实施例涉及估计用于医学成像的定位片（topogram）。在图形领域中，现实的人体形状建模和模拟已经取得了进展。已经应用不同的统计模型来学习人体形状的紧凑参数表示。然而，它们对医疗保健领域的影响相对有限。现有的形状建模方法主要集中在皮肤表面，而医疗保健领域更注重内部器官。

发明内容

提供用于根据表面数据的定位片预测的系统，方法和计算机可读介质上的指令。传感器捕获患者的外表面。生成性对抗网络（GAN）基于患者的外表面生成表示内部器官的定位片。为了进一步适应特定患者，在定位片预测中使用内部地标（landmark）。由GAN的生成器生成的定位片可以基于由另一个生成器生成的地标来改变。

在第一方面，提供了一种用于根据医学成像系统中表面数据的定位片预测的方法。该定位片将患者的内部器官表示为穿过患者的投影。传感器捕获患者的外表面。图像处理器响应于到机器学习的生成性对抗网络的表面数据的输入，通过机器学习的生成性对抗网络生成定位片。表面数据来自用于外表面的传感器的输出。显示设备显示定位片。

在第二方面，提供了一种用于根据医学成像系统中表面数据的定位片预测的方法。传感器捕获患者的外表面。图像处理器响应于到第一和第二机器学习的网络的表面数据的输入而使用第一和第二机器学习的网络生成定位片。表面数据来自用于外表面的传感器的输出。该定位片将患者的内部器官表示为穿过患者的投影。第一机器学习的网络输出空间标记图，而第二机器学习的网络基于表面数据和空间标记图输出定位片。显示设备显示定位片。

在第三方面，提供了一种用于定位片预测的医学成像系统。深度传感器被配置为测量患者的深度。图像处理器被配置为将训练过的生成性对抗网络的机器学习的生成器应用于来自深度的深度信息。训练机器学习的生成器以根据深度信息生成定位片。显示器被配置为显示定位片。

上述任何一个或多个方面可以单独使用或组合使用。从以下优选实施例的详细描述中，这些和其他方面，特征和优点将变得显而易见，以下详细描述将结合附图来阅读。本发明由以下权利要求限定，并且该部分中的内容不应当视为对那些权利要求的限制。下面结合优选实施例讨论本发明的其他方面和优点，并且可以在以后单独或组合地要求保护。

附图说明

组件和附图未必按照比例绘制，相反地将重点放在说明实施例的原理上。此外，在附图中，贯穿不同视图，相同参考标号指代对应部分。

图1是用于根据医学成像系统中表面数据的定位片预测的方法的一个实施例的流程图；

图2图示了用于定位片的预测的示例2通道表面数据；

图3是GAN的一个实施例的框图；

图4示出了两个GAN的示例堆叠；

图5示出了使用完全卷积网络的基于不同损失函数的地面真值（ground truth）定位片和两个生成的定位片；

图6示出了基于堆叠U-net的不同损失函数的地面真值定位片和三个生成的定位片；

图7示出了基于GAN的地面真值定位片和生成的定位片；

图8示出了具有地标预测的堆叠网络的示例实施例，其被包括作为定位片预测的一部分；

图9示出了使用各种机器学习的网络预测的示例定位片；以及

图10是用于定位片预测的系统的一个实施例的框图。

具体实施方式

根据表面数据估计人体的内部解剖结构。根据患者表面数据预测计算定位片。例如，仅根据表面几何结构或深度相机测量值生成人的合成X射线图像。使用深度机器学习算法，根据患者体表的几何测量值来预测定位片，即患者内部解剖结构的2D投影。为了捕获定位片的身体正确性，使用深度生成性对抗网络。所提出的架构可以捕获表面数据和内部解剖结构之间的非线性相关性。机器学习的网络可以是使用用于条件回归任务的梯度惩罚方法训练的Wasserstein（沃瑟斯坦） GAN（WGAN）。合成X射线用作真实内部解剖结构的近似。

可以预测标记，允许调整以更新X射线图像。利用所提出的框架，可以通过改变表面几何结构来容易地生成合成X射线图像。通过扰动参数，可以从相同的表面几何结构生成另外的合成X射线图像。结果，通过参数调整产生许多X射线图像来克服医学领域中的训练数据障碍。由于标记用作扰动图像的空间参数，因此内部解剖结构的预测图像是参数化图像。可以使用分布在身体上的身体标记来操纵预测的定位片。例如，如果预测的肺看起来很短，则可以操纵肺区域附近的身体标记以调整其位置，并且将以身体上一致的方式更新定位片。

在一个实施例中，使用收敛训练管线生成参数化图像。当训练框架学习预测图像和相应的空间参数（即标记）时，框架还需要确保这些参数的扰动位于“逼真变形”的流形上（例如，生成面部图像时的逼真面部表情或生成合成X射线时的逼真身体解剖结构）。由于学习隐含高度相关的这种输出空间是困难的，因此训练一对网络，一个被训练以根据图像内容预测参数，而另一个被训练以根据参数预测图像内容。当更新参数时，网络迭代地被应用于循环直到收敛。为了在测试阶段期间促进这种收敛行为，两个网络是共同学习的。明确地学习预测标记和生成图像之间的双射（bijection）。

预测的定位片可用于教学目的，诸如生成定位片图像作为要在机器训练中使用的样本，以避免用于训练的样本太少的数据障碍。预测的定位片可以用于扫描计划。例如，与仅使用身体标记相比，生成的定位片被用于更精确的定位。此外，与仅仅身体标记点相比，放射线技师可以更容易地使用由系统使用身体上一致的生成的定位片建议的定位。定位片可被用于检测异常，患者定位，介入诊疗，从部分X射线图像完成完全X射线，或其他用途。

在下面的示例中提供了基于计算机断层扫描或X射线的定位片预测。可以使用其他医学成像模式，诸如针对磁共振，正电子发射断层扫描，单光子发射计算机断层扫描或超声扫描预测定位片。

图1是用于根据医学成像系统中表面数据的定位片预测的方法的一个实施例的流程图。机器学习的GAN被用于根据表示患者的外部的数据生成定位片。该定位片将患者的内部器官表示为穿过患者的投影，诸如CT或X射线定位片。

该方法以所示的顺序（例如，从上到下或数字）执行，但是可以使用其他顺序。可以提供附加的、不同的或者更少的动作。例如，未提供动作16和/或18。在另一示例中，未提供动作14，因为定位片是用于机器训练的许多中的一个或者被用于配置成像而无需操作员查看。

在动作10中，传感器捕获患者的外表面。传感器是深度传感器，诸如2.5D或RGBD传感器（例如，Microsoft Kinect 2或ASUS Xtion Pro）。深度传感器可以是捕获投射到患者身上的网格的一个或多个相机。多个相机可以从多个图像重建外表面而不传输结构光。可以使用其他光学或非电离传感器。

传感器指向患者。传感器从一个或多个角度捕获患者的外表面。可以捕获外表面的任何部分，诸如从头到脚的整个患者以及一侧的手到手或仅仅躯干。

外表面是患者的皮肤。在其他实施例中，外表面包括衣服。传感器可以使用穿过衣服并检测皮肤表面的频率。

外表面被捕获为从传感器到患者上的不同位置的深度，患者外部的图像或照片，或两者。传感器输出感测的图像和/或深度。或者，处理传感器测量值以确定外表面信息，诸如利用图像处理从不同角度根据相机图像立体地确定外表面。

来自传感器的外表面的测量值是患者的表面数据。在一个实施例中，传感器的测量值或其他输出被用于确定表面数据。处理输出以确定表面数据。例如，统计形状模型拟合深度。统计形状模型是人的外部或人的一部分的平均或其他统计表示的网格或其他表示。统计形状模型包括关于改变的概率或其他约束，使得拟合基于统计维持形状。然后根据拟合统计形状模型确定表面数据，诸如从点到模型的深度。

表面数据可以包括患者的不同表示，诸如来自拟合模型的深度和外表面的投影（例如，相机图像）或厚度。厚度可以是给定深度与模型的最大和最小深度或来自传感器的深度的差。例如，给定患者的3D表面网格，生成数据的2D投影作为皮肤表面图像和深度图像。作为另一个示例，3D人体表面网格数据用2通道2D图像表示—第一通道存储从正面观察到的体表深度，而第二通道存储通过测量从正面观察到的最近点和最远点之间的距离而计算的厚度。可以使用其他表面数据。

根据表面数据预测定位片图像。该定位片示出了内部患者解剖结构的地图集（atlas）。可以仅根据表面数据预测定位片，或者可以根据表面数据和其他数据预测定位片，其他数据诸如患者身高，体重或体重指数。

在动作12中，图像处理器生成定位片。将具有或不具有其他数据的表面数据输入到机器学习的网络，并输出该定位片的标量或显示值。例如，外表面的投影图像和深度图像作为两个通道输入到机器学习的网络，该机器学习的网络响应于输入输出合成X射线图像（即，X射线投影）。图2示出了其中输入表面深度图像24和表面投影图像22以输出定位片26的示例。图像处理器将机器学习的网络应用于定位片预测。网络被训练使用的任何输入被应用为输入特征向量，诸如仅表面数据。

机器学习的网络是图像到图像网络，诸如生成性对抗网络，经过训练以将表面数据转换为定位片。例如，训练的卷积单元，权重，链接和/或网络的其他特性被应用于表面数据和/或导出的特征值，以通过多个层提取相应的特征并输出定位片。从图像中提取输入图像的特征（例如，表面数据）。可以使用该架构从那些提取的特征中提取其他更抽象的特征。根据单元或层的数量和/或布置，从输入中提取其他特征。

为了训练机器学习的网络，定义了机器学习网络布置。定义是通过学习的配置或编程。层或单元的数量，学习类型和网络的其他特性由程序员或用户控制。在其他实施例中，在学习期间由机器定义和选择一个或多个方面（例如，节点的数量，层或单元的数量或学习类型）。

机器学习网络是图像到图像网络。可以使用用于从输入空间分布输出空间分布的任何机器训练架构。例如，使用U-Net。使用卷积-转置-卷积网络。层或单元的一部分应用卷积来增加抽象性或压缩。然后将最抽象的特征值输出到另一部分。然后，层或单元的另一部分应用转置-卷积以减少抽象性或压缩，从而导致按位置的定位片的输出或类别成员资格的指示。图3示出了作为GAN的示例完全卷积网络。GAN包括生成器30，诸如图像到图像或U-Net，以及鉴别器36。生成器30包括编码器（卷积）网络32和解码器（转置-卷积）网络34，其形成“U”形状，具有从编码器32到解码器34的最大压缩或抽象性级别的通过特征之间的连接。可以使用任何现在已知或以后开发的U-Net架构。可以使用其他完全卷积网络。

对于应用，GAN的生成器30在没有鉴别器36的情况下使用。GAN在没有鉴别器36的情况下通过生成器30被应用于患者表面数据。鉴别器36被用于训练。

GAN是一种深度架构，其可以包括卷积神经网络（CNN）或深信念网络（DBN）。可以使用其他深度网络。CNN学习前馈映射函数，而DBN学习数据的生成性模型。此外，CNN对所有本地区域使用共享权重，而DBN是完全连接的网络（即，对图像的所有区域具有不同的权重）。CNN的训练完全通过反向传播来鉴别。另一方面，DBN采用逐层无监督训练（例如，预训练），然后在必要时使用反向传播进行鉴别细化。

网络被定义为多个顺序特征单元或层。顺序被用于指示从一个层到输入到下一层的输出特征值的一般流程。来自下一层的信息被馈送到下一层，依此类推，直到最终输出。这些层可以仅向前馈送或者可以是双向的，包括对先前层的某种反馈。每个层或单元的节点可以与先前或后续层或单元的全部或仅节点的子集连接。

不是预先编程特征并试图将特征与属性相关，而是定义深度架构以基于具有或不具有预处理的输入图像来学习不同抽象级别的特征。学习这些特征以重建较低级别的特征（即，更抽象或压缩级别的特征）。例如，学习用于重建图像的特征。对于下一个单元，学习用于重建先前单元的特征的特征，从而提供更多抽象。该单元的每个节点表示一个特征。提供不同的单元用于学习不同的特征。

在单元或层内，提供任意数量的节点。例如，提供100个节点。之后或后续单元可以具有更多，更少或相同数量的节点。通常，对于卷积，后续单元具有更多抽象。例如，第一单元提供来自图像的特征，诸如一个节点或特征是在图像中找到的线。下一个单元组合线，使得节点中的一个是角。下一个单元可以组合来自先前单元的特征（例如，线的角和线的长度），使得节点提供形状或构建指示。对于转置-卷积重建，抽象的级别反转。每个单元或层都降低了抽象或压缩的级别。

通过机器使用任何构建块来学习节点的特征。例如，使用自动编码器（AE）或受限制的玻尔兹曼机器（RBM）方法。AE线性地转换数据，然后应用非线性整流，例如S形函数。AE的目标函数是使用所学习的特征在输入图像和重建图像之间的预期均方误差。可以使用随机梯度下降或其他方法来训练AE，以通过机器学习导致最佳重建的特征。RBM的目标函数是能量函数。与RBM相关联的似然项的精确计算是难以处理的。因此，使用近似算法，诸如基于k步吉布斯采样或其他的对比-发散，来训练RBM以从特征重建图像。

AE或RBM的训练倾向于过度拟合高维输入数据。采用稀疏性或去噪技术（例如，稀疏去噪AE（SDAE））来约束参数的自由度并强制学习数据内的感兴趣结构。在隐藏层内强制实施稀疏性（即，一次仅激活隐藏层中的少量单元）也可以使网络正规化。在其他实施例中，至少一个单元是具有ReLU激活的卷积，或者是具有ReLU激活的批量归一化，之后是卷积层（BN + LeakyRU +卷积）。可以使用最大池化，上采样，下采样和/或柔性最大值传输（softmax）层或单元。不同的单元可以是相同或不同的类型。

在一个实施例中，将定位片预测视为经典的图像到图像转换问题。从2个通道图像（例如，皮肤表面和皮肤深度图像）开始，回归相同大小的单个通道图像（定位片图像）。该方法提供了能够捕获输入图像中的特征以检索输出图像的网络，该输出图像在某种意义上包括输入的更“完整”版本。可以使用完全卷积网络（FCN），诸如具有编码器32和解码器34的生成器30。编码器32'对回归目标所需的输入的有用特征进行编码，而解码器34尝试使用这些特征来创建目标图像。

在一个实施例中，生成器30是具有一个或多个跳过连接38的U-Net。跳过连接38在比最抽象（即除了瓶颈之外）的其他抽象或分辨率级别将特征从编码器32传递到解码器34。跳过连接38向解码层提供更多信息。完全连接的层可能处于网络的瓶颈（即，在层的最抽象级别的编码器32和解码器34之间）。完全连接的层可以确保编码尽可能多的信息。可以添加批量归一化以稳定训练。

在另一个实施例中，堆叠多个U-Net，生成器30或GAN。例如，GAN 40，42的生成器30顺序堆叠，如图4所示。来自一个GAN 40的输出向另一个GAN 42提供输入，该另一个GAN 42输出定位片。初始GAN 40接收表面数据作为输入。将U-Net堆叠为生成器30有助于捕获定位片的更多细节。患者的形状可以利用更多细节回归，诸如周围的细节或其他肺部。

使用GAN可以比使用没有鉴别器36训练的U-net或生成器30产生更逼真的定位片图像。GAN在图像到图像转换问题中生成逼真的图像。GAN同时训练两个不同的网络，鉴别器36的目的是决定给定的图像是真的还是假的，而生成器30的目的是通过使图像尽可能逼真来欺骗鉴别器36。

用于训练GAN的基本方法是用生成的和真实的图像更新鉴别器36，在鉴别器36中冻结权重，然后更新生成器30关于生成器30在欺骗鉴别器36方面有多好。更新生成器30中的权重，同时最小化鉴别器36的二进制交叉熵损失，其中输出应该总是为1。在一个实施例中，基于估计从初始状态训练GAN。在另一个实施例中，整个回归模型或生成器30不是从头开始训练的，而是通过学习丢失的细节来更新先前训练的生成器30。可以通过向生成的图像添加残差来重建丢失的细节。因此，学习具有与生成的图像相同的分辨率的残差图像。计算残差和生成的图像的逐元素和，以及用以更新残差的对抗性损失。预训练的生成器30不被更新，并且残差网络将把回归模型的瓶颈作为输入，例如，在最抽象级别的编码特征。在替代实施例中，更新预训练的生成器30。

为了训练任何网络，可以使用各种优化器，诸如Adadelta、SGD、RMSprop或Adam。随机初始化网络的权重，但是可以使用另一个初始化。执行端到端训练，但是可以设置一个或多个特征。不使用批量归一化，丢失和数据增加，但可以是（例如，使用批量归一化和丢失）。在优化期间，学习了不同的区别特征。学习提供解剖结构或组织的给定输入医学图像的流动指示的特征。

优化器使误差或损失最小化，所述误差或损失诸如均方误差（MSE），Huber损失，L1损失或L2损失。Huber损失可以对数据中的异常值不太敏感（在训练集中由形状的大变化表示）。使用Huber损失有助于捕获更好的背景。患者的形状可以更好地回归。在另一个实施例中，L1损失被用于更好地定义在所生成的定位片中表示的肺部或其他器官。使用具有L1损失的堆叠U-Net，患者的肺部或其他器官的形状和细节可以比针对Huber或L2损失的患者的肺部或其他器官的形状和细节更好。

图5示出了用左侧CT扫描生成的地面真值定位片，来自用中间L2损失训练的完全卷积网络的定位片，以及来自用右侧Huber损失训练的完全卷积网络的定位片。图6示出了左侧的地面真值定位片，以及来自U-net的三个图像，其中跳过连接用L2（中间左侧），Huber（中间右侧）和L1（右侧）损失进行训练。L1损失导致肺部的更多细节并且提供患者的形状。L1损失的均方误差为1.27. 10^-3，对于L2损失为2.28. 10^-3，而对于Huber的损失为2.21.10^-3。图6的高对比度图像示出了具有L1损失的U-Net捕获更多细节，尤其是对于骨骼。图7示出了左侧的地面真值图像和右侧的GAN生成的定位片，示出了更多细节和身体形状。

一旦经过训练，该模型可被应用于根据输入表面数据估计定位片。训练数据中的许多样本（例如，表面数据和地面真值定位片）被用于学习输出定位片。训练机器学习模型以学习表面数据和定位片之间的对应关系。

其他信息可用于定位片预测。在一个实施例中，使用堆叠网络。不是关注GAN 40，42二者中的定位片回归，而是堆叠网络使用至少一个GAN来预测一个或多个内部身体标记。可以检测或预测外部身体标记。输入表面数据以及预测的内部身体标记被用于通过另一个GAN预测定位片。可以调整预测的身体标记，其将自动更新定位片。

图8示出了示例。网络是标记预测网络，并且GAN 86是用于预测定位片（例如，X射线投影图像）的条件图像生成网络。使用GAN训练该堆叠网络84。只有生成器被堆叠，并且训练可以只使用一个鉴别器。堆叠网络将2通道图像（例如，表面数据的深度图像和皮肤表面）作为输入，其通过地标回归器预测N通道图像，其中N是地标的数量。这些N通道图像与表面数据的2通道图像连接以形成N+2通道图像，该N+2通道图像通过定位片回归器预测单个通道图像作为定位片。

用于地标检测的网络可以是预训练的地标回归器。当训练用于预测定位片的GAN86时，不更新用于地标检测的网络的权重。在训练期间，地面真值地标图像可以被用于训练GAN 86用于定位片而不是由网络84输出的用于地标预测的地标图像。或者，网络84，86二者都是端到端训练或在同一训练期间和/或网络84的地标输出用于训练GAN 86。每个GAN 40，42可以用单独的鉴别器训练，或者一个鉴别器被用于生成器的组合（即GAN的组合）。

任何批量大小都可用于训练。在一个实施例中，批量大小为32个示例。在另一个实施例中，批量大小为1个示例。较小的批量大小可能导致更高的损失和均方误差。

在一个实施例中，标记预测网络（即，网络84）将表面图像以及预测的X射线图像作为输入并预测所有标记的位置。网络84是类似U-Net的架构，其被训练为通过最小化L2损失或其他损失从3通道输入图像（2个表面数据通道，1个X射线图像通道）回归到17通道热图图像。地标图像是对应于17个解剖学上有意义的地标的热图，诸如肺顶部，肝顶部，肾中心等。热图是任何给定像素或体素作为地标的似然性的空间分布。对于热图，每个输出通道与给定的地面真值进行比较，该地面真值包括以给定目标位置为中心的高斯掩模（核半径= 5，σ= 1）。可以使用其他半径和标准偏差。可以使用除热图之外的其他图像或空间分布，诸如为每个地标提供二进制标签。

对于初始使用，定位片不可用于输入到地标网络84。可以使用应用的默认定位片（例如，上躯干成像），噪声或其他输入。在另一种方法中，训练GAN 82以从表面数据输出定位片。该GAN 82提供初始定位片作为到地标网络84的输入。在使用迭代的情况下，输入到地标网络84的后来的定位片来自定位片GAN 86。或者，默认，噪声或其他地标图像作为初始步骤输入到定位片GAN 86，其中定位图GAN 86然后输出到地标网络84。因此，地标网络84从初始化GAN 82，定位片GAN 86或另一个源接收定位片。

所提出的GAN 86的条件图像生成网络是从条件GAN架构导出的。在一个实施例中，使用以皮肤表面为条件的Wassertein GAN架构。具有U-Net架构的生成器将表面图像和标记热图作为输入，并将合成X射线图像输出为定位片。为了稳定训练，使用具有梯度惩罚的Wasserstein损失。可以使用具有或不具有梯度惩罚的其他损失。评论家或鉴别器将表面图像和相应的X射线图像作为输入。或者，评论家或鉴别器接收表面图像，标记图（参数空间）和X射线图像作为输入以隐含地强制它们之间的强相关性。

网络82，84，86中的每一个接收表面数据作为输入。在替换实施例中，网络82，84，86中的一个或多个不使用表面数据作为输入，诸如网络84或GAN 86。可以使用附加的，不同的或更少的网络，诸如不包括初始化GAN 82。网络82，84，86中的一个或多个可以是不同的图像到图像网络。

利用图8中的堆叠管线，可以通过用户或通过图像处理移动地标中的一个或多个。接收地标的用户输入或处理器输入。结果，改变了该通道的地标图像。在输入到定位片GAN86时，定位片GAN 86基于改变的地标图像输出定位片。为了更新定位片，其他地标可以以受约束的方式移动。例如，肺底不能低于肾脏，因为这在身体上不是可能的设置。通过在堆叠管线中重用来自GAN 86的预测定位片，网络84和86确保地标和定位片是一致的。如果更新地标，则通过使得到的定位片通过地标网络84循环并且再次基于输出的地标图像由定位片GAN 86预测定位片来适当地更新其余的地标（如果需要）。定位片确保身体正确性。

图8的堆叠管线提供由一组空间分布的标记参数化的图像（例如，定位片）。可以在大小和/或位置上操纵一个或多个标记，同时仍然提供逼真的定位片。经由标记（空间参数）对图像的操纵使用学习双射映射。训练标记预测网络（MPN）（即，网络84）以从图像内容预测参数，并且训练条件图像生成网络（CIGN）（即，GAN 86）以在给定参数化的情况下预测图像内容。在初始预测之后，迭代地应用网络84，86（即，在重复循环中用作输入的当前输出）直到收敛。虽然可以从噪声生成参数化图像，但是使用自然地应用于从3D体表数据生成X射线图像的任务的条件图像生成。

图8的堆叠管线被顺序地，同时地和/或端到端地训练。可以使用其他训练方法。在一个实施例中，使用可用的地面真值数据单独预训练地标和定位片网络84，86。随后网络84，86被端到端地细化以最小化组合损失，定义为L = L_MPN + L_CIGN其中，L_MPN是标记的预测和地面真值热图之间的均方误差（MSE），而L_CIGN是预测和地面真值X射线图像之间的MSE。

为了预训练地标网络84（即，标记预测网络），Adam或其他优化器最小化MSE损失。初始学习率为10^-3。在预训练期间，具有体表图像（即表面数据）的地面真值X射线图像被用作输入。在收敛训练过程期间，输入被预测的X射线图像代替。这最初使标记预测网络的性能恶化，但是在几个收敛训练时期之后网络很快恢复。

为了预训练定位片GAN 86（即，条件图像生成网络），使用具有10^-3的初始学习率的Adam或其他优化器输入表面图像和地面真值地标图。在预训练之后，使用具有低学习率10^-5的RMSProp或其他优化器。Wasserstein GAN（WGAN）的梯度惩罚变体可能优于具有权重削减的原始WGAN。评论家的架构类似于生成器网络的编码器部分。在WGAN的情况下，使用更复杂的评论家可能会帮助训练更快地收敛。在收敛训练期间，使用预测的地标作为输入来迭代地更新网络。

对于经由迭代反馈的收敛训练，两个网络都连续迭代地应用，直到在测试阶段期间二者都达到稳定状态。这隐含地要求网络在训练阶段期间具有很高的收敛似然性。一个稳定的解决方案是标记和合成图像二者彼此完全一致，这表明一个双射。一个网络被冻结，同时使用其自身损失以及从另一个网络反向传播的损失来更新另一个网络的权重。因此，不仅网络从地面真值获得反馈，网络还获得关于它们如何相互帮助的反馈（例如，良好的标记给出良好的X射线图像，反之亦然）。在每次迭代时由条件图像生成（CIGN）和标记预测网络（MPN）优化的损失由下式给出：L_CIGN =L_adv（I_gt，Iⁱ _syn）+L₂（MPN（Iⁱ _syn，S），M_gt）和L_MPN = L₂（Mⁱ，M_gt）+L₁（I_gt，CIGN（Mⁱ，S））其中，CIGN（.）和MPN（.）是以函数形式描绘的深度网络，I_gt和M_gt分别是地面真值图像和标记热图，而Iⁱ _syn和Mⁱ是迭代i处的预测图像和标记热图。用以训练网络以促进收敛的迭代方法是通过学习合作而不是竞争。与GAN训练类似，训练可能会变得不稳定和分歧。损失按比例加权以避免分歧。虽然达到收敛所需的时期数取决于两个网络的输出相关的紧密程度，但50个时期可能就足够了。可以使用其他数量的时期。在X射线或地标位置中没有显着（例如，阈值量）变化暗示或指示收敛。下面的算法1（Algorithm 1）详述了用于收敛训练（Convergent training）的一个示例伪代码。

算法1 收敛训练

要求：

学习率，

模型从表面生成X射线。

初始MPN权重。

初始GIGN权重。

和

损失比例因子。

。

为了验证收敛训练，从测试集中选择随机数据样本，并监视跨迭代的标记位移。在没有收敛训练的情况下，标记可能跨迭代发生变化。

评估图8的堆叠网络。从患者收集2045个全身CT图像。整个数据集被随机分成195个图像的测试集，108个图像的验证集，以及具有其余图像的训练集。使用阈值处理和形态学图像操作从CT扫描获得3D体表网格。通过正交投影CT图像生成X射线图像。使用颈部和耻骨联合体标记将所有数据归一化为单个标量，因为这些可以容易地从体表数据近似。使用PyTorch环境，类似U-Net的网络由四级卷积块组成，每个卷积块包含3次重复的卷积，批量归一化和ReLU。每个网络有27个卷积层，其中每层中有32个滤波器。

虽然收敛训练的目的是确保X射线和标记之间的紧密相关，但是关于由医学专家提供的用于地标估计的地面真值标记注释来计算误差统计。收敛训练有助于提高标记预测网络的准确性，尽管改进不是数量上显着的（例如，平均欧几里德距离从2.50cm下降到2.44cm）。由于收敛训练有助于更稳定的预测，因此对于一些特别难以预测的标记（诸如胸骨尖端）的准确性提高。例如，在胸骨尖端的情况下，误差从2.46cm下降到2.00cm。

对于合成X射线预测，pix2pix方法被用作条件图像回归的基线。L1损失被用于训练生成器。使用34x34的接受域实现最低的验证误差。批量大小从32逐渐减少到1，尽管结果模糊，但在开始时使得能实现更快的训练。随着训练的继续，以及批量大小减少到1，可以恢复更多细节。使用L1误差和在整个测试集上平均的多标量结构相似性指数（MS-SSIM），具有梯度预测的WGAN具有比UNet，Pix2Pix，WGAN和Conv-WGAN-GP更高的MSSSIM和更低的L1误差。收敛训练可以保持高感知图像质量，同时确保标记与X射线图像强相关。

图9示出了六个不同患者的预测X射线图像和相应的表面图像。与地面真值相比，合成X射线图像在诸如上胸部的某些区域中具有高准确性，而在诸如下腹部的其他区域中具有较低的准确性，其中已知方差将显着较高。使用WGAN-GP生成的图像在器官轮廓周围更清晰，而脊柱和髋骨结构更清楚。

再次参考图1，显示设备在动作14中显示定位片。在生成定位片的若干次迭代的情况下，显示在给定次数的迭代和/或收敛之后的定位片。可以显示其他预测的定位片。

该显示是视觉输出。图像处理器生成图像。生成定位片图像并在显示器上显示。可以将图像输出到显示器，输出到患者医疗记录中和/或输出到报告。

图像由定位片的标量值或强度生成。标量值被映射到显示值，诸如RGB值。生成定位片的灰度或彩色图像。在其他实施例中，将定位片预测为显示值。由于定位片是投影，因此图像是2D图像。该定位片的图像示出了患者形状以及一个或多个器官的位置。可以突出显示一个或多个地标，诸如使用图形（例如，框，点，线或另一标记）。

定位片可以由用户用于诊断或其他目的。例如，该定位片被用于定位患者，诸如沿纵轴移动患者，使得给定的地标或器官相对于医学扫描仪居中。

在动作16中，图像处理器基于定位片配置医学扫描仪。医学扫描仪可以自行配置。可以使用地标，或者从定位片检测器官位置。或者，用户通过具有一个或多个控件的输入基于定位片来配置医学扫描仪。

某些内部解剖结构的预测可以帮助计划医学扫描。该定位片可被用于计划通过任何模态进行扫描，诸如CT，MR，荧光透视或超声。对于CT扫描，可以使用定位片来确定扫描范围以获得定位片或全CT扫描，这取决于需要扫描哪个器官以及可以预测附近结构的准确程度。在定位片中反映的内部解剖结构的位置可以辅助用于MR扫描的线圈放置。对于超声扫描，定位片可以通过提供各种器官的近似位置来辅助探针引导。对于使用dyna-CT扫描的荧光透视，该拓扑图可用于定位患者和/或扫描仪。

由于辐射暴露被认为是有害的，因此通常以有限的视场获取X射线图像，仅覆盖特定身体区域（例如，胸部或腹部）。使用参数图像，可以重建或预测整个身体的X射线图像，使得预测的定位片与部分但真实的图像一致。重建的X射线图像可以被用于后续或未来的医学扫描中的采集计划。使用重建的X射线，可以更精确地指定扫描区域，从而潜在地减少辐射暴露。

为了重建完整的X射线，从表面数据生成患者的参数化X射线图像。预测的X射线可能并不总是对应于真实的内部解剖结构。使用参数化图像上的标记，可以调整标记直到合成X射线与它们重叠的真实X射线匹配。一旦调整了标记，就会与所有标记一起生成完整的X射线。

预测的定位片可以用于解剖异常检测。预测的定位片生成从健康患者学习的健康解剖结构的表示。可以将患者的真实或实际X射线图像与预测的定位片进行比较。通过量化真实X射线图像和预测X射线图像之间的差异，可以检测任何解剖异常。例如，通过减法突出显示缺失的肺或添加的植入物。虽然解剖异常更容易识别，但是所提出的具有更高分辨率成像的方法可用于建议肺结节或其他病理状况的候选者。

由于隐私和健康安全问题，很难获得医学成像数据，这为数据驱动的分析（诸如深度学习）造成了重大障碍。可以采用定位片预测来生成逼真的训练数据。用以空间重新定位地标并生成相应的定位片的能力被用于创建用于训练的各种采样。参数化的X射线图像提供了用以生成医学图像训练数据的方法。空间参数化提供受控扰动，诸如生成具有特定大小的肺部的数据变化。对于诸如标记检测之类的任务，由于图像流形是平滑的，因此可以通过当标记沿着图像流形扰动时在一个图像中注释标记并在图像域中跟踪它来生成训练数据（用于增强）以及注释。

在生成训练数据的一个示例中，在50个合成X射线图像中手动注释左肺底地标将被用于训练数据。为了评估，手动注释50个地面真值X射线图像。为了生成增强的训练数据集，通过允许标记在特定范围内移动，从注释的参数化图像生成100个随机扰动。由于图像流形是平滑的，随着标记的位置在扰动图像中变化，注释使用系数标准模板匹配进行传播。训练完全卷积网络以从X射线图像回归标记位置，被描绘为高斯掩模。使用具有初始学习率为10^-3的Adam优化器。为了测量使用参数化图像生成的数据的有用性，通过使用100个随机转换来增强50个训练图像来创建基线训练数据集。仅在5个时期之后，相比于基线的8.75cm，使用参数化训练数据训练的模型在测试集上具有0.99cm的平均误差。在25个时期之后，基线具有1.20cm的平均误差，而在具有参数化扰动的数据上训练的网络具有低得多的0.68cm误差。

在动作18中，配置的医疗扫描仪扫描患者。患者被成像。基于医学扫描仪的配置执行成像。扫描范围，焦点，视场和/或其他成像参数基于定位片，因此扫描基于定位片。来自扫描的结果得到的图像更可能示出感兴趣的区域。可以基于使用定位片的配置来限制来自扫描的电离辐射。

图10示出了用于定位片预测的医学成像系统。医学成像系统包括显示器100，存储器104和图像处理器102。显示器100，图像处理器102和存储器104可以是医学扫描仪106，计算机，服务器，工作站或其他系统的一部分，用于对来自患者的扫描的医学图像进行图像处理。没有医学扫描仪106的工作站或计算机可以用作医学成像系统。医学成像系统还包括用于感测患者的外表面的传感器108。

可以提供附加的、不同的或者更少的组件。例如，包括计算机网络，用于本地捕获的表面数据的远程定位片图像生成或用于来自远程捕获的表面数据的本地定位片图像生成。网络作为独立应用程序应用于工作站或本地设备，或作为部署在网络（云）架构上的服务。作为另一示例，提供用户输入设备（例如，键盘，按钮，滑块，拨号盘，轨迹球，鼠标或其他设备）以供用户改变或放置一个或多个标记（例如，地标）。

传感器108是深度传感器。可以使用LIDAR，2.5D，RGBD，立体光学传感器或其他深度传感器。示出了一个传感器108，但是可以使用多个传感器。可以提供光投射仪。传感器108可以包括用于来自图像的深度测量值的单独处理器，或者图像处理器102根据传感器108捕获的图像确定深度测量值。

传感器108指向患者110。传感器108可以是医学扫描仪106的一部分或连接到医学扫描仪106，或者与医学扫描仪106分开。

传感器108被配置为测量患者的深度。深度是在患者的各个位置处从传感器108或其他位置到患者的距离。可以使用患者上的任何样本模式。传感器108输出深度测量值和/或表面图像。图像处理器102或另一处理器可将模型拟合到传感器输出以提供表面数据。或者，传感器108输出表面数据作为测量值。

图像处理器102是控制处理器，通用处理器，数字信号处理器，三维数据处理器，图形处理单元，专用集成电路，现场可编程门阵列，数字电路，模拟电路，它们的组合，或其他现在已知的或后来开发的用于处理医学图像数据的设备。图像处理器102是单个设备，多个设备或网络。对于多于一个设备，可以使用并行或顺序的处理划分。构成图像处理器102的不同设备可以执行不同的功能，诸如应用不同的GAN或应用GAN以及配置医学扫描仪106。在一个实施例中，图像处理器102是医学诊断成像系统（诸如医学扫描仪106）的控制处理器或其他处理器。图像处理器102根据存储的指令，硬件和/或固件进行操作以执行本文描述的各种动作。

图像处理器102被配置为训练机器学习架构。基于用户提供的或网络架构的其他源和训练数据，图像处理器102学习用于编码器，解码器，鉴别器或其他网络部件的特征以训练网络。训练的结果是机器学习的网络或用于具有或不具有地标参数化的定位片预测的网络。

可替代地或另外地，图像处理器102被配置为应用一个或多个机器学习的网络。例如，GAN被应用于来自传感器的表面数据。机器学习的生成性网络被应用于表面信息。基于先前的训练，网络响应于表面数据的应用（例如，来自测量的深度的深度信息）生成定位片。一个网络可以输出地标概率图（例如，热图），并且另一个网络可以基于地标概率图的输入来输出定位片。两个网络都可以接收患者外部的深度信息作为输入。作为另一示例，图像处理器102被配置为使用已经使用梯度惩罚训练的WGAN来生成定位片。

图像处理器102被配置为生成图像。来自GAN的定位片输出可以是图像。或者，形成定位片的标量值被映射到显示值。可以将诸如用于地标之类的注释或图形添加到图像。

显示器100是CRT，LCD，投影仪，等离子，打印机，平板电脑，智能电话或其他现在已知或以后开发的用于显示输出（诸如定位片）的显示设备。显示器100显示从深度信息生成的医学图像定位片。

传感器测量值，拟合形状模型，表面数据，网络定义，特征，机器学习的网络，地标图像，输出定位片和/或其他信息被存储在非暂时性计算机可读存储器（诸如存储器104）中。存储器104是外部存储设备，RAM，ROM，数据库和/或本地存储器（例如，固态驱动器或硬盘驱动器）。相同或不同的非暂时性计算机可读介质可以用于指令和其他数据。存储器104可以使用数据库管理系统（DBMS）来实现，并且驻留在诸如硬盘，RAM或可移动介质的存储器上。或者，存储器104在处理器102内部（例如，高速缓存）。

用于实现本文中讨论的训练或应用过程、方法和/或技术的指令被提供在非暂时性计算机可读存储介质或存储器上，诸如高速缓存、缓冲器、RAM、可移动介质、硬盘驱动器或其他计算机可读存储介质（例如，存储器104）。计算机可读存储介质包括各种类型的易失性和非易失性存储介质。响应于存储在计算机可读存储介质上或中的一个或多个指令集而执行在本文中描述或者附图中图示的功能、动作或任务。功能、动作或任务与指令集、存储介质、处理器或处理策略的特定类型无关，并且可以由单独或组合操作的软件、硬件、集成电路、固件、微代码等执行。

在一个实施例中，指令存储在可移动介质设备上以用于由本地或远程系统读取。在其他实施例中，指令存储在远程位置中以用于通过计算机网络转移。在又其他实施例中，指令存储在给定计算机、CPU、GPU或系统内。因为附图中描绘的一些组成系统组件和方法步骤可以用软件实现，所以系统组件（或处理步骤）之间的实际连接可以根据编程本实施例的方式而不同。

医学扫描仪106是医学诊断成像系统，其被配置为扫描患者的体积并从扫描生成解剖信息。医学扫描仪106是CT，MR，PET，SPECT，X射线或超声扫描仪。

医学扫描仪106被配置为生成解剖信息。配置使用一个或多个参数的设置，诸如X射线源电压，工作台位置和/或移动范围，机架位置和/或移动范围，焦点，视场，扫描密度，检测器阈值，传输序列，图像处理设置，过滤设置或图像生成设置。基于从表面数据生成的定位片而不是通过医学扫描仪106扫描，设置医学扫描仪106的一个或多个设置。使用设置通过医学扫描仪106对患者110成像。在替代实施例中，来自医学扫描仪106的扫描数据用于确定表面数据，诸如通过将包括皮肤网格的统计形状模型拟合到扫描数据。

本文描述的各种改进可以一起使用或单独使用。尽管本文中已经参考附图描述了本发明的说明性实施例，但是应该理解，本发明不限于那些精确的实施例，并且本领域技术人员可以在不脱离本发明的范围或精神情况下实施各种其他变化和修改。

Claims (20)

1.一种用于根据医学成像系统中表面数据的定位片预测的方法，该方法包括：

用传感器捕获患者的外表面；

由图像处理器通过机器学习的生成性对抗网络响应于到机器学习的生成性对抗网络的表面数据的输入而生成定位片，该表面数据来自用于外表面的传感器的输出，该定位片将患者的内部器官表示为穿过患者的投影；以及

通过显示设备显示该定位片。

2.根据权利要求1所述的方法，其中，捕获包括用是深度传感器的传感器进行捕获。

3.根据权利要求1所述的方法，其中，捕获包括用是相机的传感器进行捕获，其中表面数据基于光学测量值。

4.根据权利要求1所述的方法，其中，生成还包括将统计形状模型拟合到用于外表面的传感器的输出，该表面数据包括（a）来自拟合统计形状模型的深度和（b）外表面的投影或厚度。

5.根据权利要求1所述的方法，其中，生成包括用机器学习的生成性对抗网络进行生成，该机器学习的生成性对抗网络包括具有编码器和解码器的完全卷积网络。

6.根据权利要求5所述的方法，其中，编码器和解码器包括U-Net，该U-Net在编码器和解码器之间具有跳过连接。

7.根据权利要求1所述的方法，其中，生成包括用所述机器学习的生成性对抗网络进行生成，该机器学习的生成性对抗网络是堆叠U-Net。

8.根据权利要求1所述的方法，其中，生成包括用所述机器学习的生成性对抗网络进行生成，该机器学习的生成性对抗网络已用L1损失进行训练。

9.根据权利要求1所述的方法，其中生成包括用所述机器学习的生成性对抗网络进行生成，该机器学习的生成性对抗网络包括用于从所述表面数据生成第一X射线图像的第一生成器，用于从所述第一X射线图像或第二X射线图像和表面数据生成地标图像的第二生成器，以及用于从表面数据和地标图像生成第二X射线图像的第三生成器，所述第二X射线图像包括定位片。

10.根据权利要求9所述的方法，其中，生成包括迭代地使用第二和第三生成器。

11.根据权利要求9所述的方法，还包括：

接收第一地标的地标位置的用户输入；

其中生成包括生成具有约束到地标位置的第一地标的定位片。

12.根据权利要求1所述的方法，其中，生成包括用所述生成性对抗网络进行生成，该生成性对抗网络已用梯度惩罚进行训练。

13.根据权利要求1所述的方法，还包括：

基于定位片配置医学扫描仪；以及

如基于定位片所配置的通过医学扫描仪对患者进行成像。

14.一种用于根据医学成像系统中表面数据的定位片预测的方法，该方法包括：

用传感器捕获患者的外表面；

由图像处理器通过第一和第二机器学习的网络响应于到第一和第二机器学习的网络的表面数据的输入而生成定位片，该表面数据来自用于外表面的传感器的输出，该定位片将患者的内部器官表示为穿过患者的投影，该第一机器学习的网络输出空间标记图，而该第二机器学习的网络基于表面数据和空间标记图输出定位片；以及

通过显示设备显示该定位片。

15.根据权利要求14所述的方法，其中，生成还包括迭代地使用所述第一和第二机器学习的网络，所述第一机器学习的网络响应于所述定位片和所述表面数据的输入而输出所述空间标记图，并且其中显示包括显示来自迭代的定位片中的最终一个定位片。

16.根据权利要求15所述的方法，其中，生成包括用第三机器学习的网络进行生成，所述第三机器学习的网络输出用于迭代到用于初始迭代的第一机器学习的网络的初始定位片。

17.根据权利要求14所述的方法，其中，生成包括用所述第一和第二机器学习的网络进行生成，所述第一和第二机器学习的网络包括Wasserstein生成性对抗网络，该Wasserstein生成性对抗网络已用梯度惩罚进行训练。

18.一种用于定位片预测的医学成像系统，该医学成像系统包括：

深度传感器，其被配置为测量到患者的深度；

图像处理器，其被配置为将训练过的生成性对抗网络的机器学习的生成器应用于来自深度的深度信息，该机器学习的生成器已被训练以从深度信息生成定位片；以及

显示器，其被配置为显示定位片。

19.根据权利要求18所述的医学成像系统，其中所述生成性对抗网络包括已使用梯度惩罚训练的Wasserstein生成性对抗网络。

20.根据权利要求18所述的医学成像系统，其中，所述机器学习的生成器包括第一和第二生成器，所述第一生成器被配置为输出地标概率图，而所述第二生成器被配置为基于所述深度信息的输入和所述地标概率图输出所述定位片。

Images