CN108433700A - 从表面数据估计患者内部解剖结构 - Google Patents

Abstract

一种用于控制扫描仪的方法，该方法包括：感测目标对象身体的外表面以收集身体表面数据，使用机器学习来基于身体表面数据预测目标对象的内部器官的表面，以及基于内部器官的所预测的表面来控制扫描仪。

Description

从表面数据估计患者内部解剖结构

交叉引用

本申请要求保护对2017年2月16日提交的美国临时申请No. 62/459,651的优先权，通过引用将其内容合并于此。

技术领域

本公开内容总体上涉及医学成像系统，并且更具体地涉及用于成像扫描仪的控制设备。

背景技术

为了降低不必要的辐射，医学扫描设备应该限制患者被扫描的区域。因为患者身体形状、身体尺寸、衣服等等的变化，操作医学成像扫描仪的技术人员可能面对尝试粗略确定在患者体内所感兴趣的内部器官或区域的隐藏位置的困难任务。可以由技术人员从低剂量定位片（topogram）图像来确定内部器官的位置，而这导致对患者的额外辐射。然后技术人员手动对患者定位以使所得感兴趣的区域相对于扫描仪被优化定位。手动患者定位过程是耗时且高成本的。

发明内容

在一些实施例中，一种用于控制扫描仪的方法包括：感测目标对象（subject）的身体的外表面以收集身体表面数据；使用机器学习来基于身体表面数据预测目标对象的内部器官的表面；以及基于内部器官的所预测的表面来控制扫描仪。

在一些实施例中，一种用于控制扫描仪的系统包括：用于感测目标对象身体的外表面以收集身体表面数据的深度传感器；耦合至扫描仪的处理器；非瞬时机器可读存储介质，其被耦合至处理器并且利用用于执行以下各项的程序指令来被编码：使用机器学习来基于身体表面数据预测目标对象的内部器官的表面；以及基于内部器官的所预测的表面来控制扫描仪。

在一些实施例中，一种非瞬时机器可读存储介质，利用用于控制扫描仪的程序指令来这样被编码，以使得当处理器执行该程序指令时，该处理器执行包括以下各项的方法：从深度传感器接收表示目标对象身体的外表面的身体表面数据；使用机器学习基于身体表面数据来预测目标对象的内部器官的表面；以及基于内部器官的所预测的表面来控制扫描仪。

附图说明

图1是根据一些实施例的医学成像系统的示意图。

图2是根据一些实施例的方法的示意图。

图3A是被配置用于训练的图1的扫描系统的框图。

图3B是被配置用于测试阶段的图3A的扫描系统的框图。

图4示出针对用于训练图3A的第一自动编码器的第一训练阶段的配置。

图5示出针对用于训练图3A的第二自动编码器的第二训练阶段的配置。

图6示出针对用于训练图3A的回归器的第三训练阶段的配置。

图7示出针对测试阶段的配置。

图8是根据一些实施例的方法的流程图。

图9A至9C示出在使用在此所述的方法的情况下所预测的肺位置的示例。

图10A示出样本CT体积。

图10B示出对应于图10A的样本CT体积的合成CT体积（冠状投影）。

图11是用来从皮肤表面获得器官或骨骼掩模（mask）的体积回归的表示。

图12A-12C示出适合于骨骼掩模回归的剪裁的归一化体积（cropped normalizedvolume）。

图13A和13B是示出用于基于定位片的合成CT细化的方法的流程图。

图14A-14C分别示出原始CT图像、在使用体积回归的情况下的对应合成CT结果、以及在使用定位片图像情况下的细化之后的结果。

具体实施方式

对示例性实施例的该描述意图结合所附图来被阅读，其中所附图被认为是整个书面描述的一部分。

该公开内容描述一种医学成像系统，以及用于基于对患者的表面测量来预测患者的内部解剖并且基于该预测来控制该医学成像系统的方法、系统和包含用于基于对患者的表面测量来预测患者的内部解剖并且基于该预测来控制该医学成像系统的计算机指令的非瞬时机器可读存储介质。所预测的内部解剖可以包括但不限于：内部身体标记、诸如肺中心、甲状腺；器官表面、诸如肺、心脏、大脑等等。

在一些实施例中，可以使用现成的（off-the-shelf）2.5D或3D深度传感器来获得表面测量。例如，医学成像设备可以被装配有3D相机以观测患者。可以通过学习在由2.5D深度传感器所感测的详细患者表面几何形状和内部解剖结构（诸如器官和身体标记）之间的统计相关性模型来实现内部解剖结构的所预测的位置。该方法和设备可以在使用机器学习的情况下从大数据集学习相关性模型。

一些实施例包括用来在使用机器学习算法情况下基于对患者的身体表面的几何测量来预测内部解剖结构的位置的系统。所预测的结构可以包括身体标记（例如关节）和/或器官表面。可以基于训练数据集中的相关统计在误差范围内估计该结构。可以在使用采用线性回归、稀疏线性回归（sparse linear regression）或机器学习的回归器（regressor）203的情况下来执行该估计。

该系统将内部结构作为回归任务来估计。在计算机视觉中，该文字表述（literature）还可以被视为一项“图像修复（inpainting）”问题，在这里身体的表面是已知的并且系统尝试填充丢失的内部细节；在这种情况下，可能对大量数据进行图像修复。

一些实施例使用机器学习技术来学习在表面数据和内部结构之间的相关性模型。本公开内容提供了各种各样的回归方法，诸如稀疏线性回归和非线性深度回归。

在一些实施例中，该表面数据和内部结构可以被表示为网格（或点）或者体积掩模（volumetric mask）。回归方法可以应用于表面数据或体积数据。

用来预测确定的内部解剖结构的位置的能力在规划医学扫描时提供了若干益处，其中医学扫描诸如是计算机断层摄影（CT）、磁共振（MR）、荧光检查或超声。对于CT扫描，内部解剖结构的所预测的位置可以被用于：依据哪个器官将被扫描以及依据可以多么准确地预测附近结构，确定扫描范围，以获得定位片或全CT扫描。内部解剖结构的所预测的位置还可能有助于，协助用于MR扫描的线圈放置。对于超声扫描，内部解剖结构的所预测的位置可能通过提供各种各样的器官的大概位置来协助探针引导（probe guidance）。对于使用dyna-CT扫描的荧光检查，内部解剖结构的所预测的位置也可以有助于定位。

在一些实施例中，该系统学习（身体表面和器官表面的）瞬间位置的空间相关性，其也隐式捕获（implicitly capture）（由经多个帧的空间相关性所确定的）运动相关性。

图1示出扫描仪系统100，其包括用于控制扫描仪105的控制设备110。该扫描仪105具有用于感测目标对象身体的外表面102以收集身体表面数据的深度传感器101。该控制设备110具有使用机器学习来基于身体表面数据102预测目标对象的内部器官104（图2）的表面的处理器111。该处理器111（例如用软件）被配置成基于内部器官104的所预测的表面来控制扫描仪105。

该扫描仪105可以是：MR扫描仪，诸如“MAGNETOM VIDA”TM扫描仪；CT扫描仪，诸如“SOMATOM Confidence RT Pro”^TM CT扫描仪；PET扫描仪，诸如“BIOGRAPH HORIZON”TM PET/CT扫描仪心血管；或超声扫描仪，诸如“ACUSON SC2000PRIME” ^TM心血管超声系统，所有都由美国宾夕法尼亚州莫尔文的美国西门子医疗解决方案公司出售。这些仅仅是示例，并且可以使用其他扫描仪型号和模型。

该扫描仪105被耦合至控制设备110，该控制设备110可以包括嵌入式处理器111、计算机、微控制器、专用集成电路（ASIC）、可编程门阵列、等等。该控制设备110包括主存储器112，其可以包括非瞬时机器可读存储介质，诸如动态随机存取存储器（DRAM）。辅助存储器包括非瞬时机器可读存储介质114，诸如固态驱动器、硬盘驱动器（HDD）和/或可移动存储驱动器，其可以包括固态存储器、光盘驱动器、闪速驱动器、磁带驱动器等等。该非瞬时机器可读存储介质114可以包括有形地存储在其中的用于促使扫描仪105执行各种操作和数据118的计算机软件指令116。

可以使用现成的2.5D或3D深度传感器101（诸如由美国华盛顿州雷德蒙德的微软公司出售的“KINECT 2”^TM3D相机、由台湾台北的AsusTeK计算机公司出售的“ASUS XTION” ^TM）、立体相机、或飞行时间相机（诸如由新加坡的创新科技有限公司出售的“SENZ3D”相机）或者通过来自多个2D图像的3D重建来获得表面测量结果。这些传感器101是非电离的并且并不已知对患者的健康构成任何危险。控制设备110的处理器111向扫描仪105以及2.5D或3D相机101发送命令。处理器111从2.5 D或3D相机101接收RGB-D数据并且从扫描仪105接收原始（MR、CT、PET或超声）数据。

在一些实施例中，如在通过引用以其整体合并于此的US 2015/0213646 Al（2015年1月26日提交的申请No.: 14/604,829）中公开的那样，基于来自深度相机的2.5D或3D图像来形成目标对象的3D化身网格（avatar mesh）。将目标对象的深度相机图像转换成3D点云。在3D点云中检测多个解剖标志。通过基于所检测到的解剖标志使模板网格与3D点云对准来初始化3D化身网格。然后通过使用已训练的参数化可变形模型（parametricdeformable model）（PDM）优化3D化身网格来生成目标对象的个性化3D化身网格。

图2是使用图1的系统100执行的方法的高级别示意图。该方法使用机器学习来预测器官或身体组织的内表面，以用于控制扫描仪105。2.5D或3D传感器101捕获患者的外身体表面102的深度图像（也被称为RGB-D图像）。

该控制设备110使用流形学习（manifold learning）（例如主成分分析（principalcomponent analysis）、自动编码器或其他机器学习方法）来降低身体表面数据102的维度以便将身体表面数据编码成降维身体表面数据102’。

该控制设备110具有用于基于降维身体表面数据102’来预测内部器官104的表面的紧凑表示104’的预测块119（包括回归器203）。在一些实施例中，该预测由预测块119基于回归使用机器学习来执行。预测的结果是表示内部器官104的表面的主坐标或潜在变量的集合104’。然后控制设备110执行用于扩展紧凑表示104’的解码过程以便重建器官表面数据104。

图3A和3B更详细地示意性示出图2的系统100的装置和预测块119。例如，可以通过用于执行存储在控制设备110中的指令116的处理器111来实施预测块119。图3A和3B示出在基于身体表面数据102来预测器官表面数据104中涉及的分量201-203。图3A示出在训练阶段期间的数据流，并且图3B示出在测试阶段期间的数据流。在一些实施例中，如图3A和3B中所示，第一自动编码器201执行降维。回归器203确定用于基于身体表面102的紧凑（潜在变量或主成分）表示102’来预测器官表面104的紧凑（潜在变量或主成分）表示104’的函数f。第二自动编码器202基于器官表面104的紧凑（潜在变量或主成分）表示104’构建所预测的器官表面数据104。

参考图3A，第一自动编码器201被配置成通过将身体表面数据102编码成身体表面潜在变量或主成分102’来降低维度。自动编码器是用于无监督机器学习的人工神经网络。自动编码器201学习用于降维的数据的集合的表示（编码）。自动编码器201可以被实施为前馈非递归神经网络（feedforward, non-recurrent neural network），其具有带有输入层X的编码器201e、带有输出层X’的解码器201d、以及连接输入层X和输出层X’的一个或多个隐藏层Z。该自动编码器201被配置成重建其自己的输入（即身体表面）。当自动编码器201已经被充分训练时，输出X’和输入X之间的差小于阈值。在隐藏层Z处（在编码器201e的输出端和解码器201d的输入端处）的数据表示处于降维（潜在变量或主成分）形式。在训练期间，将大量（例如1,000至10,000个）身体表面图像102输入至第一自动编码器201的解码器201e。来自编码器201e的数据被解码器201d解码，并且来自解码器201d的每个隐藏层的数据被反向传播到编码器201e。在处理足够的训练样本之后，输出X’和输入X之间的差小于阈值，并且编码器201e提供表示身体表面的潜在变量或主成分102’。

第二自动编码器202具有编码器202e和解码器202d。第二自动编码器202可以具有与第一自动编码器201类似或不同的设计。即使第二自动编码器202具有与第一自动编码器201类似的设计，第二自动编码器202的系数阵列也可能与第一自动编码器201的系数阵列不同。在训练期间，将大量（例如1,000至10,000个）器官表面图像104输入至第二自动编码器202的解码器202e。器官表面数据104的训练数据集可以对应于患者的来自身体表面数据102的训练数据集的相同或不同集合。例如该器官可以是肺、心脏、肝、肾或大脑。来自编码器202e的数据被解码器202d解码，并且来自解码器202e的每个隐藏层的数据被反向传播。在足够的训练样本之后，自动编码器202的隐藏层Z提供表示器官表面的潜在变量或主成分104’的值，并且第二自动编码器的解码器202d被配置成基于潜在变量或主成分104’的值来预测器官表面104。要注意，器官的流形通常不同于身体表面的流形。

在一些实施例中，该回归器203是深度神经网络（DNN）。在第一自动编码器201和第二自动编码器202已完成训练之后训练回归器203。使用来自编码器201e的潜在变量或主成分102’输出以及来自编码器202e的潜在变量或主成分104’输出来训练回归器203。为了训练回归器203，训练数据集应该包括大量（例如600至10,000个）集合，在这里每个集合都包括身体潜在变量或主成分102’以及对应于同一人的相应器官潜在变量或主成分104’。例如，如果存在比器官表面患者样本104更多的身体表面患者样本102，则仅使用来自如下患者的数据来训练回归器203，对于该患者而言身体表面数据102和器官表面数据104都可用。

该回归器203可以实施线性回归、最小绝对收缩与选择算子（least absoluteshrinkage and selection operator）（LASSO）回归（也被称为稀疏线性回归）、稀疏主成分分析（PCA）回归、深度回归或其他回归方法。该回归器203确定算子f（潜在身体变量），其将身体潜在变量或主成分102’变换成器官潜在变量或主成分104’。 算子f（潜在身体变量）可以是线性或非线性算子。该回归器203可以确定从身体潜在变量或主成分102’生成预测的器官潜在变量或主成分104’的算子f（潜在身体变量），并且将器官潜在变量或主成分104’提供给隐藏层Z（在自动编码器202的解码器202d的输入端处）。当回归器203已经被充分训练时，基于身体表面潜在变量或主成分102’的算子f（潜在身体变量）的输出在由编码器202e输出的潜在变量或主成分104’的阈值之内。

因为回归器203以降维操作于（operate on）身体潜在变量或主成分数据102’，所以回归器203可以在使用比对全维身体表面数据102进行操作的另一回归器（未被示出）更小的阵列的情况下以更快的速度来处理身体表面数据。

图3B示出被配置用于在第一自动编码器201、第二自动编码器202和回归器203已经被训练之后的测试阶段的预测块119。第一自动编码器201的编码器201e、回归器203、以及第二自动编码器202的解码器202d被使用并且被连接以按该顺序来进行处理。例如，在软件实施的实施例中，将编码器201e的输出提供给回归器203的输入，并且将回归器203的输出提供给解码器202d的输入。

在操作中，2.5D或3D相机101捕获患者的身体表面102的深度图像。将深度图像数据102输入到自动编码器201的（已训练的）编码器201e。将表示身体表面的潜在变量或主成分102’输出到回归器203，其计算表示器官表面的潜在变量或主成分104’。将该潜在变量或主成分104’提供给解码器202d的输入。解码器202d以高分辨率输出所预测的器官表面104。

尽管图3A和3B中的自动编码器201和202的隐藏层包括两个编码层和两个解码层，但是自动编码器201和202可以具有适合于所期望的降维的任何数目的隐藏层。

图4-7总结训练阶段和测试阶段。如上面所讨论的，学习可以遵循分阶段方法。

图4示出训练阶段1。在阶段1中，预测块119使用第一自动编码器201（网络1）来学习对于躯干点的流形。

在图4中，将身体表面图像102输入至自动编码器201。编码器201e对身体表面图像102编码并且提供身体潜在变量或主坐标102’。解码器201d对身体潜在变量或主坐标102’解码并且生成身体表面图像102。将隐藏层输出反向传播到编码器201e。

图5示出训练阶段2。在阶段2中，预测块119使用第二自动编码器202（网络2）来学习对于器官（例如肺、心脏、肝、肾或感兴趣的其他解剖结构）的内部表面上的点的流形。

在图5中，将器官表面图像104输入至自动编码器202。编码器202e对器官表面图像104编码并且提供器官潜在变量或主坐标104’。解码器202d对器官潜在变量或主坐标104’解码并且生成器官表面图像104。将隐藏层输出反向传播到编码器202e。

图6示出训练阶段3：在阶段3中，回归器203的网络（网络3）学习用于将已编码的躯干观测102’变换成已编码器官（例如肺等等）观测104’的算子f（潜在身体变量）。在训练之后相同算子f（潜在身体变量）可以被使用，用于将已编码的躯干观测102’变换成已编码器官（例如肺）预测104’。要注意，在阶段3中（在训练回归器203时），如由编码器201e和解码器202d中的阴影指示的，皮肤表面的编码网络201e和器官表面的解码网络202d的权重（系数）被固定。这允许对自动编码器201、回归器203和自动编码器202的独立训练。

在图6中，该回归器203接收身体潜在变量或主坐标102’并且生成器官潜在变量或主坐标104’。当从回归器203生成的器官潜在变量或主坐标104’与来自编码器202e的器官潜在变量或主坐标104’ 相差小于阈值时，回归器203被充分训练。

图7示出阶段4，其是测试阶段。第一自动编码器201的编码器201e、回归器203和第二自动编码器202的解码器202d按该顺序被组合。在一些实施例中，利用包括身体表面数据102和器官表面数据104的若干训练示例来对组合网络201、203、202进行精细调整。该身体表面数据102被组合网络处理，输出所预测的器官表面数据104。可以将所预测的器官表面数据104与实际器官表面数据相比较，并且该精细调整持续直到所预测的器官表面数据104和实际器官表面数据之间的差小于阈值为止。

在一些实施例中，该精细调整涉及反向传播所预测的器官表面与实际器官表面之间的误差。在反向传播期间，可以使用低学习率来确保网络权重不分歧（diverge）。

图7示出测试阶段配置，其包括编码器201e、回归器203和解码器202d。躯干图像102是输入。编码器201e提供身体表面潜在变量或主成分102。回归器接收身体表面潜在变量或主成分102并且提供器官潜在变量或主坐标104’。解码器202d接收器官潜在变量或主坐标104’并且生成所预测的器官表面图像104。

图8是用于训练和使用系统100的方法的流程图。步骤802-806涉及训练阶段。步骤810至822涉及测试阶段。

在步骤802，使用身体表面训练图像102的第一数据集来训练第一自动编码器201。在一些实施例中，如在通过引用以其整体合并于此的US 2015/0213646 Al中公开的那样，在使用已训练的参数化可变形模型的情况下，基于来自深度相机101的2.5D或3D图像来形成目标对象的3D化身网格。然后可以用3D化身网格来限定身体表面几何形状并且将其输入至自动编码器201。在训练结束时，自动编码器201的编码器201e被配置成输出对应于任何输入身体表面数据102的降维（潜在变量或主坐标）身体表面数据102’。

在步骤804，使用内部器官表面训练图像的第二集合来训练第二自动编码器202。用于步骤804的训练集合可以对应于与步骤802中的相同的目标对象或者与步骤802中的那些不同的目标对象。

在步骤806，使用第三训练数据集来训练回归器203。在回归器203的训练期间，第一自动编码器201和第二自动编码器202的系数保持固定。对于每个身体表面输入图像数据而言，对应于同一目标对象的内部器官表面图像数据被包括在内。第三训练数据集可以包括来自第一数据集的一个或多个图像以及/或者来自第二数据集的一个或多个图像。第三数据集可以与第一和/或第二数据集部分重叠。可替代地，第三数据集可以具有与第一和/或第二数据集的0%或100%的重叠。从第三数据集排除不具有对应器官图像的身体表面图像。类似地，从第三数据集排除不具有对应身体表面图像的器官图像。

在步骤808，第一编码器201e、回归器203和解码器202d被配置用于测试阶段，所以第一编码器201e向回归器203提供降维身体表面数据102’，并且回归器203向第二解码器202d提供降维器官表面数据104’。

在步骤810，将目标对象（患者）的外身体表面测试图像102输入至第一编码器201e。

在步骤812，该第一自动编码器201的第一编码器201e对身体表面数据102编码以便将身体表面数据102的维度降低至身体表面流形中的身体潜在变量或主坐标数据102’。

在步骤814，回归器203基于身体潜在变量或主坐标数据102’预测（器官表面流形中的）内部器官表面潜在变量或主成分104’。

在步骤816，第二自动编码器202的第二解码器202d对内部器官表面潜在变量或主成分104’进行解码以获得内部器官表面数据104。

在步骤818，基于内部器官的所预测的位置来选择扫描仪105的扫描范围。这允许扫描的范围受到限制以降低向患者暴露的辐射量并将扫描的(暂时)持续时间减小。

在步骤820，基于内部器官的所预测的位置来选择针对扫描仪105的线圈放置。这允许针对内部器官的位置、形状和尺寸来优化扫描顺序。

在步骤822，扫描仪105使用所选的扫描范围和/或线圈放置来执行MR、CT、PET或超声成像扫描。

预测块架构。

预测块119和回归器203可以具有任何各种各样的架构。

线性回归。

在一些实施例中，该回归器203使用线性回归。线性回归具有计算上花费不多的优点。线性回归模型是从输入向量X到输出向量y = βX + e的线性投影，在这里β和e是常数。

采用普通最小二乘法（OLS）来从{X_i, y_i}^N的训练数据集学习模型参数(β)。

。

可以从患者表面（化身网格）预测器官（例如肺）表面上的点集合，即X=躯干上的化身点集合，y=肺表面上的点集合。在一些实施例中，估计误差（在整个数据集上的总最小二乘误差）可能为高，暗示使输入和输出相关的模型是复杂的。例如，误差可能归因于输入数据中潜在的噪声点和/或线性模型对噪声点的保留。

LASSO回归（稀疏线性回归）。

最小绝对收缩与选择算子（LASSO）或稀疏线性回归模型也是从输入向量X到输出向量y = βX + e的线性投影，但是系数(β)被强制成l1稀疏，从而提供增强的计算速度。

受制于 。

在一些使用LASSO回归的实施例中，估计误差（在整个数据集上的最小二乘）可能为高。在所有情况下，所预测的点可能不会强制执行像肺的形状。

稀疏主成分回归。

其他实施例在每个点都表示度量空间中的一个有效形状的流形上执行回归，因此加强（enforce）形状约束。不是直接对解释性(自)变量X进行因变量y的回归，而是将解释性变量的主成分用作回归量（regressor）。一些实施例在主成分分析(PCA)流形上使用LASSO回归；稀疏性提供附加的鲁棒性。此外，不是直接对因变量执行回归，而是随着因变量预测PCA流形的系数。在输出空间（因变量）上使用PCA还确保输出点被分布在肺形状的流形上，因此确保预测的网格是像肺的（lung-like）。

代替PCA流形（线性），一些实施例使用可能能够捕获甚至更精细细节（诸如内核PCA或自动编码器）的其他流形学习方法。

深度回归。

一些实施例学习深度回归模型来从表面数据102预测内部解剖数据104。给定表面点或体积数据，系统学习如下编码器网络（使用自动编码器201），该编码器网络将输入躯干点102投影到躯干流形并确定潜在变量值102’。系统100还学习如下解码器（使用自动编码器），该解码器从器官（例如肺）流形上的点重建器官（例如肺）表面104’，并且学习躯干流形和器官（例如肺）流形上的对应点之间的相关性。在图3A-7中给出该架构。

在图9A-9C中示出使用利用上述工艺过程（pipeline）训练的模型而获得的样本结果。图9A示出来自患者的输入CT扫描的图像，其表示具有所有解剖细节的“地真”CT体积。该CT扫描包括平行于额状面或冠状面（即平行于页面平面）的多个切片。为了获得对于图9A的数据，该多个切片包括从患者的前皮肤延伸到后皮肤的若干切片。这包括将患者的整个躯干暴露于全剂量的辐射中。为了生成图9A中的每个像素，对具有相同（内外坐标和相同上下坐标）的每个切片中的像素值求平均以创建2D投影。

图9B是对应于图9A的目标对象的合成CT图像。通过首先处理在图9A中使用的CT扫描数据来获得图9B的图像，以便（基于包括这两个表面的相应切片）计算皮肤表面和器官（例如肺）表面。一旦身体表面和器官表面（在使用CT处理工具的情况下）是可用的，就利用身体以及仅肺器官来生成图9B的合成CT。其他器官和所有骨骼都被省略。对每个切片内的同一位置的像素值求平均（如在图9A中，但是省略骨骼和其他器官）以创建图9B中示出的2D投影。合成图像是合成的，其方式为，使在图像包含所测得的点和在使用参数化可变形模型（PDM）的情况下所生成的附加点。

合成CT数据允许预测块119集中在身体表面102和肺表面104上的回归，并且忽略所有其他组织（诸如其他器官和骨骼）中的变化。因此，图9B的合成CT图像包含在训练期间提供给自动编码器201的输入数据102和104的类型。

图9C是在测试阶段期间由预测块119所生成的所预测的体积CT图像。拍摄2.5D或3D深度图像以便从患者收集身体表面数据102。将身体表面数据102输入至编码器201e。基于身体表面数据102，预测块119预测如图9C中示出的肺的表面。图9C中肺的所预测的位置与图9B的合成图像中肺的位置紧密匹配。因此，所预测的图像9C可以被用来确定在不扫描整个躯干的情况下用于收集肺的CT图像的扫描仪105的扫描范围和/或线圈（未被示出）的位置。

在一些实施例中，该方法被用来帮助通过由从2.5D扫描仪所获得的患者身体表面模型来预测合成CT扫描来为最优CT扫描规划CT剂量。

对合成CT扫描进行优化以便在省略其他细节的情况下对参与剂量规划的确定因素进行建模。CT扫描仪（通过调制电流）适当地调节X射线剂量，以使得剂量在具有大腔（large cavities）的区域（例如肺）处被减小并且在身体密度更高的区域处、诸如沿着肩膀和腹部中的部位处为高。

适当控制剂量不仅（通过在不需要大剂量的区域中减小剂量）帮助了患者，而且提高重建图像质量。在一些实施例中，合成CT图像可以具有若干优点。合成图像基于除了3D内部解剖的2D投影之外的其他信息，并且不会随着不同台面高度而改变或者具有透视伪像（perspective artifact）。因此，合成CT图像可以被解释为对于身体表面内侧的所有体素的密度预测，并且不需要对精细解剖结构、诸如各个软组织或动脉进行建模。该方法可以集中在身体密度比平均值要大得多或要小得多的区域。

该方法可以使用详细的患者表面几何图形和内部解剖结构（诸如器官和身体标记）之间的统计相关性模型。可以使用机器学习从大数据集学习相关性模型，并且给定对这些解剖结构的预测，可以获得如在此所描述的合成CT图像。此外，合成CT还可以基于来自探测的CT（scouting CT）扫描、诸如定位片的测量。

在一些实施例中，该系统可以使用身体外表面上的几何图形测量来获得合成CT图像。该合成CT图像是如下3D图像，其中每个体素都基于在患者的大数据集上的密度分布来提供所预期的材料密度的估计。合成CT图像并不意味着要被用于诊断，而是用于扫描规划这样的患者定位和扫描剂量规划。如果探测CT图像（例如作为定位片或低剂量粗糙CT图像）是可用的，则该系统可以细化合成CT图像。

可以使用身体表面几何图形和内部患者解剖之间的统计相关建模或者使用大数据集上的机器学习算法来完成密度预测。

该系统可以使用各种方法中的一个来从用于剂量规划的身体表面数据生成合成CT图像。对于CT扫描，与利用低剂量捕获的图像相比，使更高剂量生成具有更高质量的图像。然而，更低剂量对患者的安全而言更好。在此所描述的方法和系统可以被用来确定“最优剂量”以使得在如实际那样使患者暴露在低剂量的同时，使图像具有对于诊断目的而言足够高的质量。在此所描述的方法将来自患者表面几何图形的CT图像和探测扫描（定位片图像）（如果有的话）合成。

用于剂量规划的合成CT图像生成。

合成CT图像是类似于CT体积的3D图像，在那里每个体素都存储基于局部测量（诸如患者身体几何图形）和/或探测CT扫描（低剂量粗糙CT图像）所预测或所预期的密度。所估计的图像捕获足以控制衰减（attenuation）（因此控制辐射剂量）的信息以得到在整个患者上整体的均匀噪声。在数学上，合成CT图像被公式化为皮肤掩模、各种器官掩模以及骨骼掩模的线性组合，如下：

CT_合成 = w_皮肤 * V_皮肤 + w_肺 * V_肺 + w_盆骨 * V_盆骨 + w_颅骨 * V_颅骨 +…。

基于这些身体区域内的平均密度来设置权重，它可以以亨氏单位(HU)来表述。例如，肺区域内的平均密度是-800 HU，并且软组织的平均密度接近0 HU。如上面所讨论的，图10A示出样本CT图像并且图10B示出通过组合皮肤、肺和骨骼掩模而生成的对应合成CT图像。

若干方法可以被用来从患者身体表面数据获得各个器官和骨骼掩模。如在US2015/0213646 A1中所描述的，可以使用2.5D传感器来获得患者身体表面。

内部解剖表面至体积的回归。

一些实施例使用回归方法来如上文所描述的从患者身体表面来估计内部解剖结构的表面。为了CT剂量规划的目的，可以关注密度比平均值要高得多或要更低得多的解剖结构，即诸如肺这样的器官和诸如盆骨或肩膀这样的具有更高骨骼密度的区域。在此所描述的方法可以被用于，从表面数据回归器官表面以及若干内部身体标记。给定器官表面，该方法可以生成被用来表示器官体积的体积掩模。身体标记数据可以被用来将骨骼掩模插入（interpolate）到感兴趣的区域中。这可以通过将平均骨骼掩模放在感兴趣的区域中并且使用非线性变形（诸如薄板样条（TPS））以使骨骼掩模变形来拟合预测的身体标记而完成。如上文所讨论的，图8描绘如何使用回归的内部解剖表面来获得体积掩模并在合成CT体积中组合。

体积回归。

在另一实施例中，可以直接从皮肤表面体积数据回归器官体积。假设线性回归关系，在数学上这可以被写为：

A * [身体表面体积] = [具有解剖结构的体积]。

在这里A是回归矩阵，身体表面体积1100是3D体积/矩阵的向量化表示，其中身体表面内部的体素被标记为1，否则为0。图11是示出该流程的示意图。具有解剖结构的体积1110是3D体积/矩阵的向量化表示，其中在器官或骨骼区域内部的体素为1，否则为0。

对于体积回归，各个输入和输出样本被限定在固定空间中；然而针对不同个体的器官和身体形状将是不同的并且因此可以为输入和输出二者限定固定的归一化体积。在一个实施例中，固定的3D体积（在度量空间中）具有作为固定点的特定身体标记（诸如作为体积中心的身体中心或者作为体积顶部中心的颈中心）。

在另一实施例中，可以基于多个身体标记来将该体积归一化，以使得在已归一化的空间中从颈至坐骨的体素的数目在所有患者中都是固定的。图12A-12C示出对于在胸-腹区域上限定的骨骼掩模的归一化体积。在图12A-12C中，各个体积被剪裁成相等的尺寸。每个体素是1 mm x 1 mm x 1 mm。一方面，该空间是所有患者的视野内的关键区域；另一方面，该空间将所有体积归一化成相同高度，这使得回归器更难以学习规模相关的偏差（scale related deviation）。

尽管上文描述了线性回归模型，但是在可替代的实施例中可以使用其PCA变体。其他可替代的实施例可以对输入和输出变量之间的复杂依赖性建模。因此，可以使用诸如内核PCA或深度流形学习的非线性投影流形学习技术来确保所生成的掩模是物理上可实现的。

基于定位片的细化。

尽管合成CT图像具有使剂量最小化的益处，但是可替代的实施例可以实现更高的精确度。一些可替代的实施例利用CT探测扫描来细化合成CT图像。CT探测扫描可以是定位片图像或者非低剂量体积图像，其可以被用于对更详细CT扫描进行扫描规划。下面的示例使用定位片图像，但是所呈现的技术也还可以被应用于其他探测扫描。

给定定位片图像，就可以以2D检测患者皮肤表面边界、解剖结构的边界、以及身体标记（诸如肺中心等等）。由于锥束获取装置，这样的方法可能不具有正确的图像透射（correct image perspective）。尽管可以直接将从回归获得的身体标记估计更新成与定位片

测量（因为这些是点观测）相匹配，但是可能难以将边界（线）测量并入3D合成CT图像中。基于空间雕刻方法的方法可以使初始CT形状变形以拟合定位片测量。图13A示出该方法的示例。图13B示出图13A中的方法的详细示例。

合成CT图像仅示出皮肤表面、肺和骨骼。一些实施例细化皮肤表面、肺和骨骼并且忽略定位片图像中的所有其他解剖细节。假设若干关键界标以及器官和骨骼边界也作为输入被提供并且可以被使用。然而，在实践中，可以通过应用深度网络来处理定位片图像来获得这样的信息。

一些实施例应用深度网络来检测定位片图像中的关键界标。一些实施例通过将每个像素标记为属于以下四个类之一来将深度网络应用于对定位片图像进行分割：背景、身体（患者的身体内部）、肺或骨骼。

图13A示出使用神经网络的方法。给定该界标信息，步骤1301基于标记和边界来执行仿射变换。该仿射变换保持位于直线上的点之间的距离比（但是可能不保持线之间的角度或点之间的距离）。

在步骤1303，执行壳体估计以便从皮肤和肺的2D表面来估计3D体积。

在步骤1305，大幅偏离（deviate substantially）壳体体积的体素被“雕刻出来（carved out）”。例如，可以用包围“雕刻出来的”体素的各体素之间的插值（interpolation）来代替雕刻出来的体素。

图13B是深度神经网络实施例的更详细示例。

步骤1302首先基于界标和3D定界框将仿射变换应用于所预测的体积。

步骤1304使用勾画轮廓来执行逐切片仿射尺度法。

步骤1306使用皮肤和肺的2D分割来通过基于投影参数将2D掩模挤出（extrude）来创建3D体积。该体积被称为“透视壳体体积（perspective hull volume）”。

步骤1308通过在合成CT中雕刻出所有与从皮肤掩模或肺掩模所生成的透视壳体体积不一致的体素来执行体积雕刻。

图14A-14A-14C示出原始CT图像和使用体积回归（肺和骨骼）所获得的合成CT结果以及在使用定位片图像进行的细化之后的结果之间的比较。图14A示出CT定位片，图14B示出在没有内部CT数据的情况下如仅从表面数据预测的合成CT。图14C示出在使用定位片的细化之后的合成CT。

尽管示例被示出用于预测肺的位置，但是该方法和系统可以被用来预测其他器官的位置。例如，预测块119可以被训练成预测患者的肾的位置。可以使用肾的图像来训练第二自动编码器202，并且回归器203可以学习基于身体表面102的紧凑表示（潜在变量或主坐标102’）来预测肾表面在潜在变量或主坐标104’中的位置。

可以至少部分以计算机实施的过程以及用于实行这些过程的装置的形式来实施在此所描述的方法和系统。还可以至少部分以利用计算机程序代码编码的有形非瞬时机器可读存储介质的形式来实施所公开的方法。该介质可以包括例如RAM、ROM、CD-ROM、DVD-ROM、BD-ROM、硬盘驱动器、闪速存储器、或任何其他非瞬时机器可读存储介质，其中当计算机程序代码被加载到计算机中并且由计算机执行时，该计算机成为用于实行该方法的装置。还可以至少部分以计算机的形式来实施该方法，其中计算机程序代码被加载到该计算机中和/或该计算机中执行，以使得计算机成为用于实行该方法的特殊用途计算机。当在一般用途的处理器上实施时，计算机程序代码段将处理器配置来创建具体逻辑电路。可替代地，可以至少部分以由用于执行该方法的专用集成电路形成的数字信号处理器来实施该方法。

尽管该主题已经就示例性实施例被描述，但是不限于此。相反，所附权利要求应该被广义地诠释，以便包括本领域技术人员可以作出的其他变体和实施例。

Claims (20)

1.一种用于控制扫描仪的方法，所述方法包括：

感测目标对象身体的外表面以收集身体表面数据；

使用机器学习来基于所述身体表面数据预测所述目标对象的内部器官的表面；以及

基于所述内部器官的所预测的表面来控制所述扫描仪。

2.根据权利要求1所述的方法，其中使用机器学习来预测所述表面包括：

降低所述身体表面数据的维度；

基于降维的所述身体表面数据来预测所述内部器官的表面的紧凑表示；以及

扩展所述紧凑表示。

3.根据权利要求2所述的方法，其中降低维度包括将所述身体表面数据编码到身体表面潜在变量中。

4.根据权利要求3所述的方法，其中所述编码包括使用自动编码器。

5.根据权利要求2所述的方法，其中预测紧凑表示包括预测表示所述目标对象的内部器官的表面的器官潜在变量的集合。

6.根据权利要求5所述的方法，其中预测所述器官潜在变量的集合包括使用回归器。

7.根据权利要求6所述的方法，其中所述回归器是稀疏线性回归器。

8.根据权利要求6所述的方法，其中所述回归器是最小绝对收缩与选择算子（LASSO）回归器。

9.根据权利要求6所述的方法，其中所述回归器是深度神经网络。

10.根据权利要求1所述的方法，其中所述预测包括：

将所述身体表面数据编码到身体表面主坐标中；

预测表示所述内部器官的表面的器官主坐标的集合；以及

对所述器官主坐标的集合进行解码以预测所述内部器官的表面。

11.根据权利要求10所述的方法，其中由第一自动编码器来执行所述编码，由回归器来执行对器官主坐标的集合的预测，并且由第二自动编码器来执行解码，所述方法进一步包括，在所述感测之前：

使用多个第一身体表面来训练所述第一自动编码器；

使用多个第一器官表面来训练所述第二自动编码器；以及

使用多个身体表面、器官表面集合来训练所述回归器，每个身体表面、器官表面集合都包括多个身体表面潜在变量值和对应于所述身体表面潜在变量值的多个器官表面潜在变量值。

12.根据权利要求1所述的方法，其中所述扫描仪是磁共振（MR）扫描仪，并且所述控制包括对MR扫描仪的多个线圈的放置的选择。

13.根据权利要求1所述的方法，其中所述扫描仪是计算机断层摄影（CT）扫描仪，并且所述控制包括对CT扫描仪的扫描范围的选择。

14.一种用于控制扫描仪的系统，所述系统包括：

用于感测目标对象身体的外表面以收集身体表面数据的深度传感器；

耦合至所述扫描仪的处理器；以及

非瞬时机器可读存储介质，所述非瞬时机器可读存储介质被耦合至所述处理器并且利用用于执行以下各项的程序指令来被编码：

使用机器学习来基于所述身体表面数据预测所述目标对象的内部器官的表面；以及

基于所述内部器官的所预测的表面来控制所述扫描仪。

15.根据权利要求14所述的系统，其中使用机器学习来预测所述表面包括：

降低所述身体表面数据的维度；

基于降维的所述身体表面数据来预测所述内部器官的表面的紧凑表示；以及

扩展所述紧凑表示。

16.根据权利要求15所述的系统，其中降低维度包括将所述身体表面数据编码到身体表面潜在变量中。

17.根据权利要求15所述的系统，其中预测紧凑表示包括预测表示所述目标对象的内部器官的表面的器官潜在变量的集合。

18.一种非瞬时机器可读存储介质，利用用于控制扫描仪的程序指令来对所述非瞬时机器可读存储介质编码，以使得当处理器执行所述程序指令时，所述处理器执行包括以下各项的方法：

从深度传感器接收表示目标对象身体的外表面的身体表面数据；

使用机器学习来基于所述身体表面数据预测所述目标对象的内部器官的表面；以及

基于所述内部器官的所预测的表面来控制所述扫描仪。

19.根据权利要求18所述的非瞬时机器可读存储介质，其中使用机器学习来预测所述表面包括：

降低所述身体表面数据的维度；

基于降维的所述身体表面数据来预测所述内部器官的表面的紧凑表示；以及

扩展所述紧凑表示。

20.根据权利要求19所述的系统，其中：

降低维度包括将所述身体表面数据编码到身体表面潜在变量中；以及

预测紧凑表示包括预测表示所述目标对象的内部器官的表面的器官潜在变量的集合。