CN107405123B - 利用深度传感器数据的扫描数据检索 - Google Patents

Abstract

在扫描数据检索中，网格与诸如来自光学或深度传感器（18）的数据之类的当前患者的表面数据拟合（32）。网格还与医学扫描数据拟合（48），诸如与计算机断层成像数据的皮肤表面段拟合（48）。网格或由网格导出的参数可以更高效地比较（34）以识别（36）具有相似身体形状和/或尺寸的先前患者。使用用于该患者的，或者被改变以计及与当前患者的区别的该患者的扫描配置（38）。在一些实施例中，用于搜索（34）的参数向量包括主成份分析系数。在另外的实施例中，主成份分析系数可以使用度量学习而投影到更加辨别性的空间。

Description

利用深度传感器数据的扫描数据检索

相关申请

本申请要求于2014年11月6日提交的美国临时申请号62/076,389的权益。该临时申请的全部内容通过引用结合在此，除了在与本说明书的任何不一致公开或定义的情况下，应认为本文的公开或定义占优势（prevail）。

技术领域

本教导总体上涉及扫描数据检索，诸如检索相似案例。

背景技术

为了减少不必要的辐射，医学图像扫描仅对患者的预先选择区域发生。因为患者身体形状、身体尺寸、衣服等的变化，操作医学成像扫描仪的技术人员可能面临设法大体上确定患者的内部器官的隐藏位置或感兴趣区域的困难任务。患者扫描范围规划的当前工作流程是由技术人员根据低剂量内存储信息位置图示图像（topogram image）来确定，这导致患者的额外辐射。技术人员然后手动地定位患者，使得感兴趣区域最优地相对于扫描仪定位。手动患者定位过程耗时且昂贵。

为了改进手动患者定位过程，运动感应输入设备（例如微软的Kinect）用于粗略的初始患者设置验证和对准。然而，此方法涉及基于诊断阶段中先前获得的CT扫描来将患者在桌子上对准。因此，先前的医学成像扫描（例如，其可能已经使一定程度的手动患者定位和/或辐射暴露成为必要）是此方法的先决条件。

由光学RGB-D传感器生成的合成内存储信息位置图示可以帮助技术人员确定患者的扫描范围，而没有额外辐射。此方法依赖于搜索所查询的RGB-D数据与大CT数据集之间的最佳匹配，因此其可花费数小时的计算时间。在其它方法中，患者再对准被与光学传感器一起使用，但是要求表面数据属于同一患者。

发明内容

作为介绍，优选实施例描述用于扫描数据检索的下面的方法、系统和具有指令的计算机可读介质。网格与当前患者的表面数据（诸如来自光学或深度传感器的数据）拟合。网格还与医学扫描数据拟合，诸如与计算机断层成像数据的皮肤表面段拟合。网格或由网格导出的参数可以更加高效地比较以识别具有相似身体形状和/或尺寸的先前患者。使用用于该患者或者改变以计及与当前患者的区别的该患者的扫描配置。在一些实施例中，用于搜索的参数向量包括主成份分析系数。在另外的实施例中，主成份分析系数可以使用度量学习而投影到更加判别性的空间。

在第一方面中，提供用于扫描数据检索的方法。利用深度传感器测量相对于患者的表面的深度。将第一网格与深度拟合。基于相似性，执行在与来自不同患者的医学扫描数据拟合的网格数据库中搜索第二网格。医学扫描仪被配置成扫描患者。配置是至少部分基于从对应于第二网格的不同患者之一导出的扫描参数。

在第二方面中，提供了用于扫描数据检索的方法。利用主成份分析系数来将第一对象参数化。机器训练投影仪将主成份分析系数投影到度量空间中。基于由主成份分析系数投影的度量参数的值，找到第一对象与另一对象的相似性。指示相似性。

在第三方面中，提供一种用于扫描数据检索的系统。相机被配置成检测身体的表面。处理器被配置成利用机器训练投影仪导出表面的形状的第一表示以及将所述表示与来自利用机器训练投影仪导出的其它身体的表面的多个表示的第二表示匹配。显示器被配置为指示第一表示与第二表示的匹配。

本发明由以下权利要求限定，并且在本部分中的没有东西应视为是对那些权利要求的限制。本发明的另外的方面和优点在下面结合优选实施例来讨论并且可以稍后独立或组合地请求保护。

附图说明

图1示出根据一个实施例的使用网格拟合来比较深度数据和扫描数据；

图2是用于扫描数据检索的方法的一个实施例的流程图；

图3是用于配置计算机断层成像扫描仪的扫描数据检索的方法的流程图；

图4示出用于测量将要医学扫描的患者的表面的相机的示例；

图5A-C示出示例网格和对应的主成份分析系数；

图6A和B示出分别在变形以计及患者区别之前和之后的计算机断层成像容积的示例计算机断层图像；

图7A和B示出分别来自侦查扫描和合成创建的示例内存储信息位置图示；以及

图8是用于扫描数据检索的系统的一个实施例的框图。

具体实施方式

高效和参数化的方法被提供用于从红绿蓝-深度（RGB-D）或其它深度传感器数据检索医学扫描图像。在一个实施例中，在给定患者的输入RGB-D快照的情况下，找到预先收集的CT数据库内最接近的计算机断层成像（CT）容积数据。利用合适的变形，所检索的最接近的CT容积可以用于反映当前患者身体配置并且帮助技术人员确定实际扫描范围和/或iso中心。在正常情况下，两个相似的身体形状应具有相似的内部器官位置。

任何患者的合成医学扫描或内存储信息位置图示图像基于来自光学深度传感器的快照生成。合成内存储信息位置图示图像可以在少于一分钟内生成。使用来自光学深度传感器的快照来确定用于任何患者的扫描范围。可以确定患者的扫描身体的iso中心。

取决于CT数据库的尺寸，RGB-D与CT容积数据之间的直接映射可花费数小时以用于计算。此外，直接映射精度可能由于两个数据模态之间的差异而受到损害。为了解决这些问题，参数化可变形模型（PDM）算法被应用到两个数据源以捕捉形状信息并且然后在形状参数空间内搜索最优映射。两个人类身体的相似性由身体形状而不是身体姿势来确定。此间接映射的简单示例在图1中示出。图1的左侧示出将RGB-D直接映射到CT数据的传统方法。由于数据的差异以及比较许多值，此方法易有错误和计算负担。图1的右侧示出通过将合成化身（avatar）模型拟合到两个源来间接地映射两个数据源。网格拟合的此使用处理了由于姿势变化和传感器噪声引起的映射误差。由于可以将网格参数化成低维度的1D向量，所以搜索查询更加高效。

图2示出用于扫描数据检索的方法的一个实施例。方法包括将网格与当前患者的诸如来自非辐射光学深度相机的深度数据拟合。来自所拟合的网格的信息用于搜索来自与代表性的医学扫描数据拟合的网格的信息数据库。例如，网格先前与由多种不同患者的计算机断层成像（CT）数据表示的皮肤拟合。找到不同患者中与当前患者更或最相似的一个。此匹配被指示和/或用于配置用于扫描患者的医学扫描仪。

图3是用于配置CT扫描仪的扫描数据检索的方法的流程图。图3是图2的方法的更具体的实施例。图3示出所提议的框架的工作流程。框架包括离线（offline）数据库创建过程（例如，动作42-50）以及独立在线过程（例如，剩余动作）。在线过程可以进一步划分为4个组分，其是RGB-D化身拟合（例如，动作30-32）、KNN数据查询（例如，动作40、34、52）、CT变形（例如，动作54和56）以及合成内存储信息位置图示生成（例如，动作58和60）。用于任何当前患者的内存储信息位置图示图像是根据该患者的红绿蓝-深度（RGB-D）快照来生成。

图2和3的方法可以包括附加的、不同的、或更少的动作。例如，不执行动作36和/或38的指示和/或配置。可以执行一个或多个相似患者的识别的不同使用。作为另一示例，在图2的方法中执行图3的附加动作中的任何一个。可以执行用于根据多种患者形状、尺寸和/或姿势来创建数据库的动作，而没有用于当前患者的在线动作。在数据库已经存在的情况下，可以执行用于当前患者的动作，而没有对于数据库的拟合。

在本文讨论的示例中，使用计算机断层成像。在计算机断层成像中执行侦查扫描以获得内存储信息位置图示可导致施加到患者的附加辐射。可以通过使用深度数据来避免这个。在其它实施例中，医学扫描数据用于正电子发射断层成像（PET）或单光子发射断层成像（SPECT）。不是使用利用PET或SPECT的计算机断层成像来定位或允许更少剂量的放射性药剂，而是执行使用拟合深度数据找到类似患者。在又一实施例中，方法用于磁共振以避免任何附加磁共振扫描要求的时间。

以示出的顺序或者不同顺序来执行动作。例如，动作38在动作36之前执行。离线或数据库创建动作可以在在线动作之前或之后执行。内存储信息位置图示动作的创建可以在在线动作之前执行，诸如在数据库的创建期间，其中不执行当前患者从相似患者的附加变形（例如，动作54和56）。

在动作30中，捕捉对象的深度图像。深度传感器测量相对于患者的表面的深度。可以使用任何深度传感器。深度传感器提供三维传感器图像数据或者深度数据。在一些实施例中，深度数据经由相机捕捉。可以使用任何现在已知或以后开发的深度相机，诸如立体相机、结构光设备（例如，微软Kinect、ASUS Xtion）、飞行时间设备（例如，创新TOF相机）及其组合。在一些实施例中，三维传感器图像数据还包括颜色图像数据（例如，RGB图像）。任何光学深度相机可以用于测量具有或不具有衣服的患者的表面。

可以凭经验确定一个或多个相机在医学图像扫描房间（例如，CT扫描房间、PET扫描房间、MR扫描房间和/或类似的）中的放置以便实现解析的最优性能。可影响性能的各种因素包括例如传感器安装的容易性和/或花费、患者可视性约束（例如，可获得数据的质量）以及传感器噪声特性。例如，在结构光设备和飞行时间设备的情况下，噪声倾向于随着与传感器的距离增加而增大。此外，取决于波长，噪声也可接近传感器而增大。因此，在确定传感器的放置时，传感器噪声特性可以针对传感器的视场平衡。

为了根据深度图像实现可靠的表面重构，相机可以安装成使得相机具有躺在患者桌子上的患者的无阻碍的视图。取决于传感器噪声特性（例如，捕捉的深度图像的图像质量和/或分辨率），（多个）相机可以安装成接近扫描仪桌子，同时仍然能够保持患者整体或大部分在相机视图内。图4示出深度传感器18相对于患者14和CT扫描仪16的示例放置。相机深度传感器18定位于患者桌子上方的天花板上并且在进入CT扫描仪16的孔（bore）的入口处（entry）的前方。在其它实施例中，相机深度传感器18位于CT扫描仪16的构台（gantry）上。

可以使用多于一个的相机，诸如位于患者桌子正上方的天花板上的第一相机以及位于患者桌子的一端的第二相机。两个位置——头顶以及成角度的——每个具有它们的优点和缺点。例如，在头顶相机的情况下，解析问题更加受限并且可以获得更加精确的结果。然而，头顶相机从安装的角度提出挑战，因为其将被安装在天花板上。相比而言，成角度的相机可以具有较低的安装花费（例如，在运输时相机甚至可以附着于构台）。然而，在成角度的视图的情况下，可使一些患者数据模糊。

在一个实施例中，来自传感器的深度测量提供患者的3D点云。3D点云可以重构和用于进一步处理。数据也可以从两个相机捕捉并且融合以便获得更加精确的3D点云。由于安装了两个相机，相机可以是体视校准的（例如，可以相对于彼此估计相机位置）。在给定校准信息的情况下，来自两个相机的数据然后可以组合以获得场景的更密集的点云表示。

再次参照图2和3，在动作32中，处理器将网格与由深度传感器测量的深度拟合。3D点云表示患者的表面。表面可以是患者的皮肤或衣服，但通常符合患者的姿势、形状和尺寸。处理器将网格与深度拟合以针对当前患者改变患者模型。一旦患者位于床上，则利用深度传感器对患者成像或扫描，使得网格可以与患者拟合。所拟合的网格是用于该患者的化身模板模型。

可以使用任何网格。在一个实施例中，网格与患者拟合，以用于然后根据拟合网格确定患者的特性。在另一实施例中，网格是参数化可变形模型。拟合网格导致可变形模型的参数的值。可变形人类身体网格被拟合，从而在低维度子空间中提供了投影网格参数以改善跨不同人的区别性。

将利用光学深度或其它深度传感器检测的患者的表面参数化。参数化可以提供网格（诸如三角形、菱形、多边形或其它网格）的节点的位置。参数化可以包括另外的信息，诸如主成份分析系数。通过将参数化可变形网格与患者或其它对象的表面拟合来提供参数的值。参数的值用作用于该拟合网格的签名或指纹。

图5a-c示出三个示例拟合网格以及用于拟合网格的对应参数（例如，示为条形图）。图5a和5b是来自处于不同姿势的同一人的网格。图5b和5c是来自处于相似姿势的不同人的网格。注意，用于图5a的参数的值相比于图5c而更加类似于图5b。

化身或参数化可变形模型独立地对姿势和身体形状参数建模。因为参数的值仅仅根据形状参数来导出，所以模型对于姿势扰动是鲁棒的。按照这个，参数基于模型拟合表示整体形状信息，其对于遗失的网格数据以及局部噪声是鲁棒的。这实际上上是相关的，因为不可执行个体的完全360度视图的身体扫描。取决于由损伤和相机的位置指示的姿势，可能使患者的不同部位模糊。

在给定从一个或多个方向观看的对象的3D扫描的情况下，网格的形状匹配提供了对象的唯一形状表征。这些参数用作匹配的关键。理想的形状描述符或参数集合应该紧凑（用于快速搜索）并且对于除了形状和/或尺寸以外的所有其它变形展现不变性。对于人类身体形状，特别重要的是处理由于姿势改变引起的变化。人类身体的参数化可变形网格（PDM）模型与人的姿势和形状扰动解耦并且单独地对它们建模。因此，形状模型根据由姿势改变引起的变形（身体部位的刚性变换）将由本征形状（高度、尺寸、腹厚等）的改变引起的变形因式分解（factorize）。

在一个实施例中，在三个或更多阶段中执行拟合。检测相对于患者的表面的深度中表示的多个界标。模板网格被变形到界标以作为粗略拟合。变形到界标的模板网格然后与深度拟合以作为精细或细化拟合。

在给定3D深度图像的情况下，界标检测确定预先定义的身体关节的位置。可以使用机器训练分类器、模板匹配、或者一个或多个界标的其它检测。界标是对象的任何可分辨的特性，诸如脖子、肩膀、鼻子、臀部、肘部、或其它身体部位。

在给定界标检测结果和化身模板的对应关节或界标标签的情况下，粗略拟合使化身模板变形并且根据RGB-D图像生成具有与实际患者相似姿势的新的网格。粗略变形具有界标以建立姿势。网格的不同部分可以与不同界标关联，使得相对于彼此定位两个界标定义了网格的对应位置。例如，图5a中表示的脚、膝盖和臀部界标被定位。每个界标之间的网格部分基于界标位置来定位。这提供了粗略的基于姿势的拟合。

基于这些粗略的拟合结果，精细拟合继续使模板化身朝向最优身体姿势和形状变形。所摆姿势的模板网格随后与3D深度数据拟合。可以使用任何拟合，诸如具有任何弯曲和/或弹簧约束的非刚性迭代最接近点拟合。可以使用最小二乘或者一个或多个其它拟合标准。配准-优化环路迭代地细化所得到的化身网格。在给出一致性的情况下，模板网格被变形以将2范数最小化。变形的模板网格随后用于确定新一致性并且此配准和优化过程被重复直到收敛（即，平均距离在某个分数之下或达到最大迭代数目）为止。

化身或拟合网格提供参数的值作为输出。替代使用网格本身，定义更少数目的参数来表示与姿势无关的拟合网格的形状和/或尺寸。可以使用任何简化。在一个实施例中，使用网格上的定义点之间的距离、曲率、面积、体积、或其它度量。例如，参数是腰厚、腰曲率、胸厚、胸曲率、肩宽、颈到骨盆长度、和/或拟合网格的其它测量。

在另一实施例中，参数是主成份分析系数。不是相对于特定身体部位的度量，参数具有与特定身体部位无关的网格的形状和/或尺寸。为了创建具有嵌入参数的可变形网格，形状变形对于具有形状和/或尺寸变化的大数据集使用主成份分析。可以使用POSER或另一形状拟合器。除了能够高效地生成具有精确点态一致性的大训练数据集，一个附加的益处是训练复杂性的减小，因为POSER允许形状扰动而不改变姿势。可以使用任何尺寸的训练集合，诸如1000个姿势和600个形状。可以使用除了POSER以外的其它形状拟合器。

在给定形状训练数据集的情况下，用于每个三角形网格数据i的形状仿射矩阵S_i可以通过求解二次函数来获得

其中，k表示三角索引、vk,j表示第i个训练网格的第k个三角形的第j个边、

表示化身模板网格中的边，并且w是平衡优化目标函数的两个部分的参数，其中左侧项试图使数据误差最小化，而右侧项旨在增加平滑性以避免相邻三角形内的突然的几何形状改变。仿射矩阵可以进一步通过使用主成份分析而分解成本征向量U与平均向量μ的线性组合，如下面表示的：

。

通过改变主成份分析系数向量β的值，可以恢复学习的流形（manifold）中的任何身体形状。虽然不存在每个维度的语义定义的明确解释，但是β的第一少数维度对应于形状训练集合（例如，性别、高度、身体尺寸等）中的全局形状扰动。β的下面维度捕捉越来越细微的扰动。

参数化可变形网格的拟合精度取决于用于对形状参数进行建模的主成份分析系数的数量。虽然更多维度可以更详细地对身体变形进行建模，但是附加的维度也增加了时间复杂性以及拟合数据中小噪声扰动的可能性。因此，系数的数目的选择是重要的。例如，60个系数保留了能量的98%，从而帮助抑制噪声而不丢失大多数形状变形信息。可以使用更大或更小（例如，20或40）数目的系数。

参照图3，在拟合之后，在动作40中，处理器的化身拟合模块返回形状描述向量（参见图3）。拟合定义了主成份分析系数的值。学习关系，由此的到任何给定患者输出系数的拟合。这些系数的值和/或其它参数化值基于表示患者的表面的深度数据来提供特定于患者的度量。

形状描述向量用于搜索数据库。参数的向量或组具有与用于数据库的相同的尺寸。针对数据库中的示例确定相同的参数，因此相同数目和类型或者相同集合的参数被用于将数据库的给定患者和不同患者参数化。

在离线或其它过程中创建数据库。数据库提供到医学扫描数据的链接。在图3的示例中，医学扫描是CT。在动作42中，获得表示多种患者的医学扫描数据。CT数据表示各种不同形状（例如，尺寸和/或曲率）的患者的体积。代表性数据的集合用于各种各样的患者。对于更普遍的形状和/或尺寸，可以使用变化的更大细化。

在给定当前患者的RGB-D或其它深度快照的情况下，使用当前患者的参数值来查询预先建立的数据库以便返回接近当前患者的身体形状的CT网格。预先建立的数据库覆盖尽可能多的身体形状的变化。存储和查询数万或更多现实世界不同患者可能不是可行的。替代地，使用表示各种形状和尺寸的范围的更小集合，诸如在多种年龄、种族和身体形状上的人类上部身体的大约1000个CT容积。

为了拟合，在动作44中，CT容积的皮肤被分段。可以使用任何现在已知或以后开发的分段。例如，应用阈值来识别来自或皮肤位置的返回。作为另一示例，在皮肤到空气或衣服转变大于组织到组织转变时，计算梯度。将阈值应用于梯度以识别皮肤位置。滤波可以应用于分段的结果。具有或不具有滤波的结果是用于多种患者数据库的基于CT的皮肤表面。在动作46中输出表面。

在动作48中，网格与医学扫描数据拟合。处理器将诸如参数化可变形网格之类的多边形网格与表示患者的皮肤的CT数据拟合。为了创建数据库，将网格与不同患者拟合。网格拟合与在动作32中应用于当前患者的相同或不同。例如，参数化可变形模型与不同患者的皮肤分段拟合，从而在动作50中创建具有用于系数的对应值的基于CT的化身。与不同CT容积中的每一个拟合的化身模型输出化身的形状参数以表示患者的身体形状。输出是表示所变形的化身的身体形状的低维度形状描述向量。如果化身与CT皮肤表面网格良好拟合，则输出形状向量精确地描述CT皮肤表面，这将皮肤表面网格的形状参数从数十万减少到更少得多的数目。

总体而言，数据库创建过程包括皮肤分段、化身拟合和形状系数提取。此过程的输出是两维矩阵，其中行数等于不同患者的数目（例如，大约1000）并且列数是形状描述向量度量的数目（例如，60个主成份分析系数）。可以使用其它输出格式。在离线过程之后，原始CT容积的集合由矩阵表示并且将其存储在Kd树结构中。可以使用其它结构。

在动作34中，搜索矩阵或数据库。处理器在与来自不同患者的医学扫描数据拟合的网格数据库中搜索网格以找到与当前患者最或足够相似的网格。可以使用任何基于网格的搜索，诸如使用网格之间的绝对差之和。为了减少计算或处理，替代地使用形状参数的值。为了从数据库获得最接近的CT网格，将由RGB-D化身拟合生成的形状描述向量与数据库中的所有形状向量进行比较。找到具有到RGB-D形状描述符的最小距离的数据库形状描述符向量。找到具有到当前患者的参数的值最接近的参数值的数据库网格。

搜索将表示当前患者的参数的值（即，来自与深度数据拟合的值）与表示数据库的患者的参数的值（即，来自与来自不同患者的医学扫描数据拟合的值）比较。比较具有在参数中反映的患者的形状和/或尺寸的度量。在一个实施例中，主成份分析系数被作为参数比较。

可以使用用于找到匹配的任何相似性的度量。距离函数（即，相似性）可以是欧几里德距离、马哈拉诺比斯距离、或其它度量。在一个实施例中，使用K最近邻近（KNN）数据查询。对于高效的最近邻近搜索，Kd树数据结构用于存储数据库和查询输入。

可以找到足够接近的匹配，而不是找到最接近的。例如，计算差异或相似性的度量。将度量与用于足够性的阈值比较。如果由阈值确定的差异小或者相似性大，则找到匹配并且搜索可以停止。

为了增加形状描述符的区别性能力，可以使用度量空间。用于不同化身的参数的值被投影到度量空间以用于度量空间中的比较。训练投影仪以更好地在具有相同、较少或较大数目的值之间进行分离或区别（例如，输入60个值到投影，其输出60、更多或更少的值）。

使用批处理的基于评级的度量学习来获得投影矩阵。执行一次学习以提供高效地增加将要比较的值的辨别性的机器学习矩阵。在其它实施例中，使用在线学习，其中附加示例被有规律地或偶然地添加到训练数据，从而不时地增加数据库的尺寸，以用于细化投影仪（例如，不间断的学习）。替代地，根据需要，投影仪被重新学习。

网格参数被投影到低维度流形，使得来自不同人和/或种类的网格之间的距离被最大化，同时将来自同一人和/或种类的网格之间的距离最小化。使用基于评级的距离度量学习算法来获得此投影矩阵。

投影仪是机器训练的。学习的投影仪提供由主成份分析系数投射的度量参数的值或者由拟合网格确定的参数的其它值。在给定人类身体扫描的情况下，姿势和形状由参数化可变形模型解耦。网格的参数化将整体身体形状信息提供到低维度主成份子空间上，从而产生等式（2）中的系数β的集合。这些系数自身可以用作形状描述符，以用于利用欧几里德度量匹配身体形状。描述符的辨别性在实际应用中可以是足够的或可以是不足够的。形状系数可以被投射到另一流形，使得来自不同人的网格之间的距离被最大化，同时来自同一人的网格之间的距离被最小化。

在基于评级的度量学习中，对于一对描述符

，马哈拉诺比斯距离通过以下来度量：

其中，M是对称半正定（PSD）矩阵。因为矩阵M可以分解为

，所以马哈拉诺比斯距离可以解释为线性变换特征空间中的欧几里德距离（即，

）。

为了学习用于3D形状匹配的度量或伪度量，三元组约束被用于监视。可以使用成对的约束。三元组约束携带一组三个数据项之间的成对相似性。在三元组

标注中，

被认为比

更相似于

。使用三元组的一个原因是在大多数情况下，非常少（如果不是一个）的3D形状数据被提供用于同一对象并且因此缺少成对约束。其它原因是三元组约束在同一数据集上包含比成对约束更多相似性边信息（side information）。

在给定三元组约束的情况下，执行批处理或在线度量学习。使用最大间距准则，但是可以使用其它准则。对于最大间距，更相似的对

之间的距离比不相似对

之间的距离少了大的间距。此想法类似于大间距最近邻近值（LMNN），但是不需要数据的类别标签。目标在于纯粹基于三元组约束来学习度量，同时LMNN将用于分类的

优化。

求解半正定（PSD）矩阵。在理想设定中，可能存在矩阵M，使得对于任何三元组

：

类似于支持向量机（SVM），软间距被用于不可分的情况，其相当于将铰链损失（hinge loss） 最小化，如由以下表示的：

其中，

。另一方面，在主成份分析之后使用低维度参数化可变形网格形状描述符，因此学习的度量不应从单位矩阵失真太多。考虑上面的约束，批处理算法由以下给出：

其中，

是三元组的集合，

。

用于半定编程的通用求解器使用内部点并且并未用大量的约束来良好定标（scale），如等式（6）中的情况。一种高效的随机次梯度下降算法被用来解决优化，如下面的算法1中所示的，其中

是学习速率并且输出M是F（M）的最小元（minimizer）。在学习的末期阶段中，每j个纪元（epoch）计算F（M），其中j从数十变动到数百，取决于小型批处理的总尺寸。

学习可以替代地使用在线学习。在一个实施例中，使用基于被动主动（PA）家族的学习算法的在线算法，但是可以使用其它方法。在在线设定中，在每个时间步骤i观察三元组

，其遭受等式（5）中定义的损失。如果

，则不发生损失。否则，度量被更新。在时间步骤i处用于预测的矩阵由

表示。

在可分的情况下，存在矩阵

，使得对于所有i，

。在伪度量在线学习算法中的方法之后，使用正交投影运算。给定

和闭凸集

，W到C上的正交投影由以下定义：

对于每个时间步骤i，集

定义为：

其中，

在等式（5）中定义。对于M的另一约束是

。

PSD矩阵的集合由

表示，

。

在具有上面定义的情况下，算法包括两个连续的投影：

。

首先，当前矩阵

投影到

上，因此所得到的

将是最接近

的一个，同时在时间步骤i实现所接收三元组上的零损失。其次，

被投影到

上以确保其是度量。可以解析地执行投影。第一投影等同于求解下面的约束优化问题，

其通过使用KKT条件而具有简单闭合形式解：

其中

。

因为

被初始化成单位矩阵I，所以

始终是对称的并且因此可以分解为

。通过将

投影到PSD圆锥，

可以被导出为

，其中

。

在定理1中，让

是三元组实例的序列。假定存在

，使得

。让R是满足

的上界。则对于任何

，下面的边界有效：

。

对于不可分的情况，不存在以大间距完美地分开三元组实例的度量。此假定是松弛的，因此等式（10）通过求解以下优化问题而修改：

其中，C是控制三元组上的损失与规则化之间的权衡的主动参数。上面的学习问题可以视为PA-II算法的矩阵版本，并且具有闭合形式的解，给出为：

其中

并且

在等式（14）中被定义。

基本上，解具有与可分情况的等式（13）中的相同的形式，具有

的某个修改。在与等式（11）中的相同程序之后，通过将

投影到PSD圆锥上来获得

。

对于定理2，让

是三元组序列，并且让R是上界，使得

。则对于任何矩阵

，对于任何

，下面的边界有效：

。

可以应用批处理或在线算法。替代地，应用批处理和在线方法两者，但是独立或彼此结合。在其中数据集中的人类受试体（subject）可以随着时间改变或成长的实际设定中，可以使用批处理算法来获得初始度量并且然后在新数据变得可用时使用在线算法来后续地对其修改（adapt）。

度量学习处理三元组注释并且基于相对相似性约束来学习度量。此外，可以针对可分和不可分情况两者来导出算法和损失边界。在线算法是基于PA家族算法，因此找到采用对称和PSD矩阵形式的度量。

一旦学习了，投影仪被应用于参数的值。将投影输出与其它投影输出比较以从数据库找到相似案例。

在动作36中，相似性被指示。一旦从数据库找到最或足够相似的医学扫描数据，则输出匹配。可以提供相似性的任何指示，诸如输出相似性的度量。可以通过输出已经找到匹配或者关于匹配的其它信息来指示相似性。例如，基于匹配的医学数据的图像被输出为相似性的指示。作为另一示例，用于基于匹配来配置医学扫描仪的设定被输出为相似性的指示。

动作38是动作36的替代或附加动作。匹配的结果被用来配置医学扫描仪。将来自数据库的相似扫描数据与用于医学扫描仪的一个或多个设定相关联或联系。来自数据库的设定、基于来自匹配医学扫描数据的内存储信息位置图示的设定，和/或从医学扫描数据或数据库设定导出的设定被用于当前患者。

图3示出动作38的一个示例实施例。具体地，执行动作52-60。然后基于动作60的内存储信息位置图示来执行动作38。在替代实施例中，不执行动作54和56。

在动作52中，选择匹配的CT数据。基于来自参数的值或度量空间中的值的匹配来识别相似患者和对应的CT数据。

在动作54中，匹配CT容积被变形。用于匹配患者的医学扫描数据表示相似但不相同的患者。在患者具有相同形状和/或尺寸的情况下，则变形不需要。在存在区别的情况下，则处理器使来自数据库的用于所匹配的患者的医学扫描数据变形以更好地对当前患者仿真。因为数据库的尺寸被限制，所以检索的CT网格可能不被完美地拟合到当前患者的输入网格。所检索的CT网格朝向所拟合的RGB-D化身网格变形。可以使用任何变形，诸如3D薄板样条（TPS）。

变形使表面或网格变形，但也使容积的内部部分变形。通过插值或其它运算，体素被移动或变形以计及与所匹配的患者的表面不同的当前患者表面。因此，在动作56中输出一组变形医学扫描数据。

图6A和6B示出示例。两个图示出表示患者的容积的CT容积或数据集的三个截面图像和透视图三维再现。图6A是CT容积在变形之前的可视化。这些图像由患者的来自数据库的所匹配医学扫描数据生成。虽然可能向或可能未向用户示出图像，但是示出图像来指示变形。图6B将相同的CT容积（即，相同扫描数据、截面和透视再现）可视化，但是是在使用薄板样条的变形之后。因为变形，身体的不同部位的位置或相对关系被移动。移动是基于当前患者的所匹配的CT皮肤表面与基于深度的表面之间的区别。

在动作58中，处理器根据变形的容积来生成内存储信息位置图示。为了计及与当前患者的区别而调整的医学扫描数据被用来生成一个或多个图像。例如，生成合成的CT内存储信息位置图示以对来自侦查扫描的结果仿真。

可以生成任何数目的图像，诸如来自正交方向的两个图像（例如，侧视图和顶视图）。内存储信息位置图示是截面、再现、或投影。例如，沿着平行投影或者好像从x射线源发散的线的数据被混合或以其它方式组合以表示通过患者的x射线图像。在动作60中，所得到的内存储信息位置图示被输出以用于由用户观看和/或被用于进一步医学扫描系统配置。

内存储信息位置图示被用于扫描范围规划并且由低剂量CT扫描生成。通过根据变形的CT容积数据来生成合成的内存储信息位置图示图像，可以避免实际的内存储信息位置图示扫描，从而减少施加到当前患者的辐射。

图7A和7B示出内存储信息位置图示图像的一些示例。图7A示出来自患者的CT扫描的内存储信息位置图示图像的侧视和顶视图。图7B示出由不同患者的CT扫描生成的合成的内存储信息位置图示的侧视和顶视图。

在动作38中，医学扫描仪配置成对患者扫描。通过使用合成的内存储信息位置图示，用户配置用于对当前患者扫描的一个或多个设定。例如，扫描范围、iso中心、或两者是基于内存储信息位置图示来配置。替代地，在不具有或具有单独生成的合成的内存储信息位置图示的情况下来使用来自数据库的所匹配的患者的设定。变形可以用于调整用于设定的值，诸如以针对iso中心和/或扫描范围来调整。用于扫描当前患者的扫描参数至少部分地基于来自数据库的所匹配的患者来配置。

图8示出用于扫描数据检索的系统10的一个实施例。系统实施图1、图2、图3的方法或者不同方法。系统10在患者14的照护点（a point of care）处，诸如在相同房间、医院、或成像中心中。在其它实施例中，处理器20、存储器22和/或显示器24在其它位置处，诸如不同建筑物。系统10被用来配置CT系统16或者在没有患者14的基于x射线辐射的侦查扫描的情况下提供用户配置CT系统16的有用的信息。

系统10包括一个或多个相机18、CT系统16、处理器20、存储器22、和显示器24。可以提供附加的、不同的或更少的部件。例如，不提供显示器24。作为另一示例，提供用户输入设备以用于用户基于来自相机18的图像和/或显示器24上的其它图像（例如，合成内存储信息位置图示）来配置CT 系统16。

在一个实施例中，处理器20、存储器22、和显示器24是CT系统16的一部分，诸如CT工作站。在其它实施例中，处理器20、存储器22、和/或显示器24是单独计算机的一部分，诸如单独工作站、个人计算机、笔记本电脑、或平板计算机。处理器20和/或存储器22可以是服务器的一部分。在其它实施例中，存储器22是与处理器20分开的数据库。

相机18是深度传感器。被提供作为相机18的是立体相机、具有作为传感器的相机的结构光传输、具有发射器的飞行时间传感器、或者用于确定深度的其它现在已知或以后开发的传感器。在一个实施例中，相机18是光学RGB-D相机。

相机18被配置成检测身体或对象的表面。在三个维度上检测表面。相机18捕捉可以从其导出深度的图像。替代地，相机18直接捕捉不同深度测量的3D点云。可以应用图像处理以去除背景。替代地，背景保留并且处理为网格拟合的一部分。

患者14相对于相机18定位（诸如在CT系统16的床上），同时床在CT系统16的孔的外部。相机18可以定位为在患者处于孔内时对患者成像。在提供多个相机18的情况下，相机18被指引成从不同方向观看患者14。从不同相机18获得表示患者的表面的深度数据并且将其一起用来创建统一的点云或表面表示。

患者14的表面是患者的皮肤。替代地，患者14的表面是患者的衣服。表面可以被低通滤波以去除高频变化。可以检测用于皮肤和衣服的组合的深度信息。

处理器20是通用处理器、中央处理单元、控制器、控制处理器、图形处理器、数字信号处理器、三维再现处理器、图像处理器、专用集成电路、现场可编程门阵列、数字电路、模拟电路、其组合，或者用于拟合、参数化、投影、搜索、匹配、变形、配置、和/或生成合成的内存储信息位置图示的其它现在已知或以后开发的设备。处理器20是单个设备或者串行、并行、或独立地操作的多个设备。处理器20可以是诸如笔记本电脑或台式计算机之类的计算机的主处理器，或者可以是用于诸如在医学成像系统中的较大系统中处理一些任务的处理器。处理器20由能够执行本文讨论的动作的指令、设计、硬件、和/或软件来配置。

处理器20被配置成导出表面的形状的表示。对于当前患者，处理器20接收或者访问来自相机18的深度数据。将诸如参数化可变形网格之类的网格拟合到深度数据，从而创建表示将要由CT系统16成像的患者的表面。处理器20因此确定用于表示患者的尺寸和/或形状的各种参数的值。

处理器20或者不同处理器创建表示多种不同患者的相同参数的集合的数据库。替代使用来自相机的深度数据，根据诸如CT数据之类的医学成像数据将皮肤或其它表面分段。将网格拟合到所分段的表面，以便确定参数的值。其它信息也可以与数据库关联，或者被包括在数据库中，诸如与多种患者中的每一个相关联的医学成像系统的扫描设定。

处理器20配置成将来自当前患者的表面表示与来自数据库的相似表面匹配。代替匹配拟合网格，匹配表示网格的参数。在基于诸如主成份分析系数之类的用于参数的值的相似性进行搜索之后，选择用于数据库的多种患者或表面中的一个或多个。搜索是用于具有与由所拟合的网格参数化的相似尺寸和/或形状的患者。

处理器20可以应用机器学习投影仪。使用度量学习来训练投影仪以增加网格的参数的辨别性。将值输入到投影仪，并且投影仪输出可以更好地指示相似性和/或不相似性的一组值。处理器20然后使用度量空间中的该组值来搜索数据库，该数据库还包括度量空间中的值的集合。

处理器20配置成生成合成的内存储信息位置图示。用于相似患者的CT数据被变形以计及当前患者与来自数据库的具有相似尺寸和/或形状的患者之间的区别。根据此组变形的CT数据来生成合成的内存储信息位置图示。替代地，在没有CT容积的变形的情况下生成来自相似患者的内存储信息位置图示。

处理器20被配置成配置CT系统16。来自数据库的所匹配患者的设定被用作用于当前患者的CT系统16的设定。CT系统16以iso中心、扫描范围、或者用于当前患者的其它设定来配置。设定可以被修改或调整以计及当前患者与所匹配患者在尺寸和/或形状上的区别。在其它实施例中，处理器20根据合成的内存储信息位置图示来确定设定。CT系统16使用根据合成的内存储信息位置图示确定的设定来配置。在又一实施例中，合成内存储信息位置图示被呈现给用户。用户然后基于来自所匹配患者的所呈现的合成或常规内存储信息位置图示来输入CT系统16的设定。

存储器22是图形处理存储器、视频随机存取存储器、随机存取存储器、系统存储器、随机存取存储器、高速缓冲存储器、硬驱、光学介质、磁性介质、闪驱、缓冲器、数据库、其组合，或者用于存储数据或视频信息的其它现在已知或以后开发的存储器设备。存储器22是CT系统16的一部分、与处理器20相关联的计算机的一部分、数据库的一部分、另一系统的一部分、图片档案存储器、或者独立设备。

存储器22存储由处理器20使用的数据。例如，存储器22存储包括来自拟合和/或度量空间中的参数的数据库。存储用于数据库的医学扫描数据、设定、内存储信息位置图示、拟合网格、和/或其它数据库信息。存储器22或不同存储器存储深度数据、拟合网格、提取参数值、度量空间中的投影参数值、匹配信息、和/或用于当前患者的CT扫描设定。针对本文讨论的动作而使用、输入、输出、或创建的任何数据可以被存储在存储器22或另一存储器中。

替代地或另外地，存储器22或其它存储器是存储表示由用于扫描数据检索和/或扫描当前患者的编程处理器20和/或CT系统16可执行的指令的数据的计算机可读存储介质。用于实现本文讨论的过程、方法和/或技术的指令被提供在非暂时性计算机可读存储介质或存储器上，诸如缓存、缓冲器、RAM、可移动介质、硬驱、或其它计算机可读存储介质。非暂时性计算机可读存储介质包括各种类型的易失性和非易失性存储介质。响应于存储在计算机可读存储介质中或上的一个或多个指令的集合来执行在图中示出或在本文描述的功能、动作或任务。功能、动作或任务与指令集、存储介质、处理器、或处理策略的特定类型无关，并且可以由单独地或组合地操作的软件、硬件、集成电路、固件、微代码等来执行。同样地，处理策略可以包括多处理、多任务、并行处理等。

在一个实施例中，指令被存储在由本地或远程系统读取的可移动介质设备上。在其它实施例中，指令被存储在远程位置上以用于通过计算机网络或在电话线上传输。在又一些实施例中，指令被存储在给定计算机、CPU、GPU或系统内。

显示器24是用于输出匹配、设定、内存储信息位置图示、合成内存储信息位置图示、拟合网格、参数、或其它信息的液晶显示器（LCD）、有机发光二极管（OLED）、平板显示器、固态显示器、阴极射线管（CRT）、投影仪、打印机、或其它现在已知或以后开发的显示设备。显示器24可以是用户接口的一部分。基于拟合、匹配、或变形的值或图像可以在显示器24上被输出到用户。

显示器24由显示板缓冲器或由处理器20提供的数据来配置。显示器24被配置成指示当前患者的网格与来自数据库的患者的网格的匹配。可以指示其它匹配的表示，诸如参数的值、度量空间值、内存储信息位置图示、合成的内存储信息位置图示、和/或用于CT系统16的设定。通过提供来自匹配的信息来指示匹配。

CT系统16是具有x射线源和在相对于患者床移动的构台上连接的检测器的CT扫描仪。患者床包括机器人或发动机，以用于将患者移动到孔中或者相对于通过孔的z轴并且在孔内上上下下移动。CT系统16在沿着患者的纵轴的范围内对患者扫描，其中患者的一部分位于孔的iso中心。CT系统10基于对应于所匹配的患者的空间信息来扫描患者的身体。用于所匹配患者的、来自用于相似患者的内存储信息位置图示的，和/或来自合成的内存储信息位置图示的空间设定被CT系统16用来对当前患者进行扫描。

在替代实施例中，使用MR、PET、SPECT、或其它医学成像系统来替代CT系统16。相同或不同类型或模态的医学扫描仪用于到数据库的患者的网格拟合并且扫描当前患者。

虽然上文已经参照各种实施例描述了本发明，但是应理解的是，在不偏离本发明范围的情况下可以进行许多改变和修改。因此，本文旨在前述详细描述被视为说明性的而不是限制性的，并且应理解旨在限定本发明的精神和范围的是包括所有等同物的以下权利要求。

Claims (12)

1.一种用于扫描数据检索的方法，所述方法包括：

利用深度传感器测量（30）相对于患者的表面的深度；

将第一网格与所述深度拟合（32）；

基于相似性，在与来自不同患者的医学扫描数据拟合的网格数据库中搜索（34）第二网格；以及

配置（38）医学扫描仪以扫描所述患者，所述配置（38）至少部分基于从与所述第二网格相对应的所述不同患者之一导出的扫描参数。

2.根据权利要求1所述的方法，其中，测量（30）所述深度包括在所述患者在所述医学扫描仪的床上时利用光学深度相机（18）来测量（30）。

3.根据权利要求1所述的方法，其中，拟合（32）包括将所述第一网格拟合（32）为参数化可变形模型。

4.根据权利要求1所述的方法，其中，拟合（32）包括：

检测在相对于所述患者的所述表面的所述深度中表示的多个界标；

使模板网格变形到所述界标；以及

将变形的所述模板网格拟合（32）到所述深度。

5.根据权利要求1所述的方法，其中，拟合到所述医学扫描数据的所述网格包括拟合到表示所述不同患者的皮肤的计算机断层成像数据的网格。

6.根据权利要求1所述的方法，其中，拟合到所述医学扫描数据的所述网格包括用参数化可变形模型拟合的网格。

7.根据权利要求1所述的方法，其中，搜索（34）包括将表示所述第一网格的参数的值与表示与来自所述不同患者的所述医学扫描数据拟合的所述网格的参数的值进行比较。

8.根据权利要求7所述的方法，其中，搜索（34）包括比较作为所述参数的患者形状的度量。

9.根据权利要求7所述的方法，其中，搜索（34）包括比较作为所述参数的主成份分析系数。

10.根据权利要求7所述的方法，其中，将表示所述第一网格的参数的值与表示与来自所述不同患者的所述医学扫描数据拟合的所述网格的参数的值进行比较包括将所述参数的所述值投影到度量空间并且在所述度量空间中进行比较。

11.根据权利要求1所述的方法，其中配置（38）包括配置（38）用于所述患者的扫描范围、iso中心或者扫描范围和iso中心。

12.根据权利要求1所述的方法，还包括：

基于所述第一网格来使用于所述不同患者之一的所述医学扫描数据的容积变形（54）；以及

根据所变形的容积来生成（58）内存储信息位置图示；

其中，配置（38）包括利用所述内存储信息位置图示来进行配置（38）。

Images