CN113269885A - 医药中根据照相机流的患者模型估计 - Google Patents

Abstract

医药中根据照相机流的患者模型估计。对于医学系统中根据表面数据的患者模型估计，执行深度照相机捕捉的流或序列。使用流式捕捉来分布处理并计及患者移动，在序列的不同时间或部分之间划分患者模型的拟合。由于图像捕捉的规则可用性，可能需要更少的人工介入。随后的拟合可以受益于先前的拟合。

Description

医药中根据照相机流的患者模型估计

背景技术

本实施例涉及医学治疗或成像。医学系统由医学专业人员基于相对于医学系统的患者位置来配置。不适当的患者定位可能引起问题。例如，当在患者的身体区域的等中心（iso-center）对准到机架（gantry）的原点（origin）的情况下获取图像时，从计算断层摄影（CT）扫描仪获取的医学图像的质量是最佳的。

人工定位可能是不可靠（易于出错）并且耗时的。自动患者定位使用患者的单个RGBD快照（规划图像（planning image））来检测身体界标（landmark）并将化身（avatar）拟合到患者。该化身用于设置要扫描的身体区域的（水平和竖直）桌子位置。放射线技师（radiographer）人工触发快照并且可以人工移动床或患者。在拍摄快照之后，患者姿势可能改变，诸如患者移动以适应头枕或膝托插入，因此使规划图像无效。当患者姿势改变时，通过人工触发另一快照，该问题可以是部分地可解决的。由于重复快照增加了扫描准备时间。放射线技师的工作负荷增加了，并且患者可能具有作为结果的令人不快的体验。

发明内容

提供了用于医学系统中根据表面数据的患者模型估计的系统、方法和计算机可读介质。执行深度照相机捕捉的流或序列。使用流式捕捉来分布处理并计及患者移动，在序列的不同时间或部分之间划分患者模型的拟合。由于图像捕捉的规则可用性，可能需要较少的人工介入。随后的拟合可以受益于先前的拟合。

在第一方面中，提供了一种用于在医学系统中根据表面数据的患者模型估计的方法。三维照相机在包括第一时间和第二时间的不同时间处捕捉表示患者的外表面的表面数据的流。第一时间比第二时间早。以第一方式将患者模型拟合到第一时间的表面数据。针对患者位置的改变监视患者。以第二方式将患者模型拟合到第二时间的表面数据。第二方式不同于第一方式并且以第一方式使用患者模型的拟合的结果。当患者位置保持时，执行第二方式的拟合。基于第二方式的患者模型的拟合来调整医学系统的床的床位置。

在一个实施例中，三维照相机是深度传感器。以第一和第二方式进行捕捉和拟合可以在没有相对于来自表面数据的任何照相机图像的用户输入的情况下发生。

可以使用各种方式或类型的拟合。例如，第一方式是将模型界标拟合到从第一时间的表面数据检测到的界标，并且第二方式是将三维网格拟合到第二时间的表面数据。来自第一方式的结果可用于初始化或约束第二方式的拟合。例如，第二方式通过初始化从模型界标到所检测的界标的拟合的三维网格的拟合来使用结果。

在另一实施例中，从来自比第一时间早的时间的流的表面数据来检测床上的患者。响应于对患者的检测而激活第一方式的患者模型的拟合和监视。

在其他实施例中，对床进行调整，使得来自第二方式的患者模型拟合的患者的中心处于医学系统的等中心处。实施例可以包括在没有床位置的用户输入的情况下调整床位置。

在实施例中，在拟合到第二时间的表面数据之后继续监视。响应于患者位置的变化，使用来自第二时间之后的第三时间的表面数据重复以第二方式进行的拟合。基于第二方式的拟合的重复的结果来更新床位置。可以约束第二方式的拟合的重复，诸如将拟合约束到感兴趣的区域。在任何拟合中，可以使用约束。例如，第二方式的拟合是具有针对床位置的约束和针对非患者对象的约束的拟合。

在一个实施例中，第一方式的拟合是二维拟合，并且第二方式的拟合是三维拟合。在其他实施例中，两个方式的拟合都是三维拟合。

除了设置床位置之外，拟合患者模型可以用于设置医学系统的扫描参数。

在另外的实施例中，用信号通知（signal）医学专业人员，例如用信号通知第一方式的拟合、第二方式的拟合、监视的结果和/或床位置的调整的完成。

在第二方面中，医学系统包括被配置成在序列之上测量的深度传感器。医学系统包括图像处理器，其被配置成根据序列的第一部分的测量来检测床上的患者，根据序列的第二部分的测量来确定患者的界标位置，以及将患者模型拟合到序列的第三部分的测量。床被配置成基于患者模型的拟合而移动。

在一个实施例中，图像处理器被配置成响应于检测来监视床上的患者的运动，并且响应于没有运动并基于界标位置来进行拟合。在另一实施例中，图像处理器被配置成将患者模型拟合到序列的第四部分的测量，其中，床被配置成从基于使用第三部分的患者模型的拟合的位置移动到基于使用第四部分的患者模型的拟合的位置。在又一实施例中，图像处理器被配置成拟合如通过界标位置初始化的患者模型。

在第三方面中，提供了一种用于在医学系统中根据表面数据的患者模型估计的方法。三维照相机在不同时间处捕捉表示患者的外表面的表面数据的流。使用流来针对移动监视患者。使用来自不同时间的表面数据来拟合患者模型。时间中的第一时间发生在患者的移动低于第一阈值的时间段之前或期间，并且时间中的第二时间由于该时间段超过第二阈值而发生在触发之后。至少部分地基于如拟合的患者模型来配置医学系统。

在另外的实施例中，使用时间中的第一时间的表面数据的拟合包括检测界标位置，并且使用时间中的第二时间的表面数据的拟合包括将三维网格拟合到时间中的第二时间的表面数据并且基于所检测的界标位置拟合三维网格。

上述方面中的任何一个或多个都可以单独或组合使用。根据结合附图阅读的对优选实施例的以下详细描述，这些和其他方面、特征和优势将变得清楚。本发明由以下权利要求书来限定，并且本部分中没有什么应被认为是对那些权利要求的限制。本发明的另外的方面和优势在下面结合优选实施例进行讨论，并且可以在后面独立地或组合地要求保护。

附图说明

部件和附图不一定是按比例的，代之以将重点放在说明实施例的原理上。此外，在附图中，相同的附图标记贯穿不同的视图指定相应的部分。

图1是用于在医学系统中根据表面数据的患者模型估计的方法的一个实施例的流程图；

图2是示例深度图像；

图3示出了使用流式传输（streaming）的患者模型估计的一个实施例；

图4和5是用于在医学系统中根据表面数据的患者模型估计的方法的其他实施例的流程图；

图6示出基于流捕捉的拟合过程；

图7是使用深度照相机流式传输来进行患者建模的状态图；以及

图8是使用患者模型估计的医学系统的一个实施例的框图。

具体实施方式

患者模型估计是根据三维照相机流的。通过在扫描工作流程期间获取患者的RGBD图像作为实况流（live steam）（例如，RGBD图像的序列）来扩展自动患者定位。多次（例如，连续地或周期性地）分析流以检测不同的患者姿势或姿势的改变。在分析流时，放射线技师不需要在定位患者以进行扫描之前明确地获取快照。

在一个实施例中，用于自动定位的患者的工作流程被扩展为包括桌占用检测和/或改变检测阶段，用于在进行到后续阶段之前高效处理流数据。桌占用检测阶段检测桌是否被患者占用，并相应地通知系统进行到身体改变检测阶段。改变检测阶段可以包括基于图像和/或基于界标的方法，以检测图像中患者的改变或移动。计算上更复杂的化身拟合阶段发生在流中没有检测到的患者移动时。如果来自较早帧的拟合化身是可用的，则系统执行通过更改的较早拟合初始化的精细（fine）化身拟合以适应患者姿势的改变。

图1是用于在医学系统中根据表面数据的患者模型估计的方法的一个实施例的流程图。图像捕捉的流式传输或序列被集成到用于患者治疗或成像的工作流程中。在不同时间处执行患者拟合的不同部分以辅助患者模型的自动或半自动拟合。流可以用于更新，诸如监视患者并当患者移动时进行更新。当前拟合患者模型被用于为患者配置医学系统。

图3-5示出了图1的方法的其他示例实施例，图3示出了流的不同用途的相对定时。图4示出了其中初始以二维拟合界标并且然后以三维拟合网格的实施例。图5示出了其中以三维拟合界标和网格的实施例。在以下讨论中，结合图1讨论图3-5。

图1的方法由诸如图8的医学系统之类的医学系统执行。医学系统可以是医学成像系统（例如，CT扫描仪、磁共振（MR）扫描仪、正电子发射断层摄影（PET）扫描仪、单光子发射计算断层摄影（SPECT）扫描仪、超声扫描仪、x射线扫描仪或其他诊断成像扫描仪）和/或医学治疗系统（例如，x射线治疗系统）。深度照相机捕捉患者表面。图像处理器拟合模型，监视针对患者检测和/或运动的流。图像处理器或另一控制器可以基于拟合来配置医学系统。图像处理器或另一控制器可以基于拟合、检测或监视来用信号通知用户。其他设备可以用于执行任何动作。

方法是以所示的顺序（例如，从上到下或数字）执行的，但是可以使用其他顺序。例如，动作14在动作12之前和/或动作12期间被执行。作为另一示例，动作12可以在动作11之后的任何时间处执行。在另一示例中，动作19在动作12-18中的任何动作期间执行或在其之后立即执行。

可以提供附加的、不同的或更少的动作。例如，不提供动作19。作为另一示例，不提供动作17和/或18。在其他示例中，不使用动作11和/或12。

在动作10中，传感器捕捉患者的外表面。传感器是深度传感器或三维照相机，诸如2.5D或RGBD传感器（例如，Microsoft Kinect 2或ASUS Xtion Pro）。深度传感器可直接测量深度，诸如使用飞行时间、干涉测量或编码孔径（coded aperture）。深度传感器可以是捕捉投影到患者上的栅格（grid）的一个或多个照相机。传感器或三维照相机可以是多个照相机，所述多个照相机从不同方向捕捉2D图像，允许在不透射结构光的情况下从多个图像重建外表面。可以使用其他光学或非电离传感器。

传感器朝向患者。传感器从一个或多个视角捕捉患者的外表面。可以捕捉外表面的任何部分，诸如从自头部到脚趾和手到手或仅躯干的一侧观察的整个患者。传感器在患者处于特定位置的情况下捕捉外表面，诸如当患者躺在床中或桌上以便治疗或成像时捕捉面向表面的前部。

外表面是患者的皮肤。在其他实施例中，外表面包括衣服。传感器可以使用穿过衣服并检测皮肤表面的频率。替代地，外表面是衣服并且患者模型的拟合计及衣服。

外表面被捕捉为从传感器到患者上的不同位置的深度、患者外部的图像或照片、或两者。传感器输出所感测的图像和/或深度。来自传感器的外表面的测量是患者的表面数据。图2示出了来自表面数据的示例图像20，其中，灰度（grayscale）中的强度被映射到感测的深度。替代地，处理传感器测量以确定外表面信息，诸如利用图像处理从来自不同角度的照相机图像有立体感地（stereoscopically）确定外表面。

在一个实施例中，表面数据可以包括患者的不同代表（representation）。创建两个或更多通道。例如，两个图像具有通过通道的信息的幅度调制的像素强度（例如，一个通过深度并且另一个通过颜色）。在一个实施例中，患者身体的给定3D表面（皮肤表面），该数据的2D投影——皮肤表面图像（例如，在图像中的每个位置处的距扫描仪桌的表面的高度）和深度图像（例如，测量图像中的每个位置处的人的厚度）通过图像处理从传感器的输出形成。每个通道提供了不同的信息。一个通道提供前表面位置到患者躺在其上的床或桌、到传感器和/或相对于另一位置的距离或高度。所感测的外表面和传感器到床的已知位置被用于确定距离。另一个通道是患者的厚度。厚度可以是给定深度与最大和最小深度的差。可以使用其他厚度。第一通道存储如从前面观察或看向搁在患者床上的患者的身体表面的深度，并且第二通道存储通过测量如从前面观察的最远点和最近点之间的距离而计算的厚度。可以使用其他通道，诸如一个通道用于距传感器的深度并且另一个通道用于患者的光学图像。可以使用其他表面数据。

以传感器的分辨率来使用表面数据。例如，表面数据是256x256像素的。可以使用其他大小，包括矩形视场。

捕捉是指流的捕捉。在序列中获取不同时间处的表示患者的表面数据的帧。流可以是恒定的，诸如以任何速率（例如，20 Hz）捕捉帧。可以使用周期性捕捉，诸如每秒。频率可以随时间变化。在替代实施例中，使用触发来捕捉序列。响应于多个触发或触发事件中的每一个，捕捉表面数据的一个或多个帧。

流提供帧的时间集合中的深度照相机测量（例如，表面数据）。由于表面数据表示三维，因此提供了点云数据的3D+t流。

可以过滤和/或处理表面数据，诸如在图4和5的动作40中提供的。例如，表面数据变更到给定的分辨率。作为另一示例，对表面数据进行下采样，诸如将256x256减少到64x64像素。每个像素可以表示任何区域，诸如每个像素被下采样到64x64，表示1 cm²或更大。替代地，传感器以该较低分辨率进行捕捉。表面数据可以被裁剪，诸如限制视场。裁剪和下采样两者可以一起使用，诸如从256x312或其他输入通道数据创建64x64通道数据。更大或更低的分辨率可以有助于回归。

在动作40的另一方法中，表面数据被归一化。表面数据被重新缩放、调整大小、扭曲（warp）或移位（例如插值）。可以对表面数据进行过滤，诸如低通滤波。归一化可以使用重新投影（reprojection）来提供来自共同或预设置视图方向和距离的表面数据。

在动作11中，图像处理器根据流的表面数据检测床上的患者。床是患者在其上搁置或被放置以便成像或治疗的桌或平台。在CT扫描仪的示例中，患者躺在床上。然后，床可以将患者移动到扫描膛室中（即，沿着容纳CT扫描仪的机架的圆筒的中心轴移动患者）。

照相机可以从在患者被放置于床上之前就捕捉表面数据，诸如在上电、由用户触发或者由时间表中的预约触发时开始捕捉。由于捕捉了流，因此获取了在没有患者和有患者的情况下表示床的表面数据的帧的序列。一旦患者被放置或开始躺在床上，表面数据就反映患者在床上。桌（床）占用检测阶段检测桌是否被患者占用，并相应地通知系统进行到身体检测阶段。一旦检测到患者，患者的检测就可以继续或可以不继续。

图像处理器使用表面数据来检测床被占用。表面数据被图像处理。在一个实施例中，从表面数据形成差异图像（difference image），其中，一个图像是已知没有患者的床的图像。当颜色和/或深度的平均差高于阈值时，则检测到患者。在另一实施例中，执行模板匹配。将具有躺在床上的平均大小的患者的表面数据的帧的模板与所捕捉的表面数据的每个帧进行比较。一旦与模板的匹配（例如，相关）高于阈值，则检测到患者。可以使用其他图像处理。

在一个实施例中，图像处理器通过将表面数据或从表面数据导出的一个或多个值（例如，梯度）输入到诸如神经网络之类的机器学习模型中来从表面数据检测患者。机器学习模型是输出检测的任何机器学习分类器。可以使用全连接神经网络、卷积神经网络或另一神经网络。可以使用支持向量机、基于聚类的机器学习、Bayesian或其他机器学习模型。

为了训练机器学习模型，定义了机器学习模型布置或架构。该定义是通过学习的配置或编程来进行的。层或单元的数量、学习的类型以及网络的其他特性由程序员或用户来控制。在其他实施例中，在学习期间由机器定义和选择一个或多个方面（例如，节点的数量、层或单元的数量、或学习的类型）。包括表面数据的帧的许多样本和对应的地面实况（即，患者或没有患者）的训练数据被用于训练。输入表面数据与输出患者或没有患者的关系是机器学习的。一旦被训练，机器学习模型就可以被应用来检测床上的患者。

训练和应用可以用于任何机器学习模型以用于检测、监视和/或拟合。针对不同的目的，训练和应用不同的机器学习模型。

在动作12中，图像处理器针对移动监视患者。一旦检测到患者，流的捕捉就继续。与检测相比，可以增加捕捉的频率以用于监视。由于表面数据的捕捉的流或序列的可用性，该监视是可用的。

执行对患者运动的监视，以便确定患者何时充分不运动，使得床和患者可以被定位用于扫描和/或可以确定扫描设置。一旦患者大体上不运动，患者就准备好被进行成像或治疗。可以保留用于将患者模型拟合到当前患者的表面数据的计算上更复杂的操作，直到患者大体上不运动之后。

图像处理器监视患者位置的改变。监视表面数据以显示改变。在一个实施例中，从颜色和/或深度测量来生成差异图像。比较最近的图像对，诸如绝对差异的最小和、平均差异或相关。在比较显示相似性低于阈值（即不相似）的情况下，患者正在移动或改变位置。在另一实施例中，使用机器学习模型。训练了机器学习模型以响应于来自不同时间的表面数据的帧的输入检测移动。可以使用长期-短期或其他基于时间的架构和相应的机器学习模型。在又一实施例中，使用界标检测。图像处理或（一个或多个）机器学习模型被用于检测一个或多个界标。比较不同时间处的界标的一个或多个位置。在位置处于阈值差内的情况下，不存在移动。

使用流将患者的移动检测为患者位置的改变。从时间3D+t点云数据检测患者的状态和运动。表面数据的图像的改变（例如，颜色或深度的改变）指示从一个帧到另一帧的患者的移动。

为了标识患者何时稳定（即，不移动或准备好成像或治疗），继续监视。在一段时间上没有运动是期望的。例如，期望在五、十、三十、六十或其他秒数上没有运动。阈值时间段可以是任何秒数和/或任何分钟数（例如，一、二、三或更多）。将其上移动低于阈值量的时间量或时间长度与时间段阈值进行比较。

患者模型将被拟合到患者。该拟合的不同部分基于监视在不同时间处发生。例如，监视本身可以是患者模型拟合的部分。通过检测界标的位置，包括界标的患者模型可以部分地拟合到患者的表面数据。在给定时间段上没有检测到移动可以触发患者模型的计算或进一步拟合。在患者稳定之后执行拟合的计算上复杂的部分，从而节省计算资源。如果稍后检测到患者移动，则可以重复精细拟合或粗和精细拟合。动作12的监视被用于提供部分和/或分离拟合。所捕捉的表面数据的流虑及该分离。

如图3中所示，通过在动作11中检测患者的桌占用并在动作12中诸如通过界标检测监视患者的移动来确定初始患者姿势。该初始患者姿势是患者模型与动作10中捕捉的表面数据的初始或粗拟合。这些操作可以在少于一秒中执行，因此以连续或规则监视来重复。一旦初始或粗姿势是稳定的，则在动作13中执行进一步拟合。动作13的该进一步拟合被跨表面数据的两个或更多帧分割并且每个部分可花费少于1秒。

对患者的检测可以激活动作13的拟合。检测激活动作12的监视。在监视使用界标、其他粗拟合或其他姿势确定的情况下，患者模型至少部分地拟合到表面数据。

在动作13中，图像处理器使用来自不同时间的表面数据拟合患者模型。例如，使用来自患者移动低于阈值之前或期间的时间或时间段以及来自没有或几乎没有移动的时间段达到阈值之后的另一时间或时间段的表面数据。作为另一示例，在监视示出在阈值时间长度上没有移动之前的一个或多个帧被用于粗拟合，并且在没有或几乎没有移动期间以及在达到没有或几乎没有移动的阈值时间长度之后的一个或多个帧被用于精细拟合。达到没有或几乎没有移动的阈值时间段触发更复杂的精细拟合。计算密集的化身拟合被分割成多个步骤，使得系统是响应性的（responsive）并且在针对每个处理的图像计算最新患者姿势时不延迟。

图6示出了该分离的示例。在动作60中的捕捉和然后的形状初始化（例如，占用检测和标识界标）之后，执行初始对准61，诸如检测在患者的表面数据中表示的界标并且将患者模型的界标定位在所检测的界标的三维位置处。这是患者模型的初始拟合，以将表面云与化身模板（患者模型）对准。在进一步的拟合中，将表面数据的另一帧或同一帧用于粗拟合。在动作14中，患者模型的诸如由网格表示的外表面之类形状被拟合到或改变为与来自表面数据的检测到的界标相对应。界标的相对位置被用于扭曲表面网格。在动作15中，详细的或精细拟合将患者模型的表面网格与表面数据对准。一旦患者准备好治疗或成像，该详细的形状拟合就使用表面数据的一个或多个后续帧。诸如使用迭代匹配或优化来执行迭代配准（registration）、拟合和/或形状投影（例如，从照相机的视角方向投影形状以将拟合患者模型与表面数据测量匹配）。在时间至关重要的情况下，诸如对于创伤情况，可以不执行该拟合。在动作62中，检验拟合。针对预期或可能的姿势检查拟合的（as fit）患者模型，诸如确保身体的部分彼此的角度和/或距离在预期范围内。

在图1中，拟合的这些不同的阶段由动作14和15来提供。每个阶段表示拟合的不同方式，诸如粗和精细、界标和网格、和/或将患者模型拟合到表示患者的数据（表面数据）的方法中的其他差异。可以提供附加的拟合阶段，诸如由患者模型到表面数据的拟合的不同阶段或类型表示的三个或更多不同方式（例如，粗、中等和精细拟合）。

患者模型是人类或人类的部分的表面的一般表示。不同的模型可以用于不同的身体类型，诸如男性或女性模型。患者模型不特定于患者。例如，患者模型是统计形状模型。患者模型不特定于任何其他患者或者特定于满足规范（norm）的患者。

任何表示可以用于模型。在一个实施例中，模型由网格形成，网格诸如是三角形的网格。可以使用其他网格。可以使用3D表面的其他表示。

图像处理器将患者模型拟合到待治疗或成像的患者的表面数据。该拟合基于患者的感测的外表面来变换患者模型或使患者模型失真。通过拟合到表面数据，一般性患者模型被个人化到患者的外表面。拟合可以是迭代优化，诸如测试模型的不同更改，其中，基于模型与表面数据之间的差异或拟合的接近性来控制更改。

可以使用身体表面模型到患者的所捕捉的表面数据的任何现在已知的或后续开发的拟合。例如，基于差异的最小化，将人的形状完成和动画（SCAPE）模型拟合到表面数据。在一个实施例中，主体（subject）的深度照相机图像20被转换成3D点云。在3D点云中检测多个解剖界标。通过基于所检测的解剖界标将模板网格与3D点云对准在动作14中来初始化3D化身网格。通过使用经训练的参数可变形（deformable）模型（PDM）在动作15中优化3D化身网格来生成主体的个人化3D化身网格。优化受到考虑主体所穿的衣服和主体正躺在其上的桌的存在的约束。

在另一实施例中，统计形状模型被拟合到作为表面数据的深度。统计形状模型是人类或人类的部分的外部的平均或其他统计表示的网格或其他表示。统计形状模型包括关于更改的其他约束或概率，使得拟合基于统计来维持形状。

在又一实施例中，在动作14中，通过使人类骨架模型拟合到人的深度图像数据的基于模型的方法来生成人的个人化3D网格。然后使用所估计的姿势骨架来初始化在离线训练阶段中学习的详细的参数化可变形网格（PDM）。然后，在动作15中优化PDM以通过扰动（perturb）身体姿势和形状来拟合输入深度数据。基于采样的优化过程使PDM拟合到深度数据。与仅应用于具有皮肤覆盖（clad）主体的数据的SCAPE模型不同，基于采样的方法应对主体的衣服变型。此外，基于采样的方法还使得实施例能够应对由于传感器噪声而引入的偏差（bias）。

图4和5示出了不同阶段中和相应方式的拟合。在动作10中捕捉RGBD表面数据以及动作40的任何预处理（例如，从给定距离到给定视角的归一化和重新投影、和/或表面法线（normal）计算）之后，在动作11中检测患者。该检测是基于表面轮廓和/或机器学习检测器的。如果没有检测到患者，则该过程返回以在动作10中捕捉下一帧。

如果检测到患者，则在动作14中执行初始拟合。使用诸如全连接网络之类的一个或多个机器学习模型来检测界标（例如颈部、肚脐、关节和/或其他身体表面界标）。患者模型到界标的该拟合以一种方式提供拟合。在检测到患者时激活该第一方式的患者模型的拟合，并且可以使用表面数据的其他帧重复该拟合，直到动作12中的监视示出给定时间段无运动。以该方式，模型界标被拟合到在一个或多个时间处从表面数据检测到的界标。检测并在粗或初始拟合中使用3D+t点云数据中的多个时间上一致的解剖界标，。在另外的实施例中，从表面数据估计（例如，使用机器学习模型）并且在患者模型的拟合中使用一个或多个内部界标的放置（placement）。在每个时刻处从3D点云中的主体的外观回归的多个表面和/或内部身体界标被用于拟合患者模型。

在其他实施例中，在时间窗T中患者的几乎没有或没有移动的一致且稳定的检测之后，执行使用界标的初始或粗拟合。在表面数据的后续帧中，使用相应训练的回归量（regressor）从3D点云回归多个解剖界标和取向。

在图4中，在二维中检测界标的位置。基于二维界标回归执行二维拟合。在图5中，在三维中检测界标的位置。基于三维界标回归执行三维拟合。

在动作12中，监视患者运动或位置改变。如果患者在阈值时间段内改变位置，则该过程返回到动作10中的捕捉，以便在有或没有动作14中的拟合的重复的情况下进行进一步监视12。由于检测到的运动，可以重复动作14的初始或粗拟合。

一旦运动稳定了足够的时间，就使用表面数据的后续帧在动作15中执行不同方式的进一步拟合或拟合。在图4的实施例中，在动作42中，在三维中找到二维界标位置。使用表面数据中的局部极值（extrema）搜索和/或局部峰值的机器学习检测器来在三维中定位界标。

在动作15中，图像处理器将先前部分地、初始地或完全地拟合的患者模型拟合到表面数据。拟合是以不同方式进行的，诸如使用不同的机器学习分类器、不同的过程、不同的界标、不同的成本函数或拟合测量、不同的优化和/或拟合中的另一差异。在一个实施例中，较早的拟合包括基于界标的拟合。该进一步或精炼的（refined）拟合基于由表面数据表示的表面来拟合患者模型的表面网格。界标提供通过拟合表面而精炼的初始拟合（例如，姿势或位置和取向）。

使用来自先前拟合的结果。例如，界标提供初始拟合。基于界标的位置来放置患者模型的网格和/或使患者模型的网格扭曲。结果，网格更可能初始地更接近表面数据中表示的患者的实际表面。作为另一示例，使用表面数据的较早帧的拟合指示患者的姿势，提供了平移和/或取向拟合。然后，进一步的拟合使表面扭曲。在又一个示例中，较早的拟合提供了扭曲的表面。由于位置的改变（例如，为了患者舒适而增加的支撑器（booster）或支架），使用较早的拟合作为开始点再次执行拟合，不考虑或考虑与位置的改变相关联地检测到的一个或多个区域。作为又一示例，来自较早拟合的界标的位置被用于限制搜索空间，诸如搜索在精炼的拟合中使用的其他界标。

在一个实施例中，图像处理器通过在三维表面数据上的初始网格的精炼来生成主体的个人化三维化身网格。在选择的时间的选择的3D点云数据上初始化三维化身网格。如果来自较早帧的化身是可用的，则系统执行精细拟合以适应患者姿势的改变。

任何拟合阶段都可以使用约束。例如，患者模型可以包括对不同部分的相对角度和/或位置的限制。可能存在对床位置的约束和/或对非患者对象的约束。床、非患者对象（例如，衣服、垫子、支撑物、患者舒适设备、仪器和/或用户接口设备）和/或环境因素都可以被检测或具有已知的位置并且用于约束拟合，因为患者不能占用与床和/或非患者对象相同的空间。针对每个时刻的三维化身网格的生成和/或更新可以合并从多个源导出的约束，所述多个源包括但不限于桌位置、床的速度、床的加速度和由床施加的力。当床移动以放置患者用于治疗和/或成像时，可以继续计及床运动的动作12的监视。可以更新患者模型，诸如更新患者模型相对于医学系统的平移位置。可以更新患者模型以计及由于移动引起的加速度或力而导致的患者的表面和/或内部器官位置的失真或改变。

拟合患者模型指示患者相对于床和/或医学系统的位置。患者模型可以包括根据从拟合表面网格和/或外部界标的回归或与拟合表面网格和/或外部界标的关系定位的内部器官或界标。拟合的患者模型指示患者的中心线和/或患者上或中的感兴趣的区域的一维、二维或三维中的位置。

在动作16中，至少部分地基于拟合到患者的患者模型来配置医学系统。医学系统的图像处理器或控制器设置针对对患者进行成像或治疗的可编程变量的一个或多个值。医学扫描仪可以自己进行配置。图像处理器可以向医学扫描仪的控制器提供信息以进行配置。图像处理器可以通过对医学扫描仪的直接控制来配置。替代地，用户通过利用一个或多个用户输入的录入来基于拟合模型人工配置医学扫描仪。然后，配置的医学系统可以使用值来治疗患者或对患者成像。

图1示出了两种可能的配置考虑，在动作18中配置床位置和在动作17中配置扫描参数。可以使用其他配置参数。

在动作17中，设置一个或多个扫描参数。在时间窗口T中三维化身网格的一致且稳定的检测之后，计算附加的扫描参数。扫描参数可以是感兴趣的区域或范围。例如，拟合患者模型指示沿着患者的躯干的扫描范围的起点和终点的位置。基于扫描的原因（例如，要诊断和/或要治疗的区域），使用拟合患者模型来控制机架的移动或扫描的范围。可以诸如基于从拟合模型确定的患者的大小来设置所使用的强度（例如，剂量）。拟合的患者模型可以定义视场和/或X射线强度以控制剂量或扫描范围。拟合模型可以用于选择用于磁共振（MR）扫描的扫描序列、线圈放置和/或扫描位置。对于使用dyna-CT扫描的荧光透视（fluoroscopy），拟合模型对于定位扫描仪和控制X射线源可能是有用的。可以基于拟合模型或从拟合模型导出的值（例如，估计的重量或高度）来确定或配置医学扫描仪的任何设置或参数。姿势、扫描范围和/或扫描范围的等中心都可以基于拟合模型。

在动作18中，调整床位置。床可以沿一个或多个维度移动。例如，床可使用机器人或可调整电动基座沿三维（即，沿医学系统的孔（bore），上下和左右）移动。患者可能在床上没有被居中并且甚至被居中的不同患者由于大小具有不同的中心。拟合患者模型指示患者和/或患者中或上的任何感兴趣区域的位置。例如，待治疗和/或成像的患者的部分在医学系统的等中心处居中。床移动患者以提供该定位。如拟合的患者模型指示患者上或患者中的位置。在另一示例中，床在治疗或扫描期间的不同时间处定位在不同位置处。拟合模型用于控制或建立适当的定位。作为另一示例，将根据到患者的患者模型拟合确定的患者中心移动到医学系统的等中心。

配置的医学扫描仪扫描患者。基于设置和/或床位置对患者进行治疗或成像。基于医学扫描仪的配置执行成像或治疗。对于治疗，治疗系统可以基于来自如拟合的患者模型的配置施加辐射剂量。

动作12的监视可以在动作13中的拟合完成之后（例如，在到来自一个或多个时间的表面数据的动作14中的粗拟合和动作15中的精细拟合之后）继续。使用来自另一时间的表面数据重复动作13、14和/或15的拟合。例如，患者位置被改变，诸如由于舒适、为了进一步治疗或成像而旋转或其他原因。患者位置的该变化触发重新拟合。工作流程可以前进至开始，诸如从动作12开始。在任何检测到的位置改变之后，在点云的每个时刻处更新三维化身网格。然后基于新的拟合患者模型来更新床位置和/或医学系统的其他配置。

在一个实施例中，重复精细拟合以进行更新。先前拟合被用作约束，诸如以定义用于拟合的搜索区域。在位置的改变被隔离到特定区域（例如，手臂）的情况下，拟合可以被约束到该感兴趣区域。感兴趣区域可被用于以其他方式限制或约束拟合。例如，基于要扫描的身体区域，将细粒度的移动和状态分析限制到感兴趣区域。仅精炼或更新与感兴趣区域相关联的患者模型的部分。替代地，精炼或更新整个患者模型。

在动作19中，图像处理器用信号通知医学专业人员。该用信号通知是可听和/或可视的。该用信号通知可以是警告、推荐和/或信息性的。

用信号通知可以由于各种原因或触发中的任何原因或触发而发生。例如，用信号通知第一方式拟合的完成、第二方式拟合的完成、监视的结果（即，运动或没有运动）和/或床位置的调整。在一个实施例中，警告专业人员和/或患者床将要移动。在另一实施例中，用信号通知是针对患者的以保持静止并且是基于在监视期间检测到的运动来提供用信号通知。用信号通知可以指示设置或配置信息的一个或多个值，诸如以允许放射线技师确认适当的或期望的设置。如果任何配置将被更新或已被更新，则用信号通知可以指示该状态的改变。

作为表面数据或图像的深度和/或颜色的流式捕捉可以虑及工作流程中的更多自动化。例如，调整床位置而用户不必人工指示床要位于何处和/或人工使床移动。取而代之的是，使用拟合患者模型来移动和定位床。用户可以确认该移动的激活，但是该移动和/或床正在移动去往的位置被自动控制。该拟合自动发生，而无需与任何照相机图像或表面数据相关的任何用户输入。在一个实施例中，用户激活用于患者的特定用途的工作流程。作为响应，开始流式传输。医学专业人员可以帮助患者到床上并使患者舒适。流式捕捉用于检测占用、监视移动、并且在不同阶段中拟合患者模型。医学专业人员不需要激活或控制检测、监视或拟合。基于患者模型来配置床位置和/或一些设置，而无需医学专业输入。可以提供针对确认的请求。医学专业人员可以更改设置或输入其他设置。

图7示出了由流式捕捉提供的拟合和配置中的动作的分离。相对于患者的三个状态被示出为A——无患者、B——移动患者和C——静止患者。在状态A中，结果R是没有检测到什么或者检测到了某事物。如果结果是患者检测，则状态转变到B。在状态B中，监视移动患者，由于离开床的移动、患者持续移动或患者静止而结果是没有检测到什么。如果没有检测到患者，则状态转变回到A。如果患者正在移动，则状态保持在B中。如果患者是静止的，则状态转变到C。在状态C中，结果是保持静止，在没有检测到患者的情况下转变到A，或者在患者移动时转变到B。

在从A到B的转变中，定义了表面数据（例如，图像）的参考帧。该参考被用于初始地检测移动。在状态B中，当捕捉每个新帧时更新参考，诸如使用表面数据的最近的过去帧作为新参考。在从B到C的转变中，最近用于建立静止患者的表面数据的帧被用作用于监视移动持续为静止的参考。

相同或不同的帧被用于拟合。在级联框架（cascaded framework）中检测患者状态和移动。拟合从粗粒度到精细粒度级联。每个粒度影响一个或多个扫描参数和放射线技师信号通知机制。

图8示出了使用用于患者模型拟合的传感器捕捉的序列的医学系统的一个实施例。医学系统包括显示器80、存储器84和图像处理器82。显示器80、图像处理器82和存储器84可以是医学系统86、计算机、服务器、工作站或用于诊断或治疗的其他系统的部分。没有医学系统86的工作站或计算机可以用作医学系统。医学系统还包括用于感测（成像）患者的外表面的传感器87。

可以提供附加的、不同的或更少的部件。例如，包括计算机网络，用于本地捕捉的表面数据的远程图像生成或用于从远程捕捉的表面数据进行本地拟合。拟合被应用作为工作站或本地设备上的独立应用，或者作为部署在网络（云）架构上的服务。作为另一示例，提供用户输入设备（例如键盘、按钮、滑块、拨号盘、轨迹球、鼠标或其他设备）用于用户更改或设置以配置医学系统86。在又一示例中，不提供医学系统86。

传感器87是深度传感器或照相机。可以使用LIDAR、2.5D、RGBD、立体光学传感器或其他深度传感器。示出了一个传感器87，但是可以使用多个传感器。可以提供光投影仪。传感器87可以直接测量从传感器87到患者的深度。传感器87可以包括用于从图像确定深度测量的单独处理器，或者图像处理器82从由传感器87捕捉的图像确定深度测量，深度可以相对于传感器87和/或床或桌89。

传感器87朝向患者88。传感器87可以是医学治疗系统86的部分或连接到医学治疗系统86，或者与医学系统86分离。

传感器87被配置成测量到患者的深度或针对患者的深度。深度是从传感器87、桌89或其他位置到患者上的各种位置处的患者的距离。可以使用患者上的任何样本模式（pattern）。传感器87输出深度测量和/或表面图像作为整个视场的数据的一帧。

传感器87在序列上进行测量。在给定时间处测量深度和/或图像（例如RGBD）。这在不同时间处进行重复，提供表示不同时间处的患者的表面数据的帧。

图像处理器82是控制处理器、通用处理器、数字信号处理器、三维数据处理器、图形处理单元、专用集成电路、现场可编程门阵列、人工智能处理器、数字电路、模拟电路、其组合、或用于处理表面数据的其他现在已知或以后开发的设备。图像处理器82是单个设备、多个设备或网络。对于一个以上的设备，可使用处理的并行或顺序划分。构成图像处理器82的不同设备可以执行不同的功能，诸如通过一个设备将网格拟合为患者模型并且通过另一设备估计重量。在一个实施例中，图像处理器82是医学治疗系统86的控制处理器或其他处理器，图像处理器82按照存储的指令、硬件和/或固件操作并由存储的指令、硬件和/或固件配置以执行本文描述的各种动作。

图像处理器82被配置成根据传感器87的测量来检测床89上的患者。使用来自捕捉的序列的一部分的测量，捕捉的序列的一部分诸如是当前帧或正在进行的捕捉中的最早帧。处理这些测量以检测床89的占用。患者检测允许图像处理器触发患者模型的拟合和对患者运动的监视。

图像处理器82被配置成将患者模型拟合到表面数据。来自传感器87的测量的一个或多个帧用于拟合患者模型。一个或多个帧来自序列的不同部分，诸如是在最初检测占用的一个或多个帧之后捕捉的一个或多个帧。

拟合可以是初始、部分或粗拟合。例如，在非刚性（non-rigid）拟合之前提供刚性（rigid）拟合。作为另一示例，在精细拟合之前提供粗拟合。在一个实施例中，图像处理器82根据测量确定患者的界标位置。可以检测和定位任何数量的界标。

图像处理器82被配置成将患者模型拟合到序列的又一部分的测量。例如，在使用界标拟合之后并且一旦监视示出没有或几乎没有患者运动，则使用来自与没有或几乎没有移动相关联的一个或多个后续帧的测量来拟合患者模型。网格或三维表面拟合到测量。可以通过界标位置或先前的拟合来初始化拟合。先前的拟合可以用于对精细或表面拟合的搜索空间进行居中和/或限制。

图像处理器82可以被配置成使用所捕捉的测量的序列的其他部分来执行进一步拟合。例如，患者88在患者模型被拟合之后移动。图像处理器82使用当前帧重新拟合。

图像处理器82被配置成监视在床89上的患者的运动。监视响应于占用的检测而开始。拟合可以基于监视而发生。例如，重复粗拟合（例如，匹配界标）直到患者静止。一旦没有运动，就执行精细拟合（例如，匹配表面）。该精细拟合可以基于界标位置，诸如基于界标位置的匹配来初始化患者模型的表面的初始扭曲和/或位置。

图像处理器82被配置成使用来自传感器87的深度来形成用于患者的网格。网格被拟合到传感器的深度或其他输出作为患者模型。可以通过检测患者的表面和/或通过最小化预定网格形状与由传感器的输出表示的形状之间的差异来拟合网格。

显示器80是CRT、LCD、投影仪、等离子体（plasma）、打印机、平板计算机、智能电话或用于显示输出的其他现在已知或以后开发的显示设备。通过将图像加载到缓冲器中来配置显示器80。显示器80被配置成显示来自传感器87的患者的图像或信令。

传感器测量、拟合形状模型、表面数据、机器学习模型、占用、运动状态和/或其他信息被存储在非暂时性计算机可读存储器中，非暂时性计算机可读存储器诸如是存储器84。存储器84是外部存储设备、RAM、ROM、数据库和/或本地存储器（例如，固态驱动器或硬盘驱动器）。相同或不同的非暂时性计算机可读介质可以用于指令和其他数据。存储器84可以使用数据库管理系统（DBMS）来实现，并且驻留在诸如硬盘、RAM或可移动介质之类的存储器上。替代地，存储器84在处理器82内部（例如高速缓存）。

用于实现本文讨论的过程、方法和/或技术的指令被提供在非暂时性计算机可读存储介质或存储器上，诸如高速缓存、缓冲器、RAM、可移动介质、硬盘驱动器或其他计算机可读存储介质（例如，存储器84）。指令可由图像处理器82或其他处理器来执行。计算机可读存储介质包括各种类型的易失性和非易失性存储介质。响应于存储在计算机可读存储介质中或上的指令的一个或多个集合来执行图中示出的或本文描述的功能、动作或任务。功能、动作或任务独立于特定类型的指令集、存储介质、处理器或处理策略，并且可以由单独或组合操作的软件、硬件、集成电路、固件、微代码以及诸如此类来执行。

在一个实施例中，指令被存储在可移动介质设备上以供本地或远程系统读取。在其他实施例中，指令被存储在远程位置以便通过计算机网络传送。在其他实施例中，指令存储在给定计算机、CPU、GPU或系统内。由于附图中描绘的一些组成系统部件和方法步骤可以以软件实现，所以系统部件（或处理步骤）之间的实际连接可以依对本实施例编程的方式而不同。

医学系统86是治疗辐射扫描仪，诸如x射线或粒子治疗系统，或者诊断成像扫描仪，诸如CT、MR、PET或SPECT系统。医学系统86根据一个或多个设置进行操作以对患者进行治疗或成像。设置控制被扫描患者中的位置、扫描的类型（例如，脉冲序列）和/或辐射剂量。至少部分地基于拟合患者模型来控制强度、频率、持续时间和/或其他设置。患者模型可以用于指示患者上或患者中的位置，诸如感兴趣的区域、器官位置和/或在一维、二维或三维中的中心。通过设置变量的值来配置医学系统86，以便以适合于如搁置在床上的特定患者的特定方式来操作。

在一个实施例中，医学系统86使用拟合患者模型来控制床89的位置和/或移动。床89被配置成基于患者模型的拟合来移动。例如，在拟合患者模型中反映的感兴趣的器官或区域被用于移动床89，使得患者88的感兴趣的实际器官或区域处于医学系统86的等中心处。在患者88然后移动的情况下，使用来自传感器87的另外的帧的更新的拟合可被用于重新定位床89和患者88的感兴趣的相应器官或区域。

一旦由设置进行了配置，医学系统86就对患者进行治疗或成像。对于治疗，所施加的辐射的量至少部分地基于拟合患者模型。对于成像，医学系统86被配置成扫描患者的内部区域并且从扫描生成诊断信息。医学扫描仪被配置成生成诊断图像信息。配置使用针对一个或多个参数的设置，诸如X射线源电压、桌位置和/或移动的范围、机架位置和/或移动的范围、焦点、视场、扫描密度、检测器阈值、传输序列、图像处理设置、过滤设置或图像生成设置。基于拟合患者模型，自动或人工设置医学扫描仪的一个或多个设置。由医学扫描仪使用设置来对患者88成像。

本文描述的各种改进可一起或单独使用。尽管在此已经参考附图描述了本发明的说明性实施例，但是应当理解，本发明不限于那些精确的实施例，并且在不脱离本发明的范围或精神的情况下，本领域技术人员可以在其中实现各种其他改变和修改。

Claims (21)

1.一种用于在医学系统中根据表面数据的患者模型估计的方法，所述方法包括：

利用三维照相机在包括第一时间和第二时间的不同时间处捕捉表示患者的外表面的所述表面数据的流，所述第一时间早于所述第二时间；

以第一方式将所述患者模型拟合到所述第一时间的所述表面数据；

针对患者位置的改变进行监视；

以第二方式将所述患者模型拟合到所述第二时间的所述表面数据，其中，所述第二方式不同于所述第一方式并且使用以所述第一方式拟合所述患者模型的结果，所述第二方式的拟合在维持所述患者位置时执行；以及

基于以所述第二方式对所述患者模型的拟合来调整所述医学系统的床的床位置。

2.根据权利要求1所述的方法，其中，捕捉包括利用是深度传感器的所述三维照相机进行捕捉。

3.根据权利要求1所述的方法，其中，以所述第一方式拟合所述患者模型包括将模型界标拟合到从所述第一时间的所述表面数据检测到的界标，并且其中，以所述第二方式拟合所述患者模型包括将三维网格拟合到所述第二时间的所述表面数据。

4.根据权利要求3所述的方法，其中，使用所述结果以所述第二方式拟合所述患者模型包括从所述模型界标到所述检测到的界标的拟合来初始化所述三维网格的拟合。

5.根据权利要求1所述的方法，还包括从来自比所述第一时间早的时间的流的表面数据检测所述床上的所述患者，并且响应于对所述患者的检测来激活以所述第一方式对所述患者模型的拟合和监视。

6.根据权利要求1所述的方法，其中，调整所述床位置包括将所述患者的中心从以所述第二方式拟合的所述患者模型调整到所述医学系统的等中心。

7.根据权利要求1所述的方法，其中，所述第一方式和所述第二方式的拟合和捕捉在没有与来自所述表面数据的任何照相机图像有关的用户输入的情况下发生。

8.根据权利要求1所述的方法，其中，调整包括在没有所述床位置的用户输入的情况下进行调整。

9.根据权利要求1所述的方法，其中，在拟合到所述第二时间的所述表面数据之后所述监视继续；

还包括响应于所述患者位置的变化，使用来自所述第二时间之后的第三时间的所述表面数据以所述第二方式重复拟合，并且基于以所述第二方式重复所述拟合的结果更新所述床位置。

10.根据权利要求9所述的方法，其中，以所述第二方式重复所述拟合包括将所述拟合约束到感兴趣的区域。

11.根据权利要求1所述的方法，其中，所述第二方式的拟合包括以针对所述床位置的约束和针对非患者对象的约束进行拟合。

12.根据权利要求1所述的方法，其中，所述第一方式的拟合包括二维拟合，并且其中，所述第二方式的拟合包括三维拟合。

13.根据权利要求1所述的方法，其中，所述第一方式和所述第二方式的拟合包括三维拟合。

14.根据权利要求1所述的方法，还包括基于所述第二方式的拟合来设置所述医学系统的扫描参数。

15.根据权利要求1所述的方法，还包括用信号通知医学专业人员所述第一方式的拟合的完成、所述第二方式的拟合的完成、所述监视的结果和/或所述床位置的调整。

16.一种医学系统，包括：

深度传感器，被配置成在序列上进行测量；以及

图像处理器，被配置成根据所述序列的第一部分的测量来检测床上的患者，根据所述序列的第二部分的测量来确定所述患者的界标位置，并且将患者模型拟合到所述序列的第三部分的测量；

其中，所述床被配置成基于所述患者模型的拟合而移动。

17.根据权利要求16所述的医学系统，其中，所述图像处理器被配置成响应于所述检测而监视所述床上的患者的运动，并且响应于没有运动并且基于所述界标位置而进行拟合。

18.根据权利要求16所述的医学系统，其中，所述图像处理器被配置成将所述患者模型拟合到所述序列的第四部分的测量，其中，所述床被配置成从基于使用所述第三部分的所述患者模型的拟合的位置移动到基于使用所述第四部分的所述患者模型的拟合的位置。

19.根据权利要求16所述的医学系统，其中，所述图像处理器被配置成拟合通过所述界标位置初始化的所述患者模型。

20.一种用于在医学系统中根据表面数据的患者模型估计的方法，所述方法包括：

利用三维照相机在不同时间处捕捉表示患者的外表面的所述表面数据的流；

使用所述流针对移动监视所述患者；

使用来自所述不同时间的所述表面数据拟合所述患者模型，时间中的第一时间在所述患者的所述移动低于第一阈值的时间段之前或期间发生，并且时间中的第二时间由于时间段超过第二阈值而在触发之后发生；以及

至少部分地基于如拟合的所述患者模型配置所述医学系统。

21.根据权利要求20所述的方法，其中，使用所述时间中的第一时间的所述表面数据进行拟合包括检测界标位置，并且其中，使用所述时间中的第二时间的所述表面数据进行拟合包括将三维网格拟合到所述时间中的第二时间的所述表面数据并且基于检测到的界标位置进行拟合。

Images