CN112489745A - 用于医疗设施的感测装置及实施方法 - Google Patents

Abstract

一种医疗系统可以利用模块化且可扩展的感测装置来基于由诸如数字摄像头的传感器捕捉的患者的图像实时导出患者的二维(2D)或三维(3D)人体模型。2D或3D人体模型可以在医疗系统的一个或多个装置上视觉地呈现，并且用于便于向患者提供的健康护理服务。在示例中，2D或3D人体模型可以用于改进针对医疗过程的患者定位的速度、准确度以及一致性。在示例中，2D或3D人体模型可以用于通过借助2D或3D人体模型关联患者的其他医学扫描图像来进行对患者的身体状况的统一分析。在示例中，2D或3D人体模型可以用于便于手术导航、患者监测、过程自动化等。

Description

用于医疗设施的感测装置及实施方法

相关申请的交叉引用

本申请要求2019年11月27日提交的临时美国专利申请号62/941,203和2020年4月28日提交的临时美国专利申请号16/860,901的权益，此处以引证的方式将该申请的公开内容全文并入。

技术领域

本申请大致属于医疗领域。

背景技术

提供给患者的健康护理服务的质量很大程度上取决于可用于患者和提供服务的诸如医生的医学专家的信息量。例如，关于放疗和医学成像，成功通常取决于将患者放置和维持在期望位姿使得可以以精确且准确的方式执行治疗或扫描的能力。在这些情况下具有与患者的身体特征(例如，身高、体型、姿势等)有关的最新知识可以提供许多益处，包括例如根据扫描或治疗方案更快且更准确地定位患者、更少的体力劳动、更一致的结果等。与患者的身体特征有关的知识也可以用于聚集患者的不同病历(例如，基于病历中存在的患者的共同属性和/或患者的身份)，并且导出患者的诊断和治疗历史的通观。

在其他示例情况下，诸如在外科手术期间，与患者的体格、移动和/或位姿有关的信息可以为治疗计划和执行提供洞察和指导。该信息比如可以用于围绕患者的治疗部位定位和导航。当实时地视觉呈现时，该信息还可以提供用于在手术期间监测患者状态的装置。

随着诸如计算机视觉和人工智能的领域的技术的进步，期望利用这些技术来以自动且实时的方式获取患者信息，并且利用所获取的信息来提高健康护理服务的质量。

发明内容

本文描述了用于使用医疗系统向患者提供健康护理服务的系统、方法以及装置。该医疗系统可以包括模块化且可扩展的感测装置，其能够基于由一个或多个传感器捕捉的患者的至少一个图像来实时生成患者的二维(2D)或三维(3D)人体模型及其表示。感测装置可以包括或耦合到这些传感器。感测装置可以包括一个或多个处理器，其被配置为从传感器接收患者的至少一个图像。响应于接收到至少一个图像，感测装置(例如，发送装置的一个或多个处理器)可以分析图像以提取表示患者的一个或多个解剖特征的多个特征，并且基于这些特征来估计患者的2D或3D人体模型。患者的2D或3D人体模型可以包括例如参数化人体模型，并且2D或3D模型的表示可以包括患者的2D或3D网格表示。

一旦生成，患者的2D或3D人体模型和/或其表示可以例如与由一个或多个传感器捕捉的患者的至少一个图像一起被传输到医疗系统的一个或多个其他装置。2D或3D人体模型和/或其表示可以用于改进提供给患者的健康护理服务的一个或多个方面，包括例如患者定位、患者监测、医学扫描图像统一和分析、手术导航等。

本文所述的一个或多个传感器可以包括数字摄像头、红绿蓝(RGB)传感器、深度传感器、RGB加深度(RGB-D)传感器、诸如红外(FIR)或近红外(NIR)传感器的热传感器等。由此可见，由传感器捕捉的患者的至少一个图像可以包括由数字摄像头捕捉的患者的照片或由对应传感器捕捉的RGB或热图像。

感测装置可以是模块化且可扩展的，并且可以包括一个或多个槽，各个槽包括电源连接器或通信接口电路中的至少一个。各个槽可以被配置为容纳相应的一组传感器或处理器，其被配置为与相应的成像模式或相应的患者一起工作。通信接口电路可以被配置为代表容纳在相应槽中的相应传感器或处理器来传输或接收信息。电源连接器可以被配置为向容纳在相应槽中的相应组的传感器或处理器供电。由此可见，感测装置例如能够通过增加或减少包括在感测装置中的传感器或处理器的数量来与不同类型的下游装置和/或不同的应用要求一起工作。

感测装置可以用医疗系统中的其它装置来校准。例如，感测装置的一个或多个处理器可以被配置为确定第一坐标系与第二坐标系之间的空间关系，该第一坐标系与感测装置相关联，第二坐标系与诸如医学扫描仪的医学装置相关联。这样，由感测装置生成的患者的2D或3D人体模型的表示可以与从其他成像模式获得的医学扫描图像一起使用(例如，以将医学扫描图像与人体模型的表示对齐)，由此使得能够对从不同源获得的患者的病历进行统一分析。2D或3D人体模型或其表示还可以用于提高与医疗过程有关的患者定位的速度、准确度以及一致性，以便于手术导航和患者监测等。

附图说明

从以下结合附图以示例方式给出的描述中，可以更详细地理解本文公开的示例。

图1是例示了本文所述的示例医疗系统的简化框图。

图2是例示了本文所述的感测装置可以如何促进医疗系统的操作的简化图。

图3是例示了本文所述的示例感测装置的简化框图。

图4是例示了本文所述的感测装置的操作的流程图。

图5是例示了本文所述的医疗系统的操作的流程图。

具体实施方式

在附图的各图中，通过示例而非限制性的方式例示了本公开。

图1是例示了用于在医疗环境中或在医疗设施处(诸如在医院中)提供健康护理服务的示例系统100的图。健康护理服务可以包括例如使用医学扫描仪102(例如，计算机断层摄影(CT)扫描仪、磁共振成像(MRI)机器、正电子发射断层摄影(PET)扫描仪、X射线机等)进行的医学扫描或成像过程、通过医用线性加速器(LINAC)(未示出)递送的放疗过程或者在手术室中执行的外科手术。系统100可以包括至少一个感测装置104(例如，图像捕捉装置)，其被配置为捕捉在医疗环境中或周围(例如，在医学扫描仪102前面或内部、在扫描床或治疗床上等)的患者106(或对象106)的图像。在示例中，感测装置104可以被配置为使用诸如运动、雷达或光传感器的传感器来检测患者106的存在，并且响应于检测到患者来捕捉患者的图像。在示例中，感测装置104可以不被配置为自动检测患者106的存在，但是可以被控制(例如，手动控制、远程控制、编程等)为例如响应于接收到控制信号而捕捉患者的图像，该控制信号指示感测装置这样做。

在示例中，感测装置104可以包括一个或多个传感器，包括一个或多个摄像头(例如，数字彩色相机、3D相机等)、一个或多个红、绿和蓝(RGB)传感器、一个或多个深度传感器、一个或多个RGB加深度(RGB-D)传感器、一个或多个热传感器(诸如红外(FIR)或近红外(NIR)传感器)、一个或多个运动传感器、一个或多个雷达传感器和/或被配置为生成人、对象或场景的图像(例如，2D图像或照片)的其他类型的图像捕捉电路。取决于所使用的传感器或图像捕捉电路的类型，由感测装置104生成的图像可以包括例如由摄像头拍摄的患者的一张或多张照片、由热传感器生成的患者的一个或多个热图像、由雷达传感器产生的患者的一个或多个雷达图像等。感测装置104的传感器可以被配置为响应于检测到患者、对象或场景、基于预先配置的时间表或时间间隔、或在接收到触发图像捕捉的控制信号时捕捉患者、对象或场景的图像。

在示例中，感测装置104可以被配置为通信地耦合到已经存在于医疗系统100中的传感器(例如，摄像头)(例如，感测装置104外部的传感器)，并且接收和处理由这些传感器捕捉的图像，犹如图像是由感测装置104的内部传感器捕捉的一样。比如，医疗系统100可能已经包括被配置用于监视、诊断或治疗目的传感器。这些传感器能够响应于检测到患者、对象或场景、基于预先配置的时间表或时间间隔、或在接收到触发图像捕捉的控制信号时捕捉存在于医疗系统100中的患者、对象或场景的图像。传感器还可以具有例如通过通信接口将所捕捉的图像(例如，包括像素信息的原始图像数据)传输到医疗系统100中的接收装置的能力。在至少这些场景中，感测装置104可以被添加到医疗系统100，例如作为由传感器产生的图像的接收装置，并且从图像获得信息，该信息可以用于提高由医疗系统100提供的服务的质量，如本文所述。感测装置104可以将从图像获得的信息(例如，以2D或3D人体模型或其表示的形式)与例如最初从传感器接收的图像数据一起传输到下游装置或应用。

感测装置104可以安装或放置在医疗系统100的各种位置中，诸如扫描室内部、治疗室内部、手术室内部、登记台周围、走廊中、医学扫描仪102上、天花板上、门口附近、墙壁上等。从这些位置，感测装置104可以捕捉在感测装置的视场(FOV)中的患者、对象或场景的图像(例如，从某个视点或视角)。可以(例如，通过向感测装置发送控制信号来手动或自动地)调节感测装置104的FOV，使得可以从不同的视点或视角拍摄多个图像。

在示例中，感测装置104可以是便携式或移动装置，在这种情况下，感测装置可以被放置或容纳在上述的各种位置处(例如，被放置在架子上、附接到悬挂座架等)，并且可以从一个位置移动到另一个位置。在示例中，感测装置104可以物理地连接到医疗系统100的位置或另一装置(例如，与其有线连接在一起)，在这种情况下，感测装置可以作为所连接装置的组成部分来操作。并且尽管在图1中仅描绘了一个感测装置104，但是医疗系统100可以包括多个感测装置，各个感测装置位于相应位置处并且具有相应FOV。

感测装置104可以包括功能单元，其被配置为处理由本文所述的传感器(例如，包括在感测装置中的传感器及/或感测装置外部的预先存在的传感器)生成的图像。功能单元可以耦合到传感器(例如，经由有线或无线通信链路)并且被配置为从传感器接收图像(例如，经由推送机制)。功能单元还可以被配置为例如周期性地或者响应于接收到控制信号而从传感器检索图像(例如，经由拉动机制)，该控制信号指示功能单元检索图像。在示例中，功能单元可以被配置为当图像变得可用时从传感器接收通知，并且响应于接收到通知而检索图像。

由传感器捕捉的图像可以包括描绘存在于医疗环境中的患者、对象或场景的二维(2D)或三维(3D)图像。2D或3D图像中的每一个图像可以包括多个像素、线和/或顶点。功能单元可以被配置为分析这些图像(例如，在像素级)，并且例如使用神经网络(例如，卷积神经网络)来生成在图像中描绘的患者、对象或场景的2D或3D模型(例如，参数模型，诸如基于蒙皮多人线性(SMPL)模型的参数模型)。由功能单元生成的2D或3D模型可以包括一个或多个2D关键点、一个或多个3D关键点、用于构造模型的一个或多个参数(例如，一组72个体型和/或姿势参数)和/或与患者、对象或场景的2D或3D表示有关的其他信息。2D或3D模型可以由例如2D网格、3D网格、2D轮廓、3D轮廓等中的一个或多个表示，以指示患者的姿势、体型和/或其他解剖特征，从而便于用于患者的多个下游医疗应用和服务，包括例如患者定位、医疗方案设计、统一或相关的诊断和治疗、医疗环境监测、手术导航等。为了便于描述，当在本文中提到患者的2D或3D人体模型或对象或场景的2D或3D模型时，其应当被解释为不仅包括模型本身，还包括为任何图形或视觉形式的模型表示。

在示例中，感测装置104可以充当边缘设备(例如，具有有限的计算和/或存储容量)，并且可以将一个或多个计算和/或存储任务(例如，所有计算和/或存储任务)传递到服务器装置。服务器装置可以是基于网络(例如，基于云)的服务器装置，并且可以被配置为在完成由感测装置104请求的计算任务时，将计算结果(例如，恢复的人体3D网格模型)提供给包括感测装置104的医疗系统100的其他装置，以用于进一步处理和/或递送。

感测装置104可以包括通信电路，其被配置为例如通过通信网络108与医疗系统100的一个或多个其他装置交换信息。通信网络108可以是有线或无线网络、或其组合。例如，通信网络108可以建立在公共网络(例如，因特网)、专用网络(例如，局域网(LAN)、广域网(WAN)等)、有线网络(例如，以太网)、无线网络(例如，802.11网络、Wi-Fi网络等)、蜂窝网络(例如，长期演进(LTE)或5G网络)、帧中继网络、虚拟专用网络(VPN)、卫星网络和/或电话网络上。通信网络108可以包括一个或多个网络接入点。例如，通信网络108可以包括有线和/或无线网络接入点，诸如基站和/或互联网交换点，通过这些接入点，医疗系统100的一个或多个部件可以连接以交换数据和/或其他信息。这种交换可以利用路由器、集线器、交换机、服务器计算机和/或其任意组合。

感测装置104的通信电路可以被配置为接收由本文所述的传感器产生的图像数据，并且可以例如直接从感测装置104和/或经由边缘服务器将一个或多个数据流传输到接收装置，这些数据流承载由感测装置生成的患者或对象的2D或3D人体模型。除了2D或3D模型之外，一个或多个数据流还可以包括由传感器产生的原始图像数据(例如，包括信息像素的原始图像)。原始图像数据可以包括例如由RGB传感器产生的RGB数据、由深度传感器产生的深度数据、来自RGB-D传感器的RGB加深度(RGB-D)数据、来自IR传感器的红外(IR)数据等。原始图像数据可以由下游装置或应用用于各种目的，包括例如验证、重建或细化由感测装置生成的2D或3D人体模型、将图像数据与其他医学图像或扫描进行比较或组合等。

医疗系统100可以包括编程装置110，其被配置为配置和/或控制医学扫描仪102或感测装置104中的一个或多个。例如，编程装置110可以被配置为初始化并修改医学扫描仪102或感测装置104的一个或多个执行参数，诸如捕捉图像的分辨率、用于向和从感测装置104交换数据的频率(例如，用于图像传输或检索的频率)、与数据交换相关联的帧率或比特率、感测装置上的数据存储的持续时间等。编程装置110还可以被配置为控制医学扫描仪102或感测装置104的操作的一个或多个方面，包括例如触发针对装置的校准操作、向装置提供校准参数(诸如与不同坐标系之间的空间关系有关的校准参数)、调节传感器的方向或取向、放大或缩小传感器、触发系统重置等。编程装置110可以包括移动装置，诸如智能电话、平板电脑或可穿戴装置。编程装置110可以包括台式计算机、膝上型计算机等。编程装置110可以被配置为通过通信网络108与医学扫描仪102和/或感测装置104通信。编程装置110可以从用户接收信息和/或指令(例如，经由在编程装置上实施的用户接口)，并且经由通信网络108将所接收的信息和/或指令发送到医学扫描仪102或感测装置104。

医疗系统100还可以包括处理装置112，其被配置为从感测装置104和/或代表感测装置104执行计算或存储任务的装置接收一个或多个数据流。处理装置可以与感测装置104共同定位(例如，在同一室中)或远离感测装置104定位(例如，在远离感测装置104所位于的位置的控制室或处理中心中)。处理装置112可以通信地耦合到包括感测装置104的医疗系统100中的其他装置。处理装置112可以包括通用计算机、专用计算机、一个或多个计算和存储单元、基于云的平台等。仅仅通过示例的方式，本文中提到的基于云的平台可以包括私有云、公共云、混合云、社区云、分布式云、云间、多云等。进一步地，尽管处理装置112在图1中被描绘为与医学扫描仪102分离的装置，但是本文提供的示例的适用性不限于这种配置。例如，处理装置112可以是医学扫描仪102的一部分(例如，包括在医学扫描仪102中)，并且仍然能够执行本文所述的各种功能。

由处理装置112接收的一个或多个数据流可以包括由感测装置104生成的患者、对象或场景的2D或3D模型和/或由传感器产生的图像数据(例如，原始或最初的图像数据)。如本文所述，2D或3D模型可以由感测装置104或代表感测装置104执行计算或存储任务的服务器装置生成。一旦被接收，2D或3D模型就可以由处理装置112用于辅助健康护理服务的各个方面。例如，处理装置112还可以耦合到储存库114，该储存库被配置为存储患者病历，患者病历包括基本患者信息、在不同时间通过医疗系统100的其他成像模式(例如，CT、MR、X射线、SPECT、PET等)获得的患者的医学扫描图像、患者的诊断和/或治疗历史等。处理装置112可以从储存库114检索患者的所有病历或病历的子集，并且结合由感测装置104提供的患者的2D或3D模型来分析检索到的病历。处理装置112还可以(例如，实时)接收由医学扫描仪102产生的患者的医学扫描图像，并且结合由感测装置104提供的患者的2D或3D模型来分析所接收的医学扫描图像。比如，处理装置112可以从储存库114或医学扫描仪102接收患者的医学扫描图像，将医学扫描图像与患者的2D或3D人体模型对齐，并且视觉地(例如，在叠加的图片中)渲染对齐的图像和2D或3D模型，以允许参考由模型指示的患者的解剖特征(例如，体形和/或姿势)来呈现并分析医学扫描图像。这样，可以基于由2D或3D模型提供的附加信息来获得对在医学扫描图像中捕捉的患者的器官或组织的更多洞察。比如，2D或3D模型可以指示在拍摄医学扫描图像时患者的位姿。

例如，上述对齐可以通过识别并匹配医学扫描图像和2D或3D模型中的相应解剖界标(例如，关节位置)来完成。例如，对齐还可以通过以下方式来完成：确定与2D或3D模型(例如，与感测装置104)相关联的第一坐标系和与医疗环境或医疗装置相关联的第二坐标系之间的相关性(例如，空间关系)，并且使用该相关性来匹配医学扫描图像和2D或3D模型的对应区域。例如，两个坐标系之间的相关性可以在系统设置期间基于放置在医疗环境中的标记和/或通过比较由感测装置104和有关医疗装置(诸如医学扫描仪102)产生的样本图像来确定。

使用2D或3D模型作为共同参考，处理装置112能够将患者的多个不同医学扫描图像(例如，来自各自的成像模式)对齐在一起，例如，通过将各个医学扫描图像与2D或3D模型对齐，其后使用2D或3D模型作为中间参考将一个医学扫描图像与另一个医学扫描图像对齐。当在本文中提到时，两个或更多个医学扫描图像的对齐或医学扫描图像与2D或3D模型的对齐可以包括将一个医学扫描图像与另一个医学扫描图像重叠或将2D或3D模型与医学扫描图像重叠。

通过建立由感测装置104产生的患者的2D或3D人体模型与从其他源或模式获得的患者的医学扫描图像之间的相关性，处理装置112可以确定患者的目标扫描或治疗区域，并且向患者或管理针对患者的医疗过程的医学专家指示目标区域。例如，处理装置可以基于从其他源或模式获得的预先存在的医学扫描图像来确定患者的器官(例如，肺、头等)需要被进一步扫描或治疗。处理装置112可以将一个或多个预先存在的医学扫描图像与由感测装置104产生的患者的2D或3D模型(例如，患者的3D网格)对齐，并且确定器官(例如，目标扫描区域)在3D网格上的位置。处理装置112可以例如通过在3D网格上标记目标区域来向患者或医学专家视觉地指示所确定的目标区域。这样，可以实时地(例如，在患者等待被扫描或治疗的同时)、非侵入性地和/或在不使用放射性示踪剂的情况下完成目标扫描或治疗部位的定位，并且结果可以用于提供对治疗计划、方案设计和/或手术导航的引导(例如，以引导诸如内置多自由度(MDOF)机器人或MDOF机械臂的手术机器人，以便避免碰撞等)。

基于由感测装置104产生的患者的2D或3D人体模型，处理装置112还可以被配置为识别患者的医学扫描图像中的背景对象，并且从医学扫描图像分割或减去背景对象，使得可以在没有干扰的情况下分析医学扫描图像。例如，由处理装置112(例如，从医学扫描仪102)接收的患者的医学扫描图像可以包括在医学扫描图像的背景中的扫描床。为了分割或减去对应于扫描床的医学扫描图像的区域或像素，处理装置112可以基于在患者躺在扫描床上的同时由感测装置102产生的患者的2D或3D人体模型来确定患者的轮廓，并且将医学扫描图像的位于轮廓之外的区域或像素识别为对应于扫描床的区域或像素。处理装置112然后可以从医学扫描图像分割或减去对应于扫描床的区域或像素，并且呈现由分割或减去产生的图像，以便进一步分析。

处理装置112还可以利用由感测装置104产生的患者的2D或3D人体模型来便于在扫描或治疗过程期间定位患者。例如，如本文所述，患者的2D或3D人体模型可以包括患者的3D网格或轮廓和/或指示患者的多个解剖特征(例如，患者的体型、患者的姿势和/或患者距医学扫描仪102的距离等)的参数。基于这些指示，处理装置112可以例如实时(例如，在患者仍然处于由2D或3D人体模型指示的位置或姿势的同时)确定患者的位置或姿势是否满足用于扫描或治疗过程的预定方案。如果处理装置确定患者的位置或姿势不满足预定方案，则处理装置112可以向患者和/或管理过程的医学专家提供用于校正患者的位置或姿势的指令(例如，命令)。指令可以包括视觉和/或音频指令，包括例如适于增强现实(AR)装置的动画和/或演示。这样，患者和/或医学专家可以使患者的当前位姿与期望位姿(例如，参考位姿)之间的差异可视化，并且进行必要的调节以最小化或消除差异。

由2D或3D人体模型指示的患者的解剖特征也可以用于确定患者的辐射消耗水平。例如，处理装置112可以基于患者的2D或3D人体模型来估计患者的身高和/或体重以及患者与医学扫描仪102之间的距离，并且将该估计与医学扫描仪的执行参数(例如，由扫描仪生成的磁场的强度、由扫描仪释放的能量的量等)一起用于计算由患者接收的辐射量。处理装置112可以生成辐射水平的报告和/或在该水平超过特定阈值时提供警报。

由感测装置102产生的患者的2D或3D人体模型也可以用于确定患者的身份。例如，处理装置112可以包括或耦合到包括一个或多个患者的已知视觉特征(例如，指示关节位置、关节角度、面部特征、体形、位置、姿势、行走模式等的关键点)的特征数据库。这些已知视觉特征或关键点可以经预先计算并存储于特征数据库中。响应于从感测装置102接收到患者的2D或3D人体模型，处理装置112可以将在2D或3D人体模型中包括的视觉特征或关键点与在特征数据库中存储的视觉特征或关键点进行匹配，并且基于匹配分数来确定患者的身份(例如，较高分数指示较好匹配)。

另外地或替代地，处理装置112可以利用被训练用于视觉识别的人工神经网络来确定患者的身份。在示例中，神经网络可以包括卷积神经网络(CNN)，其包括级联的层，各个层被训练为基于在一组图像中(例如，在图像的像素中)包含的视觉特性的相应抽象级别来做出模式匹配决策。可以使用大量图像数据和/或特定损失函数来执行神经网络的训练，神经网络可以通过这些图像数据和/或特定损失函数学习从新提供的输入图像提取特征(例如，以特征向量的形式)，确定特征是否匹配已知人的特征，并且在神经网络的输出处指示匹配结果。使用一个或多个这种神经网络，处理装置112可以被配置为将由2D或3D人体模型指示或从其提取的患者的视觉特征与从患者的其他图像提取的视觉特征进行比较，并且基于比较或匹配来确定患者的身份。

一旦被确定，患者的身份就可以用于使提供给患者的医疗保健服务个性化。例如，处理装置112可以使用患者的身份来从储存库114检索与患者相关联的病历，将检索到的病历与关于患者获得的其他信息(例如，由2D或3D人体模型指示的患者的身体和/或解剖特征)统一或合成，并且呈现统一或合成的病历以允许对患者身体状况进行更全面的审查或分析。

如本文所述，处理装置112可以通信地耦合到医疗系统100的其他医疗装置(例如，医学扫描仪102)。由此可见，处理装置112可以被配置为基于从由感测装置104所产生的患者的2D或3D人体模型采集的信息来控制一个或多个其他医疗装置。例如，在基于患者的2D或3D人体模型确定患者的身体特征时，处理装置112可以传输命令或控制信号(例如，传输到医学扫描仪102或控制医学扫描仪102的另一装置)，以调节医学扫描仪102的执行参数，例如，以更好地适应患者。这种执行参数可以与例如扫描床的高度、扫描角度、剂量水平、医学扫描仪的位置或取向等相关联，并且命令或控制信号可以以数字和/或模拟形式传输。

进一步地，尽管本文提供了用于生成患者的2D或3D人体模型并使用该模型来提高患者的健康护理服务的质量的示例，但是应当理解，感测装置104可以接收多个患者的图像，并且基于这些接收到的图像例如同时生成患者的相应2D或3D人体模型(例如，2D或3D模型的表示)。患者的图像可以由同一传感器或不同的传感器捕捉，并且2D或3D人体模型的生成可以由同一功能单元或不同的功能单元完成。感测装置104可以被配置为是模块化和/或可扩展的，使得传感器和/或处理器(例如GPU)可以被添加到感测装置或从感测装置去除，以适应变化的应用要求。下面将更详细地描述感测装置的模块性和可扩展性。

感测装置104还可以被配置为接收存在于医疗环境中的对象和场景的图像，使用本文所述的技术分析图像，并且生成对象或场景的2D或3D模型或者可以指示医疗环境的条件的关于对象或场景的报告。例如，基于由传感器捕捉的一个或多个对象的图像，感测装置104可以确定一个或多个对象的相应类别以及各个类别中的物品的数量，其中类别可以包括医疗工具、药物或食物供应中的至少一个。感测装置104可以将信息(例如，在报告或视觉表示中)传输至处理装置112，该处理装置可以使用该信息来使设施管理(诸如库存管理、工具跟踪、交通控制等)自动化或提高设施管理的效率。在示例中，经由感测装置104获得的信息可以指示手术室中的条件(例如，手术工具或装置的状态、患者的失血量等)，使得可以识别并解决关键问题。在示例中，经由感测装置104获得的信息可以指示在一位置处的食物或医疗供应库存不足，使得可以订购补充。在示例中，经由感测装置104获得的信息可以指示医疗环境的区域中的交通繁忙，使得可以通知患者和医务人员避开该区域。

医疗系统100和/或处理装置112可以包括显示装置116和/或音频装置(未示出)，其可以被配置为显示由处理装置112和/或系统中的其他装置生成的各种命令、指令、警报和/或报告，如本文所述。显示装置116可以包括一个或多个监视器(例如，计算机监视器、TV监视器、平板电脑、诸如智能电话的移动装置等)、一个或多个扬声器、一个或多个增强现实(AR)装置(例如，AR护目镜)和/或被配置为促进听觉或视觉呈现的其他附件。显示装置116可以经由通信网络108或另一合适的通信链路通信地耦合到处理装置112和/或感测装置104。如本文所述，经由显示装置116呈现的信息或指令可以包括用于医疗过程的患者的期望位置和姿势、患者在过去扫描期间采取的位姿、患者进入期望位置或姿势的调节指令、手术导航指令、剂量消耗水平等。信息和/或指令可以以各种格式呈现给患者106，包括例如音频、视频、动画、AR呈现等。

本文所述的系统、方法以及装置可以由图2进一步示出，图2示出了其中可以安装感测装置(例如，图1所示的感测装置104)的示例医疗环境(例如，扫描室200)。如图所示，扫描室200可以配备有诸如立式X射线扫描仪的医学扫描仪202(例如，图1所示的医学扫描仪102)和显示装置216(例如，图1所示的显示装置116)。显示装置216可以通信地耦合到医学扫描仪202(例如，经由有线或无线通信网络)或者是医学扫描仪202的一部分。诸如图1的感测装置104的感测装置(图2中未示出)可以被添加到扫描室200(例如，安装在墙壁上、附接到天花板下的悬挂座架、放置在架子上等)，并且被配置为在患者站在医学扫描仪101前面的同时生成患者206的诸如3D网格的2D或3D人体模型。如本文所述，2D或3D人体模型可以基于由包括在感测装置中的传感器(例如，摄像头、热传感器等)或由已经安装在扫描室202中的一个或多个传感器(例如，感测装置外部的现有传感器)捕捉的患者的一个或多个图像(例如，照片或热图像)来生成。感测装置的功能单元(例如，可以包括一个或多个处理器)可以接收患者的这些图像，分析图像以确定表示患者的一个或多个解剖特征(例如，关节位置、关节角度等)的多个特征，并且基于多个特征来估计患者的2D或3D人体模型。2D或3D人体模型可以指示患者的一个或多个身体特征，诸如患者的体形和/或姿势、患者相对于医学扫描仪202的位姿和/或患者的其他解剖特征。

2D或3D人体模型可以被估计并在一个或多个数据流中实时地(例如，在患者站在医学扫描仪101前面的同时)传输到处理装置(例如，图1所示的处理装置112)，该处理装置可以位于扫描室200内部或远离扫描室200。传输例如可以经由感测装置的通信电路来执行，并且除了2D或3D人体模型之外，一个或多个数据流还可以包括由传感器产生的患者的图像(例如，诸如像素数据的原始图像数据)。响应于接收到由感测装置生成的2D或3D人体模型和/或由传感器产生的图像，处理装置可以以允许信息被用于改进提供给患者206的健康护理服务的各方面的方式来渲染患者的2D或3D人体模型和/或图像，这些方面包括例如统一或协调的医学诊断、引导成像或手术过程、患者定位和/或监测、医疗设施管理等。例如，处理装置可以将患者的图像与患者的2D或3D人体模型(例如，3D网格)叠加，如图2所示，使得可以确定患者的目标扫描部位，并且可以(例如，远程地和/或自动地)控制医学扫描仪以聚焦在目标扫描部位上(例如，以朝向目标扫描部位准直X射线束以减少辐射、提高受试者对比度和图像质量等)。作为另一示例，2D或3D人体模型可以用于识别、检测和/或跟踪患者或对象在医疗环境中的移动和活动，以用于过程监测、过程优化、资源预分配、资源利用分析、自动化过程记录、工作流程分析和优化、自动化过程成本代码估计等目的。

图3例示了可以放置或安装在诸如本文所述的医疗系统100的医疗系统中的示例感测装置300(例如，图1所示的感测装置104)。感测装置300可以包括传感器302、功能单元304以及电源，它们被配置为容纳在壳体中。尽管在图中示出了两个传感器，但是应当理解，感测装置300可以包括任何数量的传感器，或者感测装置300可以不包括任何传感器并且可以替代地被配置为从外部传感器(例如，医疗系统中的现有传感器)接收图像。进一步地，尽管在图3中将一个或多个部件示出为在功能单元304的内部或外部，但是这些部件不限于图中示出的配置，并且可以在不影响本文所述的感测装置的功能的情况下在功能单元304的内部或外部移动。

如本文所述，传感器302可以包括RGB传感器、深度传感器、RGB加深度(RGB-D)传感器、热传感器(诸如FIR或NIR传感器)、雷达传感器、运动传感器、摄像头(例如，数字摄像头)和/或被配置为生成传感器的FOV中的人、对象和/或场景的图像(例如，2D图像或照片)的其他类型的图像捕捉电路。并且由传感器302生成的图像可以包括例如人、对象或场景的一个或多个照片、热图像和/或雷达图像。各个图像可以包括共同表示人、对象或场景的图形视图且可以经分析以提取表示人、对象或场景的一个或多个特性的特征的多个像素。

传感器302可以例如经由有线或无线通信链路通信地耦合到功能单元304。在示例中，传感器302可以被配置为将由传感器生成的图像传输到功能单元304(例如，经由推送机制)。在示例中，功能单元304可以被配置为从传感器302检索图像(例如，经由拉动机制)。传输和/或检索可以周期性地(例如，基于预先配置的时间表)或者响应于接收到触发传输或检索的控制信号来执行。这种控制信号可以例如由传感器302发送(例如在图像已经变得可用时)，或者由诸如移动装置或系统控制器的远程控制装置发送(例如在从用户接收到输入时)。

传感器302可以被配置为从功能单元304接收可以影响传感器302的操作的一个或多个控制信号(例如，数字控制消息)。例如，传感器302可以从功能单元304接收命令以调节传感器的FOV(例如，通过操纵传感器的方向或取向)。作为另一示例，传感器302可以从功能单元304接收命令，该命令改变传感器拍摄人、对象或场景的图像的分辨率。

传感器302和/或功能单元304(例如，功能单元304的一个或多个部件)可以由电源306供电，该电源可以包括交流(AC)电源或直流(DC)电源(例如，电池电源)。当使用诸如电池电源的DC电源时，电源306可以是可再充电的，例如，通过经由有线或无线连接从外部源接收充电电流。例如，充电电流可以通过将感测装置300经由充电电缆和/或充电适配器(包括USB适配器)连接到AC插座来接收。作为另一示例，充电电流可以通过将感测装置300放置成与充电垫接触来无线地接收。

功能单元304可以包括通信接口电路308、数据处理单元310、计算单元312、数据渲染单元314、存储器316或编程和/或校准应用编程接口(API)318中的一个或多个。应注意，图3所示的架构仅作为示例而提供，且不意指将本公开的范围限于这种架构。例如，功能单元304不限于包括如图3所示的确切部件。可以组合部件中的两个或更多个(例如，部件的功能)，部件中的任何一个可以被分成子部件，可以省略部件中的任何一个，可以添加更多部件等。由此可见，即使感测装置300的功能在本文中被描述为与相应的一个或多个部件相关联，但是应当理解，这些功能也可以由不同的部件来执行和/或在多个其它部件之间划分。

在图3所示的示例中，功能单元304可以被配置为经由通信接口电路308从传感器302接收或检索患者的图像，该通信接口电路可以包括一个或多个有线和/或无线网络接口卡(NIC)，诸如以太网卡、WiFi适配器、移动宽带装置(例如，4G/LTE/5G卡或芯片组)等。在示例中，相应NIC可以被指定为与相应传感器通信。在示例中，统一NIC可以被指定为与多个传感器通信。

从传感器302接收或检索的图像可以被提供给数据处理单元310，该数据处理单元可以被配置为分析图像并基于图像估计(例如，构建或恢复)模型，以描绘(例如，数学地和/或视觉地)图像中描绘的患者的一个或多个特性(例如，体形、姿势等)。例如，数据处理单元310可以被配置为分析由传感器302产生的图像中的至少一个(例如，在像素级)，识别表示患者的一个或多个解剖或身体特征的多个特征，并且估计可以用于构建患者的人体模型(例如，参数化人体模型)的参数(例如，网格参数)。在示例中，多个特征可以表示如在由传感器302产生的至少一个图像中描绘的患者的关节位置和/或关节角度，并且人体模型可以包括由指示患者的一个或多个特性的多个参数定义的SMPL模型。由数据处理单元310估计的参数可以包括一个或多个体型参数β和/或一个或多个姿势参数θ。体型参数可以包括可以用于确定(例如，恢复)患者的混合体型的主成分分析(PCA)空间的系数。姿势参数可以基于从至少一个图像恢复的患者的多个关节(例如，骨骼装备中包括的23个关节以及根关节)的位置和/或角度来导出，并且可以指示患者的姿势。基于体型和/或姿势参数(例如，对应于23个关节的一组72个参数)，数据处理单元310可以确定多个网格顶点，这些网格顶点可以用于生成针对患者构建的2D或3D人体模型的表示(例如，3D网格表示)。另外，数据处理单元310还可以被配置为使用体型/姿势参数和/或从至少一个图像提取的特征来确定患者的身份。数据处理单元310可以向医疗系统的其他装置或部件指示患者的身份，以个性化向患者提供的健康护理服务。

数据处理单元310的功能可以由计算单元312促进，该计算单元可以被配置为基于由传感器302产生的图像执行各种计算密集型任务，诸如特征提取和/或特征分类。计算单元312可以包括被训练用于视觉识别的一个或多个神经网络，诸如一个或多个卷积神经网络(CNN)和/或一个或多个深度神经网络(DNN)。神经网络可以包括多个层(例如输入层、一个或多个卷积层、一个或多个非线性激活层、一个或多个池化层、一个或多个全连接层和/或输出层)。各个层可以对应于多个过滤器(例如，核)，并且各个过滤器可以被设计为检测共同表示相应视觉特征或模式的关键点集合。过滤器可以与相应的权重相关联，当将相应的权重应用于输入时，产生指示是否已经检测到某些视觉特征或模式的输出。与过滤器相关联的权重可以由神经网络通过训练过程来学习，该训练过程包括：将来自一个或多个训练数据集的大量图像输入到神经网络(例如，在正向传递中)，计算由当前分配给过滤器的权重导致的损失(例如，基于损失函数，诸如基于余量的损失函数)，以及更新(例如，在反向传递中)分配给过滤器的权重，以便最小化损失(例如，基于随机梯度下降)。一旦被训练，神经网络就可以在输入层处取得图像，从图像提取视觉特征或模式和/或对其进行分类，并且在输出层处提供关于所提取的特征是否与已知特征匹配和/或所提取的特征是否落入特定类别或分类的指示。

除了上述神经网络之外或代替上述神经网络，计算单元312可以包括或耦合到被配置为存储患者的多个已知特征(例如，面部特征、体形、身体轮廓、关节位置、关节角度、行走模式、姿势等)的特征数据库。各个特征可以对应于在图像中以特定方式布置的关键点的组合，诸如对象的边界的方向突然改变的点、两个或多个边缘段之间的交叉点等。关键点可以由图像空间中的明确定义的位置和/或对照明或亮度扰动的稳定性来表征。因此，这些关键点可以基于图像导数、边缘检测、曲率分析等来识别。并且一旦被识别，便可用特征描述符或特征向量来描述关键点及/或由关键点表示的特征。在这种特征描述符或向量的示例实施方式中，与特征有关的信息(例如，各关键点的局部邻域的外观)可以由存储于特征描述符或向量中的一系列数值表示(例如，被编码成该系列数值)。然后，描述符或向量可以用作“指纹”，用于将一个特征与另一个特征区分开，或者将一个特征与另一个特征相匹配。

由数据处理单元310和/或计算单元312生成的一个或多个人体模型(例如，用于构建人体模型的参数)可以被提供给数据渲染单元314，该数据渲染单元可以被配置为生成人体模型的描绘患者的一个或多个解剖或身体特征的表示(例如，2D或3D表示，诸如2D或3D网格表示)。例如，数据渲染单元314可以接收由数据处理单元310和/或计算单元312确定的多个网格顶点。各个顶点又可以包括各自的位置、法线、纹理和/或阴影信息。基于这些顶点，数据渲染单元314可以例如通过以下方式来创建患者的2D或3D网格：将多个顶点与边缘连接以形成多边形(例如，三角形)，将多个多边形连接以形成表面，使用多个表面来确定3D形状，以及将纹理和/或阴影应用于表面和/或形状。一旦创建，2D或3D表示就可以由数据渲染单元314在一个或多个数据流中例如通过通信接口电路308输出到接收装置(例如，图1中的处理装置112)。进一步地，除了由数据处理单元310和/或计算单元312生成的人体模型信息之外，数据渲染单元314还可以被配置为接收由传感器302产生的原始图像数据，并且例如以与承载该表示的数据流相同或不同的数据流将原始图像数据输出到接收装置。

数据处理单元310、计算单元312或数据渲染单元314中的每一个可以包括一个或多个处理器诸如，中央处理单元(CPU)、图形处理单元(GPU)、微控制器、精简指令集计算机(RISC)处理器、专用集成电路(ASIC)、专用指令集处理器(ASIP)、物理处理单元(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或其组合。数据处理单元310、计算单元312和/或数据渲染单元314还可以包括能够执行本文所述功能的其它类型的电路或处理器。进一步地，数据处理单元310、计算单元312或数据渲染单元314可以利用存储器316来促进本文描述的操作中的一个或多个。例如，存储器316可以包括被配置为存储数据和/或指令的机器可读介质，当执行该数据和/或指令时，使得处理单元310、计算单元312或数据渲染单元314执行本文所述的功能中的一个或多个。机器可读介质的示例可以包括易失性或非易失性存储器，包括但不限于半导体存储器(例如，电可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM))、闪存等)。并且尽管图3中未示出，但是感测装置300还可以包括一个或多个大容量存储装置，其包括磁盘，诸如内置硬盘、可移动盘、磁光盘、CD-ROM或DVD-ROM盘等，在磁盘上可以存储指令和/或数据，以便于执行本文所述的功能。

感测装置300和/或功能单元304可以被配置为是模块化且可扩展的，使得传感器、通信电路、数据处理单元、计算单元和/或数据渲染单元可以被添加到感测装置300或从其去除，例如，以适应医疗环境(例如，医疗系统100)中的不同系统设置、配置和/或要求。例如，如果输出质量是医疗环境中的优先级，则高分辨率传感器(例如，高分辨率摄像头)可以被包括在(例如，添加到)感测装置300中以满足优先级。另一方面，如果优先级是关于输出速度(例如，帧率)，则可以使用具有较低分辨率的传感器(例如，摄像头)和/或具有较快比特率的通信电路(例如，以太网卡而不是WiFi卡)来满足输出要求。作为另一示例，感测装置300可以被配置为与医疗环境中的多个装置(诸如多个成像模式(例如，CT、MR等))一起工作(例如，同时工作)，在这种情况下，感测装置可以包括用于相应的医疗装置的相应组的传感器、通信电路、电源、处理器(例如，本文所述的数据处理单元、计算单元和/或数据渲染单元)。作为又一示例，感测装置300可以被配置为接收多个患者的图像(例如，从不同传感器)，并且基于图像例如同时生成患者的相应2D或3D模型。在这种场景中，感测装置可以包括用于捕捉并处理相应患者的相应图像的相应组的传感器、通信电路、电源、处理器(例如，本文所述的数据处理单元、计算单元和/或数据渲染单元)。

在示例中，感测装置300和/或功能单元304可以包括多个槽(例如，扩展板等)，各个槽配备有能够通过有线或无线通信链路传输和接收信息的电源连接器或通信电路(例如，网络接口卡、USB端口等)中的至少一个。传感器和/或处理器(例如，本文所述的数据处理单元、计算单元和/或数据渲染单元)可以被容纳在(例如，插入)这些槽中，在这些槽上，传感器和/或处理器可以通过相应的电源连接器接收电力，并且经由相应的通信电路与一个或多个内部或外部装置执行数据交换。这些传感器和处理器可以分别具有与本文所述的传感器302、数据处理单元310、计算单元312以及数据渲染单元314类似的能力，并且可以被添加到感测装置300或从其去除，例如以适应其中安装感测装置300的医疗环境中变化的条件和/或要求。

例如，感测装置300可以包括被配置为捕捉第一患者(例如，进行X射线扫描的患者)的图像的第一组一个或多个传感器和被配置为生成第一患者的第一2D或3D模型并将该模型提供给第一接收装置(例如，与X射线扫描仪相关联的控制器)的第一组一个或多个处理器(例如，数据处理单元310、计算单元312和数据渲染单元314)。第一组一个或多个传感器和/或第一组一个或多个处理器可以被容纳在感测装置300的第一槽中，该槽可以向传感器和/或处理器提供电力和/或通信服务。感测装置300还可以包括第二槽，其被配置为容纳(例如，向其提供电力和/或通信服务)第二组一个或多个传感器和/或第二组一个或多个处理器(例如，类似于数据处理单元310、计算单元312和数据渲染单元314的单元)。这种第二组传感器可以被配置为捕捉第二患者(例如，进行CT扫描的患者)的图像，并且第二组一个或多个处理器可以被配置为生成第二患者的第二2D或3D模型并将该模型提供给第二接收装置(例如，与CT扫描仪相关联的控制器)。这样，感测装置300可以是模块化且可扩展的，以处理与不同患者和/或成像模式相关联的数据处理任务。在其他示例情况下，诸如当计算量、通信量和/或数据存储工作量接近或超过一组传感器和/或处理器的能力时，可以添加更多的传感器和/或处理器以分享工作量。

感测装置300的操作可以例如使用诸如图1中的编程装置110的远程编程装置通过编程/校准API 318来配置和/或控制。在示例中，编程/校准API 318可以被配置为从编程装置接收命令(例如，一个或多个数字消息)，该命令改变感测装置300的执行参数，诸如传感器的取向和/或FOV、传感器捕捉图像的分辨率、由感测装置生成的患者的2D或3D模型的表示所需的质量、从传感器接收或检索图像的周期、感测装置传输患者的2D或3D人体模型和/或由传感器捕捉的原始图像数据的比特率等。响应于从编程装置接收命令，感测装置300(例如，功能单元304)可以根据该命令调节其操作的一个或多个方面。比如，如果命令指定较高输出质量，则感测装置300可以作为响应输出高分辨率网格，并且如果命令指定较高帧率，则感测装置300可以输出较低分辨率网格，但以增加的帧率输出。

感测装置300(例如，功能单元304)也可以被配置为通过编程/校准API 318接收临时(ad hoc)命令。这种临时命令可以包括例如放大或缩小传感器的命令、重置感测装置300(例如，重启装置或将装置的一个或多个执行参数重置为默认值)的命令、用于感测装置300将诸如由感测装置生成的与人体网格有关的元数据(例如，用于构建人体网格的估计参数)的某些类型的数据传输或重新传输到接收装置的命令、启用或停用感测装置300的特定功能(诸如感测装置是否应当尝试确定患者的身份)的命令等。感测装置300(例如，功能单元304)也可以经由编程/校准API 318被编程和/或训练(例如，通过网络)。例如，感测装置300可以在初始配置过程期间和/或之后通过编程/校准API 318接收训练数据和/或操作逻辑。

感测装置300(例如，功能单元304)可以用其中安装了感测装置的医疗环境和/或用医疗环境中的一个或多个其他装置(诸如医疗系统100中的医学扫描仪102)来校准。例如，校准可以在感测装置300的初始配置期间和/或响应于经由编程/校准API 318接收到校准命令来执行。校准可以包括确定与感测装置300相关联的第一坐标系和与医疗环境或医疗环境中的医疗装置(诸如图1中的医学扫描仪102)相关联的第二坐标系之间的关系(例如，空间关系)。在示例中，感测装置300(例如，功能单元304)可以被配置为基于两个坐标系的相应原点之间的偏移和/或两个坐标系的相应X轴或Y轴之间的旋转角度来确定(例如，学习)第一坐标系与第二坐标系之间的空间关系。感测装置300可以经由配置消息(例如，由编程装置传输的)接收关于这种偏移和/或旋转角度的信息。在示例中，感测装置300可以被配置为通过例如基于图像的注释或标记区域比较由感测装置和医学扫描仪生成的样本图像来学习偏移和/或旋转角度。在示例中，感测装置300可以被配置为基于放置在医学环境中的标记(诸如放置在扫描室的角落中的一个或多个对象)来学习偏移和/或旋转角度(例如，在校准过程期间)。

一旦确定了第一坐标系与第二坐标系之间的空间关系(例如，空间相关性)，感测装置300和/或医疗系统中的其他装置就可以利用该空间关系进行人体模型恢复、医学扫描图像分析等。例如，感测装置300可以从传感器(例如，摄像头)接收患者的图像，该图像包括在图像背景中的扫描床，并且感测装置300可以具有关于扫描床在扫描室中的位置的知识，如由扫描室的坐标系所定义的(例如，感测装置可以在系统配置期间已获知或已被给予扫描床的位置)。如果感测装置300可以确定扫描室的坐标系与捕捉图像的传感器的坐标系之间的空间关系，则感测装置300可以例如使用变换矩阵、基于本文所述的偏移和/或旋转角度等将扫描床在前一坐标系(例如，与扫描室相关联)中的位置转换成在后一坐标系(例如，与感测装置或传感器相关联)中的位置。然后，感测装置300能够从图像分割扫描床，使得可以仅针对患者生成2D或3D模型(例如，从模型排除扫描床)。

与感测装置300(例如，感测装置的传感器)相关联的第一坐标系和与医疗装置(例如，图1中的医学扫描仪102)相关联的第二坐标系之间的空间关系(例如，空间相关性)也可以由与医疗装置相关联的处理装置或控制器使用，以将经由医疗装置针对患者收集的医疗信息连同由感测装置300生成的患者的2D或3D人体模型一起处理或分析。例如，基于与感测装置300和医学扫描仪102相关联的相应坐标系之间的空间相关性，与医学扫描仪102相关联的处理装置或控制器能够将由医学扫描仪102捕捉的患者的医学扫描图像投影到由感测装置300生成的患者的2D或3D人体模型上，以允许对医学扫描图像的统一分析，如本文所述。

虽然使用患者的图像作为示例提供了感测装置300的描述，但是应当理解，感测装置300也可以使用类似的技术来处理对象或场景的图像。如本文所述，从对象或场景的图像提取的信息可以用于医疗环境中的各种设施管理目的，包括例如库存管理、工具跟踪、交通控制、设施监测等。

图4是例示了可以由本文所述的感测装置(例如，图1中的感测装置104或图3中的感测装置300)执行的示例操作的流程图。感测装置可以被配置为在402处周期性地(例如，基于预定的时间间隔，在接收到开始操作的命令时，或者响应于在医疗环境中检测到患者)开始示例操作。在404处，感测装置可以接收由诸如RGB传感器、热传感器或数字摄像头的传感器捕捉的患者的一个或多个图像。如本文所述，传感器可以是医疗环境中的现有传感器(例如，现有摄像头)或者可以是包括在感测装置中的传感器。在406处，感测装置可以分析所接收的图像并且提取多个特征，该多个特征表示如在一个或多个图像中描绘的患者的一个或多个解剖特征。特征可以表示例如患者的关节位置和/或关节角度。

基于所提取的特征，在408处，感测装置可以确定(例如，估计)与患者的人体模型有关的一组参数，例如，通过基于所提取的特征恢复患者的体型和/或患者的多个关节角度或位置。该组参数可以包含(例如)共同指示患者的体形的一个或多个体型参数和共同指示患者的姿势的一个或多个姿势参数。利用体型和/或姿势参数(例如，对应于患者的23个关节的一组72个参数)，感测装置可以在410处创建人体模型的表示(例如，2D或3D网格表示)，例如，通过确定与人体模型相关联的网格的多个顶点并使用这些顶点来创建网格。在412处，感测装置可以将在404处接收到的人体模型(例如，网格)和/或图像传输给接收装置。然后，感测装置的该组操作可以在414处结束。

为了说明的简单起见，感测装置的操作在图4中描绘并且在本文中以特定顺序描述。然而，应当理解，这些操作可以以各种顺序、同时和/或与本文未呈现或描述的其它操作一起发生。此外，并非所有例示的操作都需要由感测装置执行。

图5是例示了可以由本文所述的医疗系统(例如，图1中的医疗系统100)的一个或多个装置执行的示例操作的流程图。操作可以在502处周期性地开始。在504处，可以例如通过医疗环境中的感测装置(例如，感测装置100或300)或现有传感器(例如，现有摄像头)在医疗环境中捕捉患者的图像。在506处，可以基于在504处捕捉的患者的图像导出人体模型。如本文所述，这种人体模型可以由感测装置导出，并且可以由2D网格、3D网格、2D轮廓、3D轮廓等表示，其指示如在所捕捉的图像中描绘的患者的一个或多个解剖或身体特征(例如，体型、姿势等)。

在508处，可以做出关于患者是否需要被定位以用于即将到来的医疗过程的确定。如果确定患者需要定位，则可以在510处基于所导出的人体模型来做出关于由人体模型指示的患者的当前位置是否满足针对医学过程设计的方案的要求的进一步确定。如果患者的当前位置满足要求，则可以在512处向患者和/或监督医疗过程的医学专家提供确认。否则，在512处，可以向患者提供调节指令(例如，命令)，以帮助患者移动到所需位置。还可以向在过程中涉及的医疗装置提供调节指令(例如，控制信号)，以改变装置的一个或多个相关执行参数(例如，扫描床的高度)。

在512处的操作之后，或者如果在508处确定患者不需要定位，则可以在514处做出关于是否存在需要分析的患者的医学扫描图像的另一确定。如果确定存在要分析的医学扫描图像，则在516处，可以使用人体模型作为参考来分析医学扫描图像。比如，可以基于在医学扫描图像和人体模型中识别的共同解剖界标，将医学扫描图像中的一个或多个与人体模型和/或彼此对齐。然后可以一起分析对齐的医学扫描图像，以获得患者的身体状况的整体视图。

在516处的操作之后，或者如果在514处确定不存在要分析的医学扫描图像，则可以在518处做出关于是否需要定位用于扫描或治疗的目标区域的另一确定。如果存在这种目标区域，则可以使用人体模型来例如基于人体模型所包括的身体结构信息来定位该区域和/或提供朝向目标区域的导航引导。在520处的操作之后，或者如果在518处确定没有要定位的目标区域，则该组操作可以在522处结束。

为了说明的简单起见，医疗系统的操作在图5中描绘并且在本文中以特定顺序描述。然而，应当理解，这些操作可以以各种顺序、同时和/或与本文未呈现或描述的其它操作一起发生。此外，应当注意，图5中未描绘且本文未描述医疗系统能够执行的所有操作。还应当注意，并非所有例示的操作都需要由医疗系统执行。

进一步地，本文所述的医疗环境可以包括健身或康复设施，并且感测装置可以用于监测和/或引导物理治疗/康复、训练、运动等。例如，感测装置可以在这些设置中使用以(例如，实时地)跟踪患者或运动员的移动，将移动与指南/指令进行比较，并且建议必要的调节以改进训练或康复活动。

尽管已经根据某些实施例和一般关联的方法描述了本公开，但是实施例和方法的变更和变换将对本领域技术人员显而易见。因此，示例性实施例的以上描述不限制本公开。在不脱离本公开的精神和范围的情况下，其它改变、替换和变更也是可能的。另外，除非另外具体陈述，否则利用诸如“分析”、“确定”、“启用”、“识别”、“修改”等术语的讨论是指计算机系统或类似电子计算装置的动作和过程，这些动作和过程将表示为计算机系统的寄存器和存储器内的物理(例如，电子)量的数据操纵和变换成表示为计算机系统存储器或其它这种信息存储、传输或显示装置内的物理量的其它数据。

应当理解，上述描述旨在为说明性的，而不是限制性的。在阅读和理解以上描述之后，许多其它实施方式对于本领域技术人员将显而易见。因此，本公开的范围应当参考所附权利要求以及这种权利要求被赋予的等同物的全部范围来确定。

Claims (10)

1.一种用于医疗环境的感测装置，所述感测装置包括；

第一组一个或多个传感器，其被配置为在第一患者存在于所述医疗环境中的同时捕捉所述第一患者的至少一个图像；

第一组一个或多个处理器，其被配置为：

分析由所述第一组一个或多个传感器捕捉的所述第一患者的所述至少一个图像，以提取多个第一特征，所述第一特征表示如由所述第一患者的所述至少一个图像描绘的所述第一患者的一个或多个解剖特征；

基于从所述第一患者的所述至少一个图像提取的所述多个第一特征来估计所述第一患者的第一二维(2D)或三维(3D)人体模型，其中，所述第一2D或3D人体模型通过恢复如在所述第一患者的所述至少一个图像中描绘的所述第一患者的多个第一关节角度或或位置或如在所述第一患者的所述至少一个图像中描绘的所述第一患者的体型来估计；并且

生成所述所估计的第一2D或3D人体模型的第一表示；以及

第一通信电路，其被配置为将所述所估计的第一2D或3D人体模型的所述第一表示传输给第一接收装置，使得由所述第一接收装置基于所述所估计的第一2D或3D人体模型的所述第一表示来产生命令，以引导或警告所述第一患者或另一个人，或者控制所述医疗环境中的医疗装置。

2.根据权利要求1所述的感测装置，其中，所述第一患者的所述2D或3D人体模型包括所述第一患者的参数化人体模型，并且所估计的第一2D或3D人体模型的所述第一表示包括2D或3D网格表示，其中，从所述第一患者的所述至少一个图像提取的所述特征用相应的特征向量来表达，并且所述第一患者的所述一个或多个解剖特征包括所述第一患者的关节位置或关节角度中的至少一个。

3.根据权利要求1所述的感测装置，其中，所述第一组一个或多个处理器被配置为使用至少一个训练过的卷积神经网络来分析所述第一患者的所述至少一个图像或估计所述第一患者的所述第一2D或3D人体模型。

4.根据权利要求1所述的感测装置，还包括第一槽和第二槽，其中，

所述第一槽被配置为容纳所述第一组一个或多个传感器或所述第一组一个或多个处理器；

所述第二槽被配置为容纳第二组一个或多个传感器或第二组一个或多个处理器；

所述第二组一个或多个传感器被配置为在第二患者存在于所述医疗环境中的同时捕捉所述第二患者的至少一个图像；并且

所述第二组一个或多个处理器被配置为：

分析由所述第二组一个或多个传感器捕捉的所述第二患者的所述至少一个图像，以提取多个第二特征，所述第二特征表示如由所述第二患者的所述至少一个图像描绘的所述第二患者的一个或多个解剖特征；

基于从所述第二患者的所述至少一个图像提取的所述多个第二特征来估计所述第二患者的第二2D或3D人体模型，其中，所述第二2D或3D人体模型通过恢复如在所述第二患者的所述至少一个图像中描绘的所述第二患者的多个第二关节角度或位置或如在所述第二患者的所述至少一个图像中描绘的所述第二患者的体型来估计；并且

生成所述所估计的第二2D或3D人体模型的第二表示。

5.根据权利要求4所述的感测装置，其中，所述第一槽包括所述第一通信电路或第一电源连接器中的至少一个，所述第一电源连接器被配置为向所述第一组一个或多个传感器或所述第一组一个或多个处理器供电，并且其中，所述第二槽包括第二通信电路或第二电源连接器中的至少一个，所述第二通信电路被配置为向第二接收装置传输所述第二2D或3D人体模型的所述第二表示，所述第二电源连接器被配置为向所述第二组一个或多个传感器或所述第二组一个或多个处理器供电，其中，所述第一接收装置与所述医疗环境的第一成像模式相关联，并且所述第二接收装置与所述医疗环境的第二成像模式相关联，所述第一成像模式或所述第二成像模式中的每一个与计算机断层摄影(CT)扫描仪、磁共振(MR)扫描仪或X射线扫描仪中的至少一个相关联。

6.根据权利要求1所述的感测装置，其中，所述第一患者的所述所估计的第一2D或3D人体模型的所述第一表示被所述第一接收装置用于确定所述第一患者相对于所述医疗装置的位姿，并且其中，由所述第一接收装置生成的所述命令与调节所述第一患者相对于所述医疗装置的所述位姿或基于所述第一患者的所述位姿调节所述医疗装置的执行参数相关联。

7.根据权利要求1所述的感测装置，其中，所述第一组一个或多个处理器还被配置为确定第一坐标系与第二坐标系之间的空间关系，所述第一坐标系与所述第一组一个或多个传感器相关联，所述第二坐标系与所述医疗环境相关联，其中，所述第一组一个或多个处理器被配置位基于从远程编程装置接收的信息来确定所述第一坐标系与所述第二坐标系之间的所述空间关系，或其中，所述第一组一个或多个处理器被配置为分析由所述第一组一个或多个传感器捕捉的所述第一患者的所述至少一个图像包括：所述第一组一个或多个处理器被配置为基于所述第一坐标系与所述第二坐标系之间的所述空间关系，从所述第一患者的所述至少一个图像分割背景对象。

8.根据权利要求1所述的感测装置，其中，所述第一组一个或多个处理器还被配置为从远程编程装置接收一个或多个执行参数，所述一个或多个执行参数与估计所述第一2D或3D人体模型或生成所述所估计的第一2D或3D人体模型的所述第一表示相关联。

9.一种用于医疗环境的感测装置，所述感测装置包括；通信电路，其被配置为从传感器接收患者的至少一个图像；和

一个或多个处理器，其被配置为：

分析从所述传感器接收的所述患者的所述至少一个图像，以提取多个特征，所述特征表示如由所述患者的所述至少一个图像描绘的所述患者的一个或多个解剖特征；

基于从所述患者的所述至少一个图像提取的所述多个特征来估计所述患者的二维(2D)或三维(3D)人体模型，其中，所述2D或3D人体模型通过恢复如在所述患者的所述至少一个图像中描绘的所述患者的多个关节角度或位置或如在所述患者的所述至少一个图像中描绘的所述患者的体型来估计；

生成所述所估计的2D或3D人体模型的表示；并且

经由所述通信电路将所述所估计的2D或3D人体模型传输到接收装置。

10.一种在医疗系统中实施的方法，所述方法包括：

从传感器接收患者的至少一个图像；

分析从所述传感器接收的所述患者的所述至少一个图像，以提取多个特征，所述特征表示如由所述患者的所述至少一个图像描绘的所述患者的一个或多个解剖特征；

基于从所述患者的所述至少一个图像提取的所述多个特征来估计所述患者的二维(2D)或三维(3D)人体模型，其中，所述2D或3D人体模型通过恢复如在所述患者的所述至少一个图像中描绘的所述患者的多个关节角度或位置或如在所述患者的所述至少一个图像中描绘的所述患者的体型来估计；

生成所述所估计的2D或3D人体模型的表示；以及

经由所述通信电路将所述所估计的2D或3D人体模型传输到接收装置。

Images