CN117523096A - 用于基于超声图像生成患者模型的系统和方法 - Google Patents

Abstract

本申请涉及用于基于超声图像生成患者模型的系统和方法，感测装置可以安装在医疗环境中以捕捉医疗环境的图像，该医疗环境可以包括超声探头和患者。可以处理图像以自动确定超声探头相对于患者身体的位置。基于所确定的位置，可以将由超声探头拍摄的超声图像与3D患者模型对齐并且与3D患者模型一起显示，例如，以跟踪超声探头的移动和/或提供在超声图像中捕捉的解剖结构相对于3D患者模型的视觉表征。超声图像还可以用于重建解剖结构的3D超声模型。

Description

用于基于超声图像生成患者模型的系统和方法

技术领域

本申请涉及医学成像领域，尤其是医学图像建模领域。

背景技术

常规的患者建模方法只能获得患者的三维(3D)表面模型。为了丰富可以包含在患者模型中的信息并使其适用于更多临床应用，可能期望用3D表面模型将患者的内部解剖结构一起建模。关于这些内部解剖结构的信息可以通过一种或多种普通医学扫描来获得，诸如计算机断层摄影(CT)、X射线、磁共振成像(MRI)或超声成像。与其它成像技术相比，超声成像可以更快和更安全，具有非侵入性的性质，并且比MRI和CT替代方案更便宜。因此，通过使用超声成像技术来获得关于患者的内部解剖结构的信息可以是有益的。

发明内容

本文描述了与基于患者的超声图像生成三维(3D)患者模型相关联的系统、方法和装置。如本文所述的系统可包括至少一个感测装置和通信地耦合到至少一个感测装置的一个或多个处理器。至少一个感测装置可以被配置为捕捉医疗环境中的患者的图像，其中，医疗环境可以包括具有超声探头的超声机器。至少一个感测装置可以安装在超声机器上或医疗环境的天花板上，并且可以被配置为捕捉医疗环境的图像。一个或多个处理器可以被配置为获得患者的3D人体模型，其中，3D人体模型可以至少指示患者身体的姿势和形状。一个或多个处理器还可以被配置为接收使用超声探头捕捉的患者的第一超声图像，基于所捕捉的医疗环境的图像来确定超声探头的位置(例如，相对于患者的身体)，并且至少基于超声探头的位置来将第一超声图像与患者的3D人体模型对齐。一个或多个处理器然后可以生成示出第一超声图像和3D人体模型的对齐的视觉表征。

在一个或多个实施例中，视觉表征可以包括患者的3D身体轮廓，并且一个或多个处理器可以被配置为基于第一超声图像和患者的3D人体模型的对齐利用第一超声图像填充3D身体轮廓的第一内部部分。在一个或多个实施例中，一个或多个处理器还可以被配置为接收使用超声探头捕捉的患者的第二超声图像，至少基于超声探头的位置将第二超声图像与3D人体模型对齐，并且通过基于第二超声图像和患者的3D人体模型的对齐用第二超声图像填充3D身体轮廓的第二内部部分来将第二超声图像添加到视觉表征。在一个或多个实施例中，患者的第一超声图像和第二超声图像可以与患者的解剖结构(例如，诸如心脏的内部器官)相关联，并且一个或多个处理器还可以被配置为至少基于第一超声图像和第二超声图像重建解剖结构的3D超声模型。

在一个或多个实施例中，患者的3D人体模型可以从另一源获得，或者由一个或多个处理器基于由至少一个感测装置捕捉的(例如，医疗环境的)图像来生成。在一个或多个实施例中，一个或多个处理器还可以被配置为确定超声探头的取向(例如，相对于患者的身体)，并且进一步基于所确定的超声探头的取向将第一超声图像与3D人体模型对齐。在一个或多个实施例中，一个或多个处理器被配置为确定超声探头的位置可以包括一个或多个处理器被配置为在医疗环境的图像中检测与超声探头相关联的标记并且基于检测到的标记来确定超声探头相对于患者身体的位置。替代地或另外地，一个或多个处理器还可以被配置为通过使用机器学习模型检测在医疗环境的所捕捉的图像中与超声探头相关联的视觉特征并且基于所检测的视觉特征确定超声探头的位置来确定超声探头的位置。

在一个或多个实施例中，一个或多个处理器还可以被配置为基于由机器学习模型从多个超声图像提取的相应视觉特征来确定两个或更多个超声图像大致彼此类似，并且提供两个或更多个超声图像重复的指示。在一个或多个实施例中，一个或多个处理器还可以被配置为基于机器学习模型来检测超声图像中的医学异常，并且提供检测的指示。例如，指示可以包括围绕超声图像中的所检测到的医学异常的边界框。

附图说明

从以下结合附图以示例方式给出的描述中，可以更详细地理解本文公开的示例。

图1是例示了根据本文所述的一个或多个实施例的本文所述的示例系统的框图，该示例系统可以用于基于患者的超声图像生成患者的一个或多个模型(例如，描绘患者的身体表面和/或一个或多个内部解剖结构)。

图2A和图2B是例示了根据本文所述的一个或多个实施例的用于将内部解剖结构的第一超声图像与3D人体模型对齐的示例用户界面(UI)的简化图。

图3A和图3B是例示了根据本文所述的一个或多个实施例的用于将内部解剖结构的第二超声图像与3D人体模型对齐的示例UI的简化图。

图4是例示了根据本文所述的一个或多个实施例的可以与神经网络的训练相关联的示例方法的简化流程图。

图5是例示了根据本文所述的一个或多个实施例的可以被执行用于基于患者的超声图像生成患者的三维(3D)人体模型的示例方法的流程图。

图6A是例示了根据本文所述的一个或多个实施例的可以被执行用于基于患者的附加超声图像修改3D人体模型的视觉表征的示例方法的流程图。

图6B是例示了根据本文所述的一个或多个实施例的可以被执行用于生成患者的内部解剖结构的3D超声模型的示例方法的流程图。

图7是例示了根据本文所述的一个或多个实施例的感测装置的示例的框图。

图8是例示了根据本文所述的一个或多个实施例的处理装置的示例的框图。

具体实施方式

在附图的各图中，通过示例而非限制性的方式例示了本公开。

图1是例示了根据本文所述的一个或多个实施例的本文所述的示例系统的框图，该示例系统可以用于基于在医疗环境100中的患者的超声图像生成患者118的三维(3D)人体模型。医疗环境100可以是健康护理环境中的任意设施，包括例如扫描室(例如磁共振成像(MRI)、X射线、计算机断层摄影(CT)、超声等)、手术室(OR)、康复设施等。医疗环境100可以配备有各种工具、装置和/或设备，诸如病床102、具有超声探头106的超声机器104、患者监视装置108等。可以操纵(例如，手动或自动地)工具、装置和/或设备以适应在医疗环境100中对患者118执行的医疗过程的需要。例如，可以升高或降低病床102，可以朝向特定位置(例如，朝向内部解剖结构120)操纵(例如，移动、倾斜或旋转)超声探头106，可以调节照明装置(未示出)以聚焦在超声扫描部位等。

一个或多个感测装置110可以安装在医疗环境100的各个位置处，并且可以经由通信网络114通信地耦合到处理装置112(例如，包括一个或多个处理器)和/或医疗环境100的其他装置。各个感测装置110可以包括一个或多个传感器，诸如一个或多个2D视觉传感器(例如，2D摄像头)、一个或多个3D视觉传感器(例如，3D摄像头)、一个或多个红、绿和蓝(RGB)传感器、一个或多个深度传感器、一个或多个RGB加深度(RGB-D)传感器、一个或多个热传感器(例如，红外(FIR)或近红外(NIR)传感器)、一个或多个运动传感器、一个或多个雷达传感器和/或被配置为捕捉医疗环境100中的人、物体或场景的图像的其他类型的图像捕捉电路。取决于感测装置110中包括的摄像头、传感器和/或图像捕捉电路的类型，由感测装置110生成的图像可以包括例如一个或多个照片、一个或多个热图像、一个或多个雷达图像等。感测装置110可以被配置为响应于检测到医疗环境100中的人(例如，患者118)、物体(例如，超声探头106)或场景(例如，诸如医生122的站立的医学专家检查躺在病床102上的患者118)而生成本文所述的图像。感测装置110还可被配置为基于预配置的时间表或时间间隔或在接收到触发图像生成的控制信号(例如，从远程控制装置，如编程装置116)时生成本文所述的图像。

各个感测装置110可以包括被配置为控制本文所述的图像捕捉功能的功能单元(例如，处理器)。功能单元还可以被配置为处理图像(例如，在将图像发送到另一处理装置之前预处理图像)、与位于医疗环境100内部或外部的其他装置通信、基于所捕捉的图像确定医疗环境100的特征(例如，人或物体)等。例如，功能单元(和/或处理装置112)能够基于由感测装置110捕捉的图像生成(例如，构建)3D人体模型，诸如患者118的3D人体网格模型(例如，3D患者模型)。这样的3D人体模型可以包括多个参数，其可以指示当患者在医疗环境100内部时(例如，在MRI、X射线、超声或CT过程期间)患者的体形和/或姿势。例如，参数可以包括体形参数β和姿势参数θ，其可以用于确定与患者身体相关联的多个顶点(例如，基于82个体形和姿势参数的6890个顶点)，并且例如通过将顶点与边缘连接以形成多边形(例如，三角形)、连接多个多边形以形成表面、使用多个表面来确定3D形状、以及将纹理和/或阴影应用于表面和/或形状来构建患者模型的视觉表征(例如，3D网格)。

上述3D患者模型也可以由处理装置112生成。例如，处理装置112可以通信地耦合到一个或多个感测装置110，并且可以被配置为从这些感测装置110接收患者118的图像(例如，实时地或基于预定的时间表)。使用所接收的图像，处理装置112可以例如以与上述类似的方式构建3D患者模型。在此应当注意，即使处理装置112在图1中被示出为与感测装置110分开，任一个感测装置110也可被配置为作为处理装置112来操作(例如，使用感测装置110中包括的一个或多个功能单元或处理器)。例如，感测装置110可以经由如下所述的通信网络114互连并且彼此交换图像。一个感测装置110可以被配置为基于从其他感测装置110接收的图像来执行本文所述的3D患者模型构建任务。

如上所述，各个感测装置110可包括通信电路，并且可被配置为经由通信电路和/或通信网络114与一个或多个其他感测装置交换信息。感测装置110可形成传感器网络，在该传感器网络内，感测装置110可将数据传输到彼此和从彼此接收数据。在感测装置110之间交换的数据可包括例如由各个感测装置110捕捉的图像数据和/或用于发现各个感测装置110的存在和/或校准各个感测装置100的参数的控制数据。例如，当向医疗环境100添加新的感测装置110时，感测装置110可以向传感器网络中的一个或多个其他感测装置110和/或传感器网络的控制器(例如，如本文所述的处理装置)传输消息(例如，经由广播、组播或单播)，以通告新感测装置110的添加。响应于这样的通告或数据的传输，其他感测装置110和/或控制器可以注册新的感测装置110并开始与新的感测装置110交换数据。

感测装置110可以被配置为安装在医疗环境100的各种位置处，包括例如天花板上、门口上方、墙壁上、医疗装置上等。从这些位置，各个感测装置110可以捕捉在感测装置110的视场(FOV)中的人、物体或场景的图像(例如，FOV可以由视点和/或视角限定)。各个感测装置110的FOV可以手动或自动地(例如，通过向感测装置传输控制信号)调节，使得感测装置110可以从不同的视点或不同的视角拍摄医疗环境100中的人、物体或场景的图像。

各个感测装置110可以被配置为例如经由通信网络114与医疗环境100中的其他装置(例如，超声机器104或监视装置108)交换信息。感测装置110的配置和/或操作可以至少部分地由编程装置116控制。例如，编程装置116可以被配置为初始化和修改感测装置110的一个或多个执行参数，包括例如由感测装置110捕捉的图像的分辨率、感测装置110与处理装置112之间的数据交换的周期、与数据交换相关联的帧率或比特率、感测装置上的数据存储的持续时间等。编程装置116还可以被配置为控制感测装置110的操作的一个或多个方面，诸如触发感测装置110的校准、调节感测装置110的相应取向、放大或缩小医疗环境100中的人或物体、触发重置等。编程装置116可以是移动装置(例如，诸如智能电话、平板电脑或可穿戴装置)、台式计算机、膝上型计算机等，并且可以被配置为通过通信网络114与感测装置110和/或处理装置112通信。编程装置116可以从用户接收信息和/或指令(例如，经由在编程装置116上实施的用户接口)，并且经由通信网络114将所接收的信息和/或指令转发到感测装置110。

本文所述的通信网络114可以是有线或无线网络、或其组合。例如，通信网络114可以建立在公共网络(例如，因特网)、专用网络(例如，局域网(LAN)、广域网(WAN)等)、有线网络(例如，以太网)、无线网络(例如，802.11网络、Wi-Fi网络等)、蜂窝网络(例如，长期演进(LTE)或5G网络)、帧中继网络、虚拟专用网络(VPN)、卫星网络和/或电话网络上。通信网络114可以包括一个或多个网络接入点。例如，通信网络114可以包括有线和/或无线网络接入点，诸如基站和/或互联网交换点，通过这些接入点，医疗环境100中的一个或多个装置可以连接以交换数据和/或其他信息。这种交换可以利用路由器、集线器、交换机、服务器计算机和/或其任意组合。

处理装置112可以被配置为从感测装置110接收图像并且基于图像确定医疗环境100的一个或多个特征。这些特征可以包括例如存在于医疗环境100中的人和/或物体以及人和/或物体在医疗环境100中的相应位置。在医疗环境100中呈现的人可以包括例如患者118和/或照顾患者118的医务人员(例如，医生122、技师、护士等)。在医疗环境100中呈现的物体可以包括例如超声机器104、超声探头106、监视装置108、病床102和/或图1中未示出的其他医疗装置或工具。基于所确定的医疗环境100的特征，处理装置112可以跟踪超声探头106相对于患者118的身体的位置，以引导和/或自动化医疗环境100内部的操作的一个或多个方面。例如，响应于基于由感测装置110捕捉的医疗环境的图像确定患者118、医生122和各种医疗装置(例如，超声探头106)在医疗环境100中的相应位置，处理装置112可以生成患者118的3D人体模型，并且至少基于超声探头106的位置(例如，相对于患者118的身体)自动地将第一超声图像(例如，使用超声探头106捕捉的内部解剖结构120的图像)与3D人体模型对齐。患者118、医生122和各种医疗装置的相应位置可以包括患者118、医生122和各种医疗装置在医疗环境100中的3D位置(例如，按照[X,Y,Z]坐标)。

此外，处理装置112可被配置为基于由超声机器104的超声探头106捕捉的内部器官的多个超声图像自动生成患者118的内部器官(例如，解剖结构120)的3D超声模型。器官可以是例如患者的脾、肝、心脏等，并且内部器官的3D超声模型可以示出例如器官的形状和/或位置，因为它对应于由3D患者模型指示的患者的身体。超声机器104的操作可涉及医生122在患者118的身体上围绕感兴趣的内部器官的区域(例如，解剖结构120)移动超声探头106以捕捉器官的2D超声图像。所捕捉的2D超声图像可以显示在屏幕输出(例如，超声机器104和/或监视装置108的显示器)上。2D超声图像可示出内部器官的横截面，然后医生122能够基于2D超声图像估计内部器官的健康状态。

在示例中，感测装置110可以被配置为捕捉包括患者118、超声机器104和/或超声探头106的医疗环境100的图像。处理装置112可以被配置为获得患者118的3D人体模型(例如，基于由感测装置110捕捉的图像或从诸如患者模型数据库的不同源)，其中，3D人体模型可以至少指示患者118的身体的姿势和形状。使用超声探头106捕捉的患者118的第一超声图像可以由处理装置112接收，处理装置112可以基于医疗环境100的所捕捉的图像来确定超声探头106的位置(例如，相对于患者118的身体)。处理装置112然后可以至少基于超声探头106的位置将第一超声图像与患者118的3D人体模型对齐，并且生成示出第一超声图像和3D人体模型的对齐的视觉表征。

在示例中，视觉表征可以包括患者118的3D身体轮廓，并且处理装置112可以被配置为基于第一超声图像和患者118的3D人体模型的对齐利用第一超声图像填充3D身体轮廓的第一内部部分。例如，如果第一超声图像是患者腹部的左侧视图，则该图像可以显示在3D身体轮廓内，在对应于腹部左侧的区域中。此外，处理装置112还可被配置为接收使用超声探头106捕捉的患者118的第二超声图像，并且至少基于超声探头106的位置(例如，相对于患者118的身体)将第二超声图像与3D人体模型对齐。然后，例如，通过基于第二超声图像和患者118的3D人体模型的对齐利用第二超声图像填充3D身体轮廓的第二内部部分，可以将第二超声图像添加到视觉表征。

在示例中，患者118的第一超声图像和第二超声图像可以与患者118的解剖结构120(例如，诸如心脏的内部器官)相关联，并且处理装置112还可以被配置为至少基于第一超声图像、第二超声图像和从医疗环境100的图像确定的超声探头106的位置或地点来重建解剖结构120的3D超声模型。例如，在感测装置110的帮助下，可以在拍摄患者的超声图像的同时跟踪超声探头106的位置/地点。然后，可以使用位置/地点信息来确定2D超声图像的相应3D视点，并基于所确定的3D视点将2D超声图像对齐并融合成3D重建视图。

在示例中，处理装置112还可以被配置为确定超声探头106的取向(例如，相对于患者118的身体)，并且进一步基于所确定的超声探头的取向将第一超声图像与3D人体模型对齐。例如，如果超声探头106相对于患者118的身体的取向是180°(例如，探头相对于患者118的身体的头-脚轴线颠倒)，则可以相应地旋转由超声探头106捕捉的超声图像，以便将它们与3D人体模型对齐。

在示例中，处理装置112可以被配置为通过在医疗环境100的图像中检测与超声探头106相关联的标记并且基于检测到的标记确定超声探头106相对于患者118的身体的位置来确定超声探头106的位置(例如，相对于患者118的身体)。替代地或另外地，处理装置112还可以被配置为基于使用机器学习模型检测医疗环境100的所捕捉的图像中与超声探头106相关联的视觉特征并且基于所检测的视觉特征确定超声探头106的位置来确定超声探头106的位置(例如，相对于患者118的身体)。

在示例中，处理装置112还可以被配置为接收使用超声探头106捕捉的患者118的第二超声图像，并且基于由机器学习模型检测到的第一超声图像和第二超声图像的相应视觉特征，来确定第一超声图像大致类似于第二超声图像。可以提供(例如，向医生122)第一超声图像和第二超声图像彼此重复的指示(例如，视觉指示)。在示例中，处理装置112还可以被配置为基于机器学习模型来检测超声图像中的医学异常，并且提供检测的指示(例如，在监视装置108上)。例如，指示可以包括围绕超声图像中的所检测到的医学异常的边界形状(例如，边界框或边界圆)。

在示例中，处理装置112可以被配置为通过在显示装置上呈现患者身体表面的图形表征以及患者的内部解剖结构的图形表征，来在显示装置上(例如，在监视装置108上)呈现内部解剖结构的3D人体模型和3D超声模型。在示例中，处理装置112可以例如经由通信网络114通信地耦合到数据库124。数据库124可以包括患者记录储存库，其存储患者118的基本信息、患者118的诊断和/或治疗历史、患者118的扫描图像等。作为基于患者118的超声图像生成3D人体模型的一部分，处理装置112可以被配置为从数据库124检索患者118的所有医疗记录或医疗记录子集，结合由处理装置112收集或确定的患者118的其他信息(例如，诸如本文所述的3D人体模型)来分析检索到的医疗记录，并且至少部分地基于检索到的医疗记录来生成患者118的内部解剖结构的3D人体模型和3D超声模型。例如，基于患者118的过去的医学扫描、患者118的身体几何形状和/或与患者118相关联的其他偏好和/或约束，处理装置112可以自动确定医疗过程中使用的装置的参数和/或配置(例如，超声探头106的位置和/或取向)，并且例如通过将参数和/或配置传输到医生122可见的显示装置来使得参数和/或配置针对医疗装置被实施。处理装置112还可以在显示器上显示例如与解剖结构120相关联的医学扫描(例如，如医生122经由处理装置112的接口所请求的)，以便辅助医生122。

在示例中，一个或多个任务被描述为由诸如处理装置112的处理装置以集中的方式发起和/或实施。然而，应当注意，任务也可以分布在多个处理装置(例如，经由通信网络114互连、布置在云计算环境中等)之间并且以分布式方式执行。进一步地，即使处理装置112在本文中已被描述为与感测装置(例如，感测装置110)分离的装置，处理装置112的功能也可经由一个或多个感测装置来实现(例如，一个或多个感测装置110可包括被配置为执行本文所述的处理装置112的功能的相应处理器)。因此，在一些实施方式中，可以不包括单独的处理装置，并且一个或多个感测装置(例如，感测装置110)可以承担处理装置的责任。

图2A和图2B是例示了根据本文所述的一个或多个实施例的用于将内部解剖结构(例如，图1中的解剖结构120，诸如心脏)的第一超声图像210与3D人体模型204对齐的示例用户界面(UI)的简化图。3D人体模型204可以是通用患者模型(例如，通用3D人体网格)，或者其可以是患者专用的模型，例如，基于由本文所述的感测装置捕捉的患者118的图像来构建。如图2A所示，显示装置(例如，图1的监视装置108)可以显示“跟踪视图”屏幕202，其可以包括3D人体模型204的图形表征以及当超声探头(例如，图1的超声探头106)被定位在患者身体的第一位置(例如，实时)时超声探头的图形表征。医学专家(例如，图1的医生122)可以使用图2A的跟踪视图屏幕202来基于如跟踪视图屏幕202所示的超声探头106和3D人体模型204的图形表征来确认超声探头106的位置和/或取向(例如，相对于患者的身体)。

可以基于由本文所述的感测装置(例如，图1的感测装置110)捕捉的医疗环境的图像来实现超声探头106相对于患者身体的跟踪。如本文所述，这些图像可包括超声探头106和患者的描绘，并且因此可用于自动确定超声探头106的位置和/或取向(例如，相对于患者的身体)。在一些实施例中，可以基于放置在超声探头106上的标记在图像中识别超声探头106。替代地或另外地，可以使用机器学习(ML)模型来学习超声探头106的视觉特征，使得当给定包括探头的图像时，ML模型可以用于预测超声探头106的位置，如下面关于图4进一步描述的。

在一些实施例中，图2A的跟踪视图屏幕202可以包括“对齐”按钮206，其可以用于激活和/或显示“对齐视图”屏幕208，其中，可以基于超声探头106的跟踪位置(例如，从其捕捉第一超声图像210的超声探头的位置)将患者的第一超声图像210与3D人体模型204对齐。替代地或另外地，例如，可以在不使用对齐按钮206的情况下独立于跟踪视图屏幕202来激活和/或显示对齐视图屏幕208。在一些实施例中，对齐视图屏幕208可以在3D人体模型204的第一内部部分212内显示第一超声图像210，其中，第一内部部分212可以包含患者体内的由第一超声图像210捕捉的解剖结构的位置。用户(例如，图1的医生122)然后可以与对齐视图屏幕208交互(例如，放大、旋转、拖动等)，以便检查在3D人体模型204的背景内的第一超声图像210中示出的解剖结构。

图3A和图3B是例示了根据本文所述的一个或多个实施例的用于将内部解剖结构(例如，图1中的患者118的解剖结构120，诸如心脏)的第二超声图像302与3D人体模型204对齐的示例UI的简化图。如图3A所示，显示装置(例如，图1的监视装置108)可以显示跟踪视图屏幕202作为用于将第二超声图像302与3D人体模型204对齐的UI的一部分。图3A的跟踪视图屏幕202可以示出患者身体的3D人体模型204的图形表征以及当超声探头被定位在患者身体的第二位置(例如，实时)时超声探头106的图形表征。如上所述，医学专家可以使用图3A的跟踪视图屏幕202，以便基于如跟踪视图屏幕202所示的超声探头106和3D人体模型204的图形表征的相对位置来确认超声探头106相对于患者身体的位置和/或取向。

如上所述，图3A的跟踪视图屏幕202可以包括对齐按钮206，其用于基于在图3A的跟踪视图屏幕202中示出的超声探头106的当前跟踪位置，查看在对齐视图屏幕208中与3D人体模型204的图形表征对齐的患者的第二超声图像302。例如，也可以在不使用对齐按钮206的情况下独立于跟踪视图屏幕202来激活/显示对齐视图屏幕208。如图3B所示，当捕捉第二超声图像302时，3D人体模型204的图形表征可以基于超声探头106的跟踪位置(例如，相对于患者身体)与对齐的第二超声图像302一起显示在对齐视图屏幕208中。例如，对齐视图屏幕208可以在3D人体模型204的第二内部部分304内显示第二超声图像302，其中，第二内部部分304可以包含患者体内的由第二超声图像302捕捉的解剖结构的位置。用户(例如，图1的医生122)然后可以与对齐视图屏幕208交互(例如，放大、旋转、拖动等)，以便检查在3D人体模型204的背景内的第二超声图像302中示出的解剖结构。

在一些实施例中，已经与3D人体模型204对齐的多个2D超声图像(例如，包括第一超声图像210和第二超声图像302)可以用于生成3D超声模型(例如，如本文所述)，该3D超声模型可以与3D人体模型204的图形表征(例如，在3D人体模型204的第三内部部分内)一起显示在对齐视图屏幕208中。

本文所述的一个或多个任务(例如，诸如自动识别超声探头和确定超声探头的位置)可以使用人工神经网络(例如，基于经由人工神经网络实施的机器学习模型)来执行。在示例中，这种人工神经网络可以包括多个层，诸如一个或多个卷积层、一个或多个池化层和/或一个或多个全连接层。各个卷积层可以包括被配置为从输入图像提取特征的多个卷积核或过滤器。卷积运算之后可以是批归一化和/或线性(或非线性)激活，并且可以通过池化层和/或全连接层对由卷积层提取的特征进行下采样，以减少特征的冗余和/或尺寸，从而获得下采样特征的表征(例如，以特征向量或特征图的形式)。在示例中(例如，如果任务涉及与超声探头相关联的分割掩模的生成)，人工神经网络还可以包括一个或多个上池化层和一个或多个转置卷积层，这些层可以被配置为对通过上述操作提取的特征进行上采样和去卷积。作为上采样和去卷积的结果，可以导出输入图像的密集特征表征(例如，密集特征图)，并且人工神经网络可以被配置为基于特征表征来预测超声探头的位置。

图4例示了用于训练人工神经网络(例如，由神经网络实施的机器学习模型)以执行本文所述的一个或多个任务的示例方法400。如图所示，训练过程可以包括：在302例如通过从概率分布进行采样或者通过复制具有类似结构的另一神经网络的参数来初始化神经网络的执行参数(例如，与神经网络的各个层相关联的权重)。训练过程还可以包括在404使用神经网络的当前分配的参数处理输入(例如，医疗环境的图片)，并且在406对期望的结果(例如，在输入中的物体(诸如超声探头)的识别)进行预测。然后在408，可以将预测结果与金标准进行比较，以基于损失函数(诸如MSE、L1范数、L2范数等)确定与预测相关联的损失。在410，可以使用所计算的损失来确定是否满足一个或多个训练终止准则。例如，如果损失低于阈值或者如果两次训练迭代之间的损失变化低于阈值，则可以确定满足训练终止准则。如果在410确定满足终止准则，则训练可以结束；否则，在412，例如，在训练返回406之前，通过将损失函数的梯度下降反向传播通过网络，可以调节当前分配的网络参数。

为了简单说明起见，训练操作以特定顺序在图4中描绘并且在本文中描述。此外，应当注意，并非可包括在训练过程中的所有操作都在本文中描绘和描述，并且并非所有例示的操作都需要执行。

图5是示出了根据本文所述的一个或多个实施例的可由处理装置(例如，处理装置112)和/或一个或多个感测装置(例如，感测装置110)执行以基于医疗环境(例如，医疗环境100)中的患者(例如，患者118)的超声图像(例如，图2B的第一超声图像210)生成3D人体模型(例如，图2A至图3B的3D人体模型204)的示例方法500的流程图。操作可以在502开始，其中，可以捕捉医疗环境的图像。医疗环境可以包括患者和超声机器(例如，超声机器104)，并且超声机器可以包括超声探头(例如，超声探头106)。例如，图像可以由一个或多个感测装置110(例如，其已经安装在医疗环境100中)捕捉。在504，处理装置可以例如基于机器学习模型来分析图像，从图像中提取视觉特征，并且确定可以至少指示患者身体在医疗环境中的姿势和形状的患者模型(例如，3D参数网格)。或者，处理装置可从诸如图1的数据库124的另一源获得患者的3D人体模型。在506，处理装置可以接收使用超声探头捕捉的患者的第一超声图像。例如，超声探头可以用于捕捉患者的诸如心脏(例如，图1的解剖结构120)的内部器官的第一超声图像。

在508，处理装置可以基于医疗环境的图像确定超声探头的位置(例如，相对于患者的身体)。例如，可以分析与医疗环境的图像中的人(例如，患者118、医生124等)和/或物体(例如，超声探头106或其他工具、装置等)相关联的视觉特征，以确定在图像中检测到的人和/或物体在医疗环境中的相应位置，并且基于所确定的位置来学习人或物体的空间关系。处理装置可以从可以由不同感测装置捕捉的多个图像汇集信息，以便确定人和/或物体的相应位置。处理装置可以通过利用关于感测装置的参数的知识(诸如感测装置彼此之间的相对位置以及感测装置与医疗环境中的其他人和/或物体之间的相对位置)来完成该任务。例如，处理装置可以基于由相应的感测装置捕捉的两个图像来确定医疗环境中的人或物体的深度(例如，Z坐标)，例如使用三角测量技术来基于感测装置的摄像头参数确定医疗环境中的人或物体的(X,Y,Z)坐标。

在510，处理装置可以至少基于超声探头相对于患者身体的位置将第一超声图像与3D人体模型对齐。例如，处理装置可以确定超声探头定位于患者的胸部区域上，并且因此所捕捉的第一超声图像可以与3D人体模型对齐，使得其位于患者的3D人体模型的胸部区域处。在512，处理装置可以生成视觉表征(例如，在显示装置上)，其示出第一超声图像和3D人体模型的对齐。例如，当为患者捕捉新的超声图像时，处理装置可以连续地执行502-508的操作。

图6A是例示了根据本文所述的一个或多个实施例的可以被执行用于基于患者(例如，图1的患者118)的附加超声图像修改3D人体模型(例如，图2A至图3B的3D人体模型204)的视觉表征的示例方法600A的流程图。操作可以在602A开始，作为上述图5的方法500的操作512的继续。在604A，可基于第一超声图像和3D人体模型的对齐利用第一超声图像填充3D人体模型(例如，3D身体轮廓)的第一内部部分。例如，如果第一超声图像是患者胸部的右侧视图，则第一超声图像可以显示在3D身体轮廓内，在对应于胸部右侧的区域中。在606A，可以使用超声探头(例如，图1的超声探头106)捕捉患者的第二超声图像，并且在608A，可以至少基于超声探头的位置(例如，相对于患者的身体)将第二超声图像与3D人体模型对齐。例如，如果超声探头从胸部的左侧接近患者的解剖结构，则可以基于患者身体和超声探头的这些相对位置将第二超声图像与3D人体模型对齐。在610A，可以通过基于第二超声图像和3D人体模型的对齐利用第二超声图像填充3D身体轮廓的第二内部部分，来将第二超声图像添加到视觉表征。例如，如果第二超声图像是患者胸部的顶侧视图，则第二超声图像可以显示在3D身体轮廓内，在对应于胸部顶侧的区域中。

图6B是例示了根据本文所述的一个或多个实施例的可以被执行用于生成患者(例如，图1的患者118)的内部解剖结构(例如，图1的解剖结构120)的3D超声模型的示例方法600B的流程图。操作可以在602B开始，作为上述图6A的方法600A的操作610A的继续。在604B，可以使用与患者的解剖结构相关联的患者的第一超声图像和第二超声图像来至少基于第一超声图像和第二超声图像重建解剖结构的3D超声模型。例如，可以使用容积重建方法来获得与解剖结构相关联的3D容积数据，然后可以基于如上所述从视觉跟踪医疗环境内的超声探头而采集的空间信息，将3D容积数据用于3D容积网格中。

图7例示了可以放置或安装在医疗环境(例如，图1的医疗环境100)中以促进基于超声图像生成3D人体模型的示例感测装置700(例如，图1所示的感测装置110)。感测装置700可以包括传感器702、功能单元704和/或电源706，它们可以被配置为容纳在壳体中。尽管在图中示出了两个传感器，但是感测装置700可以包括任意数量的传感器。进一步地，尽管在图7中将一个或多个部件示出为在功能单元704的内部或外部，但是这些部件可以在不影响本文所述的感测装置的功能的情况下移出或移入功能单元704。

如本文所述，传感器702可以包括RGB传感器、深度传感器、RGB加深度(RGB-D)传感器、热传感器(诸如FIR或NIR传感器)、雷达传感器、运动传感器、摄像头(例如，数字摄像头)和/或被配置为生成传感器的FOV中的人、物体和/或场景的图像(例如，2D图像或照片)的其他类型的图像捕捉电路。由传感器702生成的图像可以包括例如人、物体或场景的一个或多个照片、热图像和/或雷达图像。各个图像可以包括共同表示人、物体或场景的图形视图且可以经分析以提取表示人、物体或场景的一个或多个特性的特征的多个像素。

传感器702可以例如经由有线或无线通信链路通信地耦合到功能单元704。传感器702可以被配置为将由传感器生成的图像传输到功能单元704(例如，经由推送机制)，或者功能单元704可以被配置为从传感器702检索图像(例如，经由拉动机制)。传输和/或检索可以周期性地(例如，基于预先配置的时间表)或者响应于接收到触发传输或检索的控制信号来执行。功能单元704可以被配置为控制传感器702的操作。例如，功能单元704可以传输调节传感器702的FOV(例如，通过操纵传感器702的方向或取向)的命令。作为另一示例，功能单元704可以传输改变传感器702拍摄人、物体或场景的图像的分辨率的命令。

传感器702和/或功能单元704(例如，功能单元704的一个或多个部件)可以由电源706供电，该电源可以包括交流(AC)电源或直流(DC)电源(例如，电池电源)。当使用诸如电池电源的DC电源时，电源706可以是可再充电的，例如，通过经由有线或无线连接从外部源接收充电电流。例如，充电电流可以通过将感测装置700经由充电电缆和/或充电适配器(包括USB适配器)连接到AC插座来接收。作为另一示例，充电电流可以通过将感测装置700放置成与充电垫接触来无线地接收。

功能单元704可以包括通信接口电路708、数据处理装置710、计算单元712、数据渲染单元714、存储器716或编程和/或校准应用编程接口(API)718中的一个或多个。应注意，图7所示的部件仅作为示例而提供，且不意指限制本公开的范围。例如，功能单元704不限于包括如图7所示的确切部件。可以组合部件中的两个或更多个(例如，部件的功能)，部件中的任何一个可以被分成子部件，可以省略部件中的任何一个，可以添加更多部件等。由此可见，即使感测装置700的功能在本文中被描述为与相应的一个或多个部件相关联，但是应当理解，这些功能也可以由不同的部件来执行和/或在多个其它部件之间划分。

功能单元704可以被配置为经由通信接口电路708从传感器702接收或检索图像，该通信接口电路可以包括一个或多个有线和/或无线网络接口卡(NIC)，诸如以太网卡、WiFi适配器、移动宽带装置(例如，4G/LTE/5G卡或芯片组)等。在示例中，相应NIC可以被指定为与相应传感器通信。在示例中，统一NIC可以被指定为与多个传感器通信。

从传感器702接收或检索的图像可以被提供给数据处理装置710，数据处理装置可以被配置为分析图像并且执行本文所述的一个或多个操作(例如，包括本文所述的处理装置112的操作)。数据处理装置710的功能可以由计算单元712促进，该计算单元可以被配置为基于由传感器702产生的图像执行各种计算密集型任务，诸如特征提取和/或特征分类。计算单元712可以被配置为实施一个或多个神经网络。数据渲染单元714可以被配置为生成本文所述的一个或多个视觉表征，包括例如患者的3D人体模型的表征和患者的解剖结构的3D超声模型等。

数据处理装置710、计算单元712或数据渲染单元714中的每一个可以包括一个或多个处理器，诸如中央处理装置(CPU)、图形处理装置(GPU)、微控制器、精简指令集计算机(RISC)处理器、专用集成电路(ASIC)、专用指令集处理器(ASIP)、物理处理装置(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或其组合。数据处理装置710、计算单元712和/或数据渲染单元714还可以包括能够执行本文所述功能的其它类型的电路或处理器。进一步地，数据处理装置710、计算单元712或数据渲染单元714可以利用存储器716来促进本文描述的操作中的一个或多个。例如，存储器716可以包括被配置为存储数据和/或指令的机器可读介质，当执行该数据和/或指令时，使得处理装置710、计算单元712或数据渲染单元714执行本文所述的功能中的一个或多个。机器可读介质的示例可以包括易失性或非易失性存储器，包括但不限于半导体存储器(例如，电可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM))、闪存等)。并且尽管图7中未示出，但是感测装置700还可以包括一个或多个大容量储存装置，其包括磁盘，诸如内置硬盘、可移动盘、磁光盘、CD-ROM或DVD-ROM盘等，在磁盘上可以存储指令和/或数据，以便于执行本文所述的功能。

感测装置700的操作可以例如使用诸如图1中的编程装置116的远程编程装置通过编程/校准API 718来配置和/或控制。在示例中，编程/校准API 718可以被配置为从编程装置接收命令(例如，一个或多个数字消息)，该命令调节感测装置700的执行参数，诸如传感器的取向和/或FOV、传感器捕捉图像的分辨率、从传感器接收或检索图像的周期等。响应于从编程装置接收命令，感测装置700(例如，功能单元704)可以根据该命令调节其操作的一个或多个方面。比如，如果命令指定较高输出质量，则感测装置700可以作为响应输出高分辨率图像，并且如果命令指定较高帧率，则感测装置700可以以增加的帧率输出较低分辨率图像。

感测装置700(例如，功能单元704)也可以被配置为通过编程/校准API 718接收临时(ad hoc)命令。这种临时命令可以包括例如放大或缩小传感器的命令、重置感测装置700(例如，重启装置或将装置的一个或多个执行参数重置为默认值)的命令、启用或停用感测装置700的特定功能的命令等。感测装置700(例如，功能单元704)也可以经由编程/校准API718被编程和/或训练(例如，通过网络)。例如，感测装置700可以在初始配置过程期间和/或之后通过编程/校准API 718接收训练数据和/或操作逻辑。

图8例示了如本文所述的处理装置800(例如，图1的处理装置112)的示例部件。如图所示，处理装置800可以包括处理器802，该处理器可以是中央处理装置(CPU)、图形处理装置(GPU)、微控制器、精简指令集计算机(RISC)处理器、专用集成电路(ASIC)、专用指令集处理器(ASIP)、物理处理装置(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或能够执行本文所述的功能的任何其它电路或处理器。处理装置800还可以包括通信电路804、存储器806、大容量储存装置808、输入装置810、显示装置812和/或通信链路814(例如，通信总线)，图8所示的一个或多个部件可以通过该通信链路交换信息。通信电路804可以被配置为利用一个或多个通信协议(例如，TCP/IP)和一个或多个通信网络来发送和接收信息，这些通信网络包括局域网(LAN)、广域网(WAN)、因特网、无线数据网络(例如，Wi-Fi、3G、4G/LTE或5G网络)。存储器806可以包括被配置为存储机器可读指令的存储介质，当机器可读指令被实行时，使得处理器802执行本文所述的一个或多个功能。机器可读介质的示例可以包括易失性或非易失性存储器，包括但不限于半导体存储器(例如，电可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM))、闪存等)。大容量储存装置808可以包括一个或多个磁盘，诸如一个或多个内置硬盘、一个或多个可移动盘、一个或多个磁光盘、一个或多个CD-ROM或DVD-ROM盘等，在磁盘上可以存储指令和/或数据，以便于处理器802的操作。输入装置810可以包括键盘、鼠标、语音控制输入装置、触敏输入装置(例如，触摸屏)等，用于接收处理装置800的用户输入。显示装置812可以包括一个或多个监视器(例如，计算机监视器、TV监视器、平板电脑、诸如智能电话的移动装置等)、一个或多个扬声器、一个或多个增强现实(AR)装置(例如，AR护目镜)和/或被配置为促进内容在显示装置812上的视觉表征的其他附件。这些内容可以包括例如由处理装置生成的信息，诸如患者的3D网格、患者解剖结构的3D超声模型、辐射暴露随时间的规划等。显示可以以各种格式呈现，包括例如视频、动画和/或AR呈现。

应当注意，处理装置800可以作为独立装置操作或者可以与其他计算装置连接(例如，联网或成群)，以执行本文所述的功能。并且即使在图8中仅示出了各个部件的一个实例，本领域技术人员也将理解，处理装置800可以包括图中示出的一个或多个部件的多个实例。此外，尽管本文中可以以特定顺序描绘和描述处理装置的示例操作，但是操作也可以以其他顺序、同时和/或与本文未呈现或描述的其他操作一起发生。不是处理装置能够执行的所有操作都在本文中描绘和描述，并且不是所有例示的操作都需要由处理装置执行。

尽管已经根据某些实施例和一般关联的方法描述了本公开，但是实施例和方法的变更和变换将对本领域技术人员显而易见。因此，示例性实施例的以上描述不限制本公开。在不脱离本公开的精神和范围的情况下，其它改变、替换和变更也是可能的。另外，除非另外具体陈述，否则利用诸如“分析”、“确定”、“启用”、“识别”、“修改”等术语的讨论是指计算机系统或类似电子计算装置的动作和过程，这些动作和过程将表示为计算机系统的寄存器和存储器内的物理(例如，电子)量的数据操纵和变换成表示为计算机系统存储器或其它这种信息存储、传输或显示装置内的物理量的其它数据。

应当理解，上述描述旨在为说明性的，而不是限制性的。在阅读和理解以上描述之后，许多其它实施方式对于本领域技术人员将显而易见。因此，本公开的范围应当参考所附权利要求以及这种权利要求被赋予的等同物的全部范围来确定。

Claims (10)

1.一种图像处理系统，包括：

至少一个感测装置，其被配置为捕捉医疗环境的图像，其中，所述医疗环境包括患者和超声机器，并且所述超声机器包括超声探头；以及

一个或多个处理器，其被配置为：

获得所述患者的三维(3D)人体模型，其中，所述3D人体模型至少指示所述患者的身体的姿势和形状；

接收使用所述超声探头捕捉的所述患者的第一超声图像；

基于由所述至少一个感测装置捕捉的所述医疗环境的所述图像来确定所述超声探头的位置；

至少基于所述超声探头的所述位置将所述第一超声图像与所述3D人体模型对齐；以及

生成示出所述第一超声图像和所述3D人体模型的所述对齐的视觉表征。

2.根据权利要求1所述的系统，其中，所述视觉表征包括所述患者的3D身体轮廓，并且其中，所述一个或多个处理器还被配置为基于所述第一超声图像和所述3D人体模型的所述对齐利用所述第一超声图像填充所述3D身体轮廓的第一内部部分。

3.根据权利要求2所述的系统，其中，所述一个或多个处理器还被配置为：

接收使用所述超声探头捕捉的所述患者的第二超声图像；

至少基于所述超声探头的所述位置将所述第二超声图像与所述3D人体模型对齐；以及

通过基于所述第二超声图像和所述3D人体模型的所述对齐利用所述第二超声图像填充所述3D身体轮廓的第二内部部分，来将所述第二超声图像添加到所述视觉表征。

4.根据权利要求3所述的系统，其中，所述患者的所述第一超声图像和所述第二超声图像与所述患者的解剖结构相关联，并且所述一个或多个处理器还被配置为至少基于所述第一超声图像和所述第二超声图像来重建所述解剖结构的3D超声模型。

5.根据权利要求1所述的系统，其中，所述一个或多个处理器还被配置为确定所述超声探头的取向，并且进一步基于所述所确定的所述超声探头的取向将所述第一超声图像与所述3D人体模型对齐。

6.根据权利要求1所述的系统，其中，所述一个或多个处理器被配置为确定所述超声探头的所述位置包括所述一个或多个处理器被配置为在所述医疗环境的所述图像中检测与所述超声探头相关联的标记并且基于所述检测到的标记来确定所述超声探头的所述位置。

7.根据权利要求1所述的系统，其中，所述一个或多个处理器被配置为确定所述超声探头的所述位置包括所述一个或多个处理器被配置为基于机器学习模型来检测所述医疗环境的所述图像中与所述超声探头相关联的视觉特征，并且基于所述所检测的视觉特征来确定所述超声探头的所述位置。

8.根据权利要求1所述的系统，其中，所述一个或多个处理器还被配置为：

接收使用所述超声探头捕捉的所述患者的第二超声图像；

基于由机器学习模型检测到的所述第一超声图像和所述第二超声图像的相应视觉特征来确定所述第一超声图像大致类似于所述第二超声图像；以及

提供所述第一超声图像和所述第二超声图像彼此重复的指示。

9.根据权利要求1所述的系统，其中，所述一个或多个处理器还被配置为基于机器学习模型来检测所述第一超声图像中的医学异常，并且提供所述检测到的医学异常的指示。

10.一种图像处理方法，包括：

捕捉医疗环境的图像，其中，所述医疗环境包括患者和超声机器，并且其中，所述超声机器包括超声探头；

获得所述患者的三维(3D)人体模型，其中，所述3D人体模型至少指示所述患者的身体的姿势和形状；

接收使用所述超声探头捕捉的所述患者的第一超声图像；

基于所述医疗环境的所述图像来确定所述超声探头的位置；

至少基于所述超声探头的所述位置将所述第一超声图像与所述3D人体模型对齐；以及

生成示出所述第一超声图像和所述3D人体模型的所述对齐的视觉表征。