CN117413318A - 用以处理用于诊断或介入用途的电子医学图像的系统和方法 - Google Patents

Abstract

本文公开了系统和方法，以用于处理超声图像来识别用于诊断和/或介入用途的对象。例如，可从超声成像系统的计算装置接收解剖结构的超声图像。所述超声图像可输入至机器学习模型，所述机器学习模型进行训练以识别所述解剖结构的超声图像中的多个对象。所述多个对象可包括解剖特征、干扰特征和/或器械。可从所述超声图像中所识别的所述多个对象接收一个或多个对象的预测，所述预测作为所述机器学习模型的输出。所述预测的指示可提供至所述计算装置以用于显示于所述超声成像系统的显示器上。

Description

用以处理用于诊断或介入用途的电子医学图像的系统和方法

相关申请的交叉引用

本申请要求提交于2021年4月2日的美国临时申请No.63/170,377的优先权，该临时申请的全部公开内容据此全文以引用方式并入本文。

技术领域

本文所提出的各种技术整体涉及利用人工智能(AI)来处理电子医学图像以用于提供临床诊断、测量结果和/或观察结果。更具体地，本公开的特定技术涉及用于训练和使用机器学习模型的系统和方法，以从诊断或介入超声图像预测与肌肉骨骼疾病相关联的临床诊断、测量结果和/或观察结果。

背景技术

在美国和在全球，肌肉骨骼疾病显著地影响生活质量。受肌肉骨骼疾病影响的解剖结构的成像可用于促进疾病的临床诊断和/或作为用以治疗疾病的介入措施的一部分(例如，引导)。然而，患者越来越担心昂贵的先进医学成像的过度使用和/或滥用，诸如计算机断层扫描(CT)、磁共振成像(MRI)和正电子发射断层扫描(PET)，这些技术使患者面临排期延时、额外费用和不必要辐射暴露。因此，另选成像技术(诸如超声成像)可越来越多地用于与肌肉骨骼疾病相关联的诊断和介入成像。

前述一般描述和下述具体实施方式仅为示例性的和解释性的，并且不限制本公开。本文所提供的背景技术描述是出于整体呈现本公开的背景的目的。除非本文另行指示，本章节所描述的材料并非本申请权利要求的现有技术，并且也未由于包括于本章节中而承认为现有技术或现有技术的建议。

发明内容

根据本公开的某些方面，公开了系统和方法，以用于处理电子图像(诸如超声图像)来识别用于诊断和/或介入用途的对象。

在一个实例方面，描述了系统，以用于处理超声图像以识别对象。实例系统可包括处理器和联接至该处理器的存储器。该存储器可存储指令，这些指令当由处理器执行时引起系统执行操作。这些操作可包括从超声成像系统的计算装置接收解剖结构的超声图像，和将该超声图像作为输入提供至机器学习模型，该机器学习模型进行训练以识别解剖结构的超声图像中的多个对象。该多个对象可包括解剖特征、干扰特征和/或器械。这些操作还可包括从超声图像中所识别的多个对象接收一个或多个对象的预测，该预测作为机器学习模型的输出，和将该预测的指示提供至计算装置以用于显示于超声成像系统的显示器上。

在另一实例方面，描述了方法，以用于处理超声图像以识别对象。实例方法可包括从超声成像系统的计算装置接收解剖结构的超声图像，和将该超声图像作为输入提供至机器学习模型，该机器学习模型进行训练以识别解剖结构的超声图像中的多个对象。该多个对象可包括解剖特征、干扰特征和/或器械。该方法还可包括从超声图像中所识别的多个对象接收一个或多个对象的预测，该预测作为机器学习模型的输出，和将该预测的指示提供至计算装置以用于显示于超声成像系统的显示器上。

在另一实例方面，描述了非暂态计算机可读介质，以用于处理超声图像以识别对象。实例非暂态计算机可读介质可存储指令，这些指令当由处理器执行时引起处理器执行用于处理超声图像来识别对象的操作。这些操作可包括从超声成像系统的计算装置接收解剖结构的超声图像，和将该超声图像作为输入提供至机器学习模型，该机器学习模型进行训练以识别解剖结构的超声图像中的多个对象。该多个对象可包括解剖特征、干扰特征和/或器械。这些操作还可包括从超声图像中所识别的多个对象接收一个或多个对象的预测，该预测作为机器学习模型的输出，和将该预测的指示提供至计算装置以用于显示于超声成像系统的显示器上。

应当理解，前述一般描述和下述具体实施方式均仅为示例性的和解释性的，并且不限制所要求保护的公开实施例。

附图说明

并入本说明书并构成本说明书的一部分的附图示出了各种示例性实施例，并且连同描述一起用于解释所公开实施例的原理。

图1根据本文所描述的技术示出了用于处理电子医学图像的网络环境的示例性框图；

图2根据本文所描述的技术示出了由医学图像处理系统所执行的示例性进程的框图；

图3根据本文所描述的技术示出了流程图，该流程图示出了示例性方法以用于训练机器学习模型来预测肌肉骨骼疾病的诊断；

图4根据本文所描述的技术示出了流程图，该流程图示出了示例性方法以用于预测肌肉骨骼疾病的诊断；

图5A根据本文所描述的技术示出了概念图，该概念图示出了机器学习模型的训练进程以预测肩部损伤的诊断；

图5B根据本文所描述的技术示出了实例应用程序用户界面，该实例应用程序用户界面显示了肩部损伤的预测诊断；

图6根据本文所描述的技术示出了流程图，该流程图示出了示例性方法以用于训练机器学习模型来识别解剖结构的医学图像内的对象；

图7根据本文所描述的技术示出了流程图，该流程图示出了示例性方法以用于识别解剖结构的医学图像内的对象；

图8根据本文所描述的技术示出了流程图，该流程图示出了示例性方法以用于训练机器学习模型来识别在解剖结构的医学图像内所识别的对象的最佳图像；

图9根据本文所描述的技术示出了流程图，该流程图示出了示例性方法以用于确定医学图像是否为其中所识别对象的最佳图像；

图10示出了实例应用程序用户界面，该实例应用程序用户界面显示了在医学图像内所识别的对象，该医学图像可根据本文所提出的技术进行显示；

图11根据本文所描述的技术示出了流程图，该流程图示出了示例性方法以用于训练机器学习模型来预测器械的位置；

图12根据本文所描述的技术示出了流程图，该流程图示出了示例性方法以用于预测器械的位置；

图13根据本文所描述的技术示出了流程图，该流程图示出了示例性方法以用于训练机器学习模型来预测器械轨迹；

图14根据本文所描述的技术示出了流程图，该流程图示出了示例性方法以用于预测器械轨迹；

图15根据本文所描述的技术示出了实例应用程序用户界面，该实例应用程序用户界面显示了预测器械位置和轨迹；

图16根据本文所描述的技术示出了流程图，该流程图示出了示例性方法以用于训练机器学习模型来识别解剖特征；

图17根据本文所描述的技术示出了流程图，该流程图示出了示例性方法以用于使在医学图像中所识别的解剖结构的解剖特征可视化；

图18根据本文所描述的技术示出了实例应用程序用户界面，该实例应用程序用户界面显示了在解剖结构的医学图像内所识别的解剖结构的解剖特征的可视化；

图19根据本文所描述的技术示出了流程图，该流程图示出了示例性方法以用于训练机器学习模型来检测探头与在医学图像内所识别的解剖特征的对准；

图20根据本文所描述的技术示出了流程图，该流程图示出了示例性方法以用于检测探头与在解剖结构的医学图像内所识别的解剖结构的一个或多个解剖特征的对准；

图21根据本文所描述的技术示出了流程图，该流程图示出了示例性方法以用于训练机器学习模型来识别最佳图像帧；

图22根据本文所描述的技术示出了流程图，该流程图示出了示例性方法以用于捕获最佳图像帧；

图23示出了实例系统，该实例系统可执行本文所提出的技术。

具体实施方式

现将详细地参考本公开的示例性实施例，这些实施例的实例示出于附图中。只要可能，相同附图标记将在所有图中用于指代相同或类似零件。

本文所公开的系统、装置和方法通过实例的方式并且参考附图来详细地描述。本文所讨论的实例仅为实例，并且提供用以协助本文所描述设备、装置、系统和方法的解释。对于这些装置、系统或方法中的任一者的任何具体实施方式，附图所示或下文所讨论的特征或部件均不应视为强制性的，除非明确地指定为强制性的。

另外，对于所描述的任何方法，无论该方法是否结合流程图进行描述，应当理解，除非上下文另行规定或要求，在执行方法时所执行步骤的任何明示或暗示次序并不暗示这些步骤必须以所提出顺序来执行，而是可以以不同顺序或并行执行。

如本文所用，术语“示例性”以“实例”而非“理想”的意义使用。此外，本文的术语“一个”和“一种”并不表示数量的限制，而是表示所引用项的一者或多者的存在。

在诊断成像中，医生可在患者的成像检查期间评估电子图像，以促进疾病、损伤和/或病症的诊断，包括其任何分类(例如，类别、时期、阶段、等级等)。在介入成像中，医生可在手术期间利用电子图像，例如以使插入患者体内的器械可视化来协助医生将该器械安全地引导至预期目标区域。传统上，先进医学成像(诸如计算机断层扫描(CT)、磁共振成像(MRI)和正电子发射断层扫描(PET))已用于诊断和/或介入成像。然而，另选成像技术(诸如超声成像技术)也可用于诊断和介入成像，并且特别地用于肌肉骨骼疾病。由于较低成本，超声成像系统为更易于获得的(例如，医生可访问多个超声系统，但仅访问一个CT成像系统)，这降低了排期延时并且向患者要求较低费用。此外，超声成像避免了将患者暴露于辐射。超声装置还可为便携式的，从而允许将该装置邮寄至远程位置，或以其它方式允许在远程或困难地理区域的较快运输或访问。

本文所公开的技术提供了AI工具，以用于诊断和/或介入超声成像。例如，可训练并部署多个机器学习模型，以从超声图像预测与肌肉骨骼疾病相关联的诊断、观察和/或测量结果。实例观察结果可包括超声图像内对象的识别，诸如解剖特征，解剖结构中通常不存在的可干扰身体功能的特征，和/或插入体内的异物(例如，器械)。观察结果还可包括对象的位置和/或轨迹预测，和/或是否捕获对象的最佳图像的预测。可生成基于预测的可视化，并且在医生对患者执行诊断检查时和/或医生执行超声引导过程(其可用于治疗所诊断疾病)时，可实时提供至医生。

虽然本公开通篇所包括的具体实例涉及超声成像，但应当理解，根据本公开的技术可适于其它类型的成像模式。例如，这些技术可适于任何医学成像模式，诸如MRI、CT、PET、X射线等。

环境

图1根据本公开的示例性技术示出了用于处理电子医学图像的环境100的示例性框图。该环境可包括服务器系统110，服务器系统110经由网络120在一个或多个成像系统130、一个或多个用户计算装置140、一个或多个影像存档和通信(PAC)系统150和/或医学成像数据库160内通信。

服务器系统110可包括处理装置112和存储装置114。处理装置112可配置成实施医学图像处理系统116，在下文称为系统116。系统116可将AI、机器学习和/或图像处理技术应用于医学图像，这些医学图像经由网络120接收自例如成像系统130、用户计算装置140或PAC系统150。另选地，系统116、所训练机器学习模型118或与服务器系统110一起描述的其它特征可与成像系统130自身一起进行定位。另外，例如，本文所讨论的技术(如通过系统116来执行)可通过成像计算装置136或用户计算装置140来执行。

例如，系统116可包括训练图像平台，该训练图像平台配置成基于训练医学图像的数据集而生成并训练多个训练机器学习模型118，这些训练医学图像例如经由网络120接收自一个或多个医学成像数据库160。训练医学图像可为人类和/或动物(例如，在兽医学背景中)的解剖结构的图像。训练医学图像可为真实图像，或合成生成图像以在需要时补偿数据稀疏性。所接收的训练医学图像可通过医生和/或其他医疗保健专业人员进行注释。对于解剖结构的给定训练医学图像，可注释以下内容：解剖结构的解剖特征、解剖结构中通常不存在可干扰身体功能的特征、异物、与特征和/或异物相关联的测量结果、从图像可识别的诊断，和/或图像视图类型(例如，探头取向)，如本文别处所详细地描述。训练医学图像可利用已知或未来数据注释技术中的一者或多着进行注释，诸如多边形、刷子/擦子、边界框、关键点、关键点骨架、线、椭圆、立方体、分类标签、属性、实例/对象跟踪标识符、自由文本，和/或方向向量，以训练已知或未来模型类型的任一者或多者，诸如图像分类器、视频分类器、图像分割、对象检测、对象方向、实例分割、语义分割、体积分割、复合对象、关键点检测、关键点映射、二维/三维和六自由度对象姿态、姿态估计、回归网络、椭圆体回归、三维立方体估计、光学字符辨识、文本检测和/或伪影检测。

训练机器学习模型118可包括卷积神经网络(CNN)、支持向量机(SVM)、生成式对抗网络(GAN)，和/或利用监督、无监督和/或增强学习技术进行训练的其它类似类型的模型。例如，如本文所用，“机器学习模型”通常涵盖指令、数据和/或模型，该模型配置成接收输入并且将权重、偏差、分类或分析的一者或多者应用于该输入以生成输出。输出可包括例如输入的分类、基于输入的分析，与输入相关联的设计、进程、预测或建议，或任何其它合适类型的输出。机器学习系统或模型可利用训练数据进行训练，例如，经验数据和/或输入数据的样本，这些数据馈送至系统中以建立、调谐或修改该系统的一个或多个方面，例如权重、偏差、形成分类或聚类的标准，等等。训练数据可从内部或外部资源进行生成、接收和/或以其它方式获得。机器学习系统的多个方面可经由网络(例如神经网络)或经由任何合适配置对输入进行线性地、并行地操作。

机器学习系统的执行可包括一种或多种机器学习技术的部署，诸如线性回归、逻辑回归、随机森林、梯度提升机(GBM)、深度学习和/或深度神经网络(诸如，多层感知器(MLP)、CNN、递归神经网络)。可采用监督和/或无监督训练。例如，监督学习可包括提供训练数据和对应于训练数据的标记，例如，作为基准真相。训练数据可包括由人类技术人员和/或其他医疗保健专业人员所注释的医学图像。无监督方法可包括聚类、分类等。还可使用K均值聚类或K最近邻算法，它们可为监督的或无监督的。还可使用K最近邻算法和无监督聚类技术的组合。可使用任何合适类型的训练，例如随机训练、梯度提升训练、随机种子训练、递归训练、历时训练或批量训练等。另选地，增强学习可用于训练。例如，增强学习可包括训练与环境进行交互的代理，以基于环境的当前状态而做出决策，接收反馈(例如，基于决策准确性的正或负回报)，调整其决策以使得回报最大化，和再次重复直至损失函数得以优化。

训练机器学习模型118可由存储装置114进行存储，以允许系统116的随后检索和使用，例如，当接收医学图像进行处理时。在其它技术中，第三方系统可生成并训练多个训练机器学习模型118。服务器系统110可从第三方系统接收所训练机器学习模型118并且存储于存储装置114内。

成像系统130可包括实施多个不同成像模式的系统。例如，成像系统130的一者可为超声成像系统132。超声成像系统132可包括一个或多个探头134(例如，换能器)、图像计算装置136和显示器138，成像计算装置136通信地联接至探头134。一旦放置成接触待成像的解剖结构附近的患者皮肤(人类或动物)，则探头可将声波发射至患者体内并且接收从可由成像计算装置136创建的图像反射回来的声波。例如，探头134可基于该反射声波而生成电子信号，这些电子信号传送至成像计算装置136以生成图像。这些图像然后可呈现于显示器138上。探头134发送声波的频率和深度可为超声成像系统132的可调整设置。图像可为实况图像。超声成像系统132的控制可允许实况图像冻结并且捕获为静止图像。其它实例成像系统执行X射线成像、CT、MRI和/或PET系统。

在一些实例中，由成像系统130所生成的图像可经由网络120传送至用户计算装置140以用于医生观察。例如，在患者利用超声成像132进行成像之后(例如，通过有资格操作超声成像系统132的技术人员)，所生成图像可传送至用户计算装置140的一者或多者(例如，医生的计算装置)以用于初始分析。用户计算装置140可包括台式电脑、笔记本电脑、平板电脑、智能手机(例如，移动电话)、智能手表或其他电子可穿戴设备等。此外或另选地，由成像系统130所生成的图像可经由网络120传送至PAC系统150的一者以用于存储。

存储于超声成像系统132的成像计算装置136的存储器和/或用户计算装置140的存储器中的一个或多个指令的至少一部分可包括用于执行与系统116相关联的应用程序(例如，客户端应用程序)的指令，该应用程序配置成经由网络120与服务器系统110通信。作为一个例示性实例，随着患者正利用超声成像系统132进行成像，应用程序可在成像计算装置136上执行以允许由系统116所生成图像的实时处理。作为另一例示性实例，应用程序可在用户计算装置140上执行，并且用户(例如，医生)可选择先前捕获和存储的图像(例如，从PAC系统150)以用于由系统116进行处理。在一些实例中，应用程序能够捕获(例如，经由语音接口)并处理医生的语音命令。

此外，基于存储于存储器中的指令/信息、接收自环境100的其它系统的指令/信息等，成像计算装置136和/或计算装置140的一个或多个部件可生成或可引起生成一个或多个图形用户界面(GUI)，并且可引起GUI经由相应装置的显示器进行显示。GUI可为例如移动应用界面或浏览器用户界面，并且可包括文本、输入文本框、选择控件等。显示器可包括触摸屏或具有其它输入系统(例如，鼠标、键盘等)的显示器，这些输入系统用于用于管理相应装置的联系人和/或访客联系人以控制其功能。

网络120(环境100的一个或多个部件经由其通信)可包括一个或多个有线和/或无线网络，诸如广域网(“WAN”)、局域网(“LAN”)、个人区域网(“PAN”)、蜂窝网络(例如，3G网络、4G网络、5G网络等)，等等。在一种技术中，网络120包括互联网，并且提供于各种系统之间的信息和数据为在线的。“在线”可意指从远离联接至互联网的其它装置或网络的位置连接至或访问源数据或信息。另选地，“在线”可指代经由移动通信网络或装置而连接或访问电子网络(有线或无线)。利用一个或多个标准通信协议，服务器系统110、成像系统、计算装置140、PAC系统150和/或医学成像数据库160可经由网络120进行连接。

虽然在图1中示为独立部件，但应当理解，在一些实施例中，示例性环境100的系统中的部件或部件的部分可与一个或多个其它部件整合在一起或并入该一个或多个其它部件中。例如，显示器138可与超声成像系统的成像计算装置136等整合在一起。在一些实施例中，上文所讨论部件的一者或多者的操作或方面可分布于一个或多个其它部件之间。可使用示例性环境100的各种系统和装置的任何合适布置和/或整合。

在下述公开中，各种行为可描述为由图1的部件履行或执行，诸如服务器系统110、成像系统、计算装置140，或其部件。然而，应当理解，在各种实施例中，上文所讨论的示例性环境100的各种部件可执行指令或可履行行为，该行为包括下文所讨论的行为。由装置所执行的行为可视为由与该装置相关联的处理器、致动器等来执行。此外，应当理解，在各种实施例中，各种步骤可以以任何合适方式进行添加、省略和/或重新布置。

医学图像处理的高级概述

图2示出了由系统116所执行的示例性进程200的框图。当系统116接收输入202时，进程200可开始。输入202可包括解剖结构的一个或多个医学图像。医学图像可经由与系统116相关联的应用程序在网络120上进行接收，该应用程序在计算装置上运行，该计算装置诸如成像计算装置136和/或用户计算装置140。输入202然后可在步骤204进行预处理。作为预处理的一部分，任何相关健康数据可从医学图像进行提取(例如，去识别化)，并且医学图像可转换成无损图像格式，诸如便携式图形格式(PNG)。此外，在一些实例中，医学图像可通过生成式对抗网络(GAN)进行馈送以增加图像清晰度(例如，以使图像重构和去噪)。

然后，解剖结构的预处理医学图像可作为输入从存储于存储装置114中的多个机器学习模型118提供至训练机器学习模型118A。训练机器学习模型118可进行训练以预测以下项的至少一者：影响解剖结构的肌肉骨骼诊断；与一个或多个对象相关联的观察结果，诸如解剖结构的解剖特征，身体通常不存在的可干扰身体功能的特征，和/或插入至体内的异物；和/或与观察结果相关联的测量结果，诸如特征和/或异物的面积或体积。与对象相关联的观察结果可包括对象或所关注区域的识别和/或轮廓/视觉指示、对象的位置、对象的轨迹，和/或图像质量(例如，是否为给定对象的最佳图像，诸如适当图像深度、图像焦区和图像增益，以及声像伪影的识别，该声像伪影包括各向异性、阴影、折射阴影、后声增强或增加穿透、后混响和环降伪影)。训练机器学习模型118的一者或多者还可进行训练以推断给定诊断或介入过程的最佳图像帧捕获。

然后，由训练机器学习模型118A所输出的预测可在步骤206经历后处理以得到输出208。此外或另选地(如通过虚线所示)，由训练机器学习模型118A所输出的预测可作为输入从存储于存储装置114的多个机器学习模型118提供至另一训练机器学习模型118B，另一训练机器学习模型118B的输出也可在步骤206经历后处理以得到输出208。虽然训练机器学习模型118的仅一者或两者示出于进程200中，但在其它实例中，可实施任何数量的训练机器学习模型。

例如，基于训练机器学习模型118A和/或训练机器学习模型的预测，步骤206处的后处理可生成结果，以得到输出208。换句话讲，后处理步骤206将预测转变成由医生或其他医疗保健专业人员可用的信息格式和/或显示。示例性信息格式和/或显示可包括热图、叠加于图像上的文字、数字表格格式、排序表格格式、文本表格、高亮表格和/或条形图。在一些实例中，外部(例如，第三方)系统可用于生成结果。

一个实例结果可包括可视化，该可视化指示医学图像内的预测以协助医生执行诊断和/或介入。系统116可提供这些可视化以用于显示至计算装置，医学图像经由应用程序接收自该计算装置，诸如成像计算装置136或用户计算装置140。如先前所讨论，医学图像可在步骤204通过GAN进行馈送，以增加输入至训练机器学习模型的图像的清晰度。此外或另选地，医学图像可在步骤206通过GAN进行馈送以改善输出至医生或其它医疗保健专业人员的可视化输出质量。

所生成的另一实例结果可包括供医生注意的优先病例列表，例如其中突出严重度或分类的推断诊断应优先。所生成的另一实例结果可包括医学图像的预填入书面报告，以由医生审查和认证。此外，结果可包括通信的生成和传输，这些通信包括至临床环境的其他方的医学图像分析，诸如原始医生、患者、患者的护理人员或家庭成员、外科医生、理疗师，等等。

肌肉骨骼疾病的诊断预测

在患者的检查期间所捕获的诊断图像可促进疾病、损伤和/或病症的医生诊断，包括其任何分类(例如，类别、时期、阶段、等级等)。图3至图4所描述的技术包括训练和使用机器学习模型来诊断肌肉骨骼疾病。图5A和图5B描述了示例性机器学习模型，该示例性机器学习模型进行训练以诊断肩部损伤，诸如肩袖撕裂。

图3根据本文所提出的示例性技术示出了流程图，该流程图示出了示例性方法300以用于训练机器学习模型(例如，训练机器学习模型118的一者)来预测肌肉骨骼疾病的诊断。示例性方法300(例如步骤302至306)可通过系统116来执行。示例性方法300可包括下述步骤的一者或多者。

在步骤302，可接收多个标记训练医学图像(例如，经由网络120接收自医学成像数据库160)。训练医学图像可包括特定解剖结构的超声图像，该特定解剖结构可受一种或多种肌肉骨骼疾病影响。训练医学图像可标记医生的注释，这些注释至少指示图像中所存在的一种或多种肌肉骨骼疾病(如果有的话)。注释还可指示解剖特征(例如，骨、肌腱、韧带、肌肉、神经等)和/或干扰特征，这些特征通常不存在于体内并且可与图像中所存在的一种或多种肌肉骨骼疾病相关联。与肌肉、韧带和/或肌腱损伤相关联的实例干扰特征可包括出血、肌肉水肿、血肿、液体聚集、病变、疤痕、炎症、缺损、肌腱病、韧带病、肌腱炎和/或撕裂。与骨损伤相关联的实例干扰特征可包括应力性骨折、肌腱和韧带附着处的撕脱、胼胝形成、骨折不愈合、生长板损伤和/或肌腱的螺钉撞击。其它示例性干扰特征可包括与感染相关联的蜂窝组织炎和/或脓肿、关节炎(例如，类风湿性关节炎、银屑病关节炎、痛风或骨关节炎)、肌炎和糖尿病性肌肉梗塞、软组织异物(例如，木质、塑料、金属、玻璃、有机物和/或植物)、外周神经卡压、软组织肿块(例如，脂肪瘤、外周神经鞘瘤、血管异常、神经节囊肿、淋巴结和/或恶性软组织肿瘤)和骨肿块。此外，注释可指示这些特征的任一者的面积和/或体积。训练医学图像可经历预处理(类似于图2的步骤204所描述的预处理)。在一些实例中，作为预处理的一部分，可从训练医学图像提取或以其它方式识别注释，以形成独立于训练医学图像的标记。在其它实例中，注释可接收为独立于训练医学图像的标记。

对于某些类型的肌肉骨骼疾病，可存在用于给定类型疾病的多种分类。分类可包括类别、时期、阶段、等级，等等。例如并且如参考图5A更详细地描述，对于诊断肩部损伤(诸如肩袖病理)，肩袖可分类为正常(例如，在不存在病变的情况下)、肌腱炎、肌腱病、钙化性肌腱炎、钙化性肌腱病、分层、关节面撕裂、实质内撕裂、滑囊面撕裂或全厚度撕裂。类似损伤可对于解剖结构的任何部分进行分类，并且训练图像可包括每种分类的多个实例。例如，除了肩部损伤，损伤还可对于肘部、腕部、手部、手指、髋部、大腿、膝盖、踝关节、足部和/或小腿进行分类。如果所关注的肌肉骨骼疾病包括多种分类，那么所接收的标记训练医学图像可包括标记训练医学图像的子集，其中每个子集可对应于多种分类的相应分类。每个子集中的训练医学图像的对应标记可包括注释，这些注释还指示图像中所存在的肌肉骨骼疾病的多种分类的已知分类。

在步骤304，用于预测与影响解剖结构的肌肉骨骼疾病相关联的诊断的机器学习模型可利用多个标记训练医学图像进行生成并训练。例如，训练医学图像可输入至机器学习模型。机器学习模型可为本文先前所列出的实例类型的任一者。机器学习模型可预测与肌肉骨骼疾病相关联的诊断。在一些实例中，预测诊断可基于对象相对于与肌肉骨骼疾病相关联的给定解剖结构的预测识别。例如，钙化性肌腱炎的预测诊断可基于肩袖的肌腱上的预测钙沉积物。对于每个训练图像，机器学习模型可至少输出是否存在肌肉骨骼疾病的预测。此外，在预测诊断可基于对象相对于与肌肉骨骼疾病相关联的给定解剖结构的预测识别的情况下，所关注预测对象可作为机器学习模型的预测诊断(例如，肌腱上的钙沉积物)的补充或替代进行输出。在其它实例中，当该疾病包括多种分类时，对于每个训练图像，机器学习模型可输出每种分类的得分(例如，概率)，该得分表示训练医学图像示出肌肉骨骼疾病的相应分类的可能性。

为训练该机器学习模型，机器学习模型对于训练医学图像所输出的与肌肉骨骼疾病相关联的预测诊断可与对应于训练医学图像的标记相比较，以确定损失或误差。例如，第一训练图像的预测诊断可与由对应标记所识别的第一训练图像中的已知诊断相比较。机器学习模型可基于误差进行修改或变更(例如，可调整权重和/或偏差)，以提高机器学习模型的准确性。该进程可对于每个训练图像进行重复，或至少直至所确定损失或误差低于预定阈值。在一些实例中，训练图像和对应标记的至少一部分可保留并用于进一步验证或测试所训练机器学习模型。

为提供例示性实例，图5A为概念图500，概念图500示出了机器学习模型的训练进程以预测肩部损伤的诊断。关于诊断肩部损伤(诸如肩袖撕裂)，肩袖撕裂可分类为正常(例如，在不存在撕裂的情况下)、关节面撕裂、实质内撕裂、滑囊面撕裂或全厚度撕裂。因此，用于生成和训练机器学习模型以预测肩袖撕裂的诊断的标记训练医学图像可包括对应于每种相应类别的标记训练医学图像的子集。例如，第一子集502可包括无肩袖撕裂的肩部图像，第二子集504可包括关节面撕裂的肩部图像，第三子集506可包括滑囊面撕裂508的肩部图像，第四子集510可包括全厚度撕裂的肩部图像。上文所描述子集中的每一个中所包括的示例性数量的图像和每个子集在总图像中的表示(例如，百分比)示出于表512中。表512还包括训练集中所使用的每个子集中的图像数量相对于验证集中所保留数量的明细。

返回至图3，一旦机器学习模型进行充分地训练，则在步骤306，训练机器学习模型供可存储以用于后续使用(例如，作为存储于存储装置114中的训练机器学习模型118的一者)。在一些实例中，训练机器学习模型可为单个机器学习模型，该机器学习模型生成并训练以预测影响给定解剖结构的多种不同肌肉骨骼疾病的诊断。在其它实例中，示例性方法300可执行以生成并训练机器学习模型的集合，其中每个模型预测影响给定解剖结构的特定肌肉骨骼疾病的诊断(例如，一个模型用于识别肩袖撕裂，一个模型用于识别肩袖的钙化性肌腱炎，等等)。当部署用以评估解剖结构的医学图像时，机器学习模型的集合可并行运行。

图4根据本文所提出的示例性技术示出了流程图，该流程图示出了示例性方法400以用于预测肌肉骨骼疾病的诊断。示例性方法400(例如，步骤402至408)可由系统116执行。示例性方法400可包括下述步骤的一者或多者。

在步骤402，解剖结构的医学图像可接收自计算装置。医学图像可为超声图像，或本文所讨论的任何成像模式的图像，并且计算装置可包括超声成像系统132的用户计算装置140或成像计算装置136。例如，计算装置可执行与医学图像处理系统110相关联的应用程序(例如，客户端应用程序)。在一些方面，医学图像可为先前捕获和存储的图像，该图像选自计算装置的本地存储或远程数据存储系统(例如，PAC系统150)并且经由应用程序传送至系统116。在其它方面，医学图像可为实时捕获(例如，当患者正进行成像时，由超声成像系统132所捕获)的实况图像，并且经由应用程序传送至系统116。在一些实例中，用户还可经由应用程序的用户界面选择肌肉骨骼疾病的类型，该类型可影响医学图像中所捕获的解剖结构。肌肉骨骼疾病的类型可基于患者所报告的症状和/或医生在体检和/或医学图像的初步审查时所检测的体征进行选择。

在步骤404，医学图像可作为输入提供至训练机器学习模型，以用于预测与影响解剖结构的肌肉骨骼疾病相关联的诊断，诸如使用参考图3所描述的方法300所训练的机器学习模型。在其中示例性方法300用于生成并训练机器学习模型的集合的实例中，医学图像可作为输入提供至并行运行的机器学习模型集合的每个机器学习模型。在一些实例中，当肌肉骨骼疾病的类型由医生选择时，可仅运行训练用以识别肌肉骨骼疾病类型的机器学习模型(例如，以节省计算资源)。

在步骤406，预测诊断可接收自训练机器学习模型。在一些实例中，预测诊断可至少包括医学图像中肌肉骨骼疾病的存在或不存在的指示。对于分类的肌肉骨骼疾病，预测诊断还可指示预测分类。此外或另选地，在其中预测诊断可基于对象相对于与肌肉骨骼疾病相关联的给定解剖结构的预测识别的实例中，预测诊断可包括所识别的预测对象(对象的识别在下文更详细地讨论)。此外或另选地，预测诊断可具有相关分数，该相关分数表示与预测相关联的置信度。类似地，如果肌肉骨骼疾病包括分类，那么预测诊断可包括每种分类的分数，该分数表示医学图像示出肌肉骨骼疾病的相应分类的可能性，其中具有最高分数的分类可为预测诊断。

在步骤408，医学图像和预测诊断可提供至计算装置以用于显示。例如，医学图像和预测诊断可经由在计算装置(例如，用户计算装置140和/或成像计算装置136)上执行的应用程序来接收，并显示于应用程序的用户界面内，例如图5B中所示的示例性用户界面。

图5B示出了显示肩部损伤的预测诊断的实例应用程序用户界面550。应用程序用户界面550可为与系统116相关联的应用程序的用户界面，该应用程序在计算装置上执行，诸如用户计算装置140和/或成像计算装置136。多个机器学习模型118的一者可生成并训练以利用参考图5A所描述的示例性训练医学图像来预测肩袖撕裂的诊断。肩部的肩袖的医学图像(诸如医学图像552)可由系统116接收以用于处理(例如，利用示例性方法400)。医学图像552可包括肩袖结构的组织、肌肉和肌腱，和特别地冈上肌/肌腱复合体。一旦处理，则系统116可至少将医学图像552和预测诊断554提供至应用程序，以用于显示于应用程序用户界面550中。例如，预测诊断554可指示撕裂，并且可包括全厚度撕裂的预测分类。

此外，可显示与预测诊断554相关联的分数556。分数556可指示肌肉骨骼疾病的预测诊断554存在于医学图像552内的可能性或概率。分数556可协助医生的诊断进程。例如，当存在对应于(或至少不矛盾)医生能够亲眼所见的预测诊断554的分数556的高数值时，医生在诊断进程中将预测诊断554用作一个因数可更有信心。此外，对于诸如具有多种分类(例如，类别)的肩袖撕裂的肌肉骨骼疾病，列出分类560的每一者和相关分数562的表558或其它类似图形元件可显示于用户界面550上。例如，如表558所示，医学图像552示出正常肩袖(无撕裂)、关节面撕裂、基底内撕裂、滑囊面撕裂或全厚度撕裂的相应分数可包括在内以用于显示。

上文所描述的应用程序用户界面550仅提供为实例，并且可包括相比于图5B所示的额外、较少、不同或差别布置的信息。

上文参考图3至图5B所描述的肌肉骨骼疾病诊断的通用技术可具有多个可能特定应用程序或使用案例，如下文更详细地描述。例如，类似技术可用于识别医学图像内的对象，以促进(引导)关节、肌肉、肌腱和韧带的整形外科手术。此外或另选地，上述技术可用于非手术矫形或骨科手法治疗，其可包括临床医生的治疗技术(诸如拉伸、轻压和阻力)，如治疗医生对于患者所施用。虽然超声图像在上述技术中为输入至训练机器学习模型的图像模式，但在其它技术中，另一医学成像模式的数字图像(诸如CT扫描仪的图像、X射线图像等)可用于诊断患者身体的其它区域的损伤，诸如脑部损伤、骨损伤等。

诊断或介入观察结果：对象识别、测量和可视化

图6至图7所描述的技术包括训练和使用机器学习模型来识别解剖结构的医学图像内的对象。对象可例如包括解剖结构的解剖特征、身体通常不存在的可干扰身体功能的特征，和/或在过程期间所插入的异物。对象识别可用于诊断，以及当引导诊断后介入时可用。此外，出于计费目的，医生需要提交具有其中所识别的特定对象的图像，以提供给定过程的证明。例如，当执行针活检过程时，包括其中所识别针的图像可提交为计费文件的一部分。

一旦识别了对象，则还可确定与对象相关联的测量结果，诸如对象的面积和/或体积。测量结果可有助于医生确定病理是否正常和异常，并可用于肌肉骨骼疾病的诊断进程。此外，通过随时间而获得所关注对象的测量结果(例如，在后续患者就诊期间)，患者与肌肉骨骼疾病相关联的进展和/或退变可由医生进行跟踪。例如，对于腕管，正中神经的区域可为可用诊断指标，并且可随着时间进行监测以确定腕管是否正在退变(例如，治疗后)。作为另一实例，对于肩袖撕裂，与骨分开的肌腱体积可随着时间进行监测以确定损伤是否正在退变(例如，治疗后)。作为另一实例，在识别身体中通常不存在且可干扰身体功能的干扰特征(诸如神经节囊肿、渗出物、钙沉积物、肿块、病变等)之后，可以手术方式移除该结构的至少一部分并且可捕获术后图像。该特征在术前和术后图像中的测量结果可通过系统进行自动地比较以提供移除了所关注对象的量的客观证据。例如，先前成像会话的图像可与当前成像会话的图像自动地共配准。多个共配准点可自动地识别，并且可由用户在图像组的至少一者中指示的对应对象可在以往和当前图像组中进行识别。先前图像组中的钙沉积物可与当前成像会话中的相同钙沉积物自动地相关联，并且可自动地测量以确定疾病的进展或退变。在一些情况下，对象(诸如囊肿或肿块)可由于手术或其它过程而从当前会话的图像完全地消失。在这种情况下，系统可自动地确定：作为先前成像会话中的所关注对象的对象不再存在。

在一些实例中，识别对象可输入至另一进程。例如，如图8至图9所示，机器学习模型可进行训练和使用以确定医学图像是否为识别对象的最佳图像(例如，是否为该对象的最佳观察角度)，并且预测探头的取向，该探头捕获以该观察角度所得到的图像。如果医学图像不是最佳图像，那么用以捕获所关注识别对象的更优化图像的建议探头移动可基于预测探头取向(例如，当前探头取向)和与最佳图像捕获相关联的学习探头取向进行确定。

另外，如参考图10所示和所描述，用以指示识别对象和与该对象相关联的任何测量结果的可视化可提供用于显示。此外，如果医学图像确定对于识别对象的一者或多者为非最佳的，那么可视化还可包括方向指标，该方向指标指示所建议探头移动以捕获更优化图像。

返回至图6，流程图示出了根据本文所提出的示例性技术的示例性方法600，该示例性方法600以用于训练机器学习模型(例如，训练机器学习模型118中的一者)来识别解剖结构的医学图像内的对象。示例性方法600(例如，步骤602至606)可通过系统116来执行。示例性方法600可包括下述步骤中的一者或多者。

在步骤602，可接收多个标记训练医学图像(例如，经由网络120接收自医学成像数据库160)。训练医学图像可包括特定解剖结构的超声图像。训练医学图像可标记医生的注释，这些注释指示相应图像内的多个对象。注释对象可包括解剖结构的解剖特征，诸如骨、肌腱、韧带、软骨、肌肉、神经、静脉、动脉等。标注对象还可包括解剖结构中通常不存在的可干扰身体功能的特征(例如，干扰特征)，诸如神经节、钙沉积物、渗出物、撕裂、肿块、病变、限制、撞击、压迫等。注释对象还可包括异物，诸如膨胀式球囊、针、刀、手术刀、狭长物、支架、血管内装置、导管、手术器械等，这些异物可作为过程的一部分插入体内。另外，注释可指示上文所描述对象的任一者的面积和/或体积。训练医学图像可表示各种不同类型的对象。例如，训练图像的第一子集可包括神经节，第二子集可包括钙沉积物，第三组可包括膨胀式球囊，第四组可包括针等。在一些实例中，训练医学图像还可标记注释，这些注释表示与相应图像中对象的一者或多者相关联的测量结果。例如，图像可以以对象的面积和/或体积进行注释。在其中对象的体积对于给定对象进行注释的实例中，对于给定训练图像可存在图像序列子集，其中该图像序列子集内的每个图像可以以超声成像系统132的不同深度和频率设置来捕获，而无需移动探头134的位置。

训练医学图像可经历预处理(类似于图2的步骤204所描述的预处理)。在一些实例中，作为预处理的一部分，可从所接收训练医学图像提取或以其它方式识别注释，以形成独立于训练医学图像的标记。在其它实例中，注释可接收为独立于训练医学图像的标记。训练医学图像的对应标记可包括所注释对象的每一者的已知类型。

在步骤604，用于识别对象的机器学习模型可利用多个标记训练医学图像进行生成并训练。例如，训练医学图像可输入至机器学习模型。机器学习模型可识别训练医学图像内的一个或多个对象。在一些实例中，机器学习模型还可预测与对象相关联的测量结果(例如，面积和/或体积)。

为训练该机器学习模型，机器学习模型对于训练医学图像的输出可与对应于训练医学图像的标记相比较，以确定损失或误差。例如，第一训练图像内所识别的对象可与由对应标记所识别的已知对象类型相比较。此外，当预测包括与所识别对象相关联的测量结果时，对于在第一训练图像内所识别的对象所预测测量结果可与第一训练图像中由对应标记所识别的已知对象类型的已知测量结果进行比较。机器学习模型可基于误差进行修改或变更(例如，可调整权重和/或偏差)，以提高机器学习模型的准确性。该进程可对于每个训练图像进行重复，或至少直至所确定损失或误差低于预定阈值。在一些实例中，训练图像和对应标记的至少一部分可保留并用于进一步验证或测试所训练机器学习模型。

一旦机器学习模型进行充分地训练，则在步骤606，训练机器学习模型供可存储以用于后续使用(例如，存储于存储装置114中)。在一些实例中，训练机器学习模型可为单个机器学习模型，该机器学习模型生成并训练以识别不同对象类型的每者，这些对象可存在于解剖结构的医学图像内。在其它实例中，示例性方法600可执行以生成并训练机器学习模型的集合，其中每个模型识别特定类型的对象(例如，一个系统用于识别神经节，另一系统用于识别钙沉积物，等等)。当部署用以评估解剖结构的医学图像时，机器学习模型的集合可并行运行。

图7根据本文所提出的示例性技术示出了流程图，该流程图示出了示例性方法700，该示例性方法700用于识别解剖结构的医学图像内的对象。示例性方法700(例如，步骤702至708)可通过系统116来执行。示例性方法700可包括下述步骤的一者或多者。

在步骤702，解剖结构的医学图像可接收自计算装置。医学图像可为超声图像，并且计算装置可包括超声成像系统132的用户计算装置140或成像计算装置136。例如，计算装置可执行与医学图像处理系统110相关联的应用程序(例如，客户端应用程序)。在一些方面，医学图像可为先前捕获和存储的图像，该图像选自计算装置的本地存储或远程数据存储系统(例如，PAC系统150)并且经由应用程序传送至系统116。在其它方面，医学图像可为实时捕获(例如，当患者正进行成像时，由超声成像系统132所捕获)的实况图像，并且经由应用程序传送至系统116。在一些实例中，可接收一个以上的医学图像(例如，可接收以各种深度和频率组合所捕获的解剖结构的图像序列子集)。

在一些实例中，医生还可经由应用程序的用户界面选择他们将希望确认存在和/或将希望在图像之间加以区分的一种或多种特定类型的对象。作为一个例示性实例，对于某些手术，膨胀式球囊可插入体内，该膨胀式球囊填充流体(诸如生理盐水)以在手术期间使球囊膨胀。对于医生的眼睛而言，可能难以对超声图像中的球囊和另一特征(诸如神经节)之间进行区分。因此，医生可选择球囊作为特定关注对象，以促进针的引导以在手术期间以流体填充该球囊(而非诸如神经节的特征)。例如，在接收医生的选择时，球囊(而非神经节)可与针一起在视觉上进行强调(例如，突出显示)，其中该针可以与球囊类似但可区分的方式(例如，以不同的颜色突出显示)进行可视化，并且因而向观察者表示球囊和针的相对位置和/或取向。

在步骤704，医学图像可作为输入提供至训练机器学习模型(例如，训练机器学习模型118的一者)，诸如使用参考图6所描述的方法600所训练的训练机器学习模型。在其中示例性方法600用于生成并训练机器学习模型的集合的实例中，医学图像可作为输入提供至并行运行的机器学习模型集合的每个机器学习模型。在一些实例中，当关注对象的一种或多种特征类型由医生来选择时，可仅运行训练用以识别那些特定类型的关注对象的机器学习模型(例如，以节省计算资源)。

在步骤706，一个或多个识别对象的预测可接收自训练机器学习模型。此外，预测可具有相关分数，该相关分数表示与该预测相关联的置信度(例如，每种类型的识别对象实际上为医学图像中的对象的可能性)。在一些实例中，机器学习模型还可进行训练以输出与识别对象的一者或多者相关联的测量结果，诸如面积和体积。面积可表示对象的横截面积，并且系统可指导用户移动探头134，以获得最佳角度来获得横截面积。在其中对所识别对象的一者或多者的体积进行预测的实例中，多个医学图像可在步骤702进行接收并在步骤704输入至模型(例如，以各种深度和频率组合所捕获的解剖结构的图像序列子集)，以允许体积预测。在此类实例中，预测还可包括与识别对象相关联的预测测量结果。

在步骤708，预测的指示可提供至计算装置以用于显示(例如，经由在计算装置140和/或成像计算装置136上执行的应用程序)。例如，可视化可在参考图2所描述的后处理步骤206处基于该预测而生成。该可视化可标记、突出显示或以其它方式强调在医学图像内所识别的对象，并且该可视化可提供用于在应用程序用户界面内的显示。此外，该可视化可包括与每个对象的预测相关联的分数。另外，该可视化可包括与识别对象的一者或多者相关联的任何测量结果。示例性可视化在下文示出于图10中。

如上文所讨论，在一些实例中，机器学习模型可进行训练以输出与识别对象的一者或多者相关联的测量结果，诸如面积和体积。在其它实例中，与所识别的给定对象相关联的测量结果可独立于在步骤706所接收的预测而获得。作为一个非限制性实例，在一些方面，提供至计算装置(例如，在步骤708)的可视化还可包括应用程序用户界面内的追踪工具控制元件。追踪工具控制元件可为通过观察医学图像的医生可选择的，以在所显示医学图像中沿着对象的边界进行追踪。然后，系统116能够利用所追踪边界而确定对象的面积，并且将该对象面积提供至计算装置以用于显示。

作为另一非限制性实例，在一些方面，体积扫描成像可实施以确定对象的体积。例如，以不同深度和频率所捕获的解剖结构的多个超声图像可作为具有位置和取向的二维(2D)切片来接收。系统116可利用2D切片来重建对象的三维(3D)可视化，并且对象的体积可根据该3D可视化进行确定。然后，该体积可提供至计算装置以用于显示。

此外，在一些实例中，在显示具有识别对象的医学图像的可视化之后，操作者可选择将视觉锁定放置于识别对象的一者上(例如，用户的关注对象)，使得当操作者移动探头时，该识别对象在探头移动后的新医学图像内保持标记、突出显示或以其它方式强调。例如，操作者可在医学图像对应于待锁定对象的区域将触摸输入提供至计算装置的显示器。对象相对于捕获医学图像的探头位置(例如，当前探头位置)的位置可进行识别以用作基准。因此，通过在探头的运动之前了解对象相对于探头的第一位置(例如，基准)和确定探头的运动，该对象可为静止的，并且可确定对象相对于探头运动的第二位置。探头的运动可利用附接至探头的传感器进行检测，诸如加速度计、陀螺仪和/或惯性传感器。识别对象可在探头移动之后的新医学图像内的第二位置进行标记、突出显示或以其它方式强调。例如，视觉上锁定的识别对象可为病变或肿块，该病变或肿块将作为超声引导手术的一部分进行移除。因此，当探头在过程期间移动时，病变或肿块持续进行标记、突出显示或以其它方式强调，以使外科医生能够保持对该病变或肿块的观察。

图8根据本文所提出的示例性技术示出了流程图，该流程图示出示例性方法800，该示例性方法800用于训练机器学习模型(例如，训练机器学习模型118的一者)来识别解剖结构的医学图像内的所识别对象的最佳图像。示例性方法800(例如步骤802至806)可通过系统116来执行。示例性方法800可包括下述步骤的一者或多者。

在步骤802，可接收解剖结构的多个标记训练医学图像(例如，经由网络120接收自医学成像数据库160)。训练医学图像可包括图像内所注释的多个对象。注释对象可包括解剖结构的解剖特征，诸如骨、肌腱、韧带、软骨、肌肉、神经、静脉、动脉等。标注对象还可包括解剖结构中通常不存在的可干扰身体功能的特征，诸如神经节、钙沉积物、渗出物、撕裂、肿块、病变、限制、撞击、压迫等。注释对象还可包括异物，诸如膨胀式球囊、针、刀、手术刀、狭长物、支架、血管内装置、导管、手术器械等，这些异物可作为过程的一部分插入体内。

训练医学图像可表示图像内所注释的各种不同类型的对象。对于给定对象类型，包括该给定对象类型的训练医学图像的子集可包括图像内对象的多个不同观察角度的图像(例如，用于捕获图像的基于成像系统的探头取向的不同观察角度)。基于肌肉骨骼超声伪影(诸如各向异性、后增强或阴影、边缘伪影等)的存在或不存在，某些观察角度相比于其它者对于对象类型可为更优化的。以各向异性为实例，在组织的性质当从不同观察方向进行测量时改变的情况下，该组织为各向异性的。例如，当肌腱或韧带垂直于超声束进行成像时，可看到特征性高回声(视觉上显示为浅灰色)纤维外观。然而，当超声束相对于肌腱的长轴倾斜2度至3度时，正常高回声(浅灰色)消失，并且随着角度增加，肌腱变为更低回声的(深灰色)。一旦识别肌腱，则各向异性可进行校正以排除病理。

训练医学图像还可具有对应基准真相标记。例如，每个图像可标记为对象类型的已知最佳图像或已知非最佳图像。在一些实例中，当捕获训练医学图像时，基准真相标记还可包括探头的已知取向。训练医学图像还可经历预处理(类似于图2的步骤204所描述的预处理)。

在步骤804，机器学习模型可利用多个标记训练医学图像进行生成并训练，该机器学习模型用于预测医学图像是否为该医学图像内所识别对象的最佳图像。在一些实例中，还可生成并训练机器学习模型以预测用于捕获医学图像的相关探头取向。为训练该机器学习模型，机器学习模型对于训练医学图像所输出的预测可与对应于训练医学图像的基准真相标记相比较，以确定损失或误差。例如，第一训练医学图像的最佳或非最佳图像的预测可与训练医学图像的对应基准真相标记进行比较，该训练医学图像为其中对象的已知最佳图像或已知非最佳图像。此外，当预测输出还包括探头的预测取向时，该预测取向可与对应基准真相标记所包括的探头的已知取向相比较。机器学习模型可基于误差进行修改或变更(例如，可调整权重和/或偏差)，以提高机器学习模型的准确性。该进程可对于每个训练图像进行重复，或至少直至所确定损失或误差低于预定阈值。在一些实例中，训练图像和对应标记的至少一部分可保留并用于进一步验证或测试所训练机器学习模型。

一旦机器学习模型进行充分地训练，则在步骤806，训练机器学习模型供可存储以用于后续使用(例如，作为存储于存储装置114中的训练机器学习模型118的一者)。在一些实例中，训练机器学习模型可为单个机器学习模型，该机器学习模型生成并训练以预测解剖结构的医学图像是否为其中可包括的多个不同对象类型的最佳图像。在其它实例中，示例性方法800可执行以生成并训练机器学习模型的集合，其中每个模型预测解剖结构的医学图像是否为其中所识别的特定对象类型的最佳图像。当部署用以评估解剖结构的医学图像时，机器学习模型的集合可并行运行。在一些实例中，当识别对象的特定对象类型时(例如，接收为另一进程的输出，诸如方法700)，可仅运行训练用以预测解剖结构的医学图像是否为特定对象类型的最佳图像的机器学习模型，以节省计算资源。

图9根据本文所提出的示例性技术示出了流程图，该流程图示出了示例性方法900，该方法900用于确定医学图像是否为其中所识别对象的最佳图像。示例性方法900(例如，步骤902至912)可通过系统116来执行。示例性方法1900可包括下述步骤的一者或多者。

在步骤902，解剖结构的医学图像可接收自计算装置。医学图像可为超声图像，并且计算装置可包括超声成像系统132的用户计算装置140或成像计算装置136。例如，计算装置可执行与医学图像处理系统110相关联的应用程序(例如，客户端应用程序)。在一些实例中，医学图像可为先前捕获和存储的图像，该图像选自计算装置的本地存储或远程数据存储系统(例如，PAC系统150)并且经由应用程序传送至系统116。在其它实例中，医学图像可为实时捕获(例如，当患者正进行成像时，由超声成像系统132所捕获)的实况图像，并且经由应用程序传送至系统116。在一些实例中，用户还可经由应用程序的用户界面选择他们将希望确认存在和/或将希望在医学图像之间加以区分的一种或多种特定类型的对象。

在步骤904，医学图像可作为输入提供至第一训练机器学习模型，以获得一个或多个所识别对象的预测(例如，作为第一训练机器学习模型的输出)。第一训练机器学习模型可为进行训练并使用以识别参考图6和图7所描述的解剖结构的医学图像内的对象的机器学习模型。例如，第一训练机器学习模型可预测：超声图像内所识别的对象包括位于肩部肌腱上的钙沉积物。

在步骤906，医学图像可提供至第二训练机器学习模型，以用于识别该医学图像是否为所识别对象(例如，作为第一训练机器学习模型的预测而识别和接收的特定类型的对象)的最佳图像。第二训练机器学习模型可为利用参考图8所描述的方法800所训练的训练机器学习模型。继续上文实例，在所识别对象包括位于肩部肌腱上的钙沉积物的情况下，第二训练机器学习模型可进行训练以至少识别钙沉积物的最佳图像。

在步骤908，医学图像是否为所识别对象的最佳图像的预测可接收为第二训练机器学习模型的输出。在一些实例中，预测输出还可包括捕获医学图像的探头的预测取向(例如，得到所识别对象的最佳或非最佳的观察角度的当前探头取向)。

在步骤910，预测的指示可提供至计算装置以用于显示。例如，可视化可在参考图2所描述的后处理步骤206处基于该预测而生成。在一些实例中，如果医学图像预测为所识别对象的最佳图像，那么指令可提供至计算装置以引起正视觉指标以及医学图像的显示。在其它实例中，如果医学图像预测为所识别对象的非最佳图像，那么指令可提供至计算装置以引起提示的显示，该提示使操作者进行探头调整(例如，将探头重新取向)以允许所识别对象的最佳图像的捕获。

该提示可包括方向指令，以引导操作者根据预测取向而调整探头的当前取向来实现最佳图像捕获。例如，作为训练的一部分，训练机器学习模型可从标记训练医学图像学习与相应类型的识别对象的最佳观察角度(例如，得到最佳图像)相关联的探头取向。因此，与特定类型的识别对象的最佳图像捕获相关联的学习探头取向可与当前探头取向相比较，以生成方向指令来将当前探头取向调整至学习探头取向。在一些实例中，方向指令可为探头方向指标的形式，如参考图10所示。

图10为实例应用程序用户界面1000，实例应用程序用户界面1000显示了医学图像中所识别的对象和相关对象测量结果。应用程序用户界面1000可为显示于用户计算装置140和/或成像计算装置136上的应用程序的用户界面。机器学习模型(诸如利用参考图6所描述的示例性方法600所训练的机器学习模型)可生成并训练以识别肩部关节的超声图像内的对象。

患者肩部的超声图像可接收自应用程序以用于由系统116处理(例如，利用示例性方法600)来识别肌腱1004(例如，解剖特征)和钙沉积物1006(例如，身体通常不存在的可干扰身体功能的特征)，以及该超声图像内的其它对象。一旦处理，则系统116可向应用程序提供可视化，该可视化包括医学图像1002，肌腱1004和钙沉积物1006在医学图像1002中进行标记、突出显示或其它方式强调以用于经由应用程序用户界面1000显示。

此外，可显示与所识别对象(诸如钙沉积物1006)的一者或多者相关联的测量结果1008，测量结果1008作为训练机器学习模型的额外输出而获得或独立地获得(例如，利用上文所描述追踪技术来获得面积和/或利用容积扫描成像技术来获得体积)。在一些实例中，并且如所示，测量结果1008可结合钙沉积物1006一起显示为医学图像1002的注释。

另外，应用程序用户界面1000可包括探头方向指标1010，探头方向指标1010表明使超声成像系统132的探头134移动的方向以捕获钙沉积物1006的更优化图像(例如，相比于所显示的当前图像)。利用类似于参考图9所描述的示例性方法900的进程，可获得医学图像1002是否为钙沉积物1006的最佳图像的确定，以及在否的情况下，可获得探头的建议移动方向的确定。探头方向指标1010可包括箭头，这些箭头向超声成像系统132的操作者指示使探头134滑动(例如，向前、向后、向右和向左)和/或使探头134旋转。在一些实例中，探头方向指标1010可进行注释，使得指向建议移动方向的箭头可突出显示、闪烁或以其它方式在视觉上引起用户的注意。

上文所描述的应用程序用户界面1000仅提供为实例，并且可包括相比于图10所示的额外、较少、不同或差别布置的信息。

介入观察结果：器械位置和轨迹的预测和可视化

医生可在过程期间利用电子医学图像，例如以使插入患者体内的器械可视化来协助医生将该器械安全地引导至预期目标区域。器械可包括作为过程的一部分(诸如治疗或手术)插入体内的任何装置、工具或对象。例如，作为用以减少疼痛的治疗的一部分，医生可将含有类固醇的药物注射器针插入肩部肌肉中。在此类实例中，超声成像可由医生用于将该针引导至肌肉的特定区域中。此外，超声引导手术为越来越常见的。例如，肩部的超声引导针活检可执行以移除在肩部内所识别的肿块的至少一部分，来确定该肿块是否为癌性的、癌前的或良性的。

通常，用以定位的器械的重要部分为该器械的远侧端部(例如，最远离操作者的器械的末端或端部)，该器械用于对于身体的目标区域执行给定动作。例如，对于针活检，器械的远侧端部可为活检针的末端，该活检针从目标区域移除组织，诸如肿块或病变。因此，远侧端部的精确位置可为必需的，以防止该远侧端部作用于身体的不同非目标区域上(例如，以防止刺穿相邻器官)。目前，对于用以定位器械的远侧端部的超声成像装置的操作者，该操作者必需手动地操纵成像装置的探头(例如，通过使探头旋转、滑动或翘脚跟(heel-toeing))，直至探头的位置捕获其中操作者可看到器械的远侧端部处于体内位置的图像。随着器械朝向目标推进，操作者必须重复地执行这些操作以持续使器械的远侧端部可视化。

为改善当前手动技术，图11至图12所提出的技术描述了机器学习模型的训练和使用，该机器学习模型基于输入医学图像而在过程期间预测器械的位置(例如，实时)。此外，如图13至图14所描述，另一机器学习模型可进行训练并用于预测器械至预期目标的轨迹。可向医生显示包括重叠于医学图像上的器械的预测位置和轨迹的可视化，如图15所示。

图11根据本文所提出的示例性技术示出了流程图，该流程图示出了示例性方法1100，示例性方法1100用于训练机器学习模型(例如，训练机器学习模型118的一者)来预测器械的位置。示例性方法1100(例如，步骤1102至1106)可通过系统116来执行。示例性方法1100可包括下述步骤的一者或多者。

在步骤1102，可接收多个训练医学图像(例如，经由网络120接收自医学成像数据库160)。训练医学图像可包括其中存在器械的解剖结构的超声图像。例如，器械可为活检针。训练医学图像可包括图像序列子集。图像序列子集内的每个图像可以以超声成像系统132的不同设置来捕获，而无需移动探头134的位置。不同设置可包括各种深度和对应频率(例如，因为频率随着深度增加而设定为较低的)。例如，图像序列子集可包括以第一深度-频率组合所捕获的患者解剖结构的第一图像、以第二深度-频率组合所捕获的患者解剖结构的第二图像、以第三深度-频率组合所捕获的患者解剖结构的第三图像，等等。每个子集内的图像序列可包括以两种不同深度-频率组合所捕获的相同患者解剖结构的至少两个图像。

在一些实例中，训练医学图像可进行标记，使得监督学习技术可实施以在步骤1104生成并训练该机器学习模型。例如，图像可包括识别器械的至少一部分的注释。在一些实例中，所识别部分可至少包括器械的远侧端部。注释还可指示图像中所存在的解剖结构。在其它实例中，训练医学图像可未标记，并且无监督学习技术可实施以在步骤1104训练该机器学习模型。训练医学图像还可经历预处理(类似于图2的步骤204所描述的预处理)。

在步骤1104，用于预测器械的位置的机器学习模型可利用多个训练医学图像来生成并训练。例如，训练医学图像的第一图像序列子集可输入至机器学习模型。机器学习模型可预测该子集内所包括的器械的至少一部分的位置。在一些实例中，预测可包括器械的远侧端部的预测位置。例如，机器学习模型可识别图像中器械的至少一部分，然后确定该器械的取向和/或长度。

在一些实例中，当训练医学图像进行标记并且监督学习技术实施以训练该机器学习模型时，由机器学习模型对于训练医学图像所输出的器械的预测位置可与对应于训练医学图像的标记相比较，以确定损伤或误差。例如，第一图像序列子集中器械的预测位置可与第一图像序列子集内由对应标记所识别的器械至少一部分的已知位置相比较。机器学习模型可基于误差进行修改或变更(例如，可调整权重和/或偏差)，以提高机器学习模型的准确性。该进程可对于训练医学图像内的每个图像序列子集进行重复，或至少直至所确定损失或误差低于预定阈值。在一些实例中，训练图像内的图像序列子集的至少一部分和对应标记可保留并用于进一步验证或测试该训练机器学习模型。在其它实例中，当无监督学习技术实施以训练该机器学习模型时，对于给定图像序列子集，机器学习模型可从相应图像序列子集内的每个图像将器械的至少一部分提取为特征，并且基于识别为特征的器械(例如，利用聚类法)而识别子集中的图案。在监督或无监督实例中，一旦识别器械的至少一部分，则可确定远侧端部的位置。在一些实例中，远侧端部的确定还可通过其它信息来促进，诸如器械的已知长度或子集的图像序列的其它图像。

一旦机器学习模型进行充分地训练，则在步骤1106，训练机器学习模型供可存储以用于后续使用(例如，作为存储于存储装置114中的训练机器学习模型118的一者)。在一些实例中，训练机器学习模型可为单个机器学习模型，该机器学习模型生成并训练以预测与不同类型的器械(例如，具有不同形状、尺寸等的器械)相关联的器械位置。在其它实例中，示例性方法1100可执行以生成并训练机器学习模型的集合，其中每个模型预测与特定类型的器械(例如，针)相关联的器械位置。当部署用以评估医学图像时，机器学习模型的集合可并行运行。

图12根据本文所提出的示例性技术示出了流程图，该流程图示出了示例性方法1200，示例性方法1200用于预测器械的位置。示例性方法1200(例如，步骤1202至1208)可通过系统116来执行。示例性方法1200可包括下述步骤的一者或多者。

在步骤1202，器械的插入之后的一系列医学图像可接收自计算装置。医学图像序列可为超声图像的序列，并且计算装置可为超声成像系统132的成像计算装置136。例如，超声成像系统132可正在引导过程，该过程包括将器械插入患者体内以到达目标。一种实例过程可为针活检过程，其中针插入以到达目标肿块或病变以用于活检。为在过程期间向医生提供插入器械的可视化，超声成像系统132的探头134可用于以可调整频率和深度发送和接收声波，成像计算装置136可根据该声波创建图像。在一些实例中，长轴方法可执行以生成具有器械的长轴(LAX)视图的图像。例如，LAX视图可为插入体内的器械的纵向视图，其中器械的长度可为可视的。在步骤1202所接收的医学图像序列可包括由成像计算装置136根据声波所创建的至少两个医学图像，该声波由探头134以不同频率和深度来发送和接收，同时探头134的位置保持静止。

在一些实例中，系统116可将指令提供至成像计算装置136以引起音频或视觉提示的显示以用于超声成像系统132的操作者在器械的插入之后捕获医学图像的序列，并且该医学图像序列可响应于该提示而接收。例如，在成像计算装置136上运行的应用程序可包括用于定位插入体内的器械的器械定位特征，并且用以引起提示的显示的指令可响应于操作者选择器械定位特征而经由超声成像系统132的显示器138上的应用程序用户界面来提供并显示。在一些实例中，作为器械定位特征的选择的一部分，操作者还可提供额外输入，诸如器械的类型(例如，活检针)和/或器械的尺寸参数(例如，活检针的长度和/或直径)，这些类型和/或尺寸参数可用于方法1200的后续步骤。所显示的提示可向操作者指导各种深度和频率组合，声波由探头134以这些组合进行发送和接收以创建医学图像序列。例如，指令可包括第一深度和频率(声波由探头134以该第一深度和频率进行初始地发送和接收以创建序列的第一图像)、第二深度和频率(声波由探头134以该第二深度和频率进行后续地发送和接收以创建序列的第二图像)，等等。当操作者调整图像捕捉之间的深度和频率设置时，提示还可指导操作者将探头134保持位于相同位置。

在其它实例中，应用程序(例如，基于系统116的指令)可将信号提供至成像计算装置136，这些信号引起深度和频率的自动调整，声波由探头134以该深度和频率进行发送以允许医学图像序列的自动捕获。

在步骤1204，医学图像序列可作为输入提供至训练机器学习模型以用于预测器械的位置，诸如利用参考图11所描述的方法1100所训练的训练机器学习模型。在其中示例性方法1100用于生成并训练机器学习模型的集合的实例中，医学图像可作为输入提供至并行运行的机器学习模型集合的每个机器学习模型。在一些实例中，当器械类型由医生指示为器械定位特征选择的一部分时，可仅运行训练用以识别特定类型的器械的机器学习模型。此外，作为器械定位特征选择的一部分，操作者所输入的器械的任何尺寸参数可作为另一输入提供至训练机器学习系统。

在步骤1206，预测位置可作为输出接收自训练机器学习模型。预测位置可至少包括器械的远侧端部。预测位置还可包括器械的取向和/或长度。例如，机器学习模型可识别图像中器械的至少一部分，然后确定该器械的取向和/或长度。在一些实例中，从训练机器学习模型所输出的预测位置可随后作为输入提供至另一进程，诸如在下文参考图13和图14所详细描述的用于预测器械的轨迹的进程。

在步骤1208，器械的预测位置的可视化可提供至计算装置以用于显示。例如，可视化可在参考图2所描述的后处理步骤206处基于该预测而生成并且提供用于经由在成像计算装置136上执行的应用程序的显示。该可视化可示出器械的至少远侧端部相对于解剖结构的预测位置，以允许医生确认器械和解剖结构之间未发生意外接触。

在一些实例中，该可视化可包括同时示出器械的正交视图的至少两个医学图像。例如，第一图像可为器械的LAX视图，其中器械的长度为可视的，其中第一图像可为所接收图像序列的图像中的一者(例如，人眼更易于观察的给定深度和频率的图像)。第二图像可为器械与LAX视图正交的短轴(SAX)视图，使得仅器械的远侧端部为可视的。SAX视图可由相同探头同时捕获为LAX视图(在探头能够进行双平面成像的情况下)，和/或由超声成像系统132的不同探头同时捕获为LAX视图。在每个图像中，可视觉上指示器械的预测位置，和特别地器械的远侧端部的预测位置。下文图15示出了实例应用程序用户界面，该用户界面显示了具有两个医学图像的可视化，这两个医学图像示出了器械的正交视图。

在其它实例中，可视化可包括解剖结构的三维(3D)表示。3D表示可由医学图像序列来生成。此外，由训练机器学习模型所输出的器械的预测位置可用作生成进程的一部分，使得3D表示在视觉上指示器械的预测位置，和特别地指示器械的远侧端部。

在一些实例中，随着器械移动，当器械进一步插入体内以继续追踪器械的至少远侧端部时，示例性方法1200可重复。

如上文参考图11和图12所描述，训练机器学习模型可进行训练以接收在不同深度和频率(器械的位置根据该不同深度和频率进行预测)捕获的医学图像序列。例如，如果探头134对于所捕获给定图像未与器械的长轴对准，那么模型可仅学习/预测器械在给定深度/频率(图像以该给定深度/频率来捕获)的横截面的位置。因此，可能需要不同深度和频率的多个医学图像，以允许器械的完整长度通过训练机器学习模型来学习和预测。

在其它方面，机器学习模型可进行训练以利用一个医学图像来预测器械的位置(例如，在该医学图像当探头134与器械的长轴大体对准时进行捕获的情况下)。此外，如果探头134在当前捕获的医学图像中未与器械的长轴大体对准，那么提示可提供至操作者以调整探头的位置和/或取向来捕获具有器械的更佳观察角度(例如，示出器械的长轴的观察角度)的图像。例如，器械的图像是否最佳的确定和用于当图像为非最佳时使探头移动的建议方向的随后确定可利用上文参考图8至图9所描述的类似进程进行确定。一旦捕获具有器械的更佳观察角度的医学图像，则该医学图像可作为输入提供至机器学习模型，该机器学习模型进行训练以利用一个医学图像来预测器械的位置。

图13根据本文所提出的示例性技术示出了流程图，该流程图示出了示例性方法1300，示例性方法1300用于训练机器学习模型(例如，训练机器学习模型118的一者)来预测器械轨迹。示例性方法1300(例如步骤1302至1306)可通过系统116来执行。示例性方法1300可包括下述步骤的一者或多者。

在步骤1302，可接收多个标记训练医学图像(例如，经由网络120接收自医学成像数据库160)，该图像的每一者包括器械和器械目标。例如，训练医学图像可为患者解剖结构的超声图像，该超声图像包括在将器械插入患者之后的给定位置的器械和与解剖结构相关联的器械目标。训练医学图像可标记注释，这些注释识别解剖结构、器械、目标、所插入器械的进入角度(例如插入角度)、器械的至少远侧端部的位置(其接近目标)，和/或目标的位置。此外，训练医学图像的每一者可具有对应基准真相标记，该标记指示器械从该器械的远侧端部至目标的已知轨迹。

训练医学图像可经历预处理(类似于图2的步骤204所描述的预处理)。在一些实例中，作为预处理的一部分，可从训练医学图像提取或以其它方式识别注释，以形成独立于训练医学图像的标记。在其它实例中，注释可接收为独立于训练医学图像的标记。

在步骤1304，用于预测器械轨迹的机器学习模型可利用多个标记训练医学图像进行生成并训练。例如，包括器械和器械目标的训练医学图像可输入至机器学习模型。机器学习模型可预测器械从该器械的远侧端部至目标的轨迹。为训练机器学习模型，机器学习模型对于训练医学图像所输出的轨迹可与对应于训练医学图像的基准真相标记相比较，以确定损失或误差。例如，第一医学训练图像的预测轨迹可与器械从器械的远侧端部至目标的已知轨迹相比较，该目标由第一训练医学图像的对应基准真相标记来识别。机器学习模型可基于误差进行修改或变更(例如，可调整权重和/或偏差)，以提高机器学习模型的准确性。该进程可对于每个训练医学图像进行重复，或至少直至所确定损失或误差低于预定阈值。在一些实例中，训练医学图像和对应标记的至少一部分可保留并用于进一步验证或测试所训练机器学习模型。

一旦机器学习模型进行充分地训练，则在步骤1306，训练机器学习模型供可存储以用于后续使用(例如，作为存储于存储装置114中的训练机器学习模型118的一者)。在一些实例中，训练机器学习模型可为单个机器学习模型，该机器学习模型生成并训练以预测与不同类型的器械(例如，具有不同形状、尺寸等的器械)相关联的器械轨迹。在其它实例中，示例性方法1300可执行以生成并训练机器学习模型的集合，其中每个模型预测与特定类型的器械(例如，针)相关联的器械轨迹。当部署用以评估医学图像时，机器学习模型的集合可并行运行。

图14根据本文所提出的示例性技术示出了流程图，该流程图示出了示例性方法，该方法用于预测器械轨迹。示例性方法1400(例如，步骤1402至1412)可通过系统116来执行。示例性方法1400可包括下述步骤的一者或多者。

在步骤1402，可以从计算装置接收包括插入器械和器械目标的医学图像序列。该计算装置可为超声成像系统132的成像计算装置136。超声成像系统132可正在引导过程，该过程包括将器械插入患者体内以到达目标，诸如针活检过程，其中针插入以到达目标肿块或病变以用于活检。为在过程期间向医生提供插入器械的可视化，探头134可用于以可调整频率和深度发送和接收声波，成像计算装置136可根据该声波创建图像。在一些实例中，长轴方法可执行以生成具有器械的LAX视图的图像，如上文参考图12更详细地描述。在步骤1402所接收的医学图像序列可包括由成像计算装置136根据声波所创建的至少两个医学图像，该声波由探头134以不同深度和频率来发送和接收，同时探头134的位置或定位保持静止。

如参考方法1200的步骤1202所详细地描述，在一些实例中，医学图像序列可响应于提示而接收，该提示经由应用程序用户界面提供至操作者来以各种深度-频率组合捕获该序列的每个图像。该提示可在选择器械定位特征选择时进行显示，该选择还可引起操作者提供额外输入，例如器械的类型(例如活检针)和/或器械的尺寸参数(例如活检针的长度和/或直径)，这些参数可以用于方法1400的后续步骤中。在其它实例中，应用程序(例如，基于系统116的指令)可将信号提供至成像计算装置136，这些信号引起深度和频率的自动调整，声波由探头134以该深度和频率进行发送以允许医学图像序列的自动捕获。

在步骤1404，医学图像序列可作为输入提供至第一训练机器学习模型，以获得器械的预测位置。器械的预测位置可至少包括器械的远侧端部。第一训练机器学习模型可为进行训练并使用以预测参考图12和图13所描述的器械位置的机器学习模型。

在步骤1406，器械的插入角度可基于器械的插入位置和器械的预测位置(特别地，器械的远侧端部)进行确定。器械的插入位置可从医学图像序列进行提取。在一些实例中，作为跟踪特征选择的一部分，操作者还可输入器械的插入位置。

在步骤1408，医学图像序列、器械的预测位置和器械的插入角度可作为输入提供至第二训练机器学习模型以用于预测器械轨迹。任选地，提供为器械定位特征选择的一部分的器械的任何尺寸参数还可提供为输入。第二训练机器学习模型可为利用参考图13所描述的方法1300所训练的训练机器学习模型。在其中示例性方法1300用于生成并训练机器学习模型的集合的实例中，医学图像可作为输入提供至并行运行的机器学习模型集合的每个机器学习模型。在一些实例中，当器械类型指示为器械定位特征选择的一部分时，可仅运行训练用以识别特定类型的器械的机器学习模型。

在步骤1410，器械至目标的预测轨迹可接收为第二训练机器学习模型的输出。例如，预测轨迹可为从器械的远侧端部至目标的路径。在步骤1412，预测轨迹的可视化可提供至计算装置以用于显示。例如，可视化可在参考图2所描述的后处理步骤206处基于该预测而生成并且提供用于经由在成像计算装置136上执行的应用程序的显示(例如，在显示器138上)。

在一些实例中，可视化可包括同时示出器械的正交视图的至少两个医学图像。例如，第一图像可为器械的LAX视图，其中器械的长度为可视的，其中第一图像可为所接收医学图像序列的图像中的一者。在一些实例中，从该序列所选择的图像可为人眼最易于观察的给定深度和频率的图像。第二图像可为器械与LAX视图正交的短轴(SAX)视图，使得仅器械的远侧端部为可视的。SAX视图可由相同探头同时捕获为LAX视图(在探头能够进行双平面成像的情况下)，和/或由不同探头同时捕获为LAX视图。在至少包括LAX视图的第一图像中，器械的预测轨迹为视觉上可视的。此外，在第一和第二图像的每一者中，可视觉上指示器械的预测位置，和特别地器械的远侧端部的预测位置。下文图15示出了实例应用程序用户界面，该用户界面显示了具有两个医学图像的可视化，这两个医学图像示出了器械的正交视图。

在其它实例中，可视化可包括解剖结构的三维(3D)表示。3D表示可由医学图像序列来生成。此外，由训练机器学习模型所输出的器械的预测轨迹和/或器械的预测位置可用作生成进程的一部分，使得3D表示在视觉上指示器械至目标的预测轨迹和/或器械的预测位置，并且特别地指示器械的远侧端部。

当操作者移动探头134时，示例性方法1400可重复，以在整个过程中允许器械的位置和器械至目标的轨迹的连续可视化。

上文在图13和图14所描述的实例包括用于预测器械轨迹的第二机器学习模型的训练和实施，该第二机器学习模型独立于用于预测器械位置的第一机器学习模型，诸如图11和图12所描述的模型。在其它实例中，不同于训练并实施用于预测器械轨迹的第二机器学习模型，基于用于预测器械位置的第一机器学习模型的预测器械位置(例如，基于插入角度和器械的所确定取向和/或长度)，系统116可以以计算方式确定并且在视觉上投射器械轨迹。

图15为实例应用程序用户界面1500，实例应用程序用户界面1500显示了预测器械位置和轨迹。例如，在过程(诸如针活检过程)期间，应用程序用户界面1500可经由与系统116相关联的应用程序呈现于显示器138上，系统116在超声成像系统132的成像计算装置136上运行。用户界面1500可同时显示图像1502、1504，以及器械1506(诸如针)的正交视图。例如，第一图像1502可为器械1506的LAX视图，并且第二图像1504可为器械1506与LAX视图正交的SAX视图()，使得仅器械1506的远侧端部1508为可视的。在第一图像1502和第二图像1504的每一者中，可视觉上指示器械的远侧端部1508的位置，该位置利用参考图11所描述的示例性方法1100进行预测。例如，远侧端部1508可突出显示、遮蔽或着色，以区分远侧端部1508与器械1506的剩余部分。

此外，如第一图像1502所示，还可显示器械的目标1510(例如，进行针活检的肿块)和器械至目标1510的预测轨迹1512(例如，从远侧端部1508)。预测轨迹1512可基于参考图13所描述的示例性方法1300进行确定和提供。

另外，用户界面1500可包括探头方向指标1514，探头方向指标1514表明使超声成像系统132的探头134移动的方向，以例如捕获器械1506和特别地器械1506的远侧端部1508的更优化图像。探头方向指标1514可包括箭头，这些箭头向操作者指示使探头滑动(例如，向前、向后、向右或向左)和/或使探头旋转。探头方向指标1514可进行注释，使得指向建议移动方向的箭头可突出显示、闪烁或以其它方式引起操作者的注意。器械的图像是否最佳的确定和用于当图像为非最佳时使探头移动的建议方向的随后确定可利用上文参考图8至图9所描述的类似进程进行确定。

诊断或介入观察结果：解剖特征识别、可视化，以及探头—解剖结构对准

图16至图17所提出的技术描述了机器学习模型的训练和使用，该机器学习模型允许超声图像内所标记的解剖特征的实时识别和可视化，该超声图像通过超声成像系统132来显示(例如，经由显示器138)。此外，在所关注解剖特征的识别和可视化时，该解剖特征可进行标注以在超声成像系统132的探头134移动时将上下文感知成像提供至操作者。图16至图17所提出的技术描述了另一机器学习模型，该另一机器学习模型进行训练和使用以检测探头与解剖特征的对准，该解剖特征识别为例如参考图16至图17所描述的机器学习模型的输出。

为提供例示性实例，随着超声成像系统132的操作者将探头沿着正中神经移动至腕管时，由于腕管内深度的变化，人眼观察远侧腕管变得困难，因为该腕管分支成较小神经。例如，用以治疗腕管综合征的某些图像引导过程可包括尖锐工具(诸如刀)在患者身体的该区域的插入。显示用以引导过程的图像内所存在的解剖特征(例如，静脉、动脉、神经、肌腱、韧带、软骨、肌肉、骨等)的实时识别和视觉标记可增加医生的信心：刀相对于期望解剖特征(而非意外解剖特征)进行插入。

图16根据本文所提出的示例性技术示出了流程图，该流程图示出了示例性方法1600，示例性方法1600用于训练机器学习模型(例如，训练机器学习模型118的一者)来识别解剖特征。示例性方法1600(例如，步骤1602至1606)可通过系统116来执行。示例性方法1600可包括下述步骤的一者或多者。

在步骤1602，可接收多个训练医学图像(例如，经由网络120接收自医学成像数据库160)。训练医学图像可包括具有多个解剖特征的解剖结构的超声图像。例如，超声图像可为腕部的图像，并且解剖特征可包括骨、神经、韧带和/或肌腱(例如，取决于图像的视图)。在一些实例中，解剖特征的注释可为较广泛类别的解剖特征，诸如静脉、动脉、血管、骨、神经、韧带、肌腱、软骨等，而非该结构的特定解剖特征。换句话讲，继续其中图像为腕部图像的实例，该图像可以神经而非正中神经和以动脉而非尺动脉进行注释。对于多个不同类型的解剖结构(例如腕部、膝关节、肩关节等)，可接收训练医学图像。

训练医学图像可经历预处理(类似于图2的步骤204所描述的预处理)。在一些实例中，作为预处理的一部分，注释可作为特征从训练医学图像中提取或以其它方式从其移除，并且作为基准真相标记单独地存储，以用于在步骤804训练机器学习模型。另选地，注释可以与训练医学图像分开接收，但与训练医学图像相对应。

在步骤1604，用于识别解剖结构的目标图像中的多个解剖特征的机器学习模型可利用多个训练医学图像来生成并训练。例如，解剖结构的训练医学图像可输入至机器学习模型。机器学习模型可输出解剖结构的解剖特征，作为预测结果。

为训练该机器学习模型，该机器学习模型对于训练医学图像所输出的解剖特征可与对应于训练医学图像(例如，解剖特征的注释)的基准真相标记相比较，以确定损失或误差。例如，在解剖结构的第一训练图像内所识别的解剖特征可与解剖结构的第一训练图像内的已知解剖特征相比较，该第一训练图像通过对应基准真相标记内的注释来指示。机器学习模型可基于误差进行修改或变更(例如，可调整权重和/或偏差)，以提高机器学习模型的准确性。该进程可对于每个训练图像进行重复，或至少直至所确定损失或误差低于预定阈值。在一些实例中，训练图像和对应标记的至少一部分可保留并用于进一步验证或测试所训练机器学习模型。

一旦机器学习模型进行充分地训练，则在步骤1606，训练机器学习模型供可存储以用于后续使用(例如，作为存储于存储装置114中的训练机器学习模型118的一者)。在一些实例中，训练机器学习模型可为单个机器学习模型，该机器学习模型生成并训练以识别多个不同解剖结构中的解剖结构。在其它实例中，示例性方法1600可执行以生成并训练机器学习模型的集合，其中每个模型识别特定解剖结构的解剖特征(例如，一个模型可识别肩关节的解剖特征，另一模型可识别腕部的解剖特征，又一模型可识别膝关节的解剖特征，等等)。当部署用以评估医学图像时，机器学习模型的集合可并行运行。

图17根据本文所提出的示例性技术示出了流程图，该流程图示出了示例性方法1700，示例性方法1700用于使在医学图像中所识别的解剖结构的解剖特征可视化。示例性方法1700(例如，步骤1702至1708)可通过系统116来执行。示例性方法1700可包括下述步骤的一者或多者。

在步骤1702，解剖结构的医学图像(例如，目标图像)可接收自计算装置。该计算装置可为超声成像系统132的成像计算装置136。超声成像系统132可在检查和/或引导介入期间促进对患者的诊断。医学图像可由成像计算装置136从声波生成，该声波从探头134进行发送和接收并且经由例如与系统116相关联的应用程序来实时地接收，该应用程序在成像计算装置136上运行。在一些实例中，操作者还可经由应用程序用户界面输入正在成像的解剖结构类型(例如，腕部、肩关节、膝关节等)。

在步骤1704，医学图像可作为输入提供至训练机器学习模型以用于识别解剖结构的解剖特征，诸如利用参考图16所描述的方法1600所训练的训练解剖结构特征识别机器学习模型。在其中示例性方法1600用于生成并训练机器学习模型的集合的实例中，医学图像可作为输入提供至并行运行的机器学习模型集合的每个机器学习模型。在一些实例中，当解剖结构的类型由医生选择时，仅运行训练用以识别所选择解剖结构类型的解剖特征的机器学习模型(例如，以节省计算资源)。

在步骤1706，医学图像中所识别的解剖特征可作为输出(例如，作为预测)接收自训练机器学习模型。基于用于训练该机器学习模型的注释的详细程度，所识别解剖特征可为广泛种类的解剖特征(例如，神经、动脉、骨)，或可为给定解剖结构的特定解剖特征(例如，正中神经、尺动脉、副腕骨)。

在步骤1708，在医学图像内所识别解剖特征的可视化可提供至计算装置以用于显示。例如，可视化可在参考图2所描述的后处理步骤206处基于该预测而生成。在一些实例中，在可视化内所识别的解剖特征可利用视觉方案进行标记或彼此区分。例如，不同颜色、阴影、图案化和/或突出显示可用于每种类别的解剖特征。例如，第一颜色可用于识别骨，第二颜色可用于识别神经，第三颜色可用于识别肌腱，等等。下文图18示出了显示可视化的实例应用程序用户界面。解剖特征可在所有轴线上进行标记。

在一些实例中，由训练机器学习模型所识别和输出的解剖结构的解剖特征可作为输入提供至另一进程。一个实例进程可包括用于检测探头与所识别解剖特征的一者或多者的对准的进程，如下文参考图19和图20所描述。另一实例进程可促进上下文感知成像。例如，当操作者移动探头并且捕获解剖结构的后续图像时，在医学图像中所识别的一个或多个解剖特征可进行标注以用于继续观察。在一些实例中，操作者可例如经由应用程序而提供用以指示将标注用于继续观察的解剖特征的输入。例如，操作者可在医学图像对应于待标注的解剖特征的区域将触摸输入提供至计算装置的显示器。标注用于继续观察的相应解剖特征相对于与医学图像相关联的探头位置的位置可进行识别以用作基准。

解剖结构自身的位置为静止的。也就是说，仅探头在移动，而非患者体内的解剖结构。因此，通过在探头的运动之前了解该解剖特征相对于探头的第一位置(例如，基准)和确定探头的运动，可确定解剖特征相对于探头运动的第二位置。探头的运动可利用附接至探头的传感器进行检测，诸如加速度计、陀螺仪和/或惯性传感器。一旦确定，则解剖特征的第二位置可在对应医学图像(其在探头移动时生成)内进行视觉上指示。

图18为实例应用程序用户界面1800，实例应用程序用户界面1800显示了在解剖结构的医学图像1802内所识别的解剖结构的解剖特征的可视化1804。应用程序用户界面1800可为与系统116相关联的应用程序的用户界面，该应用程序116在计算装置上执行，诸如超声成像系统132的成像计算装置136。当超声成像系统132工作以使患者的解剖结构成像时，应用程序用户界面1800可显示于显示器138上，使得操作者(例如，医生)可观察可视化1804，同时继续使患者成像。在该例示性实例中，正进行成像的解剖结构可为患者的腕部。

在可视化1804内，在医学图像1082内所识别的腕部的解剖特征(例如，经由上文参考图17所描述的方法1700)可利用视觉方案进行标记或彼此区分。应用程序用户界面1800可包括图例1806或其它类似要素，以通知医生观察视觉方案的图像，该视觉方案用于标记所识别解剖特征的每一者。例如，在医学图像1802内所识别的腕部的解剖特征可包括神经1808、骨1810和肌腱1812等，并且每种类别的解剖特征可在医学图像1802内以不同轮廓方案进行标记。例如，如以图例所示，在医学图像1802内，第一轮廓图案可用于识别神经1808，第二轮廓图案可用于识别骨1810，并且第三轮廓图案可用于识别肌腱1812。在其它实例中，视觉方案(而非图案化)可基于颜色、阴影、突出显示和/或其它类似视觉方案。

上文所描述的应用程序用户界面1800仅提供为实例，并且可包括相比于图18所示的额外、较少、不同或差别布置信息和/或视觉方案。

图19根据本文所提出的示例性技术示出了流程图，该流程图示出示例性方法1900，示例性方法1900用于训练机器学习模型(例如，训练机器学习模型118的一者)来检测探头与在医学图像内所识别的解剖特征的对准。示例性方法1900(例如步骤1902至1906)可通过系统116来执行。示例性方法1600可包括下述步骤的一者或多者。

在步骤1902，可接收多个标记训练医学图像(例如，经由网络120接收自医学成像数据库160)。训练医学图像可包括具有多个解剖特征的解剖结构的超声图像，超声图像的每一者已由类似于超声成像系统132的超声成像系统生成。在一些实例中，训练医学图像可表示多个不同解剖结构。训练医学图像可包括至少一个或多个关注解剖特征的注释，诸如超声成像系统的探头将与之对准以获取最佳图像的解剖特征。作为一个例示性实例，对于最佳图像，探头可与关节的肌腱或韧带纤维(本文一般称为纤维)平行对准。纤维的矢状横截面积(例如，从纤维的横截面倾斜向下)随着探头接近与纤维平行(例如，直线)对准而减小。相反，随着探头移动远离直线对准，纤维的矢状横截面积再次增大。此外，训练医学图像可具有对应基准真相标记，这些基准真相标记指示一个或多个解剖特征是否与探头充分对准。在一些实例中，对应基准真相标记还可包括与探头相关联的取向细节，这些取向细节得到给定对准。

训练医学图像可经历预处理(类似于图2的步骤204所描述的预处理)。在一些实例中，作为预处理的一部分，可从训练医学图像提取或以其它方式识别注释，以形成独立于训练医学图像的标记。在其它实例中，注释可接收为独立于训练医学图像的标记。

在步骤1904，用于检测是否存在探头-解剖特征对准的机器学习模型可利用多个标记训练医学图像进行生成并训练。例如，解剖结构的训练医学图像可输入至机器学习模型。机器学习模型可输出探头是否与所关注的一个或多个解剖特征充分对准的预测。例如，输出可为存在充分对准的预测，或可为存在非充分对准的预测。在一些实例中，输出还可包括得到对准的探头的预测取向。

为训练该机器学习模型，机器学习模型对于训练医学图像所输出的对准预测可与对应于训练医学图像的基准真相标记相比较，以确定损失或误差。例如，第一训练医学图像的对准预测可与探头与所关注的一个或多个解剖特征(该解剖特征通过对应基准真相标记所识别)对准的已知充分性或不充分性相比较。此外，当对准预测输出还包括得到对准的探头的预测取向时，该预测取向可与对应基准真相标记所包括的探头的已知取向相比较。机器学习模型可基于误差进行修改或变更(例如，可调整权重和/或偏差)，以提高机器学习模型的准确性。该进程可对于每个训练图像进行重复，或至少直至所确定损失或误差低于预定阈值。在一些实例中，训练图像和对应标记的至少一部分可保留并用于进一步验证或测试所训练机器学习模型。

一旦机器学习模型进行充分地训练，则在步骤1906，训练机器学习模型供可存储以用于后续使用(例如，作为存储于存储装置114中的训练机器学习模型118的一者)。在一些实例中，训练机器学习模型可为单个机器学习模型，该机器学习模型生成并训练以预测多个不同解剖结构的探头-解剖特征对准。在其它实例中，示例性方法1900可执行以生成和训练机器学习模型的集合，其中每个模型预测是否存在探头和给定解剖结构的特定解剖结构的所关注解剖特征的对准(例如，一个模型用于检测肩关节的探头-解剖特征对准，另一模型用于识别腕部的探头-解剖特征对准，等等)。当部署用以评估解剖结构的医学图像时，机器学习模型的集合可并行运行。

图20根据本文所提出的示例性技术示出了流程图，该流程图示出了示例性方法2000，示例性方法2000用于检测探头与在解剖结构的医学图像内所识别的解剖结构的一个或多个解剖特征的对准。示例性方法2000(例如，步骤2002至2010)可通过系统116来执行。示例性方法2000可包括下述步骤的一者或多者。

在步骤2002，解剖结构的医学图像(例如，目标图像)可接收自计算装置。该计算装置可为超声成像系统132的成像计算装置136。超声成像系统132可在检查和/或引导介入期间促进对患者的诊断。医学图像可由成像计算装置136从声波生成，该声波从探头134进行发送和接收并且经由例如与系统116相关联的应用程序来实时地接收，该应用程序在成像计算装置136上运行。在一些实例中，操作者还可经由应用程序用户界面输入正成像的解剖结构类型(例如，腕部、肩关节、膝关节等)。

在步骤2004，医学图像可作为输入提供至第一训练机器学习模型，以获得在医学图像中所识别的解剖特征，作为第一训练机器学习模型的输出。第一训练机器学习模型可为用于识别参考图16和图17所描述的解剖结构的解剖特征的训练机器学习模型。

在步骤2006，以由第一训练机器学习模型所输出的所识别解剖特征所注释的医学图像可作为输入提供至第二训练机器学习模型，以用于预测是否存在探头-解剖特征对准。也就是说，第二训练机器学习模型可预测捕获医学图像的探头134是否与解剖结构的所关注一个或多个解剖特征对准。第二训练机器学习模型可为利用参考图19所描述的方法1900所训练的训练机器学习模型。在其中示例性方法1900用于生成并训练机器学习模型的集合的实例中，医学图像可作为输入提供至并行运行的机器学习模型集合的每个机器学习模型。在一些实例中，当解剖结构的类型由医生选择时，可仅运行(例如，基于该类型的解剖结构的所关注特定解剖特征而训练)训练用以预测与解剖结构类型相关联的探头-解剖特征对准的机器学习模型(例如，以节省计算资源)。

在一些实例中，在输入至第二训练机器学习模型之前，医学图像可以由第一训练机器学习模型所输出的所有识别解剖特征进行注释。在其它实例中，所接收的医学图像可仅以特定解剖特征(例如，得自所识别解剖特征)进行注释，该特定解剖特征为给定解剖结构的所关注解剖特征。

在步骤2008，对准预测可接收为第二训练机器学习模型的输出。对准预测可包括探头是否与解剖结构的关注解剖特征充分地对准或不充分地对准。此外，对准预测可包括得到对准或未对准的探头的预测取向。

在步骤2010，对准预测的指示可提供至计算装置以用于显示(例如，经由在成像计算装置136上执行的应用程序)。例如，可视化可在参考图2所描述的后处理步骤206处基于该对准预测而生成。作为一个实例，如果预测为探头与解剖结构的关注解剖特征充分地对准，那么正对准指标可重叠于医学图像上以通知操作者该探头对准，并且因而，正在捕获最佳图像。作为另一实例，如果预测为探头与解剖结构的关注解剖特征非充分地对准，那么负对准指标可重叠于医学图像上以通知操作者该探头未对准，并且因而，应捕获其它更优化图像。对准指标可包括文本、图形、动画和/或其组合。

在一些实例中，当探头未充分地对准并且对准预测还包括得到未对准的探头的预测取向时，方向指令可生成以引导操作者调整对应于预测取向的探头当前取向，以实现对准和最佳图像捕获。例如，作为训练的一部分，第二训练机器学习模型可从标记训练医学图像学习与探头-解剖特征对准相关联的探头取向。因此，与探头-解剖特征对准相关联的所学习探头取向可与当前探头取向相比较，以生成方向指令来将当前探头取向调整至学习探头取向。在一些实例中，方向指令可为探头方向指标的形式，该探头方向指标类似于上文参考图10和图15所讨论的探头方向指标。然后，随着探头进行重新取向(例如，响应于方向指令进行调整)，示例性方法2000可迭代重复。

为提供操作者体验(当方法2000正重复地执行时)的例示性实例，该操作者可以以第一取向、第二取向、第三取向等将探头134放置成接触患者的皮肤(例如，作为扫描运动的一部分)。当医学图像以每个取向进行捕获并且进行处理以预测探头-解剖特征对准(例如，经由方法2000的步骤)时，对准指标和/或方向指令可显示于显示器138上。返回至其中探头可与关节纤维平行对准以获得最佳图像的例示性实例，纤维的矢状横截面积随着探头接近与该纤维平行(例如，直线)对准而减小，并且随着探头移动远离直线对准而再次增大。继续该实例，当探头处于第一取向时，可指导操作者基于预测未对准而将探头重新取向至第二取向。在未对准的情况下，纤维的矢状横截面积具有对应于第一取向的医学图像内的第一面积。当处于第二取向时，可指导操作者基于在相对方向上的预测未对准而将探头重新取向至第三取向(例如，第一取向和第二取向之间的取向)。例如，在未对准的情况下，纤维的矢状横截面积具有对应于第二取向的医学图像内的第二面积，并且该第二面积可大于对应于第一取向的医学图像内的第一面积，从而指示操作者的重新取向在扫描期间超过了该对准。

诊断或介入观察结果：最佳图像捕获确定

图21根据本文所提出的示例性技术示出了流程图，该流程图示出了示例性方法2100，示例性方法2100用于训练机器学习模型(例如，训练机器学习模型118的一者)来识别最佳图像帧。示例性方法2100(例如，步骤2102至2106)可通过系统116来执行。示例性方法2100可包括下述步骤的一者或多者。

在步骤2102，可接收受肌肉骨骼疾病所影响的解剖结构的多个标记训练医学图像。训练医学图像可包括多个图像子集，这些图像子集对应于作为与肌肉骨骼疾病相关联的过程的一部分而获得的最少数量的图像类型。例如，图像子集内的每个图像对应于作为过程的一部分而获得的图像类型。在一些实例中，该过程可为诊断过程或治疗过程。待获得的图像类型可包括解剖结构内解剖特征的特定观察角度。作为一个例示性实例，该过程可为用于腕管综合征的诊断过程，其中腕部的至少三个图像将从第一观察角度、第二观察角度和第三观察角度来获得。在一些实例中，训练医学图像可表示与多种不同类型的肌肉骨骼疾病相关联的多个不同过程。

训练医学图像可以以解剖结构的解剖特征进行注释，从而至少包括将包括于一种或多种图像类型内的任何解剖特征。训练医学图像还可具有对应基准真相标记。例如，图像子集内的每个图像可标记为相应图像类型的最佳图像或非最佳图像。在一些技术中，基准真相标记还可包括得到最佳或非最佳图像的探头取向(例如，影响捕获观察角度)。训练医学图像可经历预处理(类似于图2的步骤204所描述的预处理)。在一些实例中，作为预处理的一部分，可从训练医学图像提取或以其它方式识别注释，以形成独立于训练医学图像的标记。在其它实例中，注释可接收为独立于训练医学图像的标记。

在步骤2104，用于预测每种图像类型的最佳图像的机器学习模型可利用多个标记训练医学图像来生成。为训练该机器学习模型，机器学习模型对于训练医学图像所输出的预测可与对应于训练医学图像的基准真相标记相比较，以确定损失或误差。例如，对应于第一图像类型的第一图像子集的第一训练医学图像的最佳或非最佳预测可与最佳或非最佳的训练医学图像的对应基准真相标记相比较。此外，当预测输出还包括探头得到最佳或非最佳图像的预测取向时，该预测取向可与对应基准真相标记所包括的探头的已知取向相比较。机器学习模型可基于误差进行修改或变更(例如，可调整权重和/或偏差)，以提高机器学习模型的准确性。该进程可对于每个训练图像进行重复，或至少直至所确定损失或误差低于预定阈值。在一些实例中，训练图像和对应标记的至少一部分可保留并用于进一步验证或测试所训练机器学习模型。

一旦机器学习模型进行充分地训练，则在步骤2106，训练机器学习模型供可存储以用于后续使用(例如，作为存储于存储装置114中的训练机器学习模型118的一者)。在一些实例中，训练机器学习模型可为单个机器学习模型，该机器学习模型生成并训练用以预测每种图像类型的最佳图像，该最佳图像对于与多种不同肌肉骨骼疾病相关联的多个不同过程而获得。在其它实例中，示例性方法2100可执行以生成和训练机器学习模型的集合，其中每个模型预测每种图像类型的最佳图像，该最佳图像对于与特定肌肉骨骼疾病相关联的特定过程而获得(例如，一个模型可预测用于诊断腕管所获得的每种图像类型的最佳图像，另一模型可检测在肩关节上所关注区域的针活检期间所获得的每种图像类型的最佳图像，等等)。当部署用以评估解剖结构的医学图像时，机器学习模型的集合可并行运行。

图22根据本文所提出的示例性技术示出了流程图，该流程图示出了示例性方法2200，示例性方法2200用于捕获最佳图像帧。示例性方法2200(例如，步骤2202至2210)可通过系统来执行。示例性方法2200可包括下述步骤的一者或多者。

在步骤2202，正执行的过程类型可接收自计算装置。计算装置可包括超声成像系统132的成像计算装置136，与系统116相关联的应用程序在成像计算装置136上执行。计算装置的用户可经由应用程序的用户界面而选择过程的类型。在一些实例中，在接收过程类型的选择时，应用程序可将指令提供至操作者，这些指令说明所选过程类型需要获得的最少组图像类型。此外，应用程序可提供指令，这些指令提示操作者将探头134放置成接触患者皮肤并且将探头134取向成捕获相应图像类型的医学图像(例如，相应图像类型为最少组图像类型中的一种图像类型)。在步骤2204，相应图像类型的医学图像可接收自计算装置(例如，为实时接收的实况图像)。

在步骤2206，相应图像类型的医学图像可作为输入提供至训练机器学习模型，诸如利用参考图21所描述的方法2100所训练的训练机器学习模型。在一些实例中，机器学习模型的集合(用于预测每种图像类型的最佳图像，该最佳图像对于与多种不同肌肉骨骼疾病相关联的多个不同过程而获得)可生成、训练并存储(例如，如方法2100所公开)于例如存储装置114中。在此类实例中，系统116可向存储装置114查询在步骤2202所接收的过程类型，以获得该过程类型需要获得的用于预测每种图像类型(例如，包括相应图像类型)的最佳图像的对应训练机器学习模型。

在步骤2208，医学图像是否为相应图像类型的最佳图像的预测可接收为训练机器学习模型的输出。在一些实例中，预测输出可包括得到最佳或非最佳图像的探头的预测取向。基于该预测，在步骤2210，指令可提供至计算装置(例如，成像计算装置136)，以引起该计算装置执行与医学图像相关联的行为或以提示操作者进行探头调整。

例如，如果医学图像预测为相应图像类型的最佳图像，那么提供至计算装置的指令可为引起该计算装置自动地冻结实况医学图像并捕获(例如，记录并保存)静态图像的命令。在其它实例中，不同于自动地执行这些行为的计算装置，指令可另选地引起向操作者显示用以执行这些行为的提示(例如，利用应用程序用户界面上的控制元件来冻结并捕获静态图像)。一旦捕获相应图像类型的静态图像，则步骤2204至2208可对于在步骤2202所接收的过程类型所需获得的最少组图像类型的下一图像类型进行重复。这种情况可继续，直至获得最少组图像类型中的所有图像类型的静态图像。

作为另一实例，如果医学图像预测为相应图像类型的非最佳图像，那么提供至计算装置的指令引起向操作者显示用以进行探头调整的提示(例如，将探头重新取向)，以允许相应图像类型的最佳图像的捕获。例如，该提示可包括方向指令，以引导操作者根据预测取向而调整探头的当前取向来实现最佳图像捕获。例如，作为训练的一部分，训练机器学习模型可从标记训练医学图像学习与相应图像类型的最佳图像相关联的探头取向。因此，与相应图像类型的最佳图像捕获相关联的学习探头取向可与当前探头取向相比较，以生成方向指令来将当前探头取向调整至该学习探头取向。在一些实例中，方向指令可为探头方向指标的形式，该探头方向指标类似于上文参考图10和图15所讨论的探头方向指标。然后，随着探头进行重新取向(例如，响应于方向指令进行调整)，示例性方法2200的步骤2204至2208可迭代重复，直至预测并捕获相应图像类型的最佳图像。

图23示出了可执行本文所提出技术的实例系统或装置2300。装置2300可包括中央处理单元(CPU)2320。CPU 2320可为任何类型的处理器装置，包括例如任何类型的专用或通用微处理器装置。如相关领域的技术人员将理解，CPU 2320还可为多核/多处理器系统(例如单独运行的系统)中的单个处理器，或在集群或服务器群中运行的计算装置集群中的单个处理器。CPU 2320可连接至数据通信基础设施2310，例如总线、消息队列、网络或多核消息传递方案。

装置2300还可包括主存储器2340，例如随机存取存储器(RAM)；并且还可包括辅助存储器2330。辅助存储器2330(例如，只读存储器(ROM))可为例如硬盘驱动器或可移动存储驱动器。此类可移动存储驱动器可包括例如软盘驱动器、磁带驱动器、光盘驱动器、闪存等。该实例中的可移动存储驱动器以众所周知方式从可移动存储单元读取和/或写入。可移动存储单元可包括软盘、磁带、光盘等，其由可移动存储驱动器进行读取和写入。如相关领域的技术人员应理解，此类可移动存储单元一般包括计算机可用存储介质(其中存储有计算机软件和/或数据)。

在另选实施方式中，辅助存储器2330可包括类似器具，以用于允许计算机程序或其它指令加载至装置2300中。此类器具的实例可包括程序盒和盒式接口(诸如视频游戏装置中所见)、可移动存储芯片(诸如EPROM或PROM)和相关插口，以及其它可移动存储单元和接口，它们允许软件和数据从可移动存储单元传输至装置2300。

装置2300还可包括通信接口(“COM”)2360。通信接口2360允许软件和数据在装置2300和外部装置之间进行传输。通信接口2360可包括调制解调器、网络接口(诸如以太网卡)、通信端口、PCMCIA插槽和卡，等等。经由通信接口2360所传输的软件和数据可为信号的形式，该信号可为电子信号、电磁信号、光学信号，或能够由通信接口2360接收的其它信号。这些信号可经由装置2300的通信路径提供至通信接口2360，该通信路径可利用例如线材或线缆、光纤、电话线、蜂窝电话链路、RF链路或其它通信通道来实施。

此类设备的硬件元件、操作系统和编程语言在本质上为常规的，并且据推测，本领域的技术人员对其十分熟悉。装置2300还可包括输入和输出端口2350以连接输入和输出装置，诸如键盘、鼠标、触摸屏、监测器、显示器等。当然，各种服务器功能可在多个类似平台上以分布方式实施，以分布处理负荷。另选地，服务器可通过一个计算机硬件平台的适当编程来实施。

在整个本公开中，对于部件或模块的引用通常指代可在逻辑上分组在一起来执行一种功能或相关功能组的物项。类似附图标号通常旨在指代相同或类似部件。部件和/或模块可以以软件、硬件，或软件和/或硬件的组合来实施。

上文所描述的工具、模块和/或功能可通过一个或多个处理器来执行。“存储”类型介质可包括计算机、处理器等或其相关模块的有形存储器的任一者或全部，诸如各种半导体存储器、磁带驱动器、硬盘驱动器等，该有形存储器可在任何时间向软件编程提供非暂态存储。

软件可通过互联网、云服务提供商或其它电信网络进行通信。例如，通信可允许将软件从一个计算机或处理器加载至另一者。如本文所用，除非限制于非暂态有形“存储”介质，否则诸如计算机或机器“可读介质”的术语指代参与将指令提供至处理器来执行的任何介质。

前述一般描述仅为示例性和解释性的，并且不限制本公开。考虑到本文所公开本发明的说明书和实践，其它实施例对于本领域的技术人员可为显而易见的。据预期，说明书和实例仅视为示例性的。

Claims (20)

1.一种用于处理超声图像来识别对象的系统，所述系统包括：

处理器；和

存储器，所述存储器联接至所述处理器并且存储指令，所述指令当由所述处理器执行时引起所述系统执行包括以下项的操作：

从超声成像系统的计算装置接收解剖结构的超声图像；

将所述超声图像作为输入提供至机器学习模型，所述机器学习模型进行训练以识别所述解剖结构的超声图像中的多个对象，所述多个对象包括解剖特征、干扰特征和/或器械；

从所述超声图像中所识别的所述多个对象接收一个或多个对象的预测，所述预测作为所述机器学习模型的输出；和

将所述预测的指示提供至所述计算装置以用于显示于所述超声成像系统的显示器上。

2.根据权利要求1所述的系统，所述操作还包括：

基于所述预测而生成可视化，所述可视化包括所述超声图像中所识别的所述一个或多个对象的标记；和

将所述可视化提供为所述指示。

3.根据权利要求1所述的系统，所述操作还包括：

确定与所识别的所述一个或多个对象的至少一者相关联的测量结果；和

提供所述测量结果以用于结合所识别的所述至少一个对象一起显示于所述超声成像系统的所述显示器上。

4.根据权利要求1所述的系统，其中所述机器学习模型为第一机器学习模型，并且所述操作还包括：

将所述超声图像作为输入提供至第二机器学习模型，所述第二机器学习模型进行训练以识别所述超声图像是否为通过所述第一机器学习模型所识别的所述一个或多个对象的最佳图像。

5.根据权利要求4所述的系统，其中当所述第二机器学习模型输出了所述超声图像为非最佳图像的预测时，所述操作还包括：

向操作者生成提示，以将所述超声成像系统的探头的取向从当前取向调整至所述第二机器学习模型所学习的新取向来捕获所识别的所述一个或多个对象的最佳图像；和

将所述提示提供至所述计算装置以用于显示于所述超声成像系统的所述显示器上。

6.根据权利要求1所述的系统，所述操作还包括：

接收操作者输入，所述操作者输入指示要从所述超声成像系统的所述计算装置进行识别的一个或多个对象类型；和

将所述一个或多个对象类型作为输入提供至所述机器学习模型，使得所述超声图像中所识别的所述一个或多个对象的所述预测至少包括所述一个或多个对象类型。

7.根据权利要求1所述的系统，其中所述超声图像在诊断过程期间被接收，所识别的所述一个或多个对象的所述预测包括解剖特征和相对于所述解剖结构的干扰特征，所述干扰特征指示肌肉骨骼疾病，并且所述预测的所述指示促进所述肌肉骨骼疾病的诊断，所述预测提供至所述计算装置以用于显示于所述超声成像系统的所述显示器上。

8.根据权利要求1所述的系统，其中所述超声图像在介入过程期间被接收，并且所述预测的所述指示引导所述介入过程，所述预测提供至所述计算装置以用于显示于所述超声成像系统的所述显示器上。

9.根据权利要求1所述的系统，其中所述解剖特征包括骨、肌腱、韧带、软骨、肌肉、神经、静脉和/或动脉。

10.根据权利要求1所述的系统，其中所述干扰特征包括神经节、渗出物、钙沉积物、肿块和/或病变。

11.根据权利要求1所述的系统，其中所述器械包括针、手术刀、刀、工具和/或球囊。

12.一种用于处理超声图像来识别对象的方法，所述方法包括：

从超声成像系统的计算装置接收解剖结构的超声图像；

将所述超声图像作为输入提供至机器学习模型，所述机器学习模型进行训练以识别所述解剖结构的超声图像中的多个对象，所述多个对象包括解剖特征、干扰特征和/或器械；

从所述超声图像中所识别的所述多个对象接收一个或多个对象的预测，所述预测作为所述机器学习模型的输出；和

将所述预测的指示提供至所述计算装置以用于显示于所述超声成像系统的显示器上。

13.根据权利要求12所述的方法，还包括：

基于所述预测而生成可视化，所述可视化包括所述超声图像中所识别的所述一个或多个对象的标记；和

将所述可视化提供为所述指示。

14.根据权利要求12所述的方法，还包括：

确定与所识别的所述一个或多个对象的至少一者相关联的测量结果；和

提供所述测量结果以用于结合所识别的所述至少一个对象一起显示于所述超声成像系统的所述显示器上。

15.根据权利要求12所述的方法，其中所述机器学习模型为第一机器学习模型，并且所述方法还包括：

将所述超声图像作为输入提供至第二机器学习模型，所述第二机器学习模型进行训练以识别所述超声图像是否为通过所述第一机器学习模型所识别的所述一个或多个对象的最佳图像。

16.根据权利要求15所述的方法，其中当所述第二机器学习模型输出了所述超声图像为非最佳图像的预测时，所述方法还包括：

向操作者生成提示，以将所述超声成像系统的探头的取向从当前取向调整至所述第二机器学习模型所学习的新取向来捕获所识别的所述一个或多个对象的最佳图像；和

将所述提示提供至所述计算装置以用于显示于所述超声成像系统的所述显示器上。

17.根据权利要求12所述的方法，还包括：

接收操作者输入，所述操作者输入指示要从所述超声成像系统的所述计算装置进行识别的一个或多个对象类型；和

将所述一个或多个对象类型作为输入提供至所述机器学习模型，使得所述超声图像中所识别的所述一个或多个对象的所述预测至少包括所述一个或多个对象类型。

18.根据权利要求12所述的方法，其中所述超声图像在诊断过程期间被接收，所识别的所述一个或多个对象的所述预测包括解剖特征和相对于所述解剖结构的干扰特征，所述干扰特征指示肌肉骨骼疾病，并且所述预测的所述指示促进所述肌肉骨骼疾病的诊断，所述预测提供至所述计算装置以用于显示于所述超声成像系统的所述显示器上。

19.根据权利要求12所述的方法，其中所述超声图像在介入过程期间被接收，并且所述预测的所述指示引导所述介入过程，所述预测提供至所述计算装置以用于显示于所述超声成像系统的所述显示器上。

20.一种存储指令的非暂态计算机可读介质，所述指令当由处理器执行时引起所述处理器执行用以处理超声图像来识别对象的操作，所述操作包括：

从超声成像系统的计算装置接收解剖结构的超声图像；

将所述超声图像作为输入提供至机器学习模型，所述机器学习模型进行训练以识别所述解剖结构的超声图像中的多个对象，所述多个对象包括解剖特征、干扰特征和/或器械；

从所述超声图像中所识别的所述多个对象接收一个或多个对象的预测，所述预测作为所述机器学习模型的输出；和

将所述预测的指示提供至所述计算装置以用于显示于所述超声成像系统的显示器上。