CN115666400A - 辅助用户执行医学超声检查 - Google Patents

Abstract

一种用于辅助用户执行医学超声检查的系统，包括存储器，所述存储器包括表示指令的集合的指令数据；处理器；以及显示器。所述处理器被配置为与所述存储器通信并执行指令的所述集合。指令的所述集合在由处理器执行时使所述处理器执行以下操作：i)在医学超声检查期间接收由超声探头捕获的超声图像的实时序列；ii)使用利用机器学习过程训练的模型，将超声图像的所述实时序列中的图像帧作为输入，并且输出所述图像帧中的一个或多个图像分量与正在执行的医学超声检查的预测的相关性；并且iii)在显示器上实时向用户突出显示由模型预测的与医学超声检查相关的图像分量，以供用户进一步考虑。

Description

辅助用户执行医学超声检查

技术领域

本文中的公开内容涉及超声成像。具体地，但非排他地，本文中的实施例涉及用于记录超声图像的系统和方法。

背景技术

超声成像(US)用于一系列医学应用，例如胎儿监测。医学超声成像涉及移动包含超声换能器的探头，所述超声换能器在皮肤上产生高频声波。高频声波穿过组织并从内表面(例如组织边界)反射。反射的波被检测并用于构建感兴趣内部结构的图像。

超声成像可用于创建二维或三维图像。在典型的工作流程中，用户(例如，超声医师、放射科医师、临床医师或其他医学专业人员)可以使用二维成像来定位感兴趣解剖特征。一旦特征在二维中被定位，用户就可以激活三维模式来拍摄三维图像。

本文中的实施例的一个目的是改进这些方法。

发明内容

超声医师接受过超声检查的培训，以采集捕获正常特征以及包含病理特征的图像帧。这些图像之后被放射科医师用于诊断。图像捕获和图像分析可以由不同的人执行的事实可能导致放射科医师需要的图像视图未被超声医师捕获。例如，经验不足的用户(超声医师)可能无法捕获具有相关诊断内容的足够高质量的图像(在深度、焦点、视图数量等方面)，因为他们训练不足，或者没有掌握放射科医师认为最重要的解剖特征和异常。这可能会导致时间和资源的浪费，尤其是在必须重复超声检查的情况下。本文中一些实施例的目的是改进这种情况。

因此，根据第一方面，存在一种用于辅助用户执行医学超声检查的系统，所述系统包括存储器、处理器和显示器，所述存储器包括表示指令的集合的指令数据。所述处理器被配置为与所述存储器通信并执行指令的所述集合。指令的所述集合在由处理器执行时使所述处理器执行以下操作：i)在医学超声检查期间接收由超声探头捕获的超声图像的实时序列；ii)使用利用机器学习过程训练的模型，将超声图像的所述实时序列中的图像帧作为输入，并且输出所述图像帧中的一个或多个图像分量与正在执行的医学超声检查的预测的相关性；并且在显示器上实时向所述用户突出显示由所述模型预测的与所述医学超声检查相关的图像分量，以供所述用户进一步考虑。

因此，根据该系统，可以实时引导用户对由使用机器学习过程训练的模型预测为与正在执行的医学超声检查最相关的解剖特征进行成像。这有助于确保用户不会错过对诊断过程重要的相关特征。

根据第二方面，存在一种辅助用户执行医学超声检查的方法。所述方法包括：在医学超声检查期间接收由超声探头捕获的超声图像的实时序列；使用利用机器学习过程训练的模型，将超声图像的所述实时序列中的图像帧作为输入，并且输出所述图像帧中的一个或多个图像分量与正在执行的医学超声检查的预测的相关性；并且在显示器上实时向所述用户突出显示由所述模型预测的与所述医学超声检查相关的图像分量，以供所述用户进一步考虑。

根据第三方面，存在一种训练用于辅助用户执行医学超声检查的模型的方法。所述方法包括：获得训练数据，所述训练数据包括：示例超声图像；以及针对每幅示例超声图像的真实情况注释，所述真实情况(ground truth)注释指示相应示例超声图像中的一个或多个图像分量与所述医学超声检查的相关性；并且基于所述训练数据来训练模型以预测超声图像中的一个或多个图像分量针对医学超声检查的相关性。

根据第四方面，提供了一种包括计算机可读介质的计算机程序产品，所述计算机可读介质具有包含在其中的计算机可读代码，所述计算机可读代码被配置为使得，在由合适的计算机或处理器执行时使所述计算机或处理器执行在第二方面中所描述的方法。

附图说明

为了更好地理解实施例，并且更清楚地示出它们如何被实施生效，现在将仅通过示例的方式参考附图，其中：

图1示出了根据本文中的一些实施例的示例系统；

图2图示了如在本文的一些实施例中使用的注视跟踪；

图3图示了根据本文的一些实施例的训练和使用神经网络模型的示例方法；

图4图示了根据本文的一些实施例的示例神经网络架构；

图5图示了根据本文中的一些实施例的示例系统；

图6图示了根据本文中的一些实施例的示例方法；并且

图7图示了根据本文中的一些实施例的示例系统。

具体实施方式

如上所述，一般而言，放射科医师和超声科医师之间可能很少有反馈交流。超声医师可能会遵循标准的成像检查协议，希望该标准足够广泛，以涵盖针对每个患者的诊断成像需求。放射科医师很少直接影响对特定患者进行诊断成像的方式。

此外，质量保证和超声医师绩效评估通常是有限的，并且主要通过认证/培训和直接监督来实现。

此外，便携式超声的使用正在增加，这可能导致在现场执行超声检查的训练有素的用户(例如急救人员等)较少。

本文实施例的目的是为超声成像设备的用户提供智能的实时图像解坊和引导辅助，以鼓励提高成像质量并促进没有经验的用户使用超声成像器。

图1图示了根据本文的一些实施例的用于记录超声图像的系统(例如装置)100。系统100用于记录(例如采集或拍摄)超声图像。系统100可以包括医学设备或者是医学设备的部分，例如超声系统。

参考图1，系统100包括处理器102，处理器102控制系统100的操作并且可以实现本文中所描述的方法。处理器102可以包括一个或多个处理器、处理单元、多核处理器或模块，其被配置或编程为以本文中所描述的方式控制系统100。在特定实现方式中，处理器102可以包括多个软件和/或硬件模块，每个软件和/或硬件模块被配置为执行或用于执行本文中描述的方法的单个或多个步骤。

简而言之，系统100的处理器102被配置为：i)在医学超声检查期间接收由超声探头捕获的超声图像的实时序列；ii)使用利用机器学习过程训练的模型，将超声图像的所述实时序列中的图像帧作为输入，并且输出所述图像帧中的一个或多个图像分量与正在执行的医学超声检查的预测的相关性；并且iii)在显示器上实时向用户突出显示由模型预测的与医学超声检查相关的图像分量，以供用户进一步考虑。

以这种方式，可以通过在模型中从许多放射科医师那里采集他们认为与给定图像以及给定的检查类型相关的特征、区域或图像分量的一般知识体系，从而最小化超声医师与放射科医师/医师之间的沟通。如将在下文更详细描述的，所述信息可以嵌入例如大型深度学习网络中并投影/突出显示到当前的US视图上，以在医学超声检查期间实时辅助超声医师。从技术上讲，这可以提供一种获得超声图像的改进的方式，以确保充分获得与医学超声检查相关(例如显著)的所有视图。因此，这可以降低做出错误诊断或由于数据不足而需要重复检查的风险。该系统还可用于可能没有超声医师可用于执行医学检查的远程成像设置(例如，在现场或在紧急场所成像)。通常，所述系统可用于指导未经训练的用户执行可接受质量的超声检查。

在一些实施例中，如在图1中所图示，系统100还可以包括存储器104，存储器106被配置为存储程序代码，所述程序代码可以由处理器102运行以执行本文描述的方法。替代地或额外地，一个或多个存储器104可以在系统100的外部(例如，分开或远离)。例如，一个或多个存储器104可以是另一设备的一部分。存储器106可用于存储由系统100的处理器102或系统100外部的任何接口、存储器或存储设备采集或产生的图像、信息、数据、信号和测量结果。

在一些实施例中，如图1中所示，系统100还可以包括用于捕获超声图像的换能器108。替代地或额外地，系统100可以接收(例如，通过有线或无线连接)使用系统100外部的超声换能器108拍摄的二维图像的数据流。

换能器108可以由多个换能器元件形成。这样的换能器元件可以被布置为形成换能器元件的阵列。换能器108可以包括在诸如手持式探头的探头中，所述探头可以由用户(例如，超声医师、放射科医师或其他临床医师)握持并在患者皮肤上移动。本领域技术人员将熟悉超声成像的原理，但是简而言之，超声换能器包括可以用于既生成又检测/接收声波的压电晶体。由超声换能器产生的超声进入患者体内并从下面的组织结构反射。反射的波(例如回波)由换能器检测并由计算机编译(处理)以产生底层解剖结构的超声图像，也称为声波图。

在一些实施例中，换能器108可以包括可以探询体积空间的矩阵换能器。

在一些实施例中，如图1中所示，系统100还可以包括至少一个用户接口，例如用户显示器106。处理器102可以被配置为控制用户显示器106以显示或呈现例如由超声探头捕获的超声图像的实时序列。用户显示器106还可用于向用户实时突出显示由模型预测为与医学超声检查相关的图像分量。这可以是叠加的形式(例如，以完全或部分透明的方式在图像的实时序列上显示的标记、颜色或其他阴影)。用户显示器106可以包括触摸屏或应用程序(例如，在平板电脑或智能手机上)、显示屏、图形用户接口(GUI)或其他视觉呈现部件。

替代地或额外地，至少一个用户显示器106可以在系统100的外部(即，分开或远离)。例如，至少一个用户显器示106可以是另一设备的一部分。在这样的实施例中，处理器102可以被配置为向系统100外部的用户显示器106发送指令(例如通过无线或有线连接)，以便触发(例如引起或启动)外部用户显示器以向用户显示超声图像的实时序列和/或实时向用户突出显示由模型预测为与医学超声检查相关的图像分量。

应当理解，图1仅示出了说明本公开的这个方面所需的部件，并且在实际实施中，系统100可以包括对于所示出的那些部件额外的部件。例如，系统100可以包括电池或用于将系统100连接到主电源的其他器件。在一些实施例中，如图1中所示，系统100还可以包括通信接口(或电路)，用于使得系统100能够与系统100内部或外部的任何接口、存储器和设备进行通信，例如通过有线或无线网络。

更详细地，用户可以包括超声探头的操作者，例如执行超声检查的人。通常，这可能是超声医师、放射科医师或其他医师。用户可以是在医学成像方面未受过训练的人，例如，临床医师或远离医学环境操作的其他用户，例如远程或在现场。在这样的示例中，用户可以由系统100引导以便考虑被预测为对放射科医师重要的解剖结构的部分或对其进行成像。

医学超声检查可以包括任何类型的超声检查。例如，可以训练模型以确定与任何类型的(预先指定的)医学超声检查相关的相关图像分量。本文教导中可应用于的医学超声检查的示例包括但不限于损伤的肿瘤学检查、胎儿的新生儿检查、评估骨折的检查或任何其他类型的超声检查。

如上所述，指令集可以使处理器，i)接收在医学超声检查期间由超声探头捕获的超声图像的实时序列。在这个意义上，处理器可以在检查进行时从正在进行的超声检查接收超声图像序列。因此，超声图像序列可以被认为是超声图像的实时流或馈送，如超声探头所捕获的。

超声图像序列可以包括二维(2D)、三维或任何其他维度的超声图像序列。所述超声图像帧可以包括图像分量。在2D图像帧中，图像分量是像素；在3D图像帧中，图像分量是体素。超声图像序列可以是任何类型的超声图像，例如B模式图像、多普勒超声图像、弹性成像模式图像或任何其他类型或模式的超声图像。

在块ii)中，使处理器使用利用机器学习过程训练的模型，将超声图像的实时序列中的图像帧作为输入，并且输出所述图像帧中的一个或多个图像分量与正在执行的医学超声检查的预测的相关性。

本领域技术人员将熟悉机器学习过程和模型。然而，简而言之，模型可以包括可以被训练或已经被训练的任何类型的模型，使用机器学习过程来取图像(例如医学图像)作为输入并将图像帧中的一个或多个图像分量的预测的相关性输出到正在执行的医学超声检查。在一些实施例中，可以根据如下所述的方法700来训练模型。

在一些实施例中，所述模型可以包括经训练的神经网络，例如经训练的F-net或经训练的U-net。本领域技术人员将熟悉神经网络，但简而言之，神经网络是一种受监督的机器学习模型，可以被训练来预测给定输入数据的期望输出。使用包含示例输入数据和所需的相应“正确”或基本事实结果的训练数据来训练神经网络。神经网络包括多个神经元层，每个神经元代表应用于输入数据的数学运算。神经网络中每一层的输出被馈送到下一层以产生输出。对于每条训练数据，与神经元相关联的权重会被调整，直到找到最佳权重，从而针对训练示例产生反映相应真实情况的预测。

尽管本文描述了包括神经网络的示例，但应当理解，本文的教导更普遍地适用于任何类型的模型，所述模型可以被使用或训练以将图像帧中的一个或多个图像分量的预测的相关性输出到医学超声正在执行的检查。例如，在一些实施例中，模型包括监督的机器学习模型。在一些实施例中，所述模型包括随机森林模型或决策树。所述模型可以包括分类模型或回归模型。下文中提供了这两种类型的示例。在其他可能的实施例中，可以使用支持向量回归或随机森林回归或其他非线性回归器来训练模型。本领域技术人员将熟悉这些其他类型的监督机器学习模型，这些模型可以被训练来预测针对给定输入数据的期望输出。

在一些实施例中，训练的模型可能已经使用训练数据进行了训练，所述训练数据包括：示例超声图像；以及针对每幅示例超声图像的真实情况注释，所述真实情况注释指示相应示例超声图像中的一个或多个图像分量与医学超声检查的相关性。从这个意义上说，真实情况注释代表了示例超声图像中哪些像素与医学超声检查相关的“正确”预测的示例。

本领域技术人员将熟悉使用训练数据来训练机器学习模型的方法。例如，梯度下降、反向传播、损失函数等。

通常，模型的训练可以通过在现场训练模型来增量地执行，例如在放射科医师检查超声图像的位置。一旦被训练，经训练的模型然后可以被安装在另一个系统上，例如超声机器上。在其他示例中，模型可以被定位于远程服务器上并以动态方式访问和更新。在其他示例中，可以根据历史数据来训练模型。

简而言之，可以从一名或多名放射科医师处获得真实情况注释。在一些示例中，真实情况注释可以特定于正在执行的超声检查的类型。例如，可以针对特定类型的医学超声检查训练模型。在这样的实施例中，真实情况注释可以指示与该类型的医学超声检查相关的图像的图像分量或区域。在其他示例中，可以针对多于一种类型的医学超声检查来训练模型。在这样的实施例中，真实情况注释可以指示图像的可能更普遍地与许多类型的医学超声检查相关的图像分量或区域。

在一些实施例中，注释可以包括相应示例超声图像帧的图像分量水平(例如分别针对2D和3D图像的像素或体素)注释，指示图像帧中的每个图像分量(例如(一个或多个)像素/(一个或多个)体素)的相关性或相对相关性。在一些实施例中，这可以被称为注释图或注释热图。

如本文所用的术语“相关性”可以与放射科医师在执行医学超声检查的上下文中将归因于图像分量或图像帧中的不同区域或图像分量组的重要性水平有关。例如，如果放射科医师将查看(例如考虑或检查)它们作为超声检查的一部分或希望进一步研究它们，则可以将图像分量或图像分量区域标记为相关。

在一些实施例中，所述真实情况注释可以基于根据观察的放射科医师而获得的注视跟踪信息。注视跟踪是一种在2D屏幕上跟踪人的视线焦点的方法。注视技术通过数据驱动模型得到了显著改进(例如，参见Krafka等人2016年的题为“Eye Tracking forEveryone”的论文)并且精确且具有成本效益，因为它可以使用简单的相机和基本的便携式设备来实现计算节点。使用注视跟踪可以实现相关输入特征的收集和注释，而无需用户提供用户输入。例如，可以收集注释作为放射科医师对图像的正常检查的一部分。

这在图2中示出，图2图示了放射科医师在胸腔的两幅超声图像中观察到的不同点。在图像202中，眼睛注视数据被表示为图像上的点204，放射科医师在分析图像时查看这些点。在图像206中，注视数据被表示为以放射科医师观察到的点为中心的一组圆形区域208。可以基于训练数据来训练模型以预测新(例如未见过的)图像的任一类型的注释。应当理解，所述模型也可以被训练以如下所述地预测其他输出。

可以通过在放射科医师/医师正在检查图像时考虑注视的位置和在图像上的停留时间来获得注视信息。然后将此“注意力热图”用作输入，其中停留时间用作相关性评分。换言之，可以根据注视信息来产生热图，其中，热图的水平与放射科医师(或注释者)观察每个特定区域的时间量成比例。相关性评分可以指示例如病理学病变或难以看到的区域，这两者对于超声医师进行正确扫描都很重要。

在一些实施例中，模型被训练以将来自超声图像的实时序列的图像帧(例如，仅图像帧)作为输入。在其他实施例中，模型可以包括额外的输入通道(例如，采用额外的输入)。该模型可以将例如正在执行的医学超声检查类型的指示作为输入。换言之，可以训练模型来预测超声图像中像素对于不同类型的超声检查的相关性，这取决于所指示的检查类型。

在一些实施例中，可以进一步训练模型以将用户遗漏特征的可能性的指示作为输入。例如，可以根据在用户可能不经提示而对特征进行成像之前所需的超声检查者的相关性和技能水平对注释进行分级。这可以使系统能够提供与用户的体验水平相关的突出显示(例如在块iii中)和/或通过仅提供最有可能被用户忽略的相关突出显示来减少所提供的突出显示的数量。

输入的其他示例可以包括放射科医师注释、超声医师注释和超声成像设置，这可以进一步提高模型的精度。其他可能的输入参数包括弹性成像或对比图像。

现在转向模型的输出，在一些实施例中，模型的输出(例如，图像帧中的一个或多个图像分量与正在执行的医学超声检查的预测的相关性)可以包括每个的相关值或评分图像帧中的图像分量。在这样的示例中，图像帧中的一个或多个图像分量的预测的相关性可以包括图像帧中的每个图像分量的相关性值的映射。

在其他示例中，图像帧中的一个或多个图像分量的预测的相关性可以包括图像帧中的图像分量的子集的相关性值或评分。例如，图像分量的子集可以具有高于预定阈值相关性的相关性值。

在一些实施例中，可以使用一个或多个相关阈值来将超声图像帧的区域汇集在一起。在这样的实施例中，图像帧中的一个或多个图像分量的预测的相关性可以包括一个或多个包围图像分量的边界框，或图像帧中具有高于阈值(或在两个阈值之间)的相关值的图像分量区域。在一些实施例中，每个边界框内的每个(或平均值)的最大相关性可以作为模型的输出来提供。

以这种方式使用阈值可以允许例如仅向用户突出最相关的区域，例如仅前10％的相关图像分量。这可以使超声医师能够选择特定阈值以仅显示最相关的注释。

在一些实施例中，可以训练模型以提供进一步的输出(例如，具有其他输出通道)。例如，可以进一步训练模型以输出与图像帧中的一个或多个图像分量的预测的相关性相关联的置信度的指示。

在一些示例中，置信度可以包括(或反映)作为模型输出的一个或多个图像分量的预测的相关性的估计准确度。或者模型确定每个像素/体素在图像帧中的相关程度的评级。

在其他示例中，针对所述一个或多个图像分量的所述置信度可以包括对放射科医师在执行所述医学超声检查时与其他区域相比要研究包含该图像分量的区域的优先级的预测。例如，置信度可以包括对图像帧中图像分量(像素/体素)的不同区或不同区域的相对重要性的估计。

在其他示例中，模型的输出可以包括上述选项的组合。例如，置信度可以包括预测的相关性和所述预测的相关性的预测结果的估计准确度两者的度量。在一些实施例中，对于每个图像分量，模型可以输出(或者系统可以从模型的输出计算)预测的相关性乘以针对预测的相关性的估计准确度。

在块iii)中，然后使处理器在显示器上实时向用户突出显示由模型预测的与医学超声检查相关的图像分量，以供用户进一步考虑。

例如，处理器可以向显示器发送指令以使显示器在超声帧上提供标记、注释或又叠加以向用户指示图像帧的相关区域。因此可以引导用户进一步考虑或对已经向用户突出显示的解剖结构区域执行进一步成像。

在一些实施例中，块iii)包括使处理器以叠加在超声图像帧上的热图的形式向用户显示模型的输出。例如，热图的水平可以基于图像帧中的图像分量的预测的相关性值。可以根据相关值对热图的水平进行着色或突出显示。以这种方式，图像帧的最相关区域可以有效地被叠加有“圆心”风格的注释，以便用户将其成像集中在其上。

在其他实施例中，热图的水平可以基于例如图像帧中的图像分量的输出置信度。热图的水平可以根据置信度进行着色。以这种方式，图像帧的最相关区域可以有效地被叠加有“圆心”风格的注释，以便用户将其成像集中在其上。

在其他实施例中，热图的水平可以基于预测的相关性乘以预测的相关性的估计准确度，如上所述。

在输出置信度的实施例中，与其他区域相比，被预测为包括具有高置信度(例如，高于阈值置信度)的高相关性(例如，高于阈值相关性)的图像分量的图像帧的区域或区域可以被更显著地注释，如这些包括最有可能与医学超声检查相关的领域。

在输出置信度的其他实施例中，与其他区域相比，预测为包括具有高相关性(例如，高于阈值相关性)和低置信度(例如，低于阈值置信度)的图像分量的图像帧的区或区域可以被更显著地注释。换言之，显示具有低检测置信度的高显著区域可能是有用的，因为这些区域可能代表例如小的病变或放射技师可能想要更详细分析的其他特征。超声医师可以使用这些信息来提高这些区域的成像质量。

在其他实施例中，在块iii)中，可以使处理器以以下任何方式(单独地或组合地)向用户突出显示由模型预测为与医学超声检查相关的图像分量：

·边界框、圆形或多边形，其中，边界框的颜色表示界定的区域中图像分量的相关性

·边界框、圆形或多边形，其比例/大小表示界定的区域中图像分量的相关性

·边界框、圆形或多边形，其厚度表示界定的区域中图像分量的相关性

·以区域中图像分量的“重心”为中心的边界框、圆形或多边形

·边界框上或其附近的数值

·使用颜色图根据相关性的置信度为每个图像分量着色

·透明度(每个图像分量的alpha混合与作为权重和颜色映射的相应相关性。

·突出显示在本质上可以是动态的，由此向用户突出显示在鼠标光标一定接近度内(例如，在2cm圆内)的图像分量的相关区域。

应当理解，还可以使处理器针对超声图像的实时序列中的多幅图像帧重复块ii)和iii)。例如，可以使处理器以连续(例如实时)方式重复块ii和iii。可以使处理器针对超声图像的实时序列中的所有图像重复块ii和iii。因此，在一些实施例中，来自超声检查的图像可以被叠加有如上所述的注释图，所述注释图随着用户移动超声探头而实时变化。以这种方式，向所成像解剖特征的最相关区域的用户提供实时指导，以进行医学超声检查。

在一些实施例中，逐像素(或逐3D体素)流模型可用于将图像帧中的图像分量的预测的相关性链接到实时序列中的另一图像帧中的图像分量的预测的相关性的超声图像。这可以在超声检查期间提供突出显示的相关图像分量的平滑叠加。逐像素流动模型可以在可用时利用US成像的时间信息。在模型输出描述超声图像帧中每个图像分量的相关性的图的实施例中，模型可以将超声图像序列中的后续超声图像帧的预测图与正则化项联系起来，例如，平滑度和时间一致性。相关图可以从像素扩展到体素，预测每个体素在3D空间中的显著性水平(参见Girdhar等人的2018年的题为“Detect-and-Track:Efficient PoseEstimation in Videos”(arXiv：1712.09184v2)的论文)。模型架构可以与像素相关性检测模型相同(例如，与下面的图4中所示的相同)。

图3示出了根据本文一些实施例的系统。在该实施例中，训练模型以预测与特定类型的医学超声检查相关的输入超声图像的区域。多个放射科医师302提供对示例超声图像帧306的注释，其用作训练数据以训练神经网络。在该实施例中，注释是注释图304的形式，包括指示每幅图像帧的区域的边界框，注释放射科医师认为该区域与正在执行的医学检查的类型相关。然后使用注释图来训练神经网络308以根据输入示例超声帧306预测真实情况注释图304。在这个实施例的一些版本中，神经网络308可以包括下面关于图4描述的神经网络400。

一旦被训练，神经网络308就可用于推理以将超声图像的实时序列中的图像帧310作为输入(例如，看不见的图像)，并输出该超声图像帧的预测注释图312，指示图像帧中的每个图像分量与正在执行的医学超声检查的相关性。在本实施例中，如上所述地根据置信度对相关性进行分级。因此，注释图具有热图的外观，或指示超声帧的最相关区域的多个“圆心”样式目标。

然后，处理器可以在显示器上实时向用户突出显示由模型预测为与医学超声检查相关的图像分量，方法是将预测的注释图覆盖在显示器上的超声图像314上以创建图像314上的热图注释(如图像314中的白色圆圈316突出显示的那样)。这可以实时执行，例如使得注释图在用户执行超声图像时叠加在超声图像帧上。用户因此能够使用预测的注释图作为应该考虑的图像区域的指南，例如用于进一步成像。

现在转向其他实施例，在一个实施例中，如图4所示，所述模型包括完全卷积神经网络FCN 400。FCN可用于捕获超声医师在许多超声图像中手动定义的超声图像中的显著特征。

FCN 400通过输入层402将超声帧作为输入(例如512x512 US图像)。网络首先堆叠一层或多层卷积、批量归一化和池化(此图中的最大池化)404、406。每个这样的层可以有不同数量的卷积核、步幅、归一化操作和池化核大小。每次池化后，输入图像的大小将与池化内核的大小成比例缩小。在这些层之上，添加了一个或多个反池化层和反卷积层408、410，以将中间尺寸缩小的特征图上采样到原始输入图像的尺寸。与池化相比，反池化使用像素插值来生成更大的图像。最终输出层412输出原始大小的相关图，包括原始图像中每个图像分量的相关值或评分。

整个架构可以使用反向传播来进行端到端的训练。最后一层的损失函数包括一个回归损失，它是将每个像素的最后一个反卷积层的特征图回归到其标记的相关性(或显著性)评分的所有回归损失的总和。

如上所述用于训练FCN 400的训练数据可以在诊断图像上执行并且可以涉及由注释放射科医师/医师进行的直接注释(例如，通过屏幕上的鼠标)。任何标准注释工具都可以接受，例如边界框；圆心和圆半径、多边形、单击等。此外，可以为每个注释区域赋予显著性评分(1-10，10是最重要的)。

为了减少模型训练所需的数据量，图像集可能限于特定的医学超声检查(例如，特定的协议或被成像的解剖区域)。一种方法是在网络中添加一个输入，所述输入指定正在执行的医学超声检查的类型(或正在执行的协议中的步骤)。在其他实施例中，可以针对医学协议中的每个步骤训练单独的深度学习模型400。

在一些实施例中，如图4所示，模型可以具有与输入图像大小相同大小的最后一个全连接层。以这种方式，可以确定全局每像素上下文(例如，可以在图像分量的基础上建立地图，如图3所示)。转置卷积层(又名反卷积)可以实现这种上采样。这样的实施例中的损失函数可以包括每像素回归。标准数据增强方法可用于减少数据集中的偏差，以及校正大小。

检查推理：一旦训练了如图4所示的FCN，它就可以在常规超声检查(FCN被训练的类型)期间使用，其中超声图像序列中的每个图像帧都可以通过经练的模型(例如被提供为到其的输入)进行评估以输出一个对应的注释图，其中每个像素都有相关评分。如上所述，然后可以在用于推理的原始US图像上视觉呈现相关性评分，如图3中所示。

现在转向其他实施例，在一些示例中，可以采用逐片方法，由此将超声帧划分为更小的子帧。可以将子帧输入到本文描述的模型的任何实施例中。一旦处理了所有片，就可以组合子帧的输出以重建整幅图像帧的输出(例如，图像帧中每个图像分量的预测相关值的映射)。例如，可以在原始图像细分的相同配置中重建注释图。这可能会减少训练所需的数据量，因为没有考虑注释的相对位置。类似的替代方案将使用边界框区域检测器，例如，Yolo(参见Redmon等人的2018年的题为“YOLOv3:An Incremental Improvement”的论文)，它在不同的尺度上执行区域检测。

在一些实施例中，可以使用分类模型。例如，在模型输出相关值或评分的实施例中，评分可以被离散化。例如，神经网络中的softmax层可用于将相关值输出为可用作分类标签的预定义水平(例如，0.1、0.2、0.3、...、1.0)。这可以减少实现本文描述的方法的算力。

图像分量是否相关可以通过图像中不同解剖特征的相对位置来确定。例如，注释/特征的相关性可能与单个视图中多个特征的存在和/或它们的空间背景(相对位置/方向)有关。此类信息可用于衡量注释重要性，并可嵌入使用诸如卷积姿态机之类的方法进行训练(例如，参见Wei等人的题为“Convolutional Pose Machines”的论文(2016IEEEConference on Computer Vision and Pattern Recognition(CVPR),Las Vegas,NV,2016,第4724-4732页))。换句话说，在一些实施例中，块ii)可以包括使处理器考虑不同解剖特征的相对空间背景以预测图像帧中的一个或多个图像分量的相关性。在一些实施例中，可以使处理器使用经过训练以将不同解剖特征的相对空间背景考虑在内的卷积姿态机，以预测图像帧中的一个或多个图像分量的相关性。

为了质量保证，可以在医学超声检查期间使用注视跟踪。例如，系统100还可以包括相机，并且可以还使处理器监测用户在执行超声检查时相对于显示器106的注视。在一些实施例中，可能要求用户查看图像帧中的已被模型预测为相关(或高于特定相关阈值)的位置。如果根据注视信息确定用户没有看过由模型预测为相关的超声帧的区域，则处理器可以还被配置为向用户提供视觉帮助以提示他们看相关区域。换句话说，指令集在由处理器执行时，可能还会使处理器：确定用户的注视信息。在块iii)中，然后可以还使处理器：在显示器上向用户实时突出显示注视信息指示用户尚未观看的图像帧的一个或多个部分。

在一些实施例中，底层图像帧可能需要对用户可见。为了使用户更容易看到底层图像帧和突出显示，在一些实施例中，块iii)可以还包括使处理器显示突出显示由模型预测为与医学超声检查相关的图像分量的标记，并在预定时间间隔后去除或淡化所述标记。换句话说，可以使用在一段时间之后消失的临时可见标记。

在另一示例中，在块iii)中，可以使处理器显示突出显示由模型预测为与医学超声检查相关的图像分量的标记，其中，在预定的时间间隔后，标记被添加或增加。例如，如果用户不对该区域进行成像(例如，将换能器移向)，则可以使标记随着时间变得更亮。

在另一个示例中，块iii可以包括被配置为使用平视显示器(HUD)或增强现实来突出显示由模型预测为与医学超声检查相关的分量的处理器。

在一些实施例中，系统100可用于训练用户或超声医师。例如，所述系统可以在没有超声机器的情况下使用。可以向超声医师呈现一种类型的医学成像程序和来自检查数据库的一幅或多幅图像。对于每幅图像，超声医师可能被要求选择临床上重要的区域(使用鼠标或注视作为输入)，然后可以将其与本文描述的模型的输出进行比较。

系统100还可以被配置为确定用户遗漏的典型区域。这可能是通用的，也可能是用户特定的。例如，随着时间的推移，可以训练一个新的(超声医师特定的)模型来突出用户错过的相关图像分量。这可以对模型中的解剖特征进行编码，并在检测到它们时显示它们。这用于主动引导超声医师，同时减少屏幕上的杂乱。

现在转向图5，图5示出了根据本文描述的原理构造的超声系统500的示例实施例。图5中所示的一个或多个部分可以包括在系统中，所述系统被配置为：i)接收在医学超声检查期间由超声探头捕获的超声图像的实时序列；ii)使用利用机器学习过程训练的模型，将超声图像的所述实时序列中的图像帧作为输入，并且输出所述图像帧中的一个或多个图像分量与正在执行的医学超声检查的预测的相关性；并且iii)在显示器上实时向用户突出显示由模型预测的与医学超声检查相关的图像分量，以供用户进一步考虑。

例如，处理器102的任何上述功能可以例如通过计算机可执行指令被编程到系统500的处理器中。在一些示例中，处理器102的功能可以由图5所示的一个或多个处理部件实现和/或控制，包括例如图像处理器536。

在图5的超声成像系统中，超声探头512包括：用于将超声发射到身体区域内并且响应于发射的波而接收回波信息的换能器阵列614。换能器阵列514可以是包括多个换能器元件的矩阵阵列，这些换能器元件被配置为被单独地激活。在其他实施例中，换能器阵列514可以包括一维线性阵列。换能器阵列514被耦合到探头412中的微波束形成器516，在探头512可以控制由阵列中的换能器元件对信号进行发送和接收。在所示的示例中，微波束形成器516由探头电缆连接到发送/接收(T/R)开关518，所述开关在发送和接收之间切换并且保护主波束形成器522免受高能发射信号的影响。在一些在实施例中，T/R开关518和系统中的其他元件可以包括在换能器探头中而不是单独的超声系统底座中。

能够在微波束形成器516的控制下的从换能器阵列514的超声束的发射由耦合到T/R开关518和波束形成器522的发射控制器520指示，其从例如用户对用户接口或控制面板524的操作接收输入。由发射控制器520控制的功能之一是波束被转向的方向。波束可以被转向为从换能器阵列垂直向前(垂直于换能器阵列)，或者以不同的角度用于更宽的视场。由微波束形成器516产生的部分波束形成的信号被耦合到波束形成器522，其中，来自换能器元件的个体面片的部分波束形成的信号被组合为完全波束形成的信号。

波束形成的信号被耦合到信号处理器526。信号处理器526可以以各种方式处理接收的回波信号，例如带通滤波、抽取、I和Q分量分离以及谐波信号分离。由信号处理器526采用的不同处理技术生成的数据可以被数据处理器用来识别内部结构，以及其参数。

处理器526还可以执行的信号增强，例如纹波降低、信号复合、以及噪声消除。经处理的信号可以被耦合到B模式处理器528，B模式处理器1128可以采用幅值检测来对身体中的结构和组织进行成像。由B模式处理器产生的信号耦合到扫描转换器530和多平面重新格式化器532。扫描转换器530以期望的图像格式来根据回波信号被接收的空间关系来布置回波信号。例如，扫描转换器530可以将回波信号布置成二维(2D)扇形形状的格式。多平面重新格式化器532能够将从身体的体积区域中的共同平面中的点接收到的回波转换为该平面的超声图像，如在美国专利US 6663896(Detmer)中所描述。体积绘制器534将3D数据集的回波信号转换成如从给定参考点所看到的投影的3D图像，例如，在美国专利US 6530885(Entrekin等人)中所描述。

2D或3D图像被从扫描转换器530、多平面重新格式化器532、以及体积绘制器534耦合到图像处理器536用于进一步增强、缓存和临时存储，以在图像显示器538上显示。

图形处理器540可以生成图形叠加以用于与超声图像一起显示。这些图形叠加可以包含例如相关值或分数的映射，如由本文所述的模型所输出。

图形叠加还可以包含其他信息，例如标准识别信息，例如患者姓名、图像的日期和时间、成像参数等。图形处理器可以接收来自用户接口524的输入，例如键入的患者姓名。用户接口524还可以接收提示调整系统500使用的设置和/或参数的输入。用户接口还可以耦合到多平面重新格式化器532，用于选择和控制多个经多平面重新格式化的(MPR)图像的显示。

本领域技术人员将理解，图5中所示的实施例仅是示例，并且超声系统500还可以包括对于图5中所示那些的额外的部件，例如电源或电池。

现在转向图6，在一些实施例中，存在辅助用户执行医学超声检查的方法600。该方法可以例如由系统100或系统700执行。

该方法包括在块602中：在医学超声检查期间接收由超声探头捕获的超声图像的实时序列。在块604中，所述方法包括：使用利用机器学习过程训练的模型，将超声图像的实时序列中的图像帧作为输入，并且输出所述图像帧中的一个或多个图像分量与正在执行的医学超声检查的预测的相关性。在块606中，所述方法包括：在显示器上实时向用户突出显示由模型预测的与医学超声检查相关的图像分量，以供用户进一步考虑。

上面关于系统100的功能详细描述了在医学超声检查期间接收由超声探头捕获的超声图像的实时序列，并且其中的细节将被理解为同样适用于方法600的框602。以上关于系统100的功能的详细描述了使用利用机器学习过程训练的模型以将超声图像的实时序列中的图像帧作为输入，并输出图像帧中的一个或多个图像分量与正在执行的医学超声检查的预测的相关性，并且其中的细节将被理解为同样适用于方法600的块604。在显示器上实时向用户突出显示由模型预测为与医学超声检查相关的图像分量，以供用户进一步考虑在上面关于系统100的功能性进行了详细描述并且其中的细节将被理解为同样适用于方法600的块606。

转向图7，在一些实施例中，还存在训练模型以用于辅助用户执行医学超声检查的方法700。在第一块702中，方法700包括获得训练数据，所述训练数据包括：示例超声图像；以及针对每幅示例超声图像的真实情况注释，所述真实情况注释指示相应示例超声图像中的一个或多个图像分量与医学超声检查的相关性。在第二块704中，所述方法包括：训练模型以基于训练数据来预测与超声图像中的图像分量的医学超声检查的相关性。上面关于关于系统100描述的模型详细讨论了以这种方式训练模型，并且其中的细节将被理解为同样适用于模型700。

在另一实施例中，提供了一种包括计算机可读介质的计算机程序产品，所述计算机可读介质具有包含在其中的计算机可读代码，所述计算机可读代码被配置为使得，在由合适的计算机或处理器执行时，使所述计算机或处理器执行本文中描述的一种或多种方法。

因此，应认识到，本公开还应用于适于将实施例付诸实践的计算机程序，尤其是载体上或载体中的计算机程序。所述程序可以是源代码、目标代码、源代码和目标代码中间的代码(例如，以部分编译形式的形式)的形式，或者是适于用于在实施根据本文中描述的实施例的方法中使用的任何其它形式。

还应理解，这样的程序可以具有许多不同的架构设计。例如，实施方法或系统的功能的程序代码可以被细分为一个或多个子例程。在这些子例程间分布功能的多种不同方式对本领域的技术人员将是显而易见的。子例程可以一起存储在一个可执行文件中以形成自包含的(self-contained)程序。这样的可执行文件可以包括计算机可执行指令，例如处理器指令和/或解释器指令(例如Java解释器指令)。替代地，子例程中的一个或多个或全部可以被存储在至少一个外部库文件中并且与主程序静态或动态地，(例如在运行时)链接。主程序包括对子例程中的至少一个的至少一个调用。子例程也可包括对彼此的功能调用。

计算机程序的载体可以是能够承载所述程序的任何实体或设备。例如，载体可包括数据存储设备，例如是ROM(如CD-ROM、或半导体ROM)，或是磁记录介质(例如硬盘)。此外，载体可以是可传输载体，例如电信号或光学信号，其可以经由电缆或光缆或通过无线电或其他手段被传输。当程序被实现在这样的信号中时，载体可以由这样的电缆或其他设备或单元组成。替代地，载体可以是嵌入了程序的集成电路，所述集成电路适于执行相关方法或在相关方法的实施中使用。

本领域技术人员通过研究附图、公开内容以及权利要求书，能够理解并且实现对所公开的实施例的变型。在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以完成权利要求书中所记载的若干个项目的功能。尽管特定措施是在互不相同的从属权利要求中记载的，但是这并不指示不能有利地使用这些措施的组合。可以将计算机程序存储/分布在与其它硬件一起提供或者作为其它硬件的部分提供的诸如光存储介质或者固态介质的合适介质上，但是还可以以诸如经因特网或者其它有线或无线电信系统的其它形式分布。权利要求书中的任何附图标记不应被解释为对范围的限制。

Claims (15)

1.一种用于辅助用户执行医学超声检查的系统，所述系统包括：

存储器，其包括指令数据，所述指令数据表示指令的集合；

处理器；以及

显示器；

其中，所述处理器被配置为与所述存储器通信并且被配置为执行指令的所述集合，并且其中，指令的所述集合在由所述处理器执行时使所述处理器执行以下操作：

i)在所述医学超声检查期间接收由超声探头捕获的超声图像的实时序列；

ii)使用利用机器学习过程训练的模型将超声图像的所述实时序列中的图像帧作为输入，并且输出所述图像帧中的一个或多个图像分量与正在执行的所述医学超声检查的预测的相关性；并且

iii)在所述显示器上实时向所述用户突出显示由所述模型预测为与所述医学超声检查相关的图像分量，以供所述用户进一步考虑。

2.根据权利要求1所述的系统，其中，还使所述处理器针对超声图像的所述实时序列中的多个图像帧重复块ii)和iii)。

3.根据权利要求1或2所述的系统，其中，所述模型是使用机器学习过程在训练数据上训练的，所述训练数据包括：示例超声图像；以及针对每幅示例超声图像的真实情况注释，所述真实情况注释指示相应示例超声图像中的一个或多个图像分量与所述医学超声检查的相关性。

4.根据权利要求3所述的系统，其中，所述真实情况注释基于根据观察放射科医师而获得的注视跟踪信息，所述放射科医师出于所述医学超声检查的目的而分析所述相应示例超声图像。

5.根据前述权利要求中的任一项所述的系统，其中，所述模型还被训练为输出与所述图像帧中的所述一个或多个图像分量的所述预测的相关性相关联的置信度的指示。

6.根据权利要求5所述的系统，其中，所述置信度反映针对由所述模型输出的一个或多个图像分量的所述预测的相关性的估计的准确度。

7.根据权利要求5所述的系统，其中，针对所述一个或多个图像分量的所述置信度包括对放射科医师在执行所述医学超声检查时与其他区域相比要研究包含该图像分量的区域的优先级的预测。

8.根据权利要求5、6或7中的任一项所述的系统，其中，块iii)包括使所述处理器：

以叠加在所述超声图像帧上的热图的形式向所述用户显示所述模型的所述输出，并且其中，所述热图的水平基于所述图像帧中的图像分量的输出置信度。

9.根据前述权利要求中的任一项所述的系统，其中，块ii)包括使所述处理器考虑不同解剖特征的相对空间背景以预测所述图像帧中的所述一个或多个图像分量的所述相关性。

10.根据前述权利要求中的任一项所述的系统，其中，指令的所述集合在由所述处理器执行时还使所述处理器：

确定所述用户的注视信息；并且

其中，块iii)还包括使所述处理器：

在所述显示器上向所述用户实时突出显示所述注视信息指示所述用户尚未观看的所述图像帧的一个或多个部分。

11.根据前述权利要求中的任一项所述的系统，其中，块iii)还包括使所述处理器：

显示标记，所述标记突出显示由所述模型预测为与所述医学超声检查相关的所述图像分量，并且其中，所述标记在预定时间间隔后被去除或淡出；

显示标记，所述标记突出显示由所述模型预测为与所述医学超声检查相关的所述图像分量，并且其中，所述标记在预定时间间隔后被添加或增加显著性；并且/或者

使用增强现实来突出显示由所述模型预测的与所述医学超声检查相关的所述图像分量。

12.根据前述权利要求中的任一项所述的系统，其中，指令的所述集合在由所述处理器执行时还使所述处理器：

使用逐像素流模型来将所述图像帧中的图像分量的所述预测的相关性链接到超声图像的所述实时序列中的另一图像帧中的图像分量的预测的相关性。

13.一种辅助用户执行医学超声检查的方法，所述方法包括：

在所述医学超声检查期间接收由超声探头捕获的超声图像的实时序列；

使用利用机器学习过程训练的模型将超声图像的所述实时序列中的图像帧作为输入，并且输出所述图像帧中的一个或多个图像分量与正在执行的所述医学超声检查的预测的相关性；并且

在所述显示器上实时向所述用户突出显示由所述模型预测为与所述医学超声检查相关的图像分量，以供所述用户进一步考虑。

14.一种训练用于辅助用户执行医学超声检查的模型的方法，所述方法包括：

获得训练数据，所述训练数据包括：示例超声图像；以及针对每幅示例超声图像的真实情况注释，所述真实情况注释指示相应示例超声图像中的一个或多个图像分量与所述医学超声检查的相关性；并且

基于所述训练数据来训练所述模型以预测与超声图像中的一个或多个图像分量与医学超声检查的相关性。

15.一种包括计算机可读介质的计算机程序产品，所述计算机可读介质具有体现在其中的计算机可读代码，所述计算机可读代码被配置为使得，在由合适的计算机或处理器执行时使所述计算机或处理器执行根据权利要求13或14所述的方法。

Images