CN112603361A - 用于在超声图像中跟踪解剖特征的系统和方法 - Google Patents

Abstract

本发明提供了用于跨多个图像跟踪解剖特征的方法和系统。一种示例性方法包括：输出用于显示在显示设备上的指示第一超声图像的所识别的解剖特征的第一位置的注释，该注释基于模型的第一输出而生成；以及基于模型的第二输出来输出用于显示在显示设备上的经调整的注释，该模型的第二输出是基于第二超声图像并且进一步基于模型的第一输出而生成的，该经调整的注释指示第二超声图像中的所识别的解剖特征的第二位置。

Description

用于在超声图像中跟踪解剖特征的系统和方法

技术领域

本文公开的主题的实施方案涉及超声成像，并且更具体地讲涉及用于跨多个超声图像跟踪所识别的特征的系统和方法。

背景技术

医学超声是采用超声波来探测患者身体的内部结构并产生对应图像的成像模态。例如，包括多个换能器元件的超声探头发射超声脉冲，这些超声脉冲会被身体中的结构反射或回传、折射或者吸收。然后超声探头接收所反射的回波，这些所反射的回波被处理成图像。可在显示设备上实时地或近实时地显示内部结构的超声图像，这可帮助临床医生对患者执行医学规程。

发明内容

在一个实施方案中，一种方法包括：输出用于显示在显示设备上的指示第一超声图像的所识别的解剖特征的第一位置的注释，该注释基于模型的第一输出而生成；以及基于模型的第二输出来输出用于显示在显示设备上的经调整的注释，模型的第二输出是基于第二超声图像并且进一步基于模型的第一输出而生成的，该经调整的注释指示第二超声图像中的所识别的解剖特征的第二位置。

在单独或与附图联系时，本说明书的以上优势以及其他优势和特征将从以下具体实施方式中显而易见。应当理解，提供以上概述是为了以简化的形式介绍在详细描述中进一步描述的一些概念。这并不意味着识别所要求保护的主题的关键或必要特征，该主题的范围由具体实施方式后的权利要求书唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。

附图说明

通过阅读以下详细描述并且参考附图，可以更好地理解本公开的各个方面，其中：

图1示出了超声系统的示例性实施方案的框图；

图2是示出根据示例性实施方案的用于跨多个图像分割和跟踪特征的系统的示意图；

图3是示出根据第一示例性实施方案的可使用网络的输出作为对网络的反馈的深度学习网络的布局的示意图；

图4是示出根据第二示例性实施方案的可使用网络的输出作为对网络的反馈的深度学习网络的布局的示意图；

图5A和图5B示出了根据示例性实施方案的用于使用分割和跟踪模型跨多个图像分割和跟踪特征的方法的流程图；

图6是示出根据示例性实施方案的用于训练分割和跟踪模型的方法的流程图；

图7示出了超声图像数据的两个帧，其中未跟踪和标记所识别的特征；

图8示出了图7的超声图像数据的两个帧，其中跟踪和标记了所识别的特征；并且

图9示出了超声图像数据的帧，其中跟踪和标记了所识别的特征，包括警告状况的视觉指示。

具体实施方式

以下描述涉及用于跨超声成像数据的多个帧跟踪诸如解剖特征的特征的各种实施方案。可使用超声成像来协助各种医学规程，诸如在麻醉输送期间进行插针，其中可将针插入将要施用麻醉材料的神经周围的患者的筋膜中。例如，诸如麻醉师之类的临床医生可依靠由超声成像系统所获得的图像来确定将针插入哪里。失去正确的位置可能会导致麻醉缓慢或失败。通常，超声图像的目视判读(例如，可见器官的识别)对于临床医生来说是视觉上密集的过程，其涉及细微的分析，诸如哪一组原本相似的纹理一起移动。为了做出判读并保持，临床医生需要保持他或她的眼睛盯住屏幕，以免错失构成判读的相关纹理。如果临床医生注视患者或致力于执行麻醉规程，则临床医生可能会失去目视判读并且可能需要重新定位自己的方向，这可能会浪费时间并损害正在执行的规程。

因此，根据本文公开的实施方案，可跨多个超声图像跟踪患者的所识别的解剖特征，即使由于患者移动或超声成像系统的超声探头的移动而引起解剖特征变形或以其他方式发生视觉外观变化。可经由遵循被跟踪的特征的合适注释(诸如图像上的颜色叠加或线条)使所识别的特征在超声图像上可视化，从而允许临床医生快速确定图像中的各种解剖特征的位置。通过对解剖结构做出目视判读并且随着解剖结构在视图中移动和变形而使判读在解剖结构上保持稳定，临床医生可清楚地指示出解剖结构所在的位置，并且即使将视线从显示图像的屏幕移开，也可能会立即获得良好的定向。

为了识别和跟踪解剖特征，本文公开的实施方案可利用机器学习模型诸如神经网络，该机器学习模型经训练以识别(分割)超声视图中的感兴趣的解剖部分，并使用反馈机制来逐帧跟踪那些识别。例如，模型可包括卷积神经网络，该卷积神经网络经训练以识别通常与麻醉输送相关联的超声图像视图中的神经、血管和骨骼。可通过向网络添加附加输入来录入反馈。对于该模型所分析的超声成像数据的每一帧，都会添加前一帧的检测输出。可将反馈作为输入图像的另一层(以相同的分辨率)或在网络的最底层(下采样的层)中添加到网络中，因为底层可能包含粗略分割的语义，这与前一帧的分割结果在语义上兼容。

以这种方式，例如，可使用先前在图像中以高置信度检测到的器官作为对系统的反馈来重新识别在当前图像中在相同位置处的相同器官，即使当前图像不能清楚地指示解剖结构。这支持新的工作流，其中超声操作者/临床医生可从屏幕上短暂抬起他或她的眼睛，同时确信当操作者/临床医生回头看超声图像时，先前查看的解剖判读将在那里/被指示。在显示器上，可标记/注释器官或其他解剖特征(例如，作为超声图像的色调而加亮)，并且图像的解剖学判读在解剖内容上是稳定的。另外，可显示置信度(例如，通过调制颜色饱和度或对分割的解剖结构加粗线)。例如，可将所提供的判读的置信度指示符连同图像和相关联的注释一起显示，从而增大判读的稳定性的置信度。另外，可提供接口以接收从用户到系统的输入，从而标记或批准器官位置并对其进行标记以便跟踪。例如，可显示用户界面，由此用户(例如，操作者/临床医生)可向系统指示当前判读是正确的并且应当得到保持，并且因此应保留作为与置信度度量有关的参考。

图1中示出了一种示例性超声系统，该示例性超声系统包括超声探头、显示设备和成像处理系统。经由超声探头，可获取超声图像并将其显示在显示设备上。可利用使用分割和跟踪模型生成的注释对所显示的图像进行注释，该分割和跟踪模型可识别超声图像中的解剖特征并跨多个超声图像跟踪所识别的解剖特征的位置。分割和跟踪模型可存储在图像处理系统上并由图像处理系统执行，如图2所示。在一些示例中，分割和跟踪模型可为卷积神经网络(CNN)，诸如图3所示的CNN或图4所示的CNN。根据图5A和图5B所示的方法，可部署分割和跟踪模型来识别和跟踪超声图像中的解剖特征。至少在某些示例中，可根据图6所示的方法来训练分割和跟踪模型。图7示出了一对超声图像，其包括三个相关的解剖特征，而无指示解剖特征的位置的注释。图8示出了具有指示解剖特征的位置的注释的图7的图像，其中根据来自分割和跟踪模型的输出来生成注释。图8示出了具有指示解剖特征的位置的注释的图像，其中修改注释中的一个以向用户通知警告状况。

参见图1，示出了根据本发明的实施方案的超声成像系统100的示意图。超声成像系统100包括发射波束形成器101和发射器102，该发射器驱动换能器阵列(本文中称为探头106)内的元件(例如，换能器元件)104，以将脉冲超声信号(本文中称为发射脉冲)发射到身体(未示出)中。根据一个实施方案，探头106可以是一维换能器阵列探头。然而，在一些实施方案中，探头106可以是二维矩阵换能器阵列探头。如以下进一步解释的，换能器元件104可以由压电材料构成。当向压电晶体施加电压时，晶体物理地膨胀和收缩，从而发射超声球波。这样，换能器元件104可将电子发射信号转换为声学发射波束。

在探头106的元件104将脉冲超声信号发射到(患者的)身体中之后，脉冲超声信号从身体内部的结构(如血细胞或肌肉组织)向后散射，以产生返回到元件104的回波。回波被元件104转换成电信号或超声数据，并且电信号被接收器108接收。表示所接收的回波的电信号穿过输出超声数据的接收波束形成器110。另外，换能器元件104可根据所接收的回波产生一个或多个超声脉冲以形成一个或多个发射波束。

根据一些实施方案，探头106可包含电子电路来执行发射波束形成和/或接收波束形成的全部或部分。例如，发射波束形成器101、发射器102、接收器108和接收波束形成器110的全部或部分可位于探头106内。在本公开中，术语“扫描”或“扫描中”可也用于指通过传输和接收超声信号的过程来采集数据。本公开中，术语“数据”可以用于指称用超声成像系统来采集的一个或多个数据集。在一个实施方案中，可使用经由超声系统100获取的数据来训练机器学习模型。用户界面115可用于控制超声成像系统100的操作，包括用于控制患者数据(例如，患者病史)的输入、用于改变扫描或显示参数、用于启动探头复极化序列等。用户界面115可包括以下项中的一者或多者：旋转元件、鼠标、键盘、轨迹球、链接到特定动作的硬键、可被配置为控制不同功能的软键，以及显示在显示设备118上的图形用户界面。

超声成像系统100还包括处理器116，该处理器用以控制发射波束形成器101、发射器102、接收器108和接收波束形成器110。处理器116与探头106进行电子通信(例如，通信地连接)。出于本公开的目的，术语“电子通信”可被定义为包括有线通信和无线通信两者。处理器116可以根据存储在处理器的存储器、和/或存储器120上的指令来控制探头106以采集数据。处理器116控制元件104中的哪些是活动的以及从探头106发射的波束的形状。处理器116还与显示设备118进行电子通信，并且处理器116可将数据(例如，超声数据)处理成图像以用于在显示设备118上显示。处理器116可包括根据一个实施方案的中央处理器(CPU)。根据其他实施方案，处理器116可以包括能够执行处理功能的其他电子部件，诸如数字信号处理器、现场可编程门阵列(FPGA)或图形板。根据其他实施方案，处理器116可包括能够执行处理功能的多个电子部件。例如，处理器116可包括从电子部件的列表中选择的两个或更多个电子部件，这些电子部件包括：中央处理器、数字信号处理器、现场可编程门阵列和图形板。根据另一个实施方案，处理器116可还包括解调RF数据并且生成原始数据的复合解调器(未示出)。在另一个实施方案中，解调可以在处理链中较早地执行。处理器116适于根据数据上的多个可选超声模态来执行一个或多个处理操作。在一个示例中，可在扫描会话期间实时处理数据，因为回波信号被接收器108接收并且被传输至处理器116。出于本公开的目的，术语“实时”被定义为包括在没有任何有意延迟的情况下执行的过程。例如，实施方案可以7至20帧/秒的实时速率获取图像。超声成像系统100可以显著更快的速率采集一个或多个平面的2D数据。然而，应当理解，实时帧速率可取决于采集用于显示的每帧数据所花费的时间长度。因此，当采集相对大量的数据时，实时帧速率可能较慢。因此，一些实施方案可具有显著快于20帧/秒的实时帧速率，而其他实施方案可具有低于7帧/秒的实时帧速率。数据可在扫描会话期间临时存储在缓冲器(未示出)中，并且在实时或离线操作中以不太实时的方式处理。本发明的一些实施方案可包括多个处理器(未示出)，以处理根据上文所述的示例性实施方案由处理器116处理的处理任务。例如，在显示图像之前，可利用第一处理器来解调和抽取RF信号，同时可使用第二处理器来进一步处理数据(例如，通过如本文进一步描述的那样扩充数据)。应当理解，其他实施方案可使用不同的处理器布置方式。

超声成像系统100可以例如10Hz至30Hz的帧速率(例如，每秒10帧至30帧)连续采集数据。根据数据生成的图像可以在显示设备118上以相似的帧速率刷新。其他实施方案可以不同速率采集并且显示数据。例如，根据帧的大小和预期的应用，一些实施方案可以小于10Hz或大于30Hz的帧速率采集数据。包括存储器120，用于存储已处理的采集数据的帧。在示例性实施方案中，存储器120具有足够的容量来存储至少几秒钟的超声数据帧。数据帧的存储方式便于根据其采集顺序或时间进行检索。存储器120可包括任何已知的数据存储介质。

在本发明的各种实施方案中，处理器116可通过不同的模式相关模块(例如，B模式、彩色多普勒、M模式、彩色M模式、频谱多普勒、弹性成像、TVI、应变、应变速率等)来处理数据，以形成2D或3D数据。例如，一个或多个模块可生成B模式、彩色多普勒、M模式、彩色M模式、频谱多普勒、弹性成像、TVI、应变、应变速率以及它们的组合，等等。作为一个示例，一个或多个模块可处理彩色多普勒数据，其可包括传统彩色血流多普勒、功率多普勒、HD流，等等。图像线和/或帧存储在存储器中，并且可包括指示图像线和/或帧存储在存储器中的时间的定时信息。这些模块可包括例如扫描转换模块，用于执行扫描转换操作，以将所采集的图像从波束空间坐标转换为显示空间坐标。可以提供视频处理器模块，该视频处理器模块从存储器读取所采集的图像并且在对患者执行规程(例如，超声成像)时实时显示图像。视频处理器模块可包括单独的图像存储器，并且超声图像可被写入图像存储器以便由显示设备118读取和显示。

在本发明的各种实施方案中，超声成像系统100的一个或多个部件可以包括在便携手持式超声成像设备中。例如，显示器118和用户界面115可以集成到手持式超声成像设备的外部表面中，该手持式超声成像设备可还包含处理器116和存储器120。探头106可以包括与手持式超声成像设备进行电子通信以收集原始超声数据的手持式探头。发射波束形成器101、发射器102、接收器108和接收波束形成器110可以包括在超声成像系统100的相同或不同部分中。例如，发射波束形成器101、发射器102、接收器108和接收波束形成器110可以包括在手持式超声成像设备、探头以及它们的组合中。

在执行二维超声扫描之后，生成包含扫描线及其样本的数据块。在应用后端滤波器之后，执行称为扫描转换的过程，以将二维数据块变换为具有附加扫描信息(诸如深度、每条扫描线的角度等)的可显示的位图图像。在扫描转换期间，应用内插技术来填充所得图像中的丢失的孔(即，像素)。出现这些丢失的像素是因为二维块的每个元素通常应该覆盖所得图像中的许多像素。例如，在当前超声成像系统中，应用了双三次插值，其利用了二维块的相邻元素。因此，如果与位图图像的尺寸相比，二维块相对较小，则扫描转换后的图像将包括分辨率差或分辨率低的区域，特别是对于深度较大的区域。

可进一步处理由超声成像系统100获取的超声图像。在一些实施方案中，可将超声成像系统100所产生的超声图像传输到图像处理系统，其中在一些实施方案中，可通过使用超声图像和对应的地面实况输出而训练的机器学习模型来对超声图像进行分割。如本文所用，地面实况输出是指基于到机器学习模型中的给定输入的预期或“正确”输出。例如，如果正训练机器学习模型来对猫的图像进行分类，则当馈送猫的图像时，模型的地面实况输出为标签“猫”。

尽管在本文被描述为单独的系统，但应当理解，在一些实施方案中，超声成像系统100包括图像处理系统。在其他实施方案中，超声成像系统100和图像处理系统可包括单独的设备。在一些实施方案中，可使用超声成像系统100所产生的图像用作用于训练一个或多个机器学习模型的训练数据集，其中如下所述，可使用机器学习模型来执行超声图像处理的一个或多个步骤。

参见图2，其示出了根据示例性实施方案的图像处理系统202。在一些实施方案中，图像处理系统202结合到超声成像系统100中。在一些实施方案中，图像处理系统202的至少一部分设置在经由有线连接和/或无线连接通信地耦接到超声成像系统的设备(例如，边缘设备、服务器等)处。在一些实施方案中，图像处理系统202的至少一部分设置在单独的设备(例如，工作站)处，该单独的设备可从超声成像系统或从存储超声成像系统所生成的图像/数据的存储设备接收图像/标测图。图像处理系统202可以可操作地/通信地耦接到用户输入设备214和显示设备216。

图像处理系统202包括处理器204，该处理器被配置为执行存储在非暂态存储器206中的机器可读指令。处理器204可以是单核或多核的，并且在其上执行的程序可以被配置用于进行并行或分布式处理。在一些实施方案中，处理器204可以可选地包括分布在两个或更多个设备中的单独组件，其可以被远程定位和/或配置用于协调处理。在一些实施方案中，处理器204的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。

非暂态存储器206可存储分割和跟踪模块208以及超声图像数据212。分割和跟踪模块208可包括一个或多个机器学习模型(诸如深度学习网络)，该一个或多个机器学习模型包括多个权重和偏差、激活函数、损失函数、梯度下降算法以及用于实现一个或多个深度神经网络以处理输入的超声图像的指令。例如，分割和跟踪模块208可存储用于实现神经网络(诸如图3所示的卷积神经网络(CNN)300或图4所示的CNN 400)的指令。分割和跟踪模块208可包括经训练的和/或未训练的神经网络并且还可包括与存储在其中的一个或多个神经网络模型相关联的训练例程或参数(例如，权重和偏差)。

图像处理系统202可通信地耦接到训练模块210，该训练模块包括用于训练存储在分割和跟踪模块208中的一个或多个机器学习模型的指令。训练模块210可包括指令，当指令由处理器执行时，这些指令使得处理器进行方法600的步骤中的一个或多个，在下面详细地讨论。在一个示例中，训练模块210包括用于从超声图像数据212接收训练数据集的指令，这些训练数据集包括用于训练存储在分割和跟踪模块208中的机器学习模型中的一个或多个的超声图像、相关联的地面实况标签/图像和相关联的模型输出的集合。训练模块210可从超声图像数据212以外的其他来源(诸如其他图像处理系统、云等)接收用于训练一个或多个机器学习模型的超声图像、相关联的地面实况标签/图像和相关联的模型输出。在一些实施方案中，训练模块210的一个或多个方面可包括以云计算配置进行配置的可远程访问的联网存储设备。非暂态存储器206还可存储超声图像数据212，诸如图1的超声成像系统所捕获的超声图像。例如，超声图像数据212可存储超声图像、地面实况输出、机器学习模型输出的迭代以及其他类型的超声图像数据。在一些实施方案中，超声图像数据212可以有序的格式存储超声图像和地面实况输出，使得每个超声图像都与一个或多个对应的地面实况输出相关联。

在一些实施方案中，非暂态存储器206可以包括设置在两个或更多个设备上的组件，这些组件可以被远程定位和/或配置用于协调处理。在一些实施方案中，非暂态存储器206的一个或多个方面可以包括以云计算配置进行配置的可远程访问的联网存储设备。

用户输入设备216可包括触摸屏、键盘、鼠标、触控板、运动感测相机或被配置为使用户能够与图像处理系统31内的数据交互并操纵该数据的其他设备中的一个或多个。在一个示例中，用户输入设备216可使用户能够选择超声图像以用于训练机器学习模型，或者用于使用经训练的机器学习模型进行进一步处理。

显示设备214可包括利用几乎任何类型技术的一个或多个显示设备。在一些实施方案中，显示设备214可包括计算机监视器，并且可显示超声图像。显示设备214可与处理器204、非暂态存储器206和/或用户输入设备216结合在同一封装件中，或者可以是外围显示设备，并且可包括监视器、触摸屏、投影仪或本领域已知的其他显示设备，其可使用户能够查看由超声成像系统产生的超声图像，和/或与存储在非暂态存储器206中的各种数据交互。

应当理解，图2中所示的图像处理系统202是用于说明而非限制。另一种合适的图像处理系统可以包括更多、更少或不同的组件。

转到图3，示出了示例性卷积神经网络(CNN)300的架构。CNN 300表示根据本公开的机器学习模型的一个示例，其中可使用根据本文公开的一种或多种方法产生的训练数据来学习CNN 300的参数。CNN 300包括U-net架构，该U-net架构可分为自动编码器部分(下降部分，元素302b-330)和自动解码器部分(上升部分，元素332-356a)。CNN 300被配置为接收包括多个像素/体素的超声图像，并将输入的超声图像映射到预定类型的输出。CNN 300包括一系列映射，这些映射从可由输入层接收的输入图像图块302b，穿过多个特征标测图，最后映射到输出层356a。

图例358中标记了包括CNN 300的各种元件。如图例358所指示，CNN 300包括多个特征标测图(和/或复制的特征标测图)，其中每个特征标测图可接收来自外部文件或先前的特征标测图的输入，并且可将所接收的输入变换/映射成输出以产生下一特征标测图。每个特征标测图都可包括多个神经元，其中在一些实施方案中，每个神经元都可接收来自前一层/特征标测图的神经元的子集的输入，并且可基于所接收的输入来计算单个输出，其中输出可传播到下一层/特征标测图中的神经元的子集。可以使用空间维度诸如长度、宽度和深度来描述特征标测图，其中维度是指包括特征标测图的神经元的数量(例如，指定的特征标测图是多少神经元长、多少神经元宽、以及多少神经元深)。

在一些实施方案中，特征标测图的神经元可通过使用学习权重集(每个学习权重集在本文中可被称为滤波器)执行所接收的输入的点积来计算输出，其中每个所接收的输入具有唯一的对应的学习权重，其中该学习权重是在CNN的训练期间学习的。

由每个特征标测图执行的变换/映射由箭头指示，其中每种类型的箭头对应于不同的变换，如图例358所指示。向右指向的实心黑色箭头指示步幅为1的3×3卷积，其中来自紧接着先前的特征标测图的特征通道的3×3网格的输出被映射到当前特征标测图的单个特征通道。每个3×3卷积都可跟随有激活函数，其中在一个实施方案中，激活函数包括整流线性单元(ReLU)。

向下指向的中空箭头指示2×2最大池化，其中来自特征通道的2×2网格的最大值从紧接着先前的特征标测图传播到当前特征标测图的单个特征通道，从而导致紧接着先前特征标测图的空间分辨率降低4倍。

向上指向的中空箭头指示2×2上卷积，其包括将来自紧接着先前的特征标测图的单个特征通道的输出映射到当前特征标测图中的特征通道的2×2网格，从而将紧接着先前的特征标测图的空间分辨率提高4倍。

向右指向的虚线箭头指示复制和裁剪特征标测图以与另一个以后出现的特征标测图级联。裁剪使复制的特征标测图的维度能够与待与复制的特征标测图级联的特征通道的维度匹配。应当理解，当正复制的第一特征标测图的尺寸和待与第一特征标测图级联的第二特征标测图的尺寸相等时，可不执行裁剪。

具有中空细长三角形头部的向右指向的箭头指示1×1卷积，其中紧接着先前的特征标测图中的每个特征通道被映射到当前特征标测图的单个特征通道，或者换句话讲，其中在紧接着先前的特征标测图与当前特征标测图之间发生了特征通道的1对1映射。

具有弓形中空头部的向右指向的箭头指示批归一化操作，其中对输入特征标测图的激活的分布进行归一化。具有短中空三角形头部的向右指向的箭头指示丢弃操作，其中在训练期间发生输入神经元(以及它们的输入和输出)的随机或伪随机丢弃。

除了图例358内的箭头所指示的操作之外，CNN 300还包括在图3中用实心填充矩形表示的特征标测图，其中特征标测图包括高度(如图3所示的从上到下的长度，其对应于x-y平面中的y空间维度)、宽度(图3中未示出，假设量值与高度相等，并且对应于x-y平面中的x空间维度)和深度(如图3所示的左右长度，其对应于每个特征通道内的特征的数量)。同样，CNN 300包括在图3中用中空(未填充)矩形表示的复制和裁剪的特征标测图，其中复制的特征标测图包括高度(如图3所示的从上到下的长度，其对应于x-y平面中的y空间维度)、宽度(图3中未示出，假设量值与高度相等，对应于x-y平面中的x空间维度)和深度(如图3所示从左侧到右侧的长度，其对应于每个特征通道内的特征的数量)。

从输入图像图块302b(在本文也称为输入层)处开始，可输入对应于超声图像的数据并将其映射到第一特征集。在一些实施方案中，输入数据在由神经网络处理之前被预处理(例如，归一化)。可在训练过程期间学习CNN 300的每一层的权重/参数，其中将输入和预期输出(地面实况输出)的匹配对馈送到CNN 300。可基于梯度下降算法或其他算法来调整参数，直到CNN 300的输出在阈值准确度内与预期输出(地面实况输出)匹配为止。

如紧接着输入图像图块302b右侧的实心黑色向右指向的箭头所指示，执行输入图像图块302b的特征通道的3×3卷积(与反馈层302a结合，在下面更详细地描述)以产生特征标测图304。如上面所讨论的，3×3卷积包括使用学习权重将输入从特征通道的3×3网格映射到当前特征标测图的单个特征通道，其中将学习权重称为卷积滤波器。CNN架构300中的每个3×3卷积可包括后续激活函数，在一个实施方案中，该后续激活函数包括将每个3×3卷积的输出通过ReLU。在一些实施方案中，可采用ReLU之外的激活函数诸如Softplus(也称为SmoothReLU)、泄漏ReLU、嘈杂ReLU、指数线性单元(ELU)、Tanh、高斯、Sinc、Bentidentity、逻辑函数和机器学习领域中已知的其他激活功能。

如紧接着特征标测图304右侧的实心黑色向右指向的箭头所指示，在特征标测图304上执行3×3卷积以产生特征标测图306。

如特征标测图306下方的向下指向的箭头所指示，在特征标测图306上执行2×2最大池化操作以产生特征标测图308。简而言之，2×2最大池化操作包括从紧接着先前的特征标测图的特征通道的2×2网格确定最大特征值，以及将当前特征标测图的单个特征通道中的单个特征设置为如此确定的最大值。另外，特征标测图306被复制并与来自特征标测图348的输出级联以产生特征标测图350，如紧接着特征标测图306右侧的虚线向右指向的箭头所指示。

如紧接着特征标测图308右侧的实心黑色向右指向的箭头所指示，在特征标测图308上执行步幅为1的3×3卷积以产生特征标测图310。如紧接着特征标测图310右侧的实心黑色向右指向的箭头所指示，在特征标测图310上执行步幅为1的3×3卷积以产生特征标测图312。

如紧接着特征标测图312右侧的向右指向的中空头部弓形箭头所指示，在特征标测图312的输出上进行任选的批归一化操作以产生特征标测图313。在批归一化中，特征标测图312的输出跨小批量进行归一化，以加快CNN的训练并降低对网络初始化的敏感性。批归一化操作通过减去小批量均值并除以小批量标准偏差来对每个通道的激活进行归一化。然后，批操作将输入偏移可学习的偏移β并按可学习的比例因子γ对其进行缩放。

如特征标测图313下方的向下指向的中空头部箭头所指示，在特征标测图313上执行2×2最大池化操作以产生特征标测图314，其中特征标测图314是特征标测图312的空间分辨率的四分之一。另外，特征标测图313被复制并与来自特征标测图342的输出级联以产生特征标测图344，如紧接着特征标测图313右侧的虚线向右指向的箭头所指示。

如紧接着特征标测图314右侧的实心黑色向右指向的箭头所指示，在特征标测图314上执行步幅为1的3×3卷积以产生特征标测图316。如紧接着特征标测图316右侧的实心黑色向右指向的箭头所指示，在特征标测图316上执行步幅为1的3×3卷积以产生特征标测图318。

如紧接着特征标测图318右侧的向右指向的短中空三角形箭头所指示，在训练期间执行任选丢弃操作，其中针对训练的给定迭代移除/删除输入激活/特征的随机或伪随机子集，从而降低CNN 300过度拟合训练数据的可能性。

如特征标测图319下方的向下指向的箭头所指示，在特征标测图319上执行2×2最大池化操作以产生特征标测图320，其中特征标测图320是特征标测图319的空间分辨率的一半。另外，特征标测图319被复制并与来自特征标测图336的输出级联以产生特征标测图338，如紧接着特征标测图319右侧的虚线向右指向的箭头所指示。

如紧接着特征标测图320右侧的实心黑色向右指向的箭头所指示，在特征标测图320上执行步幅为1的3×3卷积以产生特征标测图322。如紧接着特征标测图322右侧的实心黑色向右指向的箭头所指示，在特征标测图322上执行步幅为1的3×3卷积以产生特征标测图324。

如特征标测图324下方的向下指向的箭头所指示，在特征标测图324上执行2×2最大池化操作以产生特征标测图326，其中特征标测图326是特征标测图324的空间分辨率的四分之一。另外，特征标测图324被复制并与来自特征标测图330的输出级联以产生特征标测图332，如紧接着特征标测图324右侧的虚线向右指向的箭头所指示。

如紧接着特征标测图326右侧的实心黑色向右指向的箭头所指示，在特征标测图326上执行3×3卷积以产生特征标测图328。如紧接着特征标测图328右侧的实心黑色向右指向的箭头所指示，在特征标测图328上执行步幅为1的3×3卷积以产生特征标测图330。

如特征标测图330正上方的向上指向的箭头所指示，在特征标测图330上执行2×2上卷积以产生特征标测图332的第一半部，同时使用来自特征标测图324的复制的特征来产生特征标测图332的第二半部。简而言之，步幅为2的2×2上卷积(在本文也称为反卷积或上采样)包括将紧接着先前的特征标测图的单个特征通道中的特征标测图到在当前特征标测图中的四个特征通道之间分布的四个特征(即，来自单个特征通道的输出被当作四个特征通道的输入)。上卷积/解卷积/上采样包括通过去卷积滤波器(在本文也称为去卷积内核)从单个特征通道投影特征值以产生多个输出。

如紧接着特征标测图332右侧的实心黑色向右指向的箭头所指示，在特征标测图332上执行3×3卷积以产生特征标测图334。

如图3所指示，在特征标测图334上执行3×3卷积以产生特征标测图336并且在特征标测图336上执行2×2上卷积以产生特征标测图338的一半，而来自特征标测图318的复制和裁剪的特征产生特征标测图338的第二半部。此外，在特征标测图338上执行3×3卷积以产生特征标测图340，在特征标测图340上执行3×3卷积以产生特征标测图342，并且在特征标测图342上进行2×2上卷积以产生特征标测图344的第一半部，同时使用来自特征标测图312的复制和裁剪的特征来产生特征标测图344的第二半部。在特征标测图344上执行3×3卷积以产生特征标测图346，在特征标测图346上执行3×3卷积以产生特征标测图348，并且在特征标测图348上执行2×2上卷积以产生特征标测图350的第一半部，同时使用来自特征标测图306的复制的特征来产生特征标测图350的第二半部。在特征标测图350上执行3×3卷积以产生特征标测图352，在特征标测图352上执行3×3卷积以产生特征标测图354，并且在特征标测图354上执行1×1卷积以产生输出层356a。简而言之，1×1卷积包括第一特征空间中的特征通道与第二特征空间中的特征通道的1对1映射，其中不会发生空间分辨率的降低。

输出层356a可包括神经元的输出层，其中每个神经元都可对应于经分割的超声图像的像素，并且其中每个神经元的输出都可对应于在输入的超声图像内在给定位置中的预测解剖特征(或缺少解剖特征)。例如，神经元的输出可指示经分割的超声图像的对应像素是血管、神经、骨骼、动脉等的一部分，还是未识别的特征的一部分。

输出层356a可被反馈到CNN 300的输入层。在图3所示的示例中，来自CNN 300的先前迭代的输出层可作为反馈层302a，作为对CNN 300的当前迭代的输入来应用。反馈层302a可作为输入图像的另一层包括在内(以相同的分辨率)，因此可作为输入图像图块302b的一部分包括在内。例如，输入的超声图像和CNN 300的先前迭代的输出层(例如，经缓冲的输出，其中缓冲表示输出被存储在缓冲器中，直到用作对CNN 300的输入为止)可形成为矢量，该矢量被录入作为对CNN 300的输入。在一些示例中，虽然图3中未示出，但在CNN 300的先前迭代中用作输入的所输入的超声图像也可包括在输入层中。

在一些示例中，CNN可以比用于生成输入到CNN 300的超声图像的超声系统的帧速率更慢的帧速率进行操作。例如，如上面关于图1所解释的，超声系统100可以30Hz的帧速率进行操作。然而，CNN可以6Hz的帧速率进行操作。即，CNN可基于输入的超声图像产生输出，其中在已获取了附加超声图像之后，该输出实际上是由CNN产生的。因此，在将第一超声图像输入到CNN 300中时，从CNN 300基于第一超声图像生成的输出实际上可应用于在第一超声图像之后获取的第二超声图像(例如，可生成注释并将其覆盖在第二超声图像上)。可在获取第一超声图像与获取第二超声图像之间获取一个或多个中间超声图像。因此，如下面将更详细解释的，在一些示例中，运动跟踪算法可与CNN并行执行，并且如果在超声图像帧之间检测到运动，则可基于检测到的运动来调整CNN 300的输出。

以这种方式，CNN 300可使超声图像能够映射到输出。图3中所示的CNN 300的架构包括特征标测图变换，随着输入图像图块传播通过卷积神经网络的神经元层，发生特征标测图变换，以产生预测输出。

CNN 300中的卷积层的权重(和偏差)是在训练期间学习的，这将在下面参考图6进行详细讨论。简而言之，定义损失函数以反映预测输出与地面实况输出之间的差值。可将差值/损失反投影到CNN以更新卷积层的权重(和偏差)。可使用包括超声图像和对应的地面实况输出的多个训练数据集来训练CNN 300。

应当理解，本公开包含神经网络架构，这些神经网络架构包括一个或多个正则化层，该一个或多个正则化层包括批归一化层、丢弃层、高斯噪声层和机器学习领域中已知的其他正则化层，它们可在训练期间使用以减轻过度拟合并提高训练效率，同时减少训练时间。在CNN训练期间使用正则化层，并且在CNN的训练后实施方式期间将其停用或移除。这些层可散布在图3所示的层/特征标测图之间，或者可替换所示层/特征标测图中的一个或多个。

应当理解，图3所示的CNN300的架构和配置是用于说明而非限制。可使用任何适当的神经网络诸如ResNet、递归神经网络、广义回归神经网络(GRNN)等。上面描述了本公开的一个或多个特定实施方案以便提供透彻的理解。本领域技术人员将理解，在不脱离本公开的实质的情况下，可以在实施时修改实施方案中描述的具体细节。

图4示出了用于CNN 400的架构，CNN 400是根据本公开的机器学习模型的另一示例，其中可使用根据在本文公开的一种或多种方法产生的训练数据来学习CNN 400的参数。CNN 400与CNN 300类似，因此表示U-net架构，其可分为自动编码器部分(下降部分，元素302b-330)和自动解码器部分(上升部分，元素332-356a)。相同的部件与图3中的标号相同，不再重新介绍。

在CNN 400中，来自CNN 400的输出(例如，输出层356a)可作为反馈层402，作为对CNN 400的后续迭代的输入来反馈。反馈层402可包括输出层356a的下采样版本并且可作为特征标测图326(该特征标测图是CNN 400的底层)的一部分包括在内，因此可具有粗略分割的语义，该粗略分割可与先前输入的超声图像帧的分割结果在语义上兼容。如紧接着特征标测图326右侧的实心黑色向右指向的箭头所指示，在特征标测图326(包括反馈层402)上执行3×3卷积以产生特征标测图328。通过将来自CNN 400的输出作为下采样的输出录入到CNN 400的底层，CNN 400的输出所识别的解剖特征的形状相对于图3的CNN 300的输出所识别的解剖结构的形状可更加一致。然而，图3的CNN 300的输出所识别的解剖特征的形状的边界可比图4的CNN 400的输出所识别的解剖特征的形状的边界更平滑。

参见图5A和图5B，示出了用于分割和跟踪超声图像中的特征的方法500的流程图。可由上面公开的系统中的一个或多个(诸如图像处理系统202和/或超声系统100)来实现方法500。

在502处，经由超声系统(例如，图1的系统100)获取超声图像，并将超声图像显示在显示设备(例如，图1的显示设备118)上。为了获取图像，可控制超声系统的超声探头(例如，探头106)以将超声信号(例如，经由超声探头的超声换能器的通电)输出到成像对象(诸如患者)并且接收所得的回声(例如，其中从成像对象反向散射输出的声信号)。然后，由超声系统处理超声探头所接收的信号以生成超声图像，输出这些超声图像以便显示。可以诸如30Hz的合适的帧速率来获取和显示超声图像。

在504处，方法500确定是否接收到分割后续超声图像的请求。分割超声图像可包括识别超声图像中的一个或多个解剖特征并将对超声图像上的每个所识别的解剖特征的标识、位置、边界和/或其他特征的指示包括在内。在一些示例中，可从用户接收对分割超声图像的请求。例如，超声系统的操作者(例如，超声医师或其他临床医生诸如麻醉师)可经由用户界面(例如，用户界面115)或经由探头录入输入，以请求对后续采集的超声图像进行分割。在其他示例中，分割超声图像的请求可以是自动的，例如，超声系统可遵循用户在发起超声扫描会话时所选择的扫描工作流，并且扫描工作流可指示对所获取的超声图像进行分割。应当理解，在开始采集超声图像之前可接收到分割超声图像的请求。

如果尚未接收到分割超声图像的请求，则方法500前进至502以获取和显示超声图像，而不分割所获取的超声图像。例如，可现实所获取的超声图像，而无所识别的解剖特征的指示，诸如在图7中示出并且在下面更详细描述的超声图像。如果已接收到分割超声图像的请求，则方法500前进至506以录入第一超声图像作为对分割和跟踪模型的输入。在一些实施方案中，分割和跟踪模型是具有自动编码器-自动解码器类型架构的CNN，诸如图3所示的CNN 300或图4所示的CNN 400。分割和跟踪模型可生成第一超声图像中的一个或多个解剖特征的身份和/或位置作为第一输出。

在一些示例中，方法500可任选地包括在507处基于跟踪的运动来调整模型的第一输出。分割和跟踪模型可以比获取超声图像更慢的速率生成输出。例如，分割和跟踪模型可以超声图像获取速率的五分之一的速率生成输出。因此，可在获取第一超声图像之后很好地生成模型的第一输出，并且可在获取第一超声图像与生成第一输出之间获取一个或多个附加超声图像。这可能导致相对于在使用输入图像生成输入图像之后获得的图像而显示模型的输出(例如，基于输出而生成的注释)。如果成像的解剖特征在这段时间内几乎没有发生运动，则这些注释仍然可以准确地反映出解剖特征的位置。然而，如果解剖特征正跨图像移动(例如，由于患者移动、呼吸或心跳，或者由于探头的移动或探头成像参数诸如频率或深度的变化而引起)，则注释可能会开始失去准确性，因为注释可能会在基础解剖特征移动时保持固定在适当位置(至少直到生成和输出模型的下一输出为止)。因此，可与分割和跟踪模型并行地执行单独的运动跟踪器。运动跟踪器可分析每个图像并确定每个图像作为整体的总体运动水平(例如，相对于先前图像)，或者确定每个图像中的各解剖特征的运动水平(例如，相对于先前图像中的特征)。运动跟踪器可使用合适的技术来确定运动(无论是针对整个图像还是针对图像的每个单独的所识别特征)，该合适的技术诸如像素亮度的变化、每个所识别特征的相关联的跟踪边界的移动、所识别特征的边缘的变化等。

如果运动跟踪器跨两个或更多个图像检测到一个或多个解剖特征的运动，则可基于所确定的运动来调整第一输出。例如，如上所述，可在生成第二输出之前在多个图像上显示第一输出(例如，基于第一输出而生成的注释)。如果运动跟踪器在这些图像中检测到运动，则可基于检测到的运动来更新第一输出。例如，如果运动跟踪器确定超声探头的整个视野已向左偏移(例如，由于操作者移动探头而引起)一毫米，则注释可向左偏移一毫米。如果运动跟踪器确定所识别的解剖特征正在移动(例如，由于患者呼吸或心跳引起的周期性运动)，则可相应地调整该解剖特征的注释(例如，可改变注释的尺寸、形状和/或位置)。

另外，在一些示例中，当运动跟踪器检测到运动时，可基于该运动来更新用作对分割和跟踪模型的输入的图像。由于获取输入图像的时间与基于该图像生成模型的输出之间的延迟，因此如果发生运动，则输出(一旦生成)可能无法准确地反映出所识别的解剖特征的当前位置。因此，如果检测到运动并且检测到的运动是沿着轨迹可预测的，则可调整输入到模型的图像，使得该图像反映出预测的运动。同样，如果检测到可预测的运动(例如，沿着轨迹)，则可在输出作为对模型的后续迭代的输入被反馈之前，基于检测到的运动来调整模型的输出，如下所述。

在508处，将分割和跟踪模型的经调整的第一输出与第二超声图像一起显示在显示设备上。模型的第一输出可以是由模型使用第一超声图像作为对模型的输入而生成的输出。第一输出可包括对存在于第一超声图像中的一个或多个解剖特征的识别，包括每个所识别的解剖特征的位置、每个所识别的解剖特征的边界等等。超声系统可使用第一输出来生成可显示在第二超声图像上方的注释，注释指示每个所识别的解剖特征的身份和位置。对于每个所识别的解剖特征，注释可包括：字母，其识别该解剖特征，被置于所识别的解剖特征的质心处(例如，“A”用于识别动脉，“B”用于识别骨骼，“V”用于识别脉管)；轮廓线，其遵循所识别的解剖特征的边界并且覆盖在所识别的解剖特征的边界上；色调，其覆盖在所识别的解剖特征上；和/或所识别的特征的位置的另一合适表示，其可包括也可不包括对已识别出哪种类型的解剖特征的指示。例如，当利用轮廓线对解剖特征进行注释时，轮廓线的颜色可指示解剖特征的类型(例如，蓝色代表骨骼，红色代表血管)，或者每个轮廓线可以是相同的颜色，因此可能无法识别解剖特征的类型。可在第一超声图像之后获取第二超声图像。例如，如前所述，超声系统可以诸如30Hz的第一帧速率获取和显示超声图像。分割和跟踪模型可能不能足够快地生成输出以实时地分割和跟踪所识别的解剖特征，因此在该模型生成第一输出时，可能已获取并显示了一个或多个附加超声图像。因此，基于第一输出生成的注释可覆盖在第二后续超声图像上。因此，如上所述，可基于检测到的运动(例如，在获取第一超声图像与获取第二超声图像之间发生的运动)来调整第一输出。

在510处，录入第三超声图像和第一输出作为对模型的输入。通过将模型的第一输出(连同后续超声图像一起)包括在内作为对模型的后续迭代的输入，可改善对所识别的解剖特征的跟踪。例如，如果模型基于模型的先前迭代的输出知道给定解剖特征的位置，则识别后续图像中的给定解剖特征的置信度可增大，并且可允许跨多个图像跟踪给定解剖特征，即使模型很难在独立的图像中区分给定解剖特征。在一些示例中，可在第二超声图像之后获取第三超声图像。在其他示例中，第三超声图像可以是第二超声图像，例如，同一图像可利用第一输出进行注释并且可用作模型的后续迭代的输入。在一些示例中，作为模型的输入而录入的第一输出可以是经调整的第一输出(例如，基于检测到的运动进行调整)。

向分割和跟踪模型录入第三超声图像和第一输出可包括，如在512处所指示，录入第一输出作为输入层，诸如输入图像的层(例如，输入到模型的第三超声图像的层)。例如，如图3所示，可将模型的输出(例如，CNN 300的输出层356a)添加到输入图像(例如，输入图像302a)(例如，与其级联)，并且一起录入作为对模型的输入。可在生成第一输出时将其保存在缓冲器中，并且可将经缓冲的第一输出应用于模型的输入层。

在一些示例中，将第三超声图像和第一输出录入到分割和跟踪模型可包括，如在513处所指示，将第一输出与第一图像一起录入作为输入图像的层。例如，可将第一输出和第一图像(该第一图像被录入到模型以生成第一输出)两者都保存在缓冲器中，并且可将经缓冲的第一输出和经缓冲的第一图像应用于模型的输入层(例如，与其级联)。通过将第一输出和用于创建第一输出的第一图像两者都作为对模型的反馈而包括在内，可改善第三图像中的解剖特征的识别和跟踪。

在一些示例中，将第三超声图像和第一输出录入到分割和跟踪模型可包括，如在514处所指示，将第一输出录入到模型的底层中。例如，如图4所示，可将模型的输出(例如，CNN 400的输出层356a)添加到模型的底层的一方面(例如，特征标测图326)(例如，与其级联)，并且可将输出和特征标测图卷积以形成另一特征标测图，该另一特征标测图最终形成模型的输出(例如，在执行各种卷积和上卷积之后)。在生成第一输出时，可对其进行下采样(例如，降低至特征标测图326的分辨率)以保存在缓冲器中，并且可将经缓冲的、下采样的第一输出应用于模型的底层。该模型可基于第三超声图像和第一输出来生成第二输出。

在515处，方法500任选地包括调整模型的第二输出以补偿运动。在515处执行的运动检测和补偿可与在507处执行的运动检测和补偿类似，例如，运动跟踪器可分析在第三超声图像与第四超声图像之间获取的超声图像(在第三超声图像和第四超声图像上显示从第二输出生成的注释)以检测运动，并且如果检测到运动，则可调整第二输出以补偿运动。

在516处，将分割和跟踪模型的经调整的第二输出与第四超声图像一起显示在显示设备上。该模型可使用第三超声图像以及第一输出作为对模型的输入来生成模型的第二输出。第二输出可包括对存在于第三超声图像中的一个或多个解剖特征的识别，包括每个所识别的解剖特征的位置、每个所识别的解剖特征的边界等等。超声系统可使用第二输出来生成可显示在第四超声图像上方的注释，这与从第一输出生成并在上面说明的注释类似。可调整第二输出以补偿获取第三图像与获取第四图像之间发生的运动。在一些示例中，可调整注释以反映出对解剖特征的识别和/或对解剖特征的跟踪位置的置信度。例如，可利用具有第一较高权重的轮廓线来注释以高置信度跟踪的解剖特征，同时可使用具有第二较低权重的轮廓线来注释以低置信度跟踪的解剖特征。在示例中，可基于阈值化之前的分割输出来确定对解剖特征的识别/跟踪的置信度。例如，模型可输出多个像素，该多个像素各自具有反映该像素是否是解剖特征的一部分的计算/预测的值，并且值低于阈值的所有像素都可“阈值化”(例如，假设像素值为零)。可分析解剖特征的未阈值化的像素值以确定置信度，其中像素值越高，则解剖特征是准确的置信度越高。另选地，如果所识别的解剖特征在位置和形状/边界方面是稳定的，则该特征可比在位置和形状/边界上变化的特征具有更高的置信度。

可在第三超声图像之后获取第四超声图像，因此可将基于第二输出而生成的注释覆盖在第四后续超声图像上。在一些示例中，在生成第一输出的时间与生成第二输出的时间之间，可在模型生成第二输出的同时在显示设备上显示基于第一输出而生成的注释。由于可以比分割和跟踪模型可生成其输出更快的速率获取超声图像，因此可在第三超声图像与第四超声图像之间获得一个或多个中间超声图像。这些中间图像可与基于第一输出而生成的注释一起显示在显示设备上，可如上所述针对运动对这些中间图像进行调整。

以这种方式，可并行地使用运动跟踪器以及分割和跟踪模型，以跨多个图像准确地识别和跟踪解剖特征。分割和跟踪模型可准确地识别不同视图中的各种解剖特征，但由于模型所使用的处理密集型神经网络而可能会出现延迟。因此，分割和跟踪模型可起到以低帧速率“刷新”被跟踪的解剖特征的位置的作用，诸如每获取五个超声图像刷新一次。在被跟踪的解剖特征的位置的这些重置/刷新之间，运动跟踪器可起到微调被跟踪的解剖特征的位置的作用。然而，在一些示例中，可省略运动跟踪器(或至少不用于本文公开的解剖特征识别和跟踪)，并且可不对基于单独检测到的运动而生成的模型输出/注释进行调整。此外，在其中分割和跟踪模型能够以与获取超声图像的速率相同的帧速率(或更快)生成输出的示例中，响应于运动检测而进行的调整将是不必要的，因此将不执行。在这些示例中，可将模型所生成的输出与用于生成输出的相同图像，而不是后面的图像一起显示。

方法500前进至图5B所示的518以确定是否已接收到停止分割的请求。可经由用户输入来接收停止分割的请求，或者可基于扫描工作流自动生成该请求，这与以上在504处所描述的发起分割的请求类似。如果已接收到停止分割的请求，则方法500前进至520以在显示设备上显示未分割的图像。例如，可显示任何随后获取的超声图像，而无任何对所识别的解剖特征的对应的注释或指示。在一些示例中，停止分割的请求可以是关闭超声探头的电源或以其他方式终止当前扫描会话的形式，在这种情况下，可不显示任何附加超声图像。然后，方法500返回。

如果未接收到停止分割的请求，则方法500前进至522以继续将分割和跟踪模型的输出与所获取的超声图像一起显示在显示设备上，并提供该输出作为对模型的反馈。例如，可将每个第五图像(或图像的其他合适间隔)馈送到模型，并且该模型所生成的输出的每个迭代可用作到该模型的下一迭代的反馈输入，如上面在510处所解释的。如前所述，这可包括如果检测到运动，则调整输出的视觉表示(例如，显示在图像上的注释)。

此外，在某些示例中，当注释与超声图像一起显示以指示如从分割和跟踪模型所确定的各种解剖特征的身份和/或位置时，在显示设备上查看图像的用户可录入(例如，经由用户界面115)指示解剖特征的位置的输入(例如，如果位置不准确，则对位置进行校正或对位置进行确认)。分割和跟踪模型可使用用户输入来确定模型所生成的输出是否准确，因此是可接受的以用作对模型的反馈。例如，用户对解剖特征的位置的确认可改变所确认的特征的确定性(强度)。用户对解剖特征位置的校正可能会导致先前输出被移除，并导致在所指示的校正位置处出现“手动”高确定性输出。然后，系统可进入跟随、跟踪和不丢失模式(实际上在丢失时发出通知)，或者在校正后保持默认模式。

在524处，方法500任选地包括如果不再能可靠地跟踪被跟踪的解剖特征，则通知超声系统的操作者。例如，分割和跟踪模型可确定被跟踪的解剖特征(诸如骨骼)正开始移出超声探头的视野。可生成通知以告知操作者骨骼部分或完全不在视野范围内。该通知可包括调整该骨骼的注释的视觉外观，诸如改变色调的颜色、改变轮廓线的颜色、权重和/或虚线图案等。在其他示例中，该通知可包括显示在显示设备上的文本通知，警告操作者关于骨骼的位置(例如，“骨骼正在移出视野”)、音频通知、触觉反馈或其他合适的通知。确定不再能可靠地跟踪被跟踪的解剖特征可基于以下各项：解剖特征正在移出视野(如上所述)；图像中的解剖特征的尺寸/形状的变化，使得模型无法识别解剖特征；另一个物体遮挡住解剖特征(诸如，正插入针)；或者实际上模型可能无法准确确定解剖特征的任何其他原因。

在526处，方法500任选地包括基于被跟踪的解剖特征来调整一个或多个超声成像参数。例如，可自动调整超声换能器频率、成像深度、图像增益、波束转向和/或其他成像参数中的一个或多个，以便保持被跟踪的解剖特征在视野中、保持被跟踪的解剖特征的期望的成像平面在视野中等。例如，如果感兴趣的解剖特征正在向上或向下移动，则可调整超声探头的焦点以遵循解剖特征。另外，可针对深度来优化频率(例如，对于较浅的图像，较高的频率)。

应当理解，当确定不再能可靠地跟踪特征时和/或当确定可通过调整一个或多个成像参数来改善成像时，可在方法500中的任一点处执行524和/或526。此外，可使用其他分割和/或跟踪技术，诸如图像处理技术(例如，边缘检测)来执行526和/或524。

参见图6，示出了根据示例性实施方案的用于训练分割和跟踪模型(诸如图3所示的CNN 300)的方法600的流程图。可由训练模块210实现方法600。

在602处，将来自多个训练数据集的一个训练数据集馈送到分割和跟踪模型，其中训练数据集包括当前超声图像、先前模型输出和对应的地面实况标签。可基于紧接在当前超声图像之前获取的先前超声图像或者根据在当前超声图像之前获取但具有在当前超声图像与先前超声图像之间获取的一个或多个中间超声图像的先前图像来确定先前模型输出。例如，先前超声图像可以是超声探头所收集的超声数据的第一帧，而当前超声图像可以是超声探头所收集的超声数据的第五帧，其中出于训练数据集的目的，丢弃超声探头所收集的超声数据的第二帧、第三帧和第四帧。

如先前所讨论的，地面实况可包括基于当前超声图像的输入，从机器学习模型获得的预期的、理想的或“正确的”结果。在一个示例中，在经训练以识别超声图像中的解剖特征的机器学习模型中，对应于特定超声图像的地面实况输出可包括超声图像的专家策划的分割标测图，该分割标测图可包括从背景中分割出的解剖特征以及识别每个解剖特征的标签。在另一示例中，可通过分析方法/算法来产生地面实况输出。以这种方式，地面实况标签可针对每个图像识别每个图像中的每个解剖特征的身份和位置。在一些实施方案中，训练数据集和多个训练数据集可存储在图像处理系统中，诸如存储在图像处理系统31的MR图像数据212中。在其他实施方案中，可经由图像处理系统与外部存储设备之间的通信耦接(诸如经由与远程服务器的互联网连接)来获取训练数据集。

在604处，将训练数据集的当前图像输入到模型的输入层中。在一些实施方案中，将当前图像输入到具有自动编码器-自动解码器类型架构的CNN的输入层中，诸如图3所示的CNN 300或图4所示的CNN 400。在一些实施方案中，将当前图像的每个体素或像素值输入到模型的输入层的不同节点/神经元中。将训练数据集的先前输出连同当前图像(如图3的CNN300所示)或模型的底层(如图4的CNN 400所示)一起输入到输入层中。在将先前输出输入到输入层中时，先前输出可具有与当前图像相同的分辨率。在将先前输出输入到底层中时，先前输出可被下采样到与当前图像不同(较低)的分辨率。

在606处，使用当前图像、先前输出和模型来确定当前模型输出，该当前模型输出指示当前图像中的一个或多个解剖特征的身份和位置。例如，该模型可通过将输入的当前图像从输入层，传播穿过一个或多个隐藏层，直至到达模型的输出层来将输入的当前图像映射到解剖特征的身份和位置。在一些实施方案中，模型的输出包括值的矩阵，其中每个值都对应于输入的当前图像的相应像素或体素处的所识别的解剖特征(或缺少所识别的特征)。

在608处，由图像处理系统计算模型的当前输出与对应于当前图像的地面实况标签之间的差值。在一些实施方案中，确定对应于输入的当前图像的预测解剖特征的每个输出值与由地面实况标签指示的解剖特征之间的差值。可根据损失函数来计算差值，例如：

DICE＝(S∩T)/(S∪T)，

其中S是地面实况标签，并且T是预测解剖特征。换句话讲，对于输入的当前图像的每个像素或体素，模型的输出可包括该像素是哪个解剖特征的一部分(或缺乏解剖特征)的指示。同样，地面实况标签可包括对于当前图像的每个像素，该像素是哪个解剖特征的一部分的指示。然后，可确定每个输出值与地面实况标签之间的差值。

在610处，基于在608处计算出的差值来调整模型的权重和偏差。如由损失函数所确定的差值(或损失)可反向传播穿过模型(例如，神经学习网络)，以更新卷积层的权重(和偏差)。在一些实施方案中，根据梯度下降算法可发生损失的反向传播，其中针对模型的每个权重和偏差确定损失函数的梯度(一阶导数或一阶导数的近似)。然后，通过将针对权重(或偏差)确定(或近似)的梯度乘积的负数与预定步长大小相加来更新模型的每个权重(和偏差)。然后方法600可结束。应当注意，方法600可重复进行，直到模型的权重和偏差收敛，或者对于方法600的每次迭代，模型的权重和/或偏差的变化率都在阈值以下。

以这种方式，方法600使模型能够经训练以从当前超声图像数据预测一个或多个解剖特征的位置和/或其他属性(例如，识别)，从而有助于在后续超声扫描中自动确定所识别的解剖特征。

图7示出了第一组超声图像700，该第一组超声图像包括第一图像710和第二图像720，该第一图像可以是超声探头在第一时间点所获取的患者的内部结构的图像，该第二图像可以是超声探头在第二稍后的时间点所获取的患者的内部结构的图像。在一个示例中，在一系列连续获取的超声数据帧中，第一图像710可以是超声数据的第一帧，而第二图像可以是超声数据的第五帧。如第一图像710和第二图像720所理解的，第一图像710和/或第二图像720中的任何相关解剖特征可能难以辨别。另外，一个或多个解剖特征从第一图像710到第二图像720的微妙移动可能会迫使临床医生实时地查看第一图像710和第二图像720，以保持他或她的眼睛盯住上面显示第一图像710和第二图像720的显示设备，以保持对相关解剖特征的识别。

图8示出了第二组超声图像800，该第二组超声图像包括第一图像810和第二图像820。第一图像810和第二图像820可以是利用轮廓线进行注释的图7的图像，这些轮廓线区分开如从本文所述的分割和跟踪模型的输出所确定的所识别的解剖特征。例如，可将第一图像710输入到分割和跟踪模型中(并且任选地，如果先前输出可用，则连同模型的先前输出一起输入)以生成覆盖在第一图像810上的注释，并且可将第二图像720连同用于生成覆盖在第一图像810上的注释的模型的输出一起输入到分割和跟踪模型中，以便生成覆盖在第二图像820上的注释。在第一图像810中，识别并标记了三个解剖特征，包括由第一注释812标记的第一特征、由第二注释814标记的第二特征和由第三注释816标记的第三特征。在一个非限制性示例中，第一特征可被识别为神经，第二特征可被识别为骨骼，并且第三特征可被识别为动脉。

如通过第二图像820所理解的，在获取第一图像810的时间与获取第二图像820的时间之间，每个所识别的解剖特征都已向右偏移，因此第二图像820中所示的每个注释都已相对于第一图像810中所示的注释进行了位置调整。第一注释812所标记的第一特征的形状也已变形，导致第一特征(例如，神经)向上偏移并远离第二特征(例如，骨骼)，因此相对于第一图像810中示出的第一注释812，调整第一注释812的形状。在图7所示的第一组图像700中，可能很难检测到解剖特征中的这种移动。如图8的第二组图像800所示，通过利用对每个所识别的解剖特征的位置/程度的指示而注释图像，临床医生可能能够容易地跟踪解剖特征，即使这些特征的位置发生偏移和/或尺寸和/或形状发生变形，这可允许临床医生把目光从图像移开以照顾患者或医学规程而不会导致在临床医生重新开始查看图像时，临床医生失去对解剖特征的定向。

虽然图8所示的注释包括覆盖在每个解剖特征的边界上的轮廓线，其中对于每个所识别的解剖特征，这些轮廓线具有相同的权重和颜色，但在不脱离本公开的范围的情况下，其他类型的注释也是可能的。例如，这些注释可包括覆盖在每个相应解剖特征的中心上的指示解剖特征的类型的字母(例如，A指示动脉)，这可允许显示更多的基础图像，包括每个所识别的解剖特征的边界。在另一示例中，这些注释可包括位于每个相应的所识别的解剖特征上方的半透明层，其中每个半透明注释具有与基础解剖特征匹配的尺寸和形状。在再其他示例中，注释可包括以上内容的组合。此外，可调整注释的颜色、线宽、虚线图案和/或其他参数以更好地区分相邻的解剖特征、提供指示解剖特征的类型的信息(例如，动脉可被染成红色，而骨骼可被染成白色)或向用户/临床医生提醒警告状况，诸如所识别的解剖特征移出视野或以其他方式受到不可靠跟踪。例如，图9示出了与第二图像820类似的图像900，图像900包括覆盖有一组注释的第二图像720。这些注释可包括标记第一特征的第一注释812和标记第三特征的第三注释816，如图8所示。然而，第二特征可用注释902标记，该注释可具有虚图案线而不是实线。注释902的虚图案线可指示第二特征正开始移出超声探头的视野，因此超声系统的操作者可能会看到虚线并选择调整超声探头的位置以使第二特征完全保持在视野内。

在多个连续超声图像的所识别的解剖特征上生成和显示注释的技术效果是可改善用户对解剖特征的跟踪，这可改善患者护理。使用机器学习模型的输出作为机器学习模型的后续迭代的输入的技术效果是，该输出可更准确并且可允许识别原本可能无法区分的解剖特征。

在另一表示中，一种方法包括：基于当前超声图像以及先前超声图像中的所识别的解剖特征的先前位置来调整指示当前超声图像中的所识别的解剖特征的当前位置的注释的参数，该注释显示在显示设备上。在一个示例中，该方法还包括：经由分割和跟踪模型，使用当前超声图像作为对模型的第一输入并且使用所识别的解剖结构的先前位置作为对模型的第二输入来识别当前超声图像中的所识别的解剖特征的当前位置。

当介绍本公开的各种实施方案的元件时，词语“一个”、“一种”和“该”旨在意指存在这些元件中的一个或多个元件。术语“第一”、“第二”等不表示任何顺序、量或重要性，而是用于将一个元件与另一个元件区分开。术语“包含”、“包括”和“具有”旨在是包含性的，并且意指除了列出的元件之外还可存在附加元件。如本文使用术语“连接到”、“耦接到”等，一个对象(例如，材料、元件、结构、构件等)可以连接到或耦接到另一个对象，而无论该一个对象是否直接连接或耦接到另一个对象，或者在该一个对象和另一个对象之间是否存在一个或多个介入对象。此外，应当理解，对本公开的“一个实施方案”或“实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。

除了任何先前指示的修改之外，本领域技术人员可以在不脱离本描述的精神和范围的情况下设计出许多其他变型和替换布置，并且所附权利要求书旨在覆盖此类修改和布置。因此，尽管上面已经结合当前被认为是最实际和最优选的方面对信息进行了具体和详细的描述，但对于本领域的普通技术人员将显而易见的是，在不脱离本文阐述的原理和概念的情况下，可以进行许多修改，包括但不限于形式、功能、操作方式和使用。同样，如本文所使用的，在所有方面，示例和实施方案仅意图是说明性的，并且不应以任何方式解释为限制性的。

Claims (20)

1.一种方法，包括：

输出用于显示在显示设备上的指示第一超声图像的所识别的解剖特征的第一位置的注释，所述注释是基于模型的第一输出而生成的；以及

基于所述模型的第二输出来输出用于显示在所述显示设备上的经调整的注释，所述模型的所述第二输出是基于第二超声图像并且进一步基于所述模型的所述第一输出而生成的，所述经调整的注释指示所述第二超声图像中的所识别的解剖特征的第二位置。

2.根据权利要求1所述的方法，其中所述经调整的注释是相对于所述注释在位置、尺寸、形状和视觉外观中的一个或多个方面调整的。

3.根据权利要求1所述的方法，其中所述经调整的注释是相对于所述注释在所述注释的位置方面调整的以反映出所识别的解剖特征从所述第一位置移动到所述第二位置，并且所述方法还包括如果所述第二位置至少部分地位于用于获取所述第二超声图像的超声探头的视野之外，则还调整所述注释的视觉外观。

4.根据权利要求1所述的方法，其中使用所述第一超声图像作为对所述模型的输入来生成所述模型的所述第一输出，并且其中在所述第一超声图像之后获取所述第二超声图像。

5.根据权利要求1所述的方法，其中在所述模型的共同输入层处并且以共同分辨率录入所述第二超声图像和所述第一输出。

6.根据权利要求1所述的方法，其中在所述模型的不同层处录入所述第二超声图像和所述第一输出。

7.根据权利要求6所述的方法，其中以比所述第二超声图像更低的分辨率录入所述第一输出。

8.根据权利要求6所述的方法，其中在所述模型的输入层处录入所述第二超声图像并且将所述第一输出录入所述模型的底层。

9.一种方法，包括：

将第一超声图像输入到分割和跟踪模型中；

接收所述第一超声图像中的所识别的解剖特征的第一位置，作为来自所述分割和跟踪模型的第一输出；

在显示设备上显示第二超声图像上的所述第一位置处的第一注释；

将所述第二超声图像和所述第一输出输入到所述分割和跟踪模型中；

接收所述第二超声图像中的所识别的解剖特征的第二位置，作为来自所述分割和跟踪模型的第二输出；以及

在所述显示设备上显示第三超声图像上的所述第二位置处的第二注释。

10.根据权利要求9所述的方法，其中在所述第一超声图像之后获取所述第二超声图像并且在所述第二超声图像之后获取所述第三超声图像。

11.根据权利要求10所述的方法，其中在获取所述第二超声图像与获取所述第三超声图像之间获取一个或多个附加超声图像，并且其中将所述第一注释与所述一个或多个附加超声图像中的每一个附加超声图像一起显示在所述显示设备上。

12.根据权利要求11所述的方法，还包括使用运动跟踪器来确定跨所述第二超声图像和所述一个或多个附加超声图像存在的所识别的解剖特征的运动，并且作为响应，基于所确定的运动来调整所述第一注释。

13.根据权利要求9所述的方法，还包括至少部分地基于所述第一输出和/或所述第二输出，调整用于获取所述第一超声图像、所述第二超声图像和所述第三超声图像的超声探头的一个或多个超声成像参数。

14.根据权利要求13所述的方法，其中所述一个或多个超声成像参数包括频率、深度和增益中的一者或多者。

15.根据权利要求9所述的方法，其中所述分割和跟踪模型包括卷积神经网络。

16.一种系统，包括：

超声探头；

存储器，所述存储器存储指令；和

处理器，所述处理器通信地耦接到所述存储器并且在执行所述指令时，被配置为：

经由所述超声探头获取第一超声图像；

经由来自模型的输出识别存在于所述第一超声图像中的一个或多个解剖特征；

经由所述超声探头获取第二超声图像；

使用所述第二超声图像作为对所述模型的输入并且使用所述输出作为对所述模型的反馈来经由所述模型确定所述第二超声图像中的所识别的一个或多个解剖特征中的每一个解剖特征的相应位置。

17.根据权利要求16所述的系统，还包括显示设备，并且其中当执行所述指令时，所述处理器被配置为向所述显示设备输出一个或多个注释，所述一个或多个注释各自表示相应的位置。

18.根据权利要求16所述的系统，其中当执行所述指令时，所述处理器被配置为向所述显示设备输出在所述第二超声图像之后获取的第三超声图像，所述一个或多个注释显示在所述第三超声图像上。

19.根据权利要求16所述的系统，其中所述模型为卷积神经网络(CNN)，其中所述输出为所述CNN的输出层，并且其中所述输出在所述CNN的输入层处与所述第二超声图像一起录入到所述CNN。

20.根据权利要求16所述的系统，其中所述模型为卷积神经网络(CNN)，其中所述输出为所述CNN的输出层，其中所述第二超声图像在所述CNN的输入层处录入到所述CNN，并且其中所述输出在所述CNN的底层处录入到所述CNN。

Images