CN112469340A - 具有用于引导式肝成像的人工神经网络的超声系统 - Google Patents

Abstract

本公开描述了用于超声检查生物组织(诸如肝)并且用于使用一个或多个神经网络来自动识别和获取适合于肝肾回波强度比量化的视图的超声成像系统和方法，所述一个或多个神经网络可以被训练为执行图像分类、分割、或其组合以计算置信度并且为所述图像上的测量ROI放置提供推荐。

Description

具有用于引导式肝成像的人工神经网络的超声系统

技术领域

本公开属于用于超声检查生物组织并且更特别地用于使用人工神经网络引导和至少部分地自动化肝肾比率量化的超声成像系统和方法。

背景技术

超声成像通常被用于对患者的内部组织或器官无创成像，例如，以用于诊断任何数目的不同疾病和其处理的进展或成功。例如，肝与肾之间的回波强度的比率是用于肝脂肪含量的定量生物标志。超声成像可以被用于测量该比率，但是归因于实现用于测量目的的适当的帧中的困难，其可能经受误诊或分类。虽然现有系统可以提供旨在改进图像数据的采集的工具，例如针对肝肾比率量化，但是现有系统可能具有缺点，因此超声成像系统的设计师和制造商继续寻求其改进。

发明内容

本公开描述用于超声成像的系统和方法，其在一些范例中可以非常适合于使用人工神经网络的自动化肝肾比率量化。在实施例中并且如下文进一步描述的，可以使用一个或多个人工神经网络，例如，以引导适合于肝肾比率量化的超声图像的采集，以及提供额外的引导(例如，用于ROI放置)并且用于使过程的某些方面自动化。

根据本公开的一些范例，一种超声系统可以包括：探头，其被配置为朝向对象发射超声以用于生成所述对象的生物组织的实时(或实况)图像；以及处理器，其被配置为接收所述实时图像并且输出针对所述实时图像的置信度，所述置信度指示所述实时超声图像根据目标图像视图将所述生物组织可视化的概率。在至少一些实施例中，所述处理器可以采用至少一个人工神经网络以生成所述置信度。在确定所述置信度超过阈值时，所述处理器还可以被配置为自动地捕获(即，在本地存储器中存储)所述实时超声图像，确定第一和第二感兴趣区域(ROI)的位置，并且计算所述第一和第二ROI的回波强度值的比率。如果所述置信度不超过阈值，则所述处理器还可以被配置为自动地接收一个或多个相继的实时图像帧并且输出针对所述一个或多个相继的实时图像帧中的每一个的置信度以便继续识别用于回波强度比率量化的合适的图像帧的过程。在一个实施例中，所述系统特别地被配置用于超声检查肝组织，因此，所述图像帧中的生物组织可以包括肝组织、肾组织、或其组合中的至少一个，并且其中，所述神经网络可以特别地被训练为如果所述输入图像对应于适合于计算所述肝肾回波强度比率的矢状肝和右肾视图，则产生超过所述阈值的置信度。

在一些实施例中，所述人工神经网络可以包括被训练为分割所述输入图像以生成分割图的深度卷积神经网络，并且所述置信度可以至少部分地基于所述实时图像的分割图。在一些范例中，处理器(实现例如另一神经网络或非机器学习算法)可以将由所述分割神经网络输出的分割图与对应于所述目标图像视图的分割图或图像相比较。所述比较可以通过神经网络或其他图像处理技术完成，例如通过叠加所述两个图并且量化所述差异。然而在其他范例中，所述置信度可以通过定量地分析所述分割图的内容来计算，例如，以确定所述图并且因此所述源图像是否包含足够数量的特定类型的组织(例如，肾组织)和/或所述图像将所述图像内的适当位置的特定类型的组织可视化。在一些这样的实施例中，所述神经网络可以包括完全卷积网络，其被配置为沿着收缩路径之后是扩张路径传播所述输入图像以生成所述分割图。在一些范例中，所述完全卷积网络可以包括具有沿着所述收缩路径的许多下采样卷积层和沿着所述扩张路径的相同数目的上采样卷积层的对称网络。

在一些实施例中，所述置信度可以通过将所述输入图像分类为多个类别中的一个来确定。在这样的范例中，所述神经网络可以包括深度卷积网络，所述深度卷积网络被配置为将输入图像分类为多个类别或分类中的一个，其中的每一个可以与多个不同置信度值中的一个相关联。在这样的范例中，在将所述图像分类到类别时，所述系统可以继续分割所述图像(使用神经网络或基于非机器学习的算法)以识别对应于不同类型的组织的图像内的区域并且因此自动地生成用于测量所述回波强度比率的推荐ROI。在一些范例中，所述推荐ROI与所述图像一起显示(例如，叠加在所述图像中的相应位置处)并且基于由用户做出的选择，所述系统将用于测量的ROI设定为所述推荐ROI并且计算所述回波强度比率。在一些实施例中，所述系统还可以被配置为在所述适合视图的采集期间向所述用户提供引导，诸如通过显示表示所述置信度的当前值的图形指示物。所述图形指示物当所述系统执行背景中的视图识别或匹配时实时动态更新，使得在任何给定时间处，所述图形指示物表示所述置信度的当前计算值。

根据一些范例的超声检查生物组织的方法可以包括：通过超声系统的处理器接收表示一种或多种类型的生物组织的实时超声图像；并且将所述实时超声图像提供给被训练为输出针对每个输入图像的置信度的至少一个卷积神经网络。如将进一步描述的，所述置信度可以指示所述实时超声图像根据目标图像视图将所述生物组织可视化的概率。如果所述置信度由所述超声系统确定为超过阈值，则所述范例方法可以通过以下方式来继续：自动地将所述实时超声图像存储在所述超声系统的本地存储器中，确定感兴趣区域(ROI)的位置并且计算第一感兴趣区域的回波强度值与第二感兴趣区域(ROI)的回波强度值的比率。如果所述置信度被确定为不超过所述阈值，则所述方法可以通过以下方式来继续：自动地将一幅或多幅相继的实时图像提供到所述至少一个卷积神经网络以用于确定针对所述一幅或多幅相继的实时图像中的每幅的置信度，例如，直到具有足够高的置信度的图像被识别。

本文中所描述的任何方法或其步骤可以实现在包括可执行指令的非瞬态计算机可读介质中，所述可执行指令在执行时可以使得医学成像系统的处理器执行本文中实现的方法或者步骤。

附图说明

图1示出了根据本公开的一些范例的用于超声检查生物组织的过程的流程图。

图2是根据本公开的原理的系统的框图。

图3是根据本文中的一些范例的由超声系统提供的图形用户接口的截屏。

图4示出了根据本文中的一些范例的在超声系统的显示器上提供的额外图标、或其他用户接口元素。

图5示出了根据本公开的一些范例的神经网络架构的图示。

图6示出了根据本公开的原理的训练数据范例。

图7示出了根据本公开的一些范例的训练神经网络的方法的图示。

图8示出了根据本公开的原理的包括图形指示物的超声系统显示器的截屏。

图9示出了根据本公开的其他范例的神经网络架构的图示。

图10A和10B示出了可以用于实现本公开的范例的额外的神经网络架构的图示。

图11示出了根据本公开的原理的具有其中检测到的多个不同种类的对象的超声图像的范例。

图12示出了根据本公开的原理的具有自动化ROI放置推荐的范例超声显示器。

图13是根据本公开的一些范例的用于H/R比率量化的过程的流程图。

具体实施方式

对特定实施例的以下描述实际上仅是示范性的并且决不旨在限制本发明或其应用或用途。在本系统和方法的实施例的以下详细描述中，对附图进行参考，附图形成说明书一部分并且通过图示的方式示出了在其中可以实践所描述的系统和方法的特定实施例。这些实施例以足够的细节描述以使得本领域的技术人员能够实践目前所公开的系统和方法，并且将理解到，可以利用其他实施例并且可以做出结构和逻辑改变而不脱离本系统的精神和范围。而且，出于清晰的目的，当其对于本领域的技术人员而言将明显以便不模糊本系统的描述时，将不讨论某些特征的详细描述。以下详细描述因此将不以限制性意义理解，并且本系统的范围仅由随附的权利要求限定。

非酒精性脂肪肝(NAFLD)是归因于肥胖和糖尿病的上升率的世界范围内的最常见肝病。脂肪肝病可能导致长期并发症，包括非酒精性脂肪肝炎(NASH)和肝纤维化。如果不及时处置，其可能进一步发展到威胁生命的阶段——肝硬化和原发性肝癌。

在当前临床实践中，用于评估肝病的黄金标准是肝活检，其是受限于采样误差和解读变化性的微创流程。MR质子密度脂肪分数(PDFF)被认为是用于NAFLD诊断的新参考标准，因为其可以提供肝脂肪含量的定量生物标志。然而，MR-PDFF是昂贵诊断工具，其可能不在每个医院处可用。基于超声的肝肾回波强度比率测量(或简单地肝肾比率或H/R比率)是用于脂肪肝检测的相对简单并且划算的方法。与MR相比较，超声是更适合于筛选总人口和低风险群体的实时并且划算的成像模态。

通常，用于确定H/R比率的超声回波强度通过选择肝中的一个感兴趣区域(ROI)和相同深度处的肾皮质中的一个感兴趣区域并且通过计算两个ROI的回波强度之间的比率(例如，使用平均值、均值、中值或某个其他统计值)来计算。肝中的过多脂肪浸润增加导致超声B模式成像中的较高灰度值的声学反向散射系数。在正常状态处，肝实质和肾皮质具有类似回声反射性。利用更多脂肪沉着体，肝将比肾皮质显得更强回声(即，更亮)。虽然临床实践中的H/R比率的使用通常更优于用于脂肪肝诊断的其他建议超声方法，但是由于其操作者相关性和测量变异性，H/R肝的使用尚未被接受作为日常使用的临床工具。

超声肝检查可以在腹部上的各位置处完成，例如通过放置探头以获得用于扫描肝的不同区域(例如，左叶和右叶)的肋下和肋间视图。然而，H/R比率量化经由肋间扫描要求特定矢状肝和右肾视图。使两个器官在超声成像期间在视场中是关键的。肝与右肾之间的边界应当放置在图像的中心附近。该图像视图对于非常有经验的超声医师可能相对容易获得，但是在不太有经验的操作者中可能是具挑战性的(并且经受变化性)。因此，由于最佳视图可以随着执行扫描的用户而变化，因而H/R比率测量保持为非常操作者相关的过程。操作者间和内的变化可能引入测量误差和H/R比率的评价中的变异性，这导致潜在的误诊。为了使其作为主要脂肪肝筛选工具，标准化和自动测量可能对于H/R比率，特别地对于低资源设置中的不太有经验的用户，是期望的。根据本文中的范例，描述了具有智能肝扫描接口的超声系统，其可以减少操作者相关性并且因此改进测量可靠性，例如改进H/R比率量化的可靠性。在一些实施例中，本文中的系统和技术可以通过使用一个或多个适当地训练的神经网络来增强。

根据本文中的范例，超声成像系统可以被配置为辅助用户识别和/或采集适合于H/R比率量化的视图。本文中的系统和技术还可以被配置为辅助用户H/R比率量化的过程。如所描述的，可靠的H/R比率计算依赖于选择用于H/R比率量化的合适的视图和同时肝和肾实质中的ROI的正确放置以避免深度相关回波强度衰减。工作流的这些方面可能对于无经验的用户是特别困难的，因此，本文所描述的系统和方法可以使肝扫描协议期间的一个或多个步骤自动化以辅助用户适当地选择ROI和执行H/R比率计算。

图1示出了根据本公开的原理的用于H/R量化的范例过程的流程图100。H/R量化过程可以实时执行，例如，当超声医师获得超声图像数据时。例如，在实时超声成像期间(框110)，可以激活智能肝扫描模式(框112)，例如响应于用户输入。在一些范例中，响应于图形用户控制的用户的选择(例如，参见图3)或者响应于适当地被配置为调用智能肝扫描模式的任何其他类型的用户控制的操作，激活智能肝扫描模式的用户输入可以在成像之前或者在成像开始时生成。在其他范例中，智能肝扫描模式的激活可以响应于不同类型的输入而发生，诸如响应于例如在文本字段中指定扫描的性质(例如，肝)，响应于语音命令，或者自动地由系统基于图像数据或其他辅助数据(例如，患者历史、先前患者检查)来确定扫描的性质。在智能肝扫描模式期间，系统可以执行如下文更详细地描述的一个或多个指令集。

如图1中所示，在智能肝扫描模式101期间，系统可以执行用于视图匹配、自动化图像采集、ROI识别、和回波强度比率量化的一个或多个指令集。在图1中的范例过程中，在智能肝扫描模式101的激活之后，过程继续以视图匹配步骤(框114)，其总结适合于H/R比率量化的图像视图的识别。在该过程期间，系统可以确定和/或输出(例如，用于显示给用户)置信度，其指示对应于适合于H/R比率量化的视图的实况超声图像。如所描述的，用于H/R比率量化的合适的视图可以是矢状肝/右肾视图，并且因此，系统可以被训练或以其他方式被配置为识别图像是否对应于合适的图像视图，也被称为目标图像视图。在一些实施例中，视图匹配子过程可以利用一个或多个机器学习图像分类模型执行或者增强(框115)。在这样的范例中，训练为执行适当的图像分类的机器学习图像分类模型(或分类神经网络)可以被提供有生物组织的一个或多个超声图像(例如，患者的肝的实时超声图像)。分类神经网络可以将每个输入图像分类为一个或多种分类(例如，“匹配”、“匹配/不匹配”、或指示匹配的质量的匹配与不匹配之间的任何数目的中间类别)并且可以输出分类或某种其他形式的置信度(例如，数值，其可以图形地显示在冷热彩条中)。在一些范例中，基于被分类为匹配的图像的识别(例如，在不显示分类的结果的情况下)，过程可以自动转到框116。在其他范例中，在框114处的视图匹配过程可以额外地或者替代地由当前已知或以后开发的其他图像处理和分类技术执行。

系统可以被配置为自动地采集(例如，在本地存储器中存储)识别为表示合适的图像视图的图像(框116)并且转到用户H/R比率量化的后续步骤。例如，系统可以执行图像分割(框118)，例如，使用常规图像处理技术或者优选地使用机器学习图像分割模型(框119)以识别对应于不同类型的组织(例如，肝和肾)的图像内的区域。分割可以被用于识别合适的视图和/或用于推荐测量ROI的布置。在识别合适的视图时，系统可以自动地采集视图(即，用户不必按压“获得”按钮，其可以改进工作流并且减少探头由于用户必须按压按钮而移动的风险，并且因此减少获得的图像视图与期望/目标视图偏离的风险)。在一些实施例中，系统可以提供已经获得的期望视图的通知(例如，通过可听声音或通过自动转换到冻结模式并且显示获得视图)。

系统然后可以提供引导，或者自动选择用于H/R量化的ROI。例如，系统可以识别用于放置第一和第二ROI(例如，肝和肾ROI)的位置的一个或多个适合对。系统可以将合适的对显示给用户(例如，通过使用相同颜色来显示相同对中的ROI以指示配对，或者通过按顺序显示对并且允许用户滚动对的集合)并且等待ROI对的用户选择。替代地，系统可以自动选择ROI对并且转到框120以用于计算H/R比率。可以识别ROI的合适的对，使得其在图像中相同深度处，使得第一和第二ROI分别位于肝和肾组织中，并且使得ROI不以其他方式位于易于成像伪影的区域中(例如，太接近或者叠加组织之间的边界，靠近或叠加血管或其他非均匀身体结构)。此外，推荐ROI可以由系统自适应地定义(例如，基于肾皮质和肝的大小和形状)以确保ROI放置在肾皮质中的位置(避免肾窦和骨髓)并且针对肝，确保ROI被放置在没有血管或病变的肝实质中。可以向用户建议多个ROI对以启用可以改进测量准确度的用户选择，或者在一些情况下H/R比率量化可以针对相同图像上的ROI的多个对来执行以实现更好的测量性能。

在框120处，系统计算H/R比率，例如通过确定ROI中的每个的回波强度的代表性值，诸如平均值、均值、中值或ROI中的所有像素的回波强度的某个其他统计合适的表示，以及通过取得两个代表性回波强度值的比率。计算的H/R比率可以连同图像一起存储，例如，作为图像上的注释，作为附加到图像文件的头部的元数据，作为在报告中归档的测量结果，或者使用任何其他合适的关联性，并且注释/附加图像可以然后被存储(初始地本地，并且在检查完成时，较长期存储，例如在外部存储设备中)，使得成像数据和测量结果可以被用于临床决策支持(框122)。

如将理解的，图1中的框和其布置仅用于图示并且预期了变型，诸如组合、重新布置、添加、或移除框。例如，尽管在实时成像的上下文中图示了图1中的过程，但是将理解到，过程可以利用先前获得的数据执行。例如，在激活智能肝扫描特征时，系统可以接收包括肝和肾的对象的体积的先前获得的3D图像数据的集合，并且系统可以继续滚动通过3D图像数据中的每个切片以识别表示如参考框114所描述的H/R量化的适合视图的适当的切片或MPR视图。一旦适当的视图已经识别，则系统可以继续如先前所描述的图像分割和H/R量化，并且然后存储所提取的MPR视图和计算的测量结果用于后续诊断目的。

在另一范例中，可以组合视图匹配和分割子过程，例如通过使用训练为执行图像分割的一个或多个神经网络。由于分割可以被用于确定图像是否包括这两种类型的组织和如针对可靠的H/R量化需要的足够数量的两种类型的组织，因而在框114处图像分割可以在适当的视图的识别期间使用。由(一个或多个)神经网络生成的图像分割可以然后随后用于ROI放置(例如，针对由系统造成的引导或自动选择)，如参考框118和119所描述的。在这样的场景中，框119的机器学习图像分割模型可以在过程中较早调用(例如，在框112之后)，并且输入图像(例如，实时图像帧)可以提供给框119的神经网络以用于图像视图匹配，其可以消除针对分类模型115的需要。在这样的场景中，自动化图像采集(假定过程在实时成像期间发生)可以跟随图像分割框119。任何数目的其他变型或组合也是可能的并且将根据本公开来理解。

图2示出了根据本公开的一些范例的系统200的框图。图2中的系统可以至少部分地实现，并且被用于执行过程100或其任何子过程。图2示出了超声数据采集单元210，包括超声换能器或探头211、波束形成器220、控制器224、和信号处理器222。图2还示出了用户接口236，包括显示器238、存储器229、和至少一个图像数据处理器223，其全部例如经由数据总线226通信地耦合到超声数据采集单元210。图2所示的系统200的部件和其布置仅是说明性的，并且预期了变型，诸如、重新布置、添加、或移除框。

超声数据采集单元210可以被配置为获得超声图像数据232，其可以实时被显示在显示器238上(即，当图像数据通过超声扫描对象采集时)。超声数据采集单元210可以包括典型超声扫描器的部件中的一些或全部。例如，超声数据采集单元210可以包括超声换能器或探头211，超声换能器或探头211包括超声传感器阵列212。传感器阵列212被配置为朝向生物组织216发射超声214并且探测来自生物组织216的回波218，例如，对象的肝、肾、胸、心脏组织或其他类型的生物组织，以超声地对组织216进行成像。在一些范例中，成像组织216可以包括至少两种不同类型的组织，例如，肝实质217和肾实质219。可以使用各种换能器阵列，例如，线性阵列、曲面阵列、或者相控阵列。阵列212例如可以包括能够在用于2D和/或3D成像的仰角和方位角维度二者中扫描的换能器元件的二维阵列。超声数据采集单元210包括信号处理器222，其可以与传感器阵列212一起被容纳或者其可以是物理分离的但是通信地(例如，经由有线或无线连接)耦合到其。例如，阵列212可以位于手持式探头中，而信号处理器222可以位于超声系统底座230中，其在一些情况下可以实现在便携式计算设备中，诸如平板电脑。

阵列212可以经由被配置为控制阵列212的操作的波束形成器220耦合到系统底座230。在一些实施例中，波束形成器220可以包括一个或多个波束形成器(例如，与超声系统底座中的主波束形成器组合的微波束形成器，或者发射和接收微波束形成器和/或主波束形成器的组合)。波束形成器220可以被配置为通过阵列212控制超声的发射和回波信号的接收。在一些实施例中，波束形成器220可以包括微波束形成器，微波束形成器可以与探头中的超声阵列共同定位，并且在传感器元件组上操作以用于由超声传感器阵列212的传感器元件组对信号的传输和/或接收。在一些实施例中，微波束形成器可以耦合到发射/接收(T/R)开关(未示出)，其可以被配置为在发射和接收之间切换并且使主波束形成器免受高能量发射信号影响。在一些实施例中，例如在便携式超声系统中，T/R开关和系统的其他元件可以被包括在超声探头中而不是在系统底座230中。超声底座通常包括软件和硬件部件，包括用于信号处理和图像数据生成的电路以及用于提供用户接口的可执行指令。在一些实施例中，超声探头可以经由无线连接(例如，WiFi、蓝牙)或经由有线连接(例如，探头电缆，其可以被配置用于并行或串行数据传输)耦合到超声系统底座。

系统200可以包括用于根据由阵列212检测到的回波生成超声图像的一个或多个处理部件。例如，系统200可以包括：信号处理器222，其可以被配置为处理从换能器211接收到的回波信号以用于生成超声图像232；以及至少一个图像数据处理器223，其被配置为在系统的显示器上呈现超声图像。超声数据采集单元210可以包括或可操作地耦合到用户接口236，其可以与安置信号处理器222的系统底座230集成或以其他方式物理地连接到信号处理器222的系统底座230。在一些实施例中，用户接口的至少一些部件可以无线连接到信号处理器222。

用户接口236可以包括用于显示超声图像232的显示器238，并且在一些情况下，包括交互式图形用户接口(GUI)部件。用户接口236还可以包括用于控制系统200的(一个或多个)操作的一个或多个用户控制237。在一些实施例中，(一个或多个)用户控制237可以包括一个或多个硬控制(例如，按钮、旋钮、刻度盘、编码器、轨迹球或其他)，其可以提供在系统底座230的控制面板上。在一些实施例中，(一个或多个)用户控制237可以额外地或者替代地包括在触敏显示器上提供的软控制(例如，GUI控制元件或简单地GUI控件)。系统200还可以包括本地存储器229。本地存储器可以由一个或多个硬盘驱动器、固态驱动器、或任何其他类型的合适的存储设备(包括非易失性存储器)提供。本地存储器229可以被配置为存储图像数据、可执行指令、或对于系统200的操作需要的任何其他信息。在一些范例中，系统200还可以通信地连接(经由有线或无线连接)到外部存储器，例如图片存档及通信系统(PACS)存储设备以用于图像数据和其他患者信息的较长期存储。

信号处理器222可以通信地、操作地和/或物理地耦合到传感器阵列212和/或波束形成器220。信号处理器222可以被配置为接收表示由传感器阵列212探测到的超声回波218的未滤波并且未组织的超声数据。根据该数据，信号处理器222可操作以生成超声图像数据，超声图像数据可以例如由处理器223适当地布置到图像232中以用于显示。例如，信号处理器222可以被配置为以各种方式处理接收到的回波信号，诸如带通滤波、抽样、I和Q分量分离和谐波信号分离。信号处理器222还可以执行额外的信号增强(诸如纹波减少、信号复合和噪声消除)。信号处理器222然后可以根据分量信号产生B模式图像数据，例如通过采用幅值检测或用于身体中的结构的成像的任何其他已知或以后开发的技术。B模式图像数据可以通过扫描转换进一步处理，例如，以其从其以期望的图像格式接收的空间关系布置信号。例如，扫描转换可以将信号布置为二维(2D)扇形格式或者椎体或其他形状的三维(3D)格式。B模式图像数据可以替代地或者额外地由多平面重新格式化器处理，该多平面重新格式器被配置为将从身体的体积区域中的共同平面中的点接收到的回波转换为该平面的超声图像(例如，B模式图像)，如例如在美国专利号US 6443896(Detmer)中所描述的。系统200(例如，处理器222或223)的一个或多个处理器(例如，处理器222或223)可以额外地或者替代地生成B模式图像数据的体积绘制(即，如从给定参考点观看的3D数据集的图像)，例如，如在美国专利号US 6530885(Entrekin等人)中所描述的。

当操作者超声扫描组织216时，图像数据的信号处理和生成可以实时执行，使得图像数据可以被显示为对象的实时(或实况)图像。替代地，图像232可以由存储在与系统200相关联的存储器(例如，本地或外部存储器)中的先前获得的图像数据生成。如所描述的，超声数据采集单元210可以包括控制器224，控制器224可以被配置为设定系统200的成像参数，例如，以控制由阵列212对信号的发射和接收，以及系统200的特定信号和图像处理功能。除了其他方面，控制器224可以控制或者设定系统200的成像参数，该设置可以在控制阵列的元件的激励中由波束形成器220用于由阵列212对信号的传输和检测。由控制器224应用的设置还可能影响对采集的超声数据的信号和图像处理，例如，通过控制用于图像的显示的压缩动态范围，或者其他图像处理或显示设置。如所描述的，在波束形成器的控制下来自换能器阵列212的超声脉冲的传输可以由传送/接收控制器引导，其可以耦合到T/R开关并且其可以接收来自用户接口236的用户的操作的输入。可以由控制器224控制的另一功能是在电子操纵阵列的情况下波束转向的方向。波束可以从(正交于)换能器阵列212向前或者针对较宽的视场以不同的角度转向。

如图2所示，数据采集单元210可以通信地连接到至少一个处理器223，所述至少一个处理器223被配置为执行与生物组织的智能(还被称为计算机辅助、AI辅助)扫描相关联的功能中的一个或多个，例如以用于执行智能或者引导式肝扫描，如本文所描述的。处理器223可以包括一个或多个处理单元(例如，一个或多个单或多核CPU、单个GPU或GPU集群、或者被配置例如用于并行处理的多个处理器的任何布置)并且唯一地被配置为执行本文所描述的功能。例如，处理器223可以被配置为接收实时图像并且输出针对实时图像的置信度，所述置信度指示实时超声图像根据目标图像视图将生物组织可视化的概率。在至少一些实施例中，处理器223可以采用至少一个人工神经网络以生成所述置信度。在确定置信度超过阈值时，处理器223还可以被配置为自动地采集(或在本地存储器中存储)实时超声图像，确定第一和第二感兴趣区域(ROI)的位置，并且计算第一和第二ROI的回波强度值的比率。如果置信度不超过阈值，则处理器223还可以被配置为自动地接收一个或多个相继的实时图像帧并且输出针对所述一个或多个相继的实时图像帧中的每个的置信度从而继续识别用于回波强度比率量化的合适的图像帧的过程。

在一个范例实施例中，系统200可以特别地被配置用于超声检查肝组织，因此，图像帧中的生物组织可以包括肝组织、肾组织或两者的组合中的至少一部分，并且神经网络可以特别地被训练为产生对给定输入图像对应于适合于计算肝肾回波强度比率的矢状肝和右肾视图的概率进行量化的置信度。为此目的，神经网络可以被训练为确定图像应当被分类为多个类别中的一个或多个的概率，所述多个类别包括与超过阈值的数值相关联的至少一个类别。虽然在肝成像的上下文中描述了本文中的范例，但是将理解到，本公开的原理可以适用于其他成像应用。例如，生物组织中的回波强度可以被用于除肝之外的生物组织中的组织组成、组织同质性或非同质性、水和/或脂肪含量，并且因此可以被用于除本文详细描述的肝成像的范例之外的其他应用中的组织表征或诊断。

除了执行与生物组织的智能扫描相关联的功能之外，处理器223可以被配置为提供与作为相关信息的图像数据的显示相关联的其他功能。在一些实施例中，处理器223可以包括显示处理器234，其可以额外地包括用于生成并且使得显示器238将注释连同图像数据、图形指示物一起呈现的功能，诸如以提供视图匹配期间的反馈，和/或与系统200的智能扫描模式相关联的任何图形用户接口部件。例如，显示处理器234可以接收图像数据以用于在被显示在显示器238上之前进一步增强、缓冲和临时存储。显示器238可以包括使用各种已知显示技术(诸如LCD、LED、OLED或者等离子显示器技术)实现的显示设备。虽然引擎227和显示处理器234被示出为图2中的分离部件用于图示，但是实际上，这些部件(和本文所描述的任何其他处理部件)的功能可以集成到单个处理器或被布置为一起操作(例如，并行)的处理器的集群中。

如将进一步描述的，处理器223可以包括回波强度比率量化引擎227，其可以实现在软件(例如，以源代码或编译/机器指令的形式的可执行指令)和硬件部件(例如，由可执行指令可编程的一个或多个处理器和/或硬连线电路诸如特别地被编程为执行引擎227的功能中的一个或多个的专用集成电路ASIC)的任何组合中。引擎227可以包括用于执行参考图1所描述的步骤中的一个或多个的功能。在一些范例中，引擎227的功能可以经由处理器可执行指令225实现，其当由处理器223执行时将处理器配置或编程为执行与识别用于成像和/或量化两个RIO的回波强度比率的适当视图相关联的功能。在一些实施例中，如本文进一步描述的，引擎227可以包括神经感知器228的至少一个人工网络(在本文中也被称为人工神经网络或简单神经网络)，其被训练为执行引擎227的功能中的一个或多个。任何适合类型的机器学习算法(例如，生成式的、区别式、或其组合)和/或架构可以被用于实现神经网络228。在一些范例中，神经网络228可以包括深度神经网络，更特别地深度卷积神经网络，其可以被训练为执行图像分类、图像分割、图像比较、或其任何组合。利用存储的医学图像数据(例如，在PACS中或在云存储中)和可以提供针对训练图像需要的标记的常常注释图像数据的增加的体积，高质量临床图像的可用性增加，其可以被用于训练神经网络以在医学图像数据上执行分类、分割、对象识别、或其他图像后处理任务。将理解到，训练图像不需要包括由成像系统产生的完全图像，但是可以包括相关靶生物组织或器官的医学图像的贴片或部分。

神经网络228可以具有任何合适的架构，并且因此包括任何合适的布置中的任何数目的输入、输出和隐藏节点层(例如，卷积、归一化、池化层、和/或密集或完全连接层)。在一些范例中，网络228可以包括形成训练为产生(一个或多个)期望结果的较大网络的一个或多个子网络的任何合适的布置。然而，在其他范例中，神经网络228可以操作地与附加编程相关联，例如，执行待输入到神经网络228的数据的预处理和/或网络228的输出的后处理以产生来自回波强度比率量化引擎227的适当的结果。

如所描述的，系统200的部件中的一些或全部可以共同定位(例如，在系统底座230内)并且通信地连接(例如，经由数据总线226)。额外地或者替代地，系统200的部件可以经由一个或多个有线或无线连接连接到远程部件。例如，系统底座230可以额外地通信地耦合到外部存储装置235，例如，医学设施的外部驱动器或PACS存储设备。在一些实施例中，引擎227的功能中的一些或全部可以驻留在远程计算设备239中，诸如云服务器。例如，一个或多个神经网络228可以驻留在具有系统底座230(例如，便携式系统，诸如平板U/S成像系统)的远程计算设备239上或在其上执行，所述远程计算设备239被配置为将实况图像传送到云以用于分类和/或分割和接收引擎227的输出(例如，置信度)以用于连同由探头211采集的相关图像数据一起显示。

如本文所描述的，处理器223可以被配置为识别适于回波强度比率量化(例如，在用于使用H/R比率的脂肪量化的肝成像的情况下)的图像(例如，来自输入实时图像)，并且自动采集所识别的合适的视图以用于与计算回波强度比率相关联的进一步的处理，该过程统称为智能扫描或者AI辅助扫描。图3示出了图形用户接口(GUI)300的范例，其可以被用于根据本文中的范例激活超声成像系统的智能扫描模式并且因此调用处理器223的相关联的功能。GUI 300可以提供在超声系统(例如，系统200)的触敏显示器上并且包括用于选择或者激活系统的功能的控件310的一个或多个交互式GUI元件。例如，GUI 300可以包括用于激活系统200的智能扫描模式301(AI辅助肝扫描)的控件310(例如，脂肪量化软按钮)。任何数目的这样的控件可以被提供用于激活系统200的任何数目的AI辅助功能。一旦在智能扫描模式中操作，系统就可以向用户提供引导或者使相应扫描协议的某些操作自动化。

在一些范例中，系统可以引导用户采集组织的适当的视图。图4，面板a-c示出了可以在AI辅助肝扫描期间提供的额外的图形显示器。例如，在激活时，经由控件310-1，系统可以例如在触敏显示器或者主显示器上的新窗口中显示一个或多个引导图标，例如图标410(图4，面板a)，其包括被设计为在探头的放置中引导用户以获得适当的解剖视图的图形。系统可以额外地或者替代地显示图标412(图4，面板b)，图标412可以是图示期望解剖视图中的器官的相对位置的图形。图标412可以辅助用户(特别地无经验的用户)在执行扫描之前或者在执行扫描时使最佳视图可视化。图标410、412中的一个或多个可以在扫描会话开始时被显示一次或者其可以在用户扫描和系统在显示器(图4，面板c)的有效区域420中显示实时图像442时在显示器上同时显示(例如，以精简/缩略图格式)。一旦操作者将探头应用到患者并且获得声学窗口，则系统可以自动地激活实况图像显示(例如，如面板c所示)，并且系统可以开始显示对象的实时或实况图像。在一些实施例中，系统可以当系统执行背景中的图像视图分析时提供附加引导，诸如向用户提供关于如何操纵探头的指令(例如，通过向用户提供视觉或音频指令以沿着矢状面移动探头或者趾跟探头以更好地捕获探头的视场内的期望组织)。

在智能扫描模式期间，针对每个获得的帧的图像数据可以被提供给引擎227以用于实时识别合适的视图。如所描述的，视图识别(或视图匹配)可以由神经网络228执行，神经网络228可以包括人工神经元的一个或任何数目的堆叠、连接、或以其他方式适当地布置的网络。在一些范例中，神经网络228可以包括深度卷积网络，所述深度卷积网络被配置为针对每个输入图像输出置信度(在本文中还被称为匹配得分)。置信度(或匹配得分)可以提供给定图像对应于期望或目标图像视图的概率或置信度水平的指示。匹配得分可以至少部分地通过分类、分割、对象检测、或用于分析图像的内容的其他(一种或多种)技术或其任何组合导出。在一些范例中，深度卷积网络可以包括训练为执行图像分割的完全卷积网络。在一些实施例中，深度卷积网络可以包括：至少一个卷积子网络，其被配置为执行对象检测、图像分割、或二者；以及任选地至少一个额外的子网络，其被配置为将对象检测或分割网络的输出进行分类以生成置信度。在一些范例中，完全卷积网络可以特别地非常适于图像分割的机器学习，因为这样的网络非常合于密集(或逐像素)预测并且因此可以有效地被训练为将图像分成相关的像素的多个段。

在一个范例中，网络228(例如，深度卷积网络)可以被训练为执行图像分类以将每个输入图像分类为多个类别中的一个。深度卷积网络可以包括：输入层，其接收输入图像；输出层，其输出分类(例如，二元分类或者列出输入图像与分类类别中的任一个相关联的概率的向量)；以及任何数目的中间层，包括卷积、池化、正则化和完全连接(或密集)层。图5示出了在本公开的一些范例中可以使用的卷积网络的范例架构。网络500包括输入层510、每个输入层与一个或多个正则化和池化层相关联的四个卷积层512、以及两个至四个(在该特定情况下，三个)完全连接层514(其中，最后一个是输出层514-3)相关联，但是在其他范例中，网络可以包括不同数目的层，例如更少或更大数目的卷积层和/或完全连接层，例如取决于数据集的复杂性。输入层510被配置为接收输入图像501，例如，将肝和/或肾组织可视化的超声图像。图像501可以是单或多通道(灰度或彩色)图像。在所图示的范例中，输入图像501是具有150x150像素分辨率的3通道灰度图像，并且因此网络500的输入体积是具有大小150x150x3的像素值的三维阵列，但是将理解到，在其他范例中，输入大小可以是不同的(例如，接收128x128、256x256、或任何其他分辨率的图像)。在每个卷积层处，多个滤波器在输入图像上卷积以产生每个卷积层的输出，其是特征(或激活)图(例如，在层512-1处的32个、在层512-2处的16个、在层512-3处的8个、以及在层512-4处的4个)的堆叠。跟随具有池化的卷积层，空间维度的输入大小减少(例如，从150到75，然后到37)，该向下采样部分地取决于池化的类型(例如，最大值、平均值、L2范数或其他)、卷积步幅和池化步幅。在示出的特定范例中，输入图像被处理到最后卷积层512-4的输出处的4个37x37激活图的堆叠，其然后被提供到第一完全连接层514-1，其示出32大小向量。第一完全连接层514-1的输出然后通过分别具有16和2的输出大小的两个额外完全连接层514-2、514-3以在最后完全连接(或输出)层514-3处输出二维向量，其中，每个维度表示图像落在两个或二元分类(例如，匹配或不匹配)类别中的任一个内的概率。将理解到，图5所示的特定架构仅被提供用于图示，并且在其他范例中，特定架构、层数和输入和输出大小可以变化。例如，在其他实施例中，网络500可以被训练为输出诸如具有4、5、6或更大数目的分类类别的不同大小的分类向量(在输出层514-3处)。

在二元分类(即，匹配或最佳视图和不匹配或次佳视图)的情况下，网络可以使用标记图像的集合训练，也被称为训练数据。训练数据可以包括大量的临床图像(例如，从几百到几千临床图像)，其中，每幅图像已经标记(例如，由有经验的超声医师或临床医师)为匹配(或最佳视图)或不匹配(次佳视图)。图6示出了图像600的范例，其可以用作训练数据。图像610的集合(其中的每一个使足够数量的肝和肾组织二者可视化)可以被标记为属于“匹配”分类类别。图像612的集合(其主要示出肝组织或者不适于H/R比率量化)可以被标记为属于“不匹配”分类类别。训练数据600被提供到神经网络，并且网络的参数贯穿训练过程被更新(例如，通过反向传播或其他技术)。在神经网络500的一个实验版本中，超过5400幅临床图像被用于训练和验证。训练图像被分成训练集合测试或验证集。训练和验证数据集包括标记的图像，标记的图像被提供给网络以用于训练。在训练期间从未示出给网络的标记测试图像被用于测试系统的性能，其在实验使用中被示出为提供至少85％准确预测。以这样的方式，神经网络(诸如网络500)可以被训练为在针对其已经训练网络的分类类别之一中分类新未知图像。

如将理解到，网络500可以被训练为将输入图像分类为超过两个类别。针对该场景，网络可以利用标记到超过两个类别中的图像训练，使得训练的所有类别被表示在训练数据中。例如，训练数据可以包括表示不匹配(即，不包括视图中的肝和肾实质二者的图像)并且因此利用0的值标记的图像，以及包括图像内的肝和肾的理想定位的图像，其可以被标记为匹配(或最佳视图)和/或被分配1的值。落在最佳视图与不可接受视图之间某处的剩余图像可以分成任何数目的中间类别，并且相应地利用0与1之间的值标记，以指示例如与不包括任何肾组织的任何图像匹配的质量，例如差的匹配(0.2)、可接受匹配(0.4)、好的匹配(0.6)、和非常好的匹配(0.8)。训练图像的中间分类可以部分地基于由如由有经验的超声医师或临床医师判断的视图的质量或者通过定量评估，诸如通过肝和肾组织在图像中可视化的百分比的计算、肝与肾之间的边界的位置等。

为了训练根据本公开的神经网络，可以使用任何合适的架构，诸如类似VGGNet或类似ResNet的架构，并且“空白状态”网络可以从头开始训练(即，在没有权重的任何预配置的情况下)。如图7所示，为了减少需要的训练数据量，预训练网络(诸如Inception V3(如图7所示))或者另一网络可以用作起始点。预训练网络710可以然后特别地微调用于利用特定临床应用(在该情况下，肝成像)的医学图像(例如，超声图像712)的小得多的训练数据集分类医学图像数据。微调可以例如通过将Inception V3网络的倒数第二层馈送到新输出分类器714中(例如，包括完全连接层)并且被配置为产生期望的分类(例如，匹配/不匹配)或者通过提供由Inception V3网络输出到要求较少训练数据的新分类器中的特征向量来执行。

如所描述的，在识别到合适的视图时，系统可以自动捕获(例如，在本地存储器中存储)表示合适的视图的图像。合适的视图的识别可以基于输出指示匹配的度量或得分的引擎227。例如，如果给定图像被分类为在好的视图的类别内75％或更多并且在坏的视图的类别中25％或更少，则系统可以确定输入图像对应于合适的视图。类似地，在非二元分类的情况下，系统可以计算视图匹配得分，例如通过将由分类值加权的每种分类的概率求和。例如，如果网络被训练为将图像分类为各自与例如0与1之间的唯一值相关联的n个类别，并且网络被配置为输出分类向量y(c₁,c₂,..c_n)，其可以表示图像对应于相应类别的概率，则引擎227可以被配置为通过将分类向量的加权值求和(即，

)计算视图匹配得分M。引擎可以被配置为如果视图匹配得分超过阈值(例如，0.5、0.65、0.70或更大)，则确定视图是匹配的(例如，适合于量化)。在其他范例中，系统可以被配置为只要非常好或最佳分类的概率超过某个值(例如，50％或更大)，则确定视图是匹配的。

在一些实施例中，匹配可以在后台执行，并且可以对用户是基本上透明的。在一些这样的范例中，当用户操纵探头并且显示器继续显示实时图像时，没有由视图匹配过程生成的其他信息被提供，直到系统识别合适的视图。在识别视图时，系统可以进入具有表示显示(在冻结模式中)在显示器上的合适的视图的图像的冻结模式。冻结模式的自动激活可以提供对所识别的合适的视图的指示。

在智能扫描模式期间，系统可以向用户提供引导以辅助用户获得合适的视图(例如，以指令的形式以辅助用户操纵探头)。在一些实施例中，系统可以诸如通过显示表示由系统的处理器(例如，处理器223)计算的置信度的当前值的图形指示物提供引导。

图8示出了具有图形指示物的超声系统的范例截屏，其可以动态地更新以便提供任何给定实况图像的置信度的实时视觉指示。在该范例中，图形指示物被实现为以具有移动量规的彩条(例如，热冷彩条，其中，热或红色对应于匹配并且冷或蓝色对应于不匹配)的形式的匹配指示器820。图8的面板a-b中的每一个示出肝组织802的实况超声图像810、812、814和816的截屏，并且每个实况图像与彩条匹配指示器820同时显示。匹配指示器820包括动态部件822(例如，滑动水平或条)，其上下移动彩条以指示针对当前显示的图像帧的视图匹配得分的值。最小值和最大值可以对应于分类类别的最小值和最大值，在这种情况下0到1，并且动态部件822可以表示计算或以其他方式导出的视图匹配得分。如所示，在图像810中，视图匹配得分是大约0.2，其指示相对低的匹配概率以反映没有肾组织被包括在视图中。当用户操纵探头时，系统针对相继的帧连续地重新计算视图匹配得分并且沿着彩条动态地更新动态部件822的位置，其在图像816中的视图与四个视图匹配得分中的最高视图匹配得分相关联，表示图8所示的四个视图中的最佳视图。如所描述的，在优选实施例中，视图匹配得分相对于神经网络的操作而产生；然而，视图匹配得分可以额外地或者替代地使用传统计算机视觉方法和/或手工特征生成(例如，canny边缘检测、定向梯度的直方图、和支持向量机)获得。在其他范例中，匹配指示器可以使用不同类型的图形元素实现，诸如具有对应于置信度的最小值的零速度和对应于置信度的最大值的刻度盘上的最大速度的速度刻度盘，刻度盘中的箭头动态地更新以指示置信度的当前值。在更进一步的范例中，置信度可以连同图像一起数字显示。其他图形指示物可以被用于在显示器上使置信度可视化。

在一些实施例中，视图匹配可以使用图像分割执行。例如，返回参考图2，由系统200采用的一个或多个神经网络228可以被训练为分割输入图像并且基于图像的分割来对图像是否对应于目标视图(例如，图像是否包含视图内的组织/器官的目标布置)做出确定。网络228可以包括训练为产生每个输入图像的分割图的任何数目的层(例如，卷积、池化和正则化层)。与非机器学习技术一样，分割的过程将数字图像分成多个区域或段(即，在3D图像数据的情况下的像素或体素的集合)。在特定范例中，网络228可以被训练为执行逐像素语义分割，从而将图像中的每个像素分配为多个类别之一(例如，肝、肾、肺、莫里森小袋、血管、病变等)。

图9示出了完全卷积神经网络900的范例，其可以被训练为执行图像分割。网络900可以使用包括标记图像(例如，与手动或利用计算机辅助描绘的不同类型的组织的边界叠加的肝和/或肾的图像)的训练数据训练。因此，网络900可以被训练为分割输入超声图像以产生分割图，其中，由机器学习算法确定为与相同类别(例如，相同组织类型)相关联的相邻像素组被分配给相同语义类别。分割图可以根据多个分割掩模构建，其中的每一个对应于多个类别之一。给定段中的所有像素(或超像素)被分配相同像素值(灰度或者彩色)，并且最终分割图通过将超像素组合为单个图(参见例如，分割图920)组装。网络900可以被用于至少部分地实现图2的网络228。网络900可以被实现为具有从编码器层到在相同“水平”上的解码器层的跳过连接的卷积自动编码器。这样的架构的范例是适合于2D图像的分割的图10A所示的U-网络架构1010，以及非常适合于3D图像数据的分割的图10B所示的V-网络架构1020。如图9和10所示，这样的网络可以包括具有卷积和最大池化层的级联的收缩路径(例如，图10A中的路径1020)然后是扩张路径(例如，图10A中的路径1014)。收缩路径向下采样空间维度中的图像数据，并且扩张路径将数据向上采样到原始图像尺寸。在实施例中，在利用机器学习图像分割中，这样的神经网络可以包括具有与沿着扩张路径的向上采样层的数目相同数目的沿着收缩路径的向下采样卷积层的对称完全卷积网络，例如如图10A和10B所示。

其他类型的深度卷积神经网络可以被训练为分割输入图像并且生成分割图，使得置信度可以至少部分地基于实时超声图像的分割图来计算。在实施例中，当使用分割时，置信度的计算可以涉及将由神经网络输出的分割图与期望视图的分割图相比较。在一些实施例中，神经网络可以包括多个子网络，其中的一个可以被训练为执行分割，并且其中的另一个可以被训练为例如通过将分割图分类为对应于匹配的质量的种类来计算置信度。在一个这样的范例中，第一子网络可以接收输入图像并且执行分割以产生分割图。分割图可以被提供给第二子网络(例如，卷积分类算法或另一类型的卷积网络)，其被训练为识别分割图是否对应于目标视图(例如，最佳矢状肝/右肾视图)。在再其他范例中，置信度可以通过单独(即，在不与最佳图比较的情况下)定量地分析分割图的内容来计算，诸如以确定图并且因此源图像是否包含足够数量的特定类型的组织(例如，肾组织)和/或图像将图像内的适当位置的特定类型的组织可视化。

如图9所图示的，网络900可以被配置为接收输入图像(例如，肝的超声图像910)并且被训练为执行逐像素预测以导出分割图920。例如，网络900可以被训练为将图像910的每个像素分类为多个分割类别或掩模之一(例如，肝、肾、肺、和背景、或其他组合，例如附加地分割来自肾髓质的肾皮质)。为了训练，网络900可以被提供有多个训练图像，其中的每一个已经适当地标记以将相应像素分配到分割中。例如，训练图像可以通过将临床图像与操作者描绘或计算机识别的分割图叠加来准备。在特定范例中，网络900的特定架构可以基于应用(例如，分割的图像数据的复杂性)来变化，但是在一些范例中，网络可以包括沿着收缩路径的许多卷积层912和沿着向上采样路径的相等数目的扩张卷积层，其中的每一个可以与正则化和池化相关联(例如，如图10A和10B所示)。

在更进一步的范例中，一个或多个网络可以额外地或者替代地被训练以执行对象检测。许多神经网络架构已经开发用于检测图像中的对象，诸如YOLO(你只看一次)网络，并且任何这样的对象检测网络可以被用作起始点(例如，作为预训练网络)，其然后利用特别地在医学图像数据上进一步训练来微调以检测超声图像内的临床相关对象。例如，如图11所示，对象检测网络可以被训练为在优选的范例中实时(例如，当每个帧被接收时)识别任何数目的类别的对象的存在和位置，例如肾(例如，边界框1110)、血管(例如，边界框1112-1、1112-2和1112-3))，以及可以存在于靶解剖结构的图像中的其他类别或种类的对象(例如，边界框1114)。这样的对象检测网络可以输出包含对象的种类和其相应位置中的一个或多个的输入图像的概率(例如，以检测到的(一个或多个)对象周围的边界框的形式)。对象检测网络可以操作地连接(例如，通过耦合对象检测网络的输出)到一个或多个其他网络(例如，分类或其他类型的神经网络)或者到非机器学习后处理部件以确定输入图像是否对应于目标图像视图并且基于该确定来输出置信度得分。

系统可以利用分割或对象检测的结果来推荐ROI放置。例如，在完成输入图像的分割时，系统可以利用分割图推荐用于ROI放置的合适的位置，使得推荐的ROI可以可靠用于回波强度比率的准确计算。类似地，对象检测过程的结果可以被用于引导ROI放置。例如，识别了不同种类的对象和其在图像内的位置/边界框(例如，对应于肾的区域，以及对应于其他结构(诸如血管和病变)的一个或多个区域)，系统可以自动地识别满足用于合适的测量ROI的准则的图像中的像素组，例如，位于肝和肾内的相同深度处并且对应于大体均匀组织的像素组(例如，不以其他方式叠加其他身体结构，诸如血管或病变)。如图11所示，处理器可以在图像上指示推荐的ROI 1116-R和1116-H的一个或多个对以用于量化，例如通过指示具有与类别肾的检测对象相关联的边界框(例如，边界框1110)的第一组像素并且通过指示图像中的相同深度处但是在边界框1110外部并且不以其他方式叠加与其他结构(诸如血管、病变等)相关联的其他边界框的第二组像素。

图12示出了超声系统显示器1210的范例截屏，其示出了已经识别为表示用于量化的合适的视图的图像1212。一个或多个推荐ROI的集合现在可以由系统提供，例如，由处理器223。在所图示的范例中，两组推荐的ROI被示出在所显示的图像上，但是将理解到，在其他范例中，可以推荐不同数目的ROI对，例如，仅被认为是在最佳位置处的单个对或者多个(2、3、4或更多个)对，并且比率可以针对每对计算，使得统计分析可以被用于确定最终计算的回波强度比率。在一些范例中，比率仅关于一对ROI来计算。

在图12中的特定范例中，包括肝ROI 1221-H和肾ROI 1221-R的第一组ROI例如由处理器223识别，其中，圆形标记响应于处理器223来定位在第一深度处的图像上。包括肝ROI 1222-H和肾ROI 1222-R的第二组ROI例如由处理器223识别，其中，第二组圆形标记响应于处理器223来定位在图像中的第二深度处。值得注意的是，选择每个推荐的ROI对，使得对中的ROI在相同深度处，其在弯曲换能器的情况下对应于沿着相同弧1224-1或1224-2存在的ROI。如果多个集合被确定，则推荐ROI的集合可以同时或按顺序呈现给用户，这允许用户确认或选择期望的ROI对。在一些范例中，显示器还可以包括描绘如由分割步骤确定的肾组织的指示器，使得用户可视化并且更好地理解推荐ROI和/或深度指示器(例如，弧1224-1和1224-2)的放置，这再次允许用户理解并且视觉确认推荐ROI的适当的位置。在一些实施例中，合适的ROI的选择可以在没有用户参与的情况下进行，例如，利用确定最佳ROI放置的系统。在这样的实施例中，系统可以采用预编程逻辑(例如，基于规则的决策树)或适当地训练的神经网络以确定测量ROI的最合适的放置，使得所选择的ROI表示每个实质(例如，肝和肾)的基本上均匀组织，使得ROI不叠加引起伪影的结构并且使得其被放置在相同深度处。

在选择了期望的ROI对时，其可以响应于用户输入(例如通过点击给定对中的两个ROI中的任一个，或者点击深度指示器(例如，弧1224-1或1224-2))或者响应于由系统做出的自动选择，系统自动继续计算H/R回波强度比率。为了计算H/R回波强度比率，系统将第一或肝ROI中的回波强度的代表值除以第二或肾ROI中的回波强度的代表值。代表值可以是ROI中的所有像素的回波强度值的平均值或者某个其他代表值(例如，均值、中值、或其他)，其可以例如通过直方图或其他统计分析技术获得。H/R回波强度比率的计算可以使用原始RF数据执行(例如，在日志压缩之前)，其可以增强量化的准确度。

根据本文中的一些范例的超声检查生物组织的方法可以包括：通过超声系统的处理器接收表示一种或多种类型的生物组织的实时超声图像；并且将所述实时超声图像提供给训练为输出用于每个输入图像的置信度的至少一个卷积神经网络。图13示出了根据本公开的原理的范例过程的流程图。如图13所示，过程可以通过超声系统的处理器1301开始接收超声图像(在框1304处)并且接收激活H/R量化过程的输入(在框1302处)。超声图像数据被耦合到神经网络(框1310)，神经网络被训练以识别输入超声图像中的图像视图是否对应于期望视图。视图匹配或者识别可以根据本文中的任何范例执行，诸如通过将图像分类为定量地表示用于量化的图像的适合性的多个类别之一。在框1310处神经网络可以计算置信度(例如，视图匹配得分1306)。如所描述的，置信度可以指示实时超声图像根据目标图像视图使生物组织可视化的概率，例如，在肝成像的上下文中，将足够数量的肝和右肾皮质可视化的矢状视图的成像以允许将测量ROI放置在肝实质和肾皮质的基本上均匀组织内。

如果置信度被确定为满足准则(例如，如果置信度指示视图是合适的视图，诸如通过超过某个值的视图匹配得分)，则在框1312处，过程通过自动采集(在本地存储器中存储)图像来继续以框1314。如果置信度被确定为不满足准则，则过程返回框1310并且神经网络接收并且分析下一个图像帧。当系统处于智能扫描模式时(例如，在H/R量化应用的执行期间)，视图匹配重复直到合适的视图已经被识别。系统可以被配置为提供匹配视图已经被获取的指示(在框1316处)，例如以由系统生成的可听声音的形式，通过利用显示在显示器上的获得图像自动发起冻结模式的系统(框1318)，或者两者的组合。其他类型的反馈可以被提供(例如，跟随合适的视图的采集由探头的轻微振动造成的触觉)作为视图已经被识别的指示。

过程然后继续为ROI放置提供引导，如框1320所示。系统可以被配置为例如通过分割采集的图像以识别对应于不同类型的组织(例如，肝和肾)的图像内的区域的至少一个ROI对的位置。处理器然后可以在所显示的图像上指示肝区域内的一组像素作为推荐的肝ROI并且指示图像中的相同深度处但是在肾皮质内的另一组像素作为推荐的肾ROI。多个这样的推荐对可以呈现在图像上。系统可以等待推荐ROI对中的一个或多个的选择，并且在接收和选择时可以针对每个ROI对计算H/R比率(框1322)。计算的(一个或多个)比率可以与图像数据一起存储(在框1324处)，并且过程可以结束(框1326)。如本文所描述的，图像分割以及过程的其他步骤可以由一个或多个适当地训练的神经网络执行。(一个或多个)网络可以在商业系统中的部署之前训练，和/或附加训练可以使用后续获得的图像数据在场中执行(例如，从真实患者检查，其可以以适合于然后用作进一步的训练数据的方式由系统或诊断临床医师自动注释或标记)。

尽管在本文中参考超声图像数据描述了根据稀疏采样数据产生医学图像的范例，但是将理解到，本文中的范例同样适用于训练神经网络以根据任何成像模态的稀疏数据集来产生图像，诸如磁共振成像(MRI)、计算机断层摄影(CT)、正电子发射断层摄影(PET)、和实际上任何其他成像模态。

在其中部件、系统和/或方法使用可编程设备(诸如基于计算机的系统或者可编程逻辑)实现的各种实施例中，应当理解，上文所描述的系统和方法可以使用各种已知或以后开发的编程语言(诸如“C”、“C++”、“FORTRAN”、“Pascal”、“VHDL”等)中的任一个实现。因此，可以准备可以包含可以指示设备(诸如计算机)实现上文所描述的系统和/或方法的信息的各种存储介质，诸如磁性计算机盘、光盘、电子存储器等。在适当的设备具有对被包含在存储介质上的信息和程序的访问权时，存储介质可以将信息和程序提供给设备，因此使得设备能够执行在本文中所描述的系统和/或方法的功能。例如，如果包含适当的材料(诸如源文件、目标文件、可执行文件等)的计算机盘被提供给计算机，则计算机可以接收信息，适当地配置自身并且执行以上示图和流程图中概述的各种系统和方法的功能来实现各种功能。即，计算机可以从与上文所描述的系统和/或方法的不同的元件有关的磁盘接收信息的各部分，实现单独系统和/或方法并且协调上文所描述的单独系统和/或方法的功能。

鉴于本公开，应注意到，在本文中所描述的各种方法和设备可以以硬件、软件和固件实现。进一步地，仅以范例的方式而非以任何限制性意义包括各种方法和参数。鉴于本公开，本领域的普通技术人员可以实现在确定其自身的技术和实现这些技术的所需设备时的本教导，同时保持在本发明的范围之内。本文所描述的处理器中的一个或多个的功能可以并入更少数目或者单个处理单元(例如，CPU)中并且可以使用响应于可执行指令编程以执行本文所描述的功能的专用集成电路(ASIC)或通用处理电路实现。

虽然已经特别参考超声成像系统描述了本系统，但是还应设想到，本系统可以扩展到其中以系统方式获得一个或多个图像的其他医学成像系统。因此，本系统可以被用于获得和/或记录涉及但不限于肾、睾丸、乳房、卵巢、子宫、甲状腺、肝、肺、肌骨胳、脾、心脏、动脉和血管系统的图像信息，以及涉及超声引导式介入的其他成像应用。进一步地，本系统还可以包括可以供常规成像系统使用使得其可以提供本系统的特征和优点的一个或多个程序。在学习了本公开后，本公开的某些额外优点和特征可以对于本领域的技术人员而言是明显的，或者可以由实现本公开的新颖系统和方法的人所体验。本系统和方法的另一优点可以在于，常规医学图像系统可以容易地升级以包含本系统、设备和方法的特征和优点。

当然，将理解到，在本文中所描述的范例、实施例或过程中的任一个可以与一个或多个其他范例、实施例和/或过程组合或者在根据本系统、设备和方法的分离的设备或者设备部分中间分离和/或执行。

最后，以上讨论旨在仅说明本系统并且不应当被解释为将权利要求书限于任何特定实施例或者实施例组。因此，虽然已经参考示范性实施例以特定细节描述本系统，但是还应当理解，在不脱离如下面的权利要求中阐述的本系统的较宽和预期精神和范围的情况下，可以由本领域的普通技术人员设想许多修改和备选实施例。因此，说明书和附图将以说明性方式看待并且不旨在限制权利要求书的范围。

Claims (23)

1.一种超声成像系统，包括：

探头，其被配置为朝向对象发射超声以用于生成所述对象的生物组织的图像；以及

处理器，其被配置为接收所述图像并且使用至少一个神经网络输出指示所述图像根据目标图像视图将所述生物组织可视化的概率的置信度，并且其中，如果所述置信度的值超过阈值，则所述处理器还被配置为：

选择所述图像；

确定所述图像中的第一和第二感兴趣区域(ROI)的位置；并且

计算所述第一和第二ROI的回波强度值的比率。

2.根据权利要求1所述的系统，其中，如果所述置信度的所述值不超过所述阈值，则所述处理器还被配置为自动地接收一个或多个相继的实时图像帧并且输出针对所述一个或多个相继的实时图像帧中的每个的置信度。

3.根据权利要求1所述的系统，其中，所述生物组织包括肝组织、肾组织、或其组合中的至少一项，并且其中，所述神经网络被训练为如果所述输入图像对应于适合用于计算肝肾回波强度比率的矢状肝和右肾视图，则产生超过所述阈值的置信度。

4.根据权利要求1所述的系统，其中，所述至少一个人工神经网络包括被训练为分割输入图像以生成分割图的卷积神经网络，并且其中，所述置信度至少部分地基于所述实时图像的所述分割图。

5.根据权利要求4所述的系统，其中，所述深度卷积神经网络包括完全卷积网络，所述完全卷积网络被配置为沿着收缩路径然后沿着扩张路径传播所述输入图像以生成所述分割图。

6.根据权利要求1所述的系统，其中，所述至少一个人工神经网络包括深度卷积网络，所述深度卷积网络被训练为检测输入图像内的物体并且输出检测到的物体的位置以及所述检测到的物体对应于目标物体类别的概率，并且其中，所述置信度基于所述概率。

7.根据权利要求6所述的系统，其中，所述处理器被配置为基于所述检测到的物体的位置来确定第一和第二感兴趣区域(ROI)的位置。

8.根据权利要求1所述的系统，其中，所述至少一个人工神经网络包括深度卷积网络，所述深度卷积网络被配置为将输入图像分类为对应于多个置信度的多种分类中的一种种分类。

9.根据权利要求1所述的系统，其中，所述处理器被配置为通过以下方式来确定针对所述第一和第二感兴趣区域的位置：

自动识别并且与所存储的图像同时显示至少一对推荐ROI；并且

接收对来自所述至少一对推荐ROI中的一对推荐ROI的选择的指示，其中，所述处理器被配置为将所述第一和第二感兴趣区域设定为对应于所选择的一对推荐ROI。

10.根据权利要求1所述的系统，其中，所述处理器还被配置为分割所述存储图像以识别与至少两个不同类型的生物组织相关联的区域，并且通过分别地识别各自与两个不同类型的生物组织中的一个相关联的第一和第二多个像素来确定所述第一和第二ROI的位置。

11.根据权利要求1所述的系统，其中，所述处理器还被配置为生成表示所述置信度的当前值的图形指示物，并且使得所述图形指示物器被显示在所述超声系统的显示器上并且响应于由所述至少一个人工神经网络输出的每个新置信度而在所述显示器上被动态地更新。

12.一种超声检查对象的生物组织的方法，所述方法包括：

通过超声系统的处理器接收表示一种或多种类型的生物组织的实时超声图像；并且

将所述实时超声图像提供到被训练为输出针对每个输入图像的置信度的至少一个卷积神经网络，其中，所述置信度指示所述实时超声图像根据目标图像视图将所述生物组织可视化的概率；

如果所述置信度超过阈值，则；

自动地将所述实时超声图像存储在所述超声系统的存储器中；

确定第一和第二感兴趣区域(ROI)的位置；并且

计算所述第一感兴趣区域的回波强度值与所述第二感兴趣区域(ROI)的回波强度值的比率；并且

如果所述置信度不超过所述阈值，则自动地将一个或多个相继的实时图像提供到所述至少一个卷积神经网络以用于确定针对所述一个或多个相继的实时图像中的每个的置信度。

13.根据权利要求12所述的方法，其中，在所述实时超声图像中表示的所述生物组织包括肝组织、肾组织、或其组合中的至少一项，并且其中，所述目标图像视图对应于适合用于计算肝肾回波强度比率的矢状肝和右肾视图。

14.根据权利要求12所述的方法，其中，所述至少一个卷积神经网络被训练为分割输入图像以生成分割图，所述方法还包括基于所述实时图像的所述分割图来计算所述置信度。

15.根据权利要求14所述的方法，其中，所述至少一个卷积神经网络包括完全卷积网络，所述完全卷积网络被配置为沿着收缩路径然后沿着扩张路径传播所述输入图像以生成所述分割图。

16.根据权利要求12所述的方法，其中，所述至少一个卷积神经网络包括深度卷积网络，所述深度卷积网络被训练为确定一种或多种类别的物体中的物体存在于所述输入图像中的概率和所述输入图像中的所述对象的位置。

17.根据权利要求12所述的方法，其中，所述至少一个卷积神经网络包括深度卷积网络，所述深度卷积网络被配置为将输入图像分类为多种分类中的一种分类，所述多种分类包括与超过所述阈值的值相关联的分类。

18.根据权利要求12所述的方法，其中，所述的确定针对第一和第二感兴趣区域的位置包括：

自动识别并且与所存储的图像同时地显示至少一对推荐ROI；并且

接收来自对所述至少一对推荐ROI中的一对推荐ROI的选择的指示，其中，所述第一和第二感兴趣区域被设定为对应于所选择的一对推荐ROI。

19.根据权利要求12所述的方法，还包括：分割所述存储图像以识别与至少两个不同类型的生物组织相关联的区域，并且其中，确定所述第一和第二ROI的位置包括分别地识别各自与两个不同类型的生物组织中的一个相关联的第一和第二多个像素。

20.根据权利要求12所述的方法，还包括：接收对计算机辅助肝成像模式的激活的指示，并且自动地将每个输入的实时超声图像提供到所述至少一个卷积神经网络，直到由所述至少一个卷积神经网络输出超过所述阈值的置信度。

21.根据权利要求20所述的方法，还包括：显示表示所述置信度的当前值的图形指示物，其中，所述显示包括动态地更新所述图形指示物以表示针对每个输入的实时超声图像更新的置信度的当前值。

22.根据权利要求12所述的方法，还包括：响应于确定所述置信度超过所述阈值而自动地从实时成像模式转换为所述超声系统的冻结模式，并且其中，所述转换包括显示所存储的超声图像。

23.一种包括可执行指令的非暂态计算机可读介质，所述可执行指令在被运行时使得医学成像系统的处理器执行根据权利要求12-22所述的方法中的任一种。

Images