CN113628158A - 用于利用生成模型来管理图像质量的方法和系统 - Google Patents

Abstract

本发明题为“用于利用生成模型来管理图像质量的方法和系统”。本文提供了用于收集超声(US)数据的系统、方法和计算机程序产品。处理器被配置为沿着一个或多个采集扫描平面采集US数据。US数据限定具有第一图像质量的多个图像帧。处理器进一步被配置为将生成模型应用于US数据或多个图像帧中的至少一者，以沿着合成扫描平面生成合成扫描平面图像。生成模型基于一个或多个训练超声数据集来定义。合成扫描平面图像具有与多个图像帧的第一图像质量共同的图像质量。该系统进一步包括被配置为显示合成扫描平面图像的显示器。

Description

用于利用生成模型来管理图像质量的方法和系统

技术领域

本公开的各方面涉及医学成像。更具体地，某些实施方案涉及利用生成模型来促进诊断超声成像工作流程的方法和系统。

背景技术

超声成像已被用于多种应用。在超声扫描过程期间，临床医生试图捕获某种解剖结构的确定/否定特定医学病症的视图。一旦临床医生对视图和/或扫描平面的质量感到满意，就选择图像以进入测量阶段。例如，超声图像通常用于评估胎儿的胎龄(GA)和体重或监测患者的心脏健康。根据二维(2D)或三维(3D)图像数据对胎儿解剖结构的特定特征(诸如头部、腹部或股骨)进行超声测量用于确定GA、评估生长模式和识别异常。类似地，对于心脏应用，心脏病专家通常测量心脏壁的厚度以检查心肌病。

通常，用户沿着不同的扫描平面采集图像序列，然后选择最佳的扫描平面和图像以提供标记、评价或执行生物计量。选择最佳扫描平面和图像的过程也可离线执行，诸如从存储的图像序列(电影环)或切片体积(使用3D探头采集)执行。图像采集具有挑战性。目前，对于每个正确的扫描平面采集，图像采集需要1到5分钟，对于新手临床医生来说更是如此。经验不足的临床医生/超声医师面临的另一个挑战是能够正确识别可接受的扫描平面。临床医生还期望了解他们距离对于感兴趣的特定特征的正确或“最佳”的扫描平面有多远。此外，超声图像也受患者和操作者/临床医生的变化性的影响。而且，确定图像的质量也充满挑战。具体地讲，图像中的像素强度随着不同的增益设置而显著变化。

目前，存在用于超声图像分析的半自动和自动技术。然而，超声图像(诸如胎儿超声图像)遭受可损害图像质量和诊断的多种因素。超声(US)图像质量取决于若干因素，诸如用户专业知识、采集质量、患者协作、设备设置、评估的解剖结构、由于脂肪沉积引起的近场雾度、散斑噪声、受检者的体重/肥胖程度等。

操作者的可变性也限制了特定图像帧和测量的可重复性。操作者间的可变性有多种原因。首先，二维(2D)超声心动图仅可视化三维结构的截面切片，通常称为扫描平面。即使具有六个自由度的换能器的定位发生微小变化也可导致可视化场景发生显著变化，这可继而导致测量不正确。另外，次优超声图像设置诸如增益、时间-增益补偿可能降低可视化人体内部结构的能力。

迄今为止，超声扫描中的常见问题是难以识别将与特定检查或分析结合使用的优选/最佳扫描平面图像，以及用于扫描采集参数的一组优选/最佳值。优选/最佳扫描平面图像至少部分地取决于采集质量，并且在不同的3-D体积或电影环上广泛变化。如何从序列中选择单个扫描平面图像的规范应考虑手头的图像质量，并且在可用扫描平面图像之间的评估和比较中做出合适的让步。

非标准图像质量意味着准则可以多种非标准方式显现，并且操作者通常必须使用主观判断并依赖于现有经验。人工方法和算法方法都面临着选择最佳扫描平面图像的挑战。考虑到US图像表现出非标准质量，评估图像或选择“最佳”扫描平面和图像需要用户考虑不可能量化、测量或控制的不同方面，从而影响质量。因此，最终扫描质量很大程度上取决于用户的专业知识和经验水平。

过去，已提出算法来帮助选择优选的扫描平面图像。然而，由于非标准图像质量，常规算法方法也会遇到问题。例如，常规算法方法通常利用在多个训练图像之间获得的针对一个或多个参数的平均值。常规算法方法仅与用于开发算法的训练图像的平均值一样准确。

通过本申请的剩余部分中参考附图所阐述的此类系统与本公开的一些方面的比较，常规方法和传统方法的附加限制和缺点对于本领域技术人员将变得显而易见。

发明内容

根据本文的新的和独特的方面，方法和系统利用生成模型，诸如基于生成对抗网络(GAN)的方法来生成代表性或理想的扫描平面图像。所生成的图像将具有与采集图像帧类似的质量，并且因此用作可由用户或算法用作参考点的自适应扫描平面图像。进一步地，所生成的合成扫描平面图像与当前采集图像帧之间的差可用于开发质量分数、指导用户动作、调整采集设置并提供对当前采集图像帧的质量的解释。

根据本文的新的和独特的方面，该方法和系统被配置成生成图像质量类似于被采集或查看的图像帧的合成扫描平面图像。合成扫描平面图像由采集的图像帧的子集生成，例如2-100个图像帧，或优选为2-50个图像帧，或更优选为5-20个图像帧。合成扫描平面图像是自适应的，因为每次采集新的多个图像帧时其被重新生成。

根据本文的新的和独特的方面，该方法和系统向用户呈现合成扫描平面图像合成扫描平面图像，并支持用户在US评估中能够避免非标准图像质量的挑战。合成扫描平面图像被显示给有助于提高诊断准确性的新手或非专家用户，并且被显示给有助于加速工作流程的专家用户。

根据本文的新的和独特的方面，该方法和系统避免了将生成模型的准确性限制为训练集的平均值。该方法和系统通过结合为给定对象生成参考扫描平面图像主动学习和并入图像质量因子来实现这一点，从而克服由于非标准图像质量引起的挑战。

本文的方法和系统提供了用于识别合成扫描平面的自动化方式，这提供优于人工操作者的优点。除了其他优点之外，本文中的自动化方法和系统指导新手用户理解扫描会话的终止标准，或警告用户有必要更改设置以获得期望的扫描平面。附加地或另选地，本文的自动化方法和系统加速了专家用户的工作流程。本文的方法和系统提供了用于通过以下项获得最佳扫描平面的自动化过程：i)提供采集质量分数或方案完整性，ii)提供指导或自动调整采集设置，iii)提供探头指导，iv)提供关于为什么参考扫描平面是优选的解释，并且任选地提供质量分数以相对于参考扫描平面测量用户所需的扫描平面。

根据本文的实施方案，利用异常GAN作为框架来为用户提供考虑图像质量变化的最佳可能合成扫描平面图像，或者提供进行切片图像选择的算法。此外，此类合成扫描平面图像的可用性使得能够提供附加信息，如实时采集质量、方案完整性、采集设置的指导、解释能力和探头操纵。所提出的解决方案利用GAN产生具有相同一般图像质量的参考(非异常)图像的能力，从而为算法或用户的动作提供自适应合成扫描平面图像。根据本文的实施方案，提供了一种系统。该系统包括：换能器，该换能器具有被配置为收集超声(US)数据的压电换能器元件；存储器，该存储器被配置为存储程序指令；和处理器，该处理器被配置为利用换能器元件沿着一个或多个采集扫描平面采集US数据，US数据限定具有第一图像质量的多个图像帧。该处理器进一步被配置为将生成模型应用于US数据或多个图像帧中的至少一者以沿着合成扫描平面生成合成扫描平面图像，其中生成模型基于一个或多个训练超声数据集来定义，合成扫描平面图像具有与多个图像帧的第一图像质量共同的图像质量。该系统进一步包括被配置为显示合成扫描平面图像的显示器。

附加地或另选地，处理器进一步被配置为基于生成对抗网络模型来预测合成扫描平面图像。附加地或另选地，合成扫描平面图像不对应于与多个采集图像帧中的任何采集图像帧相关联的任何扫描平面。附加地或另选地，颜色处理器进一步被配置为重复采集和应用以基于新的采集图像帧图像帧自适应地识别新的合成扫描平面图像。附加地或另选地，生成模型应用采集参数来识别合成扫描平面图像。附加地或另选地，处理器进一步被配置为提供用户指导信息以基于合成扫描平面图像与多个图像帧之间的差来改变增益或其他扫描采集参数。附加地或另选地，处理器进一步被配置为提供关于要采集的未来图像帧的扫描平面的位置或取向信息中的至少一者的用户指导信息。附加地或另选地，处理器在超声系统、智能电话、平板设备、膝上型计算机、台式计算机或服务器中的至少一者中实现。

根据本文的实施方案，提供了一种方法，该方法包括：利用换能器来发射超声信号并从感兴趣的区域接收超声(US)数据，其中US数据沿着一个或多个采集扫描平面采集，US数据限定具有第一图像质量的多个图像帧；将生成模型应用于US数据或多个图像帧中的至少一者以沿着合成扫描平面生成合成扫描平面图像，其中生成模型基于一个或多个训练超声数据集来定义，合成扫描平面图像具有与多个图像帧的第一图像质量共同的图像质量；以及显示合成扫描平面图像。

附加地或另选地，该方法进一步包括基于生成对抗网络模型来预测合成扫描平面图像。附加地或另选地，合成扫描平面图像不对应于与多个采集图像帧中的任何采集图像帧相关联的任何扫描平面。附加地或另选地，该方法重复采集和应用，以基于新的采集图像帧图像帧自适应地识别新的合成扫描平面图像。附加地或另选地，该方法进一步包括提供用户指导信息以基于合成扫描平面图像与多个图像帧之间的差来改变增益或其他扫描采集参数。附加地或另选地，该方法进一步包括从参考库获得生成模型的参考扫描平面图像并利用参考扫描平面图像生成合成扫描平面图像，其中合成扫描平面图像的图像质量与参考扫描平面图像的质量是共同的。附加地或另选地，共同的图像质量至少由第一质量特性限定，该方法进一步包括基于第一质量特性在多个图像帧上的变化来限定第一质量特性的容差范围，生成模型为参照帧提供在容差范围内的第一质量特性。

根据本文的新的和独特的方面，诊断信息不直接从合成扫描平面导出，诊断信息从多个图像帧导出。

根据本文的实施方案，提供了一种计算机程序产品，该计算机程序产品包括非信号计算机可读存储介质，该非信号计算机可读存储介质包括计算机可执行代码以：从感兴趣的区域获得超声(US)数据，其中US数据沿着一个或多个采集扫描平面采集，US数据限定具有第一图像质量的多个图像帧；将生成模型应用于US数据或多个图像帧中的至少一者以沿着合成扫描平面生成合成扫描平面图像，其中生成模型基于一个或多个训练超声数据集来定义，合成扫描平面图像具有与多个图像帧的第一图像质量共同的图像质量；以及显示合成扫描平面图像。

附加地或另选地，计算机可执行代码被进一步配置为应用包括基于生成对抗网络模型来预测合成扫描平面图像。附加地或另选地，共同的图像质量至少由第一质量特性限定，并且其中计算机可执行代码进一步被配置为基于第一质量特性在多个图像帧上的变化来限定第一质量特性的容差范围，生成模型为参照帧提供在容差范围内的第一质量特性。附加地或另选地，计算机可执行代码进一步被配置为向以下中的至少一者提供用户指导信息：i)基于合成扫描平面图像与多个图像帧之间的差来改变增益或其他扫描采集参数；或ii)要采集的未来图像帧的扫描平面的位置或取向信息中的至少一者。

附图说明

图1示出了根据本文的实施方案的超声系统。

图2示出了被配置为实现本文的实施方案的具有3D能力的微型超声系统。

图3示出了被配置为实现本文的实施方案的设置在可移动基座上的移动超声成像系统。

图4示出了被配置为实现本文的实施方案的手携式或袖珍超声成像系统，其中显示器和用户界面形成单个单元。

图5示出了根据本文的实施方案实现的用于管理采集质量的过程。

图6示出了根据另选的实施方案的用于管理采集质量的过程。

图7示出了沿不同扫描平面收集的图像帧的不同质量的示例。

图8A示出了根据本文的实施方案的对胎儿中枢神经系统的诊断检查的示例。

图8B示出了根据本文的实施方案的对一个或多个器官的诊断检查的示例。

图9示出了根据本文的实施方案的用于训练生成模型的过程。

具体实施方式

当结合附图阅读时，将更好地理解前述发明内容以及某些实施方案的以下具体实施方式。就附图示出各种实施方案的功能框的图的范围而言，该功能框不一定表示硬件电路之间的划分。因此，例如，一个或多个功能框(例如，处理器或存储器)可以在单件硬件(例如，通用信号处理器或随机存取存储器块、硬盘等)或多件硬件中实现。类似地，程序可以是独立程序，可以作为子例程包含在操作系统中，可以是安装的软件包中的功能等。应当理解，各种实施方案不限于附图中所示的布置和工具。还应当理解，可以组合实施方案，或者可以利用其他实施方案，并且可以在不脱离各种实施方案的范围的情况下做出结构的、逻辑的和电气的改变。因此，以下详述不应被认为限制性意义，并且本发明的范围由所附的权利要求书及其等同物限定。

如本文所用，以单数形式叙述且以词语“一”或“一个”开头的元件或步骤应被理解为不排除多个所述元件或步骤，除非明确地说明此类排除。此外，对“实施方案”、“一个实施方案”、“代表性实施方案”、“示例实施方案”、“各种实施方案”、“某些实施方案”等的引用不旨在被解释为排除存在还结合了所叙述的特征的附加实施方案。此外，除非明确地相反说明，否则“包含”、“包括”或“具有”具有特定属性的一个元素或多个元素的实施方案可以包括不具有该属性的附加元素。

另外，如本文所用，术语“图像”广义地是指可视图像和表示可视图像的数据两者。然而，许多实施方案生成(或被配置为生成)至少一个可视图像。此外，如本文所用，短语“图像”用于指超声模式，诸如三维(3D)模式、B模式、CF模式和/或B模式和/或CF的子模式，诸如剪切波弹性成像(SWEI)、TVI、Angio、B-flow、BMI、BMI_Angio，并且在某些情况下还包括MM、CM、PW、TVD、CW，其中“图像”和/或“平面”包括单个波束或多个波束。

如本文所用，术语处理器或处理单元是指可执行各种实施方案需要的所需计算的任何类型的处理单元，诸如单核或多核：CPU、图形板、DSP、FPGA、ASIC或它们的组合。

术语“扫描平面”应意指在扫描操作期间沿着其采集超声数据的平面，其中该平面通过相对于参考坐标系的六个自由度来定义。扫描平面在坐标系内具有给定的位置和取向。

术语“图像帧”应是指可以基于沿对应的扫描平面收集的超声数据生成的图像或者指基于沿对应的扫描平面收集的超声数据生成的图像或者指可能基于沿对应的扫描平面收集的超声数据生成的图像。

术语“采集扫描平面”应意指在US探头采集US数据时由参考坐标系内的US探头的位置和取向限定的扫描平面。

术语“采集扫描平面图像”或“ASP图像”应意指由沿着对应的采集扫描平面从感兴趣区域采集的超声数据限定的图像帧。

术语“采集图像帧”应意指在对应的扫描会话期间采集的由US数据限定的图像帧。

术语“生成模型”应意指用于学习生成模型的一类方法，这些方法用于以无监督方式学习数据分布。本文描述了使GAN变得特别的训练细节。生成模型的非限制性示例包括生成对抗网络(GAN)、深度卷积(DC)GAN、条件GAN、Pix2Pix、CycleGAN等。生成模型框架的目标是训练生成网络，该生成网络通过变换噪声矢量从数据分布产生样本。生成网络的训练信号由鉴别器网络提供，该鉴别器网络被训练以将来自生成分布的样本与真实数据区分开。继而夹带生成网络以欺骗鉴别器将其输出接受为真实的。GAN是用于训练生成模型的一种方法，并且包括各种各样的架构，诸如GAN、Ano-GAN、Cycle-GAN等。其他生成模型的非限制性示例包括隐马尔可夫模型(HMM)、高斯混合模型(GMM)、贝叶斯网络、玻尔兹曼机等。在给定量化或限定条件的情况下，生成模型(如GAN)从分布产生示例数据实例。采样的变化通过噪声矢量实现。GAN是学习此类生成模型的特定方式。为了避免疑问，生成模型不是限定或量化给定数据集的鉴别性机器学习模型。

术语“合成扫描平面”应意指由估计或理论位置和取向限定的扫描平面，在该扫描平面处，超声探头可潜在地定位在参考坐标系内，其中估计或理论扫描平面由生成模型导出。

术语“合成扫描平面图像”应意指由生成模型基于US数据集和/或基于从US数据集生成的多个图像帧生成的估计或理论图像，其中如果沿着合成扫描平面采集US数据，则合成扫描平面图像表示可生成的潜在图像帧的估计或投影。

术语“质量的特性”和“质量特性”可互换使用，并且应意指图像质量的特性。质量特性的非限制性示例包括噪声、伪影、阴影、污点、雾度、模糊和饱和。

当结合比较采集图像帧和/或采集和合成扫描平面图像使用时，术语“共同的图像质量”应意指采集图像帧和/或采集和合成扫描平面图像对于限定质量的多种特性具有相同或相似(例如，在5％内)的水平或程度。已经认识到，图像质量的各个特性的水平或程度将在容差范围内变化，而该特性被认为是共同的或恒定的(例如，+/-1％至6％)。例如，电影环或3D体积中的连续图像帧可在一个或多个质量特性的水平上表现出轻微差异，但仍将被视为表示共同的图像质量。以举例的方式，质量特性的“共同”水平可基于在单个电影环和/或3D体积中在图像帧之间所表现出的质量特性的最大水平和最小水平来定义。作为进一步的示例，对于单个电影环(或3D体积)中的图像帧集合，模糊水平可变化B1与Bn之间的小(5％)范围，其中范围B1至Bn被定义为表示“常见”模糊水平。对于单个电影环(或3D体积)中的图像帧集合，阴影可在S1与Sn之间的小(+/-2.5％)范围内变化，其中范围S1至Sn被定义为表示“常见”阴影水平。

术语“图像质量”应意指图像帧的一个或多个特性的程度或水平，该程度或水平影响或以其他方式牵涉医师或其他医务人员结合感兴趣解剖结构的诊断检查来利用图像帧的能力。限定图像质量的特性的非限制性示例包括模糊程度、阴影程度、斑点、饱和、视场、扫描平面呈现/角度/取向、解剖结构的尺寸或完整性、必要解剖结构的存在(例如，胎儿CNS评估中质量良好的TCP扫描平面需要存在CSP、CP、对称小脑、完整的头围)。

图1是根据本文的实施方案的可操作以收集、分析、显示和以其他方式处理超声数据的示例性超声系统100的框图。超声系统100包括发射器102、超声探头104、发射波束形成器110、接收器118、接收波束形成器120、RF处理器124、RF/IQ缓冲器126、用户输入模块117、信号处理器119、图像缓冲器121、显示系统123、档案125和生成模型127。

发射器102可包括可操作以驱动超声探头104的合适逻辑、电路、接口和/或代码。超声探头104可以各种形式构造成具有各种配置的换能器元件106，范围在各种类型的一维阵列和二维阵列之间。发射器和超声探头可被实现和/或被配置用于一维(1D)、二维(2D)、三维(3D)和/或四维(4D)超声扫描。超声探头可包括压电元件的一维(1D、1.25D、1.5D或1.75D)阵列或二维(2D)阵列。超声探头可包括通常构成相同元件的一组发射换能器元件和一组接收换能器元件。发射器可由发射波束形成器驱动。发射波束形成器可包括可用于控制发射器的合适电路，该发射器通过发射子孔径波束形成器来驱动一组发射换能器元件以将超声发射信号发射到感兴趣区域(例如，人类、动物、地下洞穴、物理结构等)中。

发射波束形成器110可包括合适的逻辑、电路、接口和/或代码，该逻辑、电路、接口和/或代码可操作以控制发射器102，发射器102通过发射子孔径波束形成器114驱动该组发射换能器元件106以将超声发射信号发射到感兴趣区域(例如，人、动物、地下空腔、物理结构等)中。发射的超声信号可从感兴趣对象中的结构(如血细胞或组织)反向散射，以产生回波。回波由接收换能器元件106接收。

接收换能器元件106将接收的回波转换为模拟信号，可通过接收子孔径波束形成器116进行子孔径波束形成，然后传送到接收器118。接收器118可包括合适的逻辑、电路、接口和/或代码，该逻辑、电路、接口和/或代码可操作以接收和解调来自接收子孔径波束形成器116的信号。可将解调的模拟信号传送到多个A/D转换器122中的一个或多个A/D转换器。

多个A/D转换器122可包括合适的逻辑、电路、接口和/或代码，该逻辑、电路、接口和/或代码可操作以将来自接收器118的解调的模拟信号转换为对应的数字信号。多个A/D转换器122被设置在接收器118和接收波束形成器120之间。尽管如此，本公开在这方面并不受限制。因此，在一些实施方案中，多个A/D转换器122可被集成在接收器118内。

接收波束形成器120可包括合适的逻辑、电路、接口和/或代码，该逻辑、电路、接口和/或代码可操作以执行数字波束成形处理，以例如对从多个A/D转换器122接收的延迟信道信号求和并且输出波束求和信号。所得处理的信息可被转换回对应RF信号。从接收波束形成器120输出的对应输出RF信号可被传送到RF处理器124。根据一些实施方案，接收器118、多个A/D转换器122和波束形成器120可被集成到可以是数字波束形成器的单一波束形成器中。

RF处理器124可包括可操作以解调RF信号的合适的逻辑、电路、接口和/或代码。根据一个实施方案，RF处理器124可包括复解调器(未示出)，该复解调器可操作以解调RF信号以形成代表对应回波信号的I/Q数据对。然后可将RF或I/Q信号数据传送到RF/IQ缓冲器126。RF/IQ缓冲器126可包括合适的逻辑、电路、接口和/或代码，该逻辑、电路、接口和/或代码可操作为提供由RF处理器124生成的RF或I/Q信号数据的临时存储。RF/IQ缓冲器126和/或图像缓冲器121可表示被配置为存储超声数据的二维(2D)和/或三维(3D)数据集的一个或多个存储器，其中此类数据集被访问以呈现2D和/或3D图像。还可随时间推移采集和存储多个连续3D数据集，诸如以提供实时3D或四维(4D)显示。可使用用户界面117修改这些图像并且还可手动地调节显示器123的显示设置。

用户输入模块117可用于输入患者数据、扫描参数、设置、选择方案和/或模板、导航图像循环查看等。在示例性实施方案中，用户输入模块117可操作以配置、管理和/或控制超声系统100中的一个或多个部件和/或模块的操作。在这方面，用户输入模块117可操作为配置、管理和/或控制发射器102、超声探头104、发射波束形成器110、接收器118、接收波束形成器120、RF处理器124、RF/IQ缓冲器126、用户输入模块117、信号处理器119、图像缓冲器121、显示系统123、档案125和/或生成模型127的操作。用户输入模块117可包括按钮、触摸屏、运动跟踪、语音识别、基于鼠标的设备、键盘、相机和/或能够接收用户指令的任何其他设备。在某些实施方案中，例如，用户输入模块117中的一个或多个用户输入模块可以集成到其他部件(诸如显示系统123)中。作为示例，用户输入模块117可以包括触摸屏显示器。在各种实施方案中，可操纵在显示系统123处呈现的超声图像以响应于经由用户输入模块117接收的指令而放大和/或缩小。

信号处理器119可包括合适的逻辑、电路、接口和/或代码，该逻辑、电路、接口和/或代码可操作以处理超声扫描数据(即，RF信号数据或IQ数据对)，以生成用于在显示系统123上呈现的超声图像。信号处理器119可操作为根据所采集的超声扫描数据上的多个可选择超声模态来执行一个或多个处理操作。在示例性实施方案中，信号处理器119可操作以执行混合、运动跟踪和/或散斑跟踪。随着接收到回波信号，可以在扫描会话期间实时处理采集的超声扫描数据。附加地或另选地，超声扫描数据可在扫描会话期间暂时存储在RF/IQ缓冲器126中并且在在线操作或离线操作中以不太实时的方式处理。处理的图像数据可呈现在显示系统123处和/或可存储在档案125处。档案125可以是本地档案、图片归档和通信系统(PACS)，或用于存储图像和相关信息的任何合适的设备。在示例性实施方案中，信号处理器119可包括方案选择模块129、图像摄取模块150、图像循环视图分配模块160和图像特性度量分配模块170。

超声系统100可操作以按适用于所考虑的成像情况的帧速率连续采集超声扫描数据。典型的帧速率在20至70的范围内，但可更低或更高。所采集的超声扫描数据可以与帧速率相同、或更慢或更快的显示速率显示在显示系统123上。图像缓冲器121被包括以用于存储未被安排立即显示的所采集的超声扫描数据的处理的帧。优选地，图像缓冲器121具有足够的容量来存储至少几分钟的超声扫描数据的帧。超声扫描数据的帧以根据其采集顺序或时间易于从其取回的方式存储。图像缓冲器121可体现为任何已知的数据存储介质。

信号处理器119可包括方案选择模块129，该方案选择模块包括可操作为响应于在用户输入模块117处提供的用户指令来配置与图像采集和处理相关联的参数的合适逻辑、电路、接口和/或代码。例如，方案选择模块129可接收选择定义一组采集和/或处理参数的方案和/或模板的用户输入。作为另一示例，方案选择模块129可接收选择各个采集和/或处理参数的用户输入。在各种实施方案中，所选择的方案、模板和/或各个参数可限定每个图像循环的心动周期数和期望的图像视图类型等等。例如，每个图像循环的心动周期数通常为每个循环一个心动周期，但可设置为两个周期、三个周期或任何合适的周期数。图像视图类型的示例可以包括胸骨旁长轴(PLAX)视图、二尖瓣上的胸骨旁短轴(SAX-MV)视图、四腔室(4CH)视图、双腔室(2CH)视图、心尖长轴/3腔室(APLAX)视图、乳头肌上的胸骨旁短轴(SAX-PM)视图或任何合适的图像视图类型。在代表性实施方案中，可存储所选择的图像采集和处理参数以供信号处理器119及其相关联的模块在超声图像采集和处理期间检索和应用。例如，参数可存储在档案125或任何合适的数据存储介质处。在示例性实施方案中，如果参数未由经由用户输入模块117提供的用户指令定义或改变，则方案选择模块129可应用默认采集和处理参数的默认方案或模板。

信号处理器119可包括生成模型应用(GMA)模块131，该生成模型应用模块包括可操作以将图像视图类型自动分配给图像循环的至少一部分的合适逻辑、电路、接口和/或代码。GMA模块131可操作为构建、更新和管理生成模型127。任选地，可利用单独的计算设备(诸如单独的智能电话、平板设备、工作站、膝上型计算机、远程服务器、医疗网络计算系统等)来构建、更新和管理生成模型127。例如，附加地或另选地，远程服务器141可包括在系统中。远程服务器141可包括被配置为实现GMA模块131的存储器和处理器。GMA模块131应用训练超声数据集来构建对应的生成模型，诸如构建GAN模型。本文以可构造和维护生成模型的方式讨论示例。

GMA模块131进一步被配置为管理一个或多个生成模型到超声数据和/或多个图像帧的应用，以沿着对应的一个或多个合成扫描平面生成一个或多个合成扫描平面图像。GMA模块131可被配置为基于生成对抗网络来预测合成扫描平面图像。如本文所解释的，合成扫描平面图像不对应于基于US数据集生成的多个采集图像帧中的任何采集图像帧的扫描平面。相反，如果潜在超声数据沿着与合成扫描平面匹配的实际扫描平面被采集，则合成扫描平面图像表示可从潜在超声数据生成的潜在图像帧的估计或投影。应当认识到，合成扫描平面图像不适合并且不用于采集测量结果或任何其他诊断信息。诊断信息(包括测量结果和其他信息)不直接从合成扫描平面图像导出。相反，诊断信息(包括测量结果和其他信息)从多个采集图像帧导出。

附加地或另选地，信号处理器119可被配置为重复管理附加US数据集的采集，并且GMA模块131可进一步被配置为重复将生成模型应用于每个新US数据集，以便基于新采集图像帧自适应地识别新的合成扫描平面图像。

生成模型应用如本文所解释的各种采集参数来识别合成扫描平面图像。在简单的实施方式中，GMA模块131结合所有超声检查应用共同的生成模型127。附加地或另选地，当多个生成模型127可用时，GMA模块131首先从方案选择模块129确定要利用的方案。基于方案、患者人口统计和其他信息，GMA模块131选择生成模型127中的一个。GMA模块131可实现各种类型的生成模型127，诸如生成对抗网络。例如，生成模型127可以包括输入层、输出层以及位于输入层与输出层之间的一个或多个隐藏层。每个层可由可称为神经元的多个处理节点构成。例如，输入层可具有用于来自图像循环的每个像素或一组像素的神经元。输出层可具有对应于每个图像视图类型的神经元加上对应于与预定义图像视图类型之一不匹配的未知或其他图像视图类型的神经元。

生成模型127可包括各种类型的生成模型。例如，可结合每种类型的检查方案来定义单独的生成模型127。附加地或另选地，可结合不同的患者解剖结构、不同的超声探头、不同的患者人口统计等来定义单独的生成模型127。例如，第一生成模型和第二生成模型127可被定义用于肾脏检查方案，其中第一生成模型127用于瘦患者或青春期，而第二生成模型127用于肥胖患者或成人。作为另一示例，可以结合不同水平的用户经验来定义不同的生成模型127。

例如，第一生成模型127可用于缺乏经验的用户，而第二生成模型127可用于经验丰富的用户。可能期望利用具有不同经验水平的用户的不同生成模型，以允许应用不同的容差范围或关键水平。例如，缺乏经验的用户可能无法实现特定的采集扫描平面图像，因此可构造对应的生成模型以提供不太特定的最终采集扫描平面图像。另选地，有经验的用户应该能够实现特定的采集扫描平面图像，因此可以利用“更关键的”生成模型来引导有经验的用户。作为另一示例，用于有经验的用户的生成模型可以分析较少的图像质量特性，即，只有有经验的用户仍然费力的质量特性，而不考虑有经验的用户已经证明在实现高质量方面相当好的图像特性。另选地，用于有经验的用户的生成模型可分析更宽范围的质量特性，诸如以提供对更宽范围的设置和特性的备份检查。

生成模型被配置为基于输入超声数据集和/或图像帧集输出合成扫描平面图像，其中合成扫描平面图像具有与多个图像帧的图像质量共同的图像质量。

根据一些实施方案，生成模型127保持在超声系统内的存储器中或本地保持(例如，保持在附近存储单元、服务器中)。附加地或另选地，生成模型127可远程地保持在远程服务器141处的存储器中。当生成模型127保持在远程服务器141处时，远程服务器141和本地超声系统100可以通过有线或无线通信网络进行通信(如虚线143所图示)。例如，远程服务器141可以周期性地将新的或更新的生成模型推送到超声系统100。附加地或另选地，超声系统100可以向远程服务器141传送对与指定特定类型的生成模型相关联的某些信息(例如，即将到来的扫描的方案、患者的人口统计、扫描采集设置、要使用的探头的类型、超声系统的模型/版本等)的模型请求。响应于模型请求，远程服务器141可以将一个或多个生成模型127发送到超声系统100。

信号处理器119可包括质量特性度量(QCM)模块133，该模块包括可操作为将值或水平自动分配给合成扫描平面图像和采集图像帧的一个或多个质量特性的合适逻辑、电路、接口和/或代码。例如，QCM模块133可结合噪声、伪影、阴影、污点、雾度、模糊和饱和等中的一者或多者将水平分配给质量特性。一旦分配了水平，QCM模块133就可以确定合成扫描平面图像是否具有与多个图像帧中的一个或多个的图像质量共同的图像质量。根据本文的实施方案，可结合某些类型的方案和/或某些扫描平面将主要质量特性中的一个或子集定义为感兴趣的。例如，在胎儿CNS检查方案中，与阴影相关的第一质量特性可能是主要感兴趣的，因此表示在合成扫描平面图像与采集图像帧之间进行比较的主要质量特性。附加地或另选地，选择质量特性可结合某些平面被定义为主要感兴趣的。例如，在胎儿CNS检查方案中，结合TTP平面，可将第一质量特性定义为与饱和相关。结合MSP平面，可将与模糊相关的第三质量特性定义为主要感兴趣的。作为非限制性示例，各种方案具有其他重要的质量特性，诸如采集深度、由于增益引起的饱和、时间增益补偿、给定特征的分辨率频率、图像/解剖结构的对称性、解剖结构的特定组合的存在等。

附加地或另选地，QCM模块133可被配置为限定一个或多个质量特性的容差范围。单个质量特性的容差范围可以是预定义的。附加地或另选地，可基于结合针对个体患者的扫描会话收集的多个采集图像帧上的对应质量特性的可变性来更新或计算针对单个质量特性的容差范围。例如，QCM模块133可分析一系列采集图像帧以识别每个采集图像帧中的模糊水平或程度。例如，在1-10的标度上，一系列采集图像帧可表现出范围在2-3之间的模糊水平或程度。在前述示例中，当合成扫描平面图像由GMA模块131生成时，合成扫描平面图像将具有水平在2-3之间的对应模糊质量特性。QCM模块133可以以各种方式将水平分配给质量特性。例如，QCM模块133可包括一个或多个深度神经网络和/或利用任何合适形式的深度学习处理功能来对质量特性进行评分和/或组合加权因子以提供质量特性度量(例如，各种质量特性中的一些乘以对应权重)。

信号处理器119可被配置为提供各种类型的输出并且基于QCM模块133确定合成扫描平面图像是否表现出与采集图像帧的质量共同的质量来执行各种动作。例如，信号处理器119可指示显示系统123显示采集图像帧、合成扫描平面图像和其他信息等。附加地或另选地，信号处理器119可通过显示系统123提供用户指导指令以指示用户采取一个或多个动作。例如，指令可以指示用户改变超声系统的增益或其他扫描采集参数。可以提供简单地改变增益和/或其他扫描采集参数的一般建议。附加地或另选地，可以提供更详细的建议以改变增益和/或其他扫描采集参数，诸如将增益或其他参数改变一定量，该一定量基于采集图像帧与合成扫描平面图像之间的差值的量或与其相关。附加地或另选地，信号处理器119可被配置为提供关于要采集的未来图像帧的扫描平面的位置和取向信息中的至少一者的用户指导信息。任选地，用户指导信息可包括以下各项：i)提供采集的质量分数或方案完整性，ii)提供指导或自动调整采集设置，iii)提供探头指导，iv)提供关于为什么参考扫描平面是优选的解释，并且任选地提供质量分数以相对于参考扫描平面测量用户所需的扫描平面。用户指导信息可包括实时采集质量、方案完整性、采集设置指导、解释能力和探头操纵。

本文的方法和系统提供了用于识别合成扫描平面的自动化方式，这提供优于人工操作者的优点。除了其他优点之外，本文中的自动化方法和系统指导新手用户理解扫描会话的终止标准，或警告用户有必要更改设置以获得期望的扫描平面。附加地或另选地，本文的自动化方法和系统加速了专家用户的工作流程。根据本文的新的和独特的方面，在显示系统123上向用户呈现信息，该信息试图避免缺乏经验的用户获得质量较差的初始采集图像帧(例如，由于不正确地定位超声探头或使用非理想扫描参数)、看到合成扫描平面图像并推断初始采集图像帧足够好。例如，用户可将合成扫描平面图像与采集图像帧进行比较，并且推断质量差异太小而不能保证进一步检查或进一步尝试改善采集图像帧并保存采集图像帧，即使对探头位置和/或采集设置再进行一些调整，也可获得明显更好的图像帧。为了解决上述问题，信号处理器119可以“锁定”或以其他方式防止用户选择并保存当前采集图像帧作为最终图像帧。附加地或另选地，可以向用户显示用户指导信息，指示当前采集图像帧具有比通过微小调整可能获得的足够更低的质量，并且提供用户继续尝试获得更好采集图像帧的建议。附加地或另选地，用户指导信息可提供与要作出的改变(诸如探头位置/取向的改变和/或采集参数的改变)有关的更具体的建议。例如，用户指导信息可指示本图像表现出比沿其合成扫描平面采集的图像帧中将另外存在的模糊质量高15％。作为另一示例，用户指导信息可指示本图像具有阴影质量水平为4(例如，在0至10的标度上)，而阴影质量水平为2可通过探头的位置/取向的改变或采集参数的改变来实现。作为又一个示例，如果时间增益补偿采集参数被调整的量为Y，则用户指导信息可指示采集扫描帧的饱和水平可减小X。本文描述了其他输出和动作。

图2示出了具有3D能力的微型超声系统130，该超声系统具有探头132，该探头可包括元件106。探头132可被配置为采集3D超声数据。例如，探头132可具有换能器元件104的2D阵列。提供了用户界面134(其也可包括集成显示器136)以从操作员接收命令。

如本文所用，“微型”意指超声系统130是手持式或手携式设备，或被配置为通过某人的手、口袋、公文包大小的包或背包携带。例如，超声系统130可为具有典型膝上型计算机的尺寸(例如，具有深度为大约2.5英寸、宽度为大约14英寸以及高度为大约12英寸的尺寸)的手携式设备。超声系统130可重约十磅，因此便于操作员携带。还提供了集成显示器136(例如，内部显示器)，该集成显示器被配置为显示医学图像。

可经由有线或无线网络140(或直接连接，例如经由串行或并行电缆或USB端口)将超声数据发送到外部设备138。在一些实施方案中，外部设备138可为具有显示器的计算机或工作站。另选地，外部设备138可为单独的外部显示器或打印机，其能够从手携式超声系统130接收图像数据并且显示或打印可具有比集成显示器136更大的分辨率的图像。应当注意，各种实施方案可结合具有不同尺寸、重量和功耗的微型超声系统来实现。外部设备138可实现GMA模块131和QCM模块133以及生成模型127(图1)的全部或部分。

图3示出了设置在可移动基座146上的移动超声成像系统144。超声成像系统144也可称为基于cart的系统。提供了显示器142和用户界面148，并且应当理解，显示器142可独立于用户界面148或者可与其分开。系统144具有至少一个探头端口150以便接纳探头(未示出)，该探头可具有包含如本文所讨论的单晶材料的元件106。

用户界面148可任选地为触摸屏，从而允许操作员通过触摸所显示的图形、图标等选择选项。用户界面148还包括控制按钮152，所述控制按钮可用于根据预期或需要和/或按照通常所提供的来控制系统144。用户界面148提供多个界面选项，用户可物理地操控所述界面选项以便与可被显示的超声数据和其他数据进行交互，以及输入信息并设定和改变扫描参数。界面选项可用于特定输入、可编程输入、上下文输入等。例如，可提供键盘154和轨迹球156。

图4示出了手携式或袖珍超声成像系统170，其中显示器172和用户界面174形成单个单元。举例来说，袖珍超声成像系统170可为大约2英寸宽、大约4英寸长且大约0.5英寸深及重量小于3盎司。显示器172可为例如320×320像素彩色LCD显示器(在其上可显示医学图像176)。按钮182的打字机式键盘180可任选地包括在用户界面174中。系统170连接到探头178，该探头具有包含如本文所讨论的单晶材料的换能器元件106。可根据系统操作模式为多功能控件184各自分配功能。因此，多功能控件184中的每个多功能控件可被配置为提供多个不同动作。必要时，与多功能控件184相关联的标签显示区域186可包括在显示器172上。系统170还可具有用于专用功能的附加按键和/或控件188，所述专用功能可包括但不限于“冻结”、“深度控制”、“增益控制”、“彩色模式”、“打印”和“存储”。

检查方案

以举例的方式，本文的实施方案可以定义生成模型，这些生成模型被唯一地定制为结合实施胎儿CNS检查方案生成合成扫描平面和SSP图像。中枢神经系统(CNS)畸形是常见的先天性异常。超声胎儿CNS检查可用于帮助诊断胎儿CNS异常。以举例的方式，胎儿CNS方案可涉及沿穿过胎儿的中枢神经系统的所选标准2D平面收集用于收集图像帧的US数据。例如，用于胎儿CNS检查方案的用户选择的扫描平面可包括小脑切面(TCP)、丘脑切面(TTP)和心室切面(TVP)。附加地或另选地，胎儿CNS检查方案可以规定，针对包括感兴趣的胎儿CNS区域的体积采集3DUS数据集。除了TCP、TTP和TVP选择的扫描平面之外，当采集3D US数据集时，方案还可将选择扫描平面定义为中值或中矢状平面(MSP)以添加另一个临床上有用的视角。

中矢状平面的取向提供了颅内结构(诸如胼胝体(CC))的独特视图和小脑蚓部(CV)的轴向视图。例如，MSP的观察有利于胼胝体发育不全(ACC)和第四脑室孔闭塞综合征的临床诊断。然而，由于各种成像条件，诸如胎儿位置不良、声学阴影和用户扫描技能，沿着提供具有足够质量的MSP图像帧的MSP扫描平面获得US数据是困难的。迄今为止，由于难以沿MSP扫描平面采集具有足够质量的US数据，因此在一些情况下，临床医生将在许多情况下仅基于胎儿大脑的若干横向平面进行间接检查，这可能导致CC或CV相关疾病的错误诊断。

TCP、TTP和TVP是胎儿CNS检查中的重要平面。这些平面中的解剖标志包括透明隔腔(CSP)、丘脑、小脑、小脑延髓池和侧室。除了观察这些结构的形态之外，该解剖结构的测量对于产前超声检查也是重要的。胎儿头部的标准测量结果包括来自TTP的头围(HC)、双顶径(BPD)和枕额径(OFD)。从TCP获得小脑延髓池(CM)的宽度和小脑横径(TCD)，并且从TVP获得侧脑室的宽度(LVW)。

如今，3D超声已被广泛接受用于胎儿成像，并且主要优点是能够从一个体积数据集中获得许多视图。然而，由于缺乏3D采集与2D成像所需的知识、难以从完全不熟悉的显示(诸如C平面)识别解剖结构的一些视图以及需要学习用于旋转、平移和操纵3D体积的新方法，许多医生尚未在实践中采用3D采集的使用。因此，用于自动通知胎儿CNS检查中何时获得“最佳”采集扫描平面的更快且更用户友好的方法可显著提高临床诊断的质量和效率二者。

作为另一示例，方案可涉及检查一个或多个器官，诸如肾脏检查、肝脏检查、胆囊检查等。以举例的方式，用于肾脏检查的方案可要求沿肾脏的上极、中部和下极的长轴扫描平面和横向扫描平面采集图像帧。肾脏检查方案还可要求沿肾皮质和肾盂的长轴扫描平面和横向扫描平面采集图像帧。记录两个肾脏的肾长度的最大测量结果。在实践时，可将肾回声性与相邻肝脏或脾脏的回声性进行比较。已经认识到，上述内容仅仅是可以结合肾脏检查方案沿着某些采集扫描平面采集的一些图像帧的一个示例。

虽然图示总体上示出了B模式超声图像，但是已经认识到，本文的实施方案可应用于诸如结合功率多普勒图像帧、剪切波图像帧等的其他类型的超声检查。例如，多普勒成像可用于检查感兴趣器官(例如肝脏、肾脏、胆囊)以及心脏系统(例如心脏、心血管系统等)的脉管系统。

用于管理采集质量的过程

图5示出了根据本文的实施方案实现的用于管理采集质量的过程。在502处，超声系统利用探头的换能器元件采集超声数据，其中超声数据沿着与图像帧的收集结合的多个采集扫描平面收集以形成电影环(I)和/或3D体积。以举例的方式，可以沿一组采集扫描平面内的每个采集扫描平面收集多个图像帧，诸如以示出内沿该组内的各个采集扫描平面在感兴趣的解剖结构内的移动。附加地或另选地，在3D体积采集期间，超声数据可沿足以限定体积数据集的图像帧集合的多个采集扫描平面收集。

在504处，超声系统的用户查看在502处采集的图像帧的全部或一部分。在506处，超声系统的用户选择沿对应的一个或多个采集扫描平面定向的一个或多个采集图像帧。

任选地，可以迭代地执行502-506处的采集、查看和选择操作。例如，可以在502处采集图像帧的第一子集(例如，与用户尝试沿一个特定扫描平面采集优选或最佳图像帧有关)。可在504处查看图像帧的子集，并且用户可在506处从该子集中选择图像帧中的一个。此后，502至506处的操作可结合第二扫描平面重复，然后结合第三扫描平面重复等。作为非限制性示例，结合胎儿CNS检查方案，可以实施502至506处的操作，以努力沿着TCP平面、TTP平面、TVP平面和MSP平面中的一者收集优选或最佳图像帧。接下来，可以重复502至506处的操作，以努力沿着TCP平面、TTP平面、TVP平面和MSP平面中的另一者，然后沿着TCP平面、TTP平面、TVP平面和MSP平面中的另一者收集优选或最佳图像帧，直到用户基于用户最大努力沿着TCP平面、TTP平面、TVP平面和MSP平面中的每者收集候选的优选或最佳图像帧为止。

电影环内的每个图像帧具有限定对应图像帧的质量的某些特性。一般来讲，单个电影环或3D体积内的图像帧将表现出相同或基本上类似的质量特性值。例如，当在将探头保持在单个位置和取向的同时采集图像帧的电影环时，图像帧的集合将表现出共同的或基本上类似的模糊程度、阴影水平、饱和和其他质量特性。作为另一示例，当针对三维体积采集图像帧的集合时，图像帧的集合将类似地表现出共同或基本上类似的模糊程度、阴影水平、饱和和其他质量特性。合成扫描平面图像具有与在504处查看的多个图像帧的图像质量共同的图像质量。连续图像帧(例如，单个电影环中的图像帧或3D体积中的图像帧)将至少相对于感兴趣的质量特性具有共同的图像质量(或在容差范围内的图像质量)。

在508处，处理器将生成模型应用于US数据或多个图像帧中的至少一者，以沿着估计或投影的合成扫描平面生成合成扫描平面图像。当生成合成扫描平面图像时，生成模型可利用整个US数据集和/或子集。附加地或另选地，生成模型可利用所有可用图像帧和/或可用图像帧的子集来生成合成扫描平面图像。生成模型基于如本文所解释的训练超声数据集来定义。合成扫描平面图像具有与被生成模型用来识别合成扫描平面图像和对应的合成扫描平面图像的多个图像帧的图像质量共同的图像质量。已经认识到，感兴趣的质量特性中的一个或多个可在合成扫描平面图像与多个图像帧之间的可接受容差范围内变化，但仍然被认为表现出共同的图像质量。

在510处，处理器将在506处选择的采集图像帧与在508处自动确定的合成扫描平面图像进行比较，以获得感兴趣的质量特性中的一个或多个的相似性和差异。采集图像帧的质量特性的值部分地取决于操作者的经验水平。新手用户可能执行过长的扫描以努力连续尝试定位提供具有优选或最佳质量的图像帧的采集扫描平面。执行过长的扫描也称为高估潜在扫描平面。另选地，新手用户可能通过不正确地断定操作者已经沿优选或最佳扫描平面获得了图像帧，而过早终止采集，这些图像帧将提供可用的优选或最佳质量。过早终止采集会话也称为低估潜在扫描平面。

用户基于用户估计什么是可获得的图像帧的优选或最佳质量来相对于个体患者检查选择采集扫描平面和相关联的图像帧。每个患者的采集扫描平面和相关图像帧具有不同的对应质量。因此，用户的选择和估计表示用户期望采集的并且是不可量化的一般抽象，从而防止知识被标准化。与由用户选择的采集扫描平面相关联的质量通常不在现有系统中计算。就现有系统试图量化与用户选择的采集扫描平面相关联的质量而言，现有系统仅能够基于宽泛的度量(诸如边缘、对比度等)来执行计算。与用户在过去选择的扫描平面相关联的质量不是特定于任务的，即，该质量未考虑特定解剖结构或检查类型。

根据本文的新的和独特的方面，利用生成模型来辅助新手或经验不足的操作者，并且减少对所有类型的用户的需求或负载。另外，通过确定是否已经利用优选或最佳采集扫描平面来采集图像帧，或者另选地是否还没有利用优选或最佳扫描平面，利用生成模型为检查提供了自适应终止点，并且因此仍然可以获得更好的图像帧。通过确定终止点，本文的实施方案减少了扫描时间并且有利于沿具有至少一定质量水平的扫描平面获得图像帧。本文的实施方案还提供了用于确定是改变采集过程还是选择特定采集过程的自适应和量化的度量。

在510处，当来自用户选择的采集扫描平面的图像帧的质量特性与合成扫描平面图像的质量特性相似或在预定义的容差内时，流程移至512。在512处，处理器可通知用户所选择的图像帧表示可由成像系统针对当前患者获得的优选或最佳质量。附加地或另选地，处理器通知用户由用户选择的采集扫描平面表示可由成像系统针对当前患者获得的优选或最佳扫描平面。任选地，用户选择的采集图像帧用作最终图像。通过通知用户所选择的图像帧和/或采集扫描平面表示可由成像系统针对当前患者获得的优选或最佳扫描平面，根据本文的新的和独特的方面，实施方案防止了过度过量的扫描操作。实施方案防止用户尝试去除不能被去除并且无论扫描平面如何都将保留在任何图像帧中的阴影。实施方案还通过确认用户已获得对于用户成像系统、方案和患者而言尽可能好的采集图像帧来使用户增强信心。

另选地，在510处，当用户选择的扫描平面的质量特性与合成扫描平面的质量特性相差预定义量时，流程移至514。

已经认识到，510处的决定可应用于一个或多个图像帧和对应的一个或多个合成扫描平面图像。例如，可以将沿采集TCP平面的采集图像帧的第一质量特性与沿合成TCP平面的合成扫描平面图像的对应质量特性进行比较。可将沿采集TTP平面的采集图像帧的相同或不同的第二质量特性与沿合成TTP平面的合成扫描平面图像的对应质量特性进行比较。

附加地或另选地，诸如当不同质量特性对沿特定扫描平面的分析和测量具有较大影响或或多或少可能存在时，可结合不同扫描平面应用相同或不同水平和/或类型的质量特性。例如，阴影特性可以是与沿TCP平面和TTP平面的图像帧相关的重要质量特性(或更可能存在)，而阴影对于沿TVP平面的图像帧是不太重要的质量特性(或不太可能是显著的)。作为另一示例，模糊特性可以是与沿TVP和MSP平面的图像帧相关的重要质量特性(或共同问题)，而模糊对于沿TCP和TTP平面的图像帧而言是不太重要的质量特性(或非共同)。

在514处，处理器可实施多个或另选的动作。例如，在514处，处理器可以提供关于以下中的至少一者的设置的用户指导信息：i)扫描采集参数，和/或ii)要采集的未来图像帧的扫描平面的位置和取向信息。当提供改变增益或另一个扫描采集参数的指令时，建议可包括一般建议(例如，“时间增益补偿可能太高”)和/或建议还可包括针对改变的推荐量。用户指导信息还可以提供以下内容：i)提供采集的质量分数或方案完整性，ii)提供指导或自动调整采集设置，iii)提供探头指导，iv)提供对为什么参考扫描平面是优选的解释，并且任选地提供质量分数以相对于参考扫描平面测量用户所需的扫描平面，提供实时采集质量、方案完整性、采集设置的指导、解释能力和探头操纵。本文的方法和系统提供了用于识别合成扫描平面的自动化方式，这提供优于人工操作者的优点。除了其他优点之外，本文中的自动化方法和系统指导新手用户理解扫描会话的终止标准，或警告用户有必要更改设置以获得期望的扫描平面。附加地或另选地，本文的自动化方法和系统加速了专家用户的工作流程。

附加地或另选地，在514处，处理器可允许用户在搜索采集图像帧(和对应的采集扫描平面)时继续采集，该采集图像帧为质量特性提供与合成扫描平面图像的质量类似的质量水平。可允许用户继续调整US探头的位置和取向和/或调整采集扫描器设置，直到用户获得足够质量的采集图像帧。附加地或另选地，处理器可为用户建立有限的时间量以尝试获得足够质量的采集图像帧。一旦时间到期，处理器可以自动提供指导信息和/或执行其他动作。

图6示出了根据另选的实施方案的用于管理采集质量的过程。在632处，超声系统利用探头的换能器元件采集超声数据，其中沿着与图像帧的集合有关的多个采集扫描平面收集超声数据。在634处，处理器从参考库获得参考扫描平面(RSP)图像，其中RSP图像具有对应的选择质量。634处的操作可以被超声系统的处理器省略，或者被单独的设备、系统、服务器等省略。RSP图像可以表示教科书、理想的或另外选择的图像。例如，RSP图像可对应于在同一患者、不同患者或患者人群的单独检查期间采集的采集扫描平面图像。附加地或另选地，RSP图像可表示来自患者人群的检查的多个采集扫描平面图像的平均值或其他数学组合。

在636处，处理器将RSP图像连同用于当前患者的当前超声数据集(在632处采集)一起应用于生成模型。生成模型分析超声数据集并且试图生成与RSP具有共同质量的合成扫描平面(SSP)图像。例如，RSP可具有某种有限水平的模糊(或无模糊)、某种水平的饱和(或无饱和)、以及极少或无阴影。RSP图像中的模糊、饱和和阴影水平用于定义生成模型在识别SSP时寻求匹配的质量特性。

在638处，处理器识别SSP图像的质量并且将SSP图像的质量与RSP图像的质量进行比较。当SSP和RSP图像的质量是共同的或在限定的容差范围内时，流程移至640。另选地，当SSP和RSP图像的质量不同或相差容差范围之外的量时，流程移至642。

在640处，超声系统的处理器向用户显示SSP图像和/或提供关于如何沿着对应于合成扫描平面的采集扫描平面实现采集图像帧的用户指导。处理器可执行如本文所述的另选或附加操作。在642处，当SSP和RSP图像的质量在容差范围之外时，可采取各种校正行动。例如，在642处，处理器可更新生成模型。例如，处理器可确定SSP图像不能从与RSP图像具有相同质量的当前US数据集生成。例如，可从表现出某些解剖特性的患者收集当前US数据集，该解剖特性防止SSP图像生成为与RSP图像具有相同的阴影水平或没有阴影。在642处，在前述示例中，可更新生成模型以反映最佳SSP图像将具有比RSP图像略多的阴影。附加地或另选地，可基于SSP图像更新FSP图像，诸如以将当前患者添加到参考库中的患者人群。例如，参考库可以不具有来自具有当前患者的特定人口统计的患者的参考超声数据集或参考扫描平面图像。因此，在642处，库被更新。

虽然结合超声系统的实时操作描述了图6的操作，但应当认识到，至少634-642处的操作可通过利用除超声系统之外的各种电子设备(诸如智能电话、平板设备、膝上型计算机、台式计算机、服务器等)的后处理来实现。

图7示出了沿不同扫描平面收集的图像帧的不同质量的示例。结合穿过胎儿中枢神经系统体积的大脑切面的诊断检查来收集图7的图像帧。在第一面板的图像帧中更清楚地看到感兴趣的解剖结构，诸如小脑和透明隔腔(CSP)，其中第一图像帧是结合优选扫描平面收集的。在第一面板中，图像帧示出了良好的采集质量，没有运动模糊，阴影非常少，并且所有感兴趣的解剖特征均清晰可见。

第二面板中的图像帧沿着不同的、不期望的扫描平面收集，该扫描平面产生较差的采集质量。第二面板中的图像帧沿着不期望的扫描平面采集，该扫描平面表现出对感兴趣的特征的难以采集的角度。此外，采集质量差的另一个特性是图像帧是模糊的(例如，由于探头移动或患者移动或两者)。

图8A和图8B示出了示例用例的图形表示。在图8A的示例中，诊断检查用于胎儿中枢神经系统检查。沿着包括胎儿CNS的一部分的三维体积的多个扫描平面收集超声数据。来自3D体积的超声数据可用于形成图像帧的体积集合。用户从胎儿CNS体积数据集中选择一个或多个扫描平面。图8A示出了被选择用于评估的标准CNS平面的示例，诸如中矢状面(MSP)、小脑切面(TCP)、心室切面(TVP)和丘脑切面(TTP)。沿标准CNS平面采集的图像帧可以以2×2构型共同显示、单独显示或以各种另选方式呈现。

在图8B的示例中，诊断检查用于检查一个或多个器官，诸如肝脏、肾脏、胆囊等。在移动探头的位置和/或取向以收集3D体积的图像时收集超声数据。附加地或另选地，探头可以保持在相对静止的位置和/或稍微旋转或平移，同时沿着电影环中的共同扫描平面或相对较少数量的紧密间隔或紧密定向的扫描平面收集一系列图像帧。在选择扫描平面以努力最佳地示出感兴趣的特征的情况下，用户从3D体积中选择一个或多个扫描平面。

图9示出了根据本文的实施方案的用于训练生成模型的过程。图9的过程可由超声系统的一个或多个处理器或由各种其他计算系统(诸如智能电话、平板设备、膝上型计算机、工作站、远程服务器、医疗记录管理系统等)来实现。

在902处，一个或多个处理器接收针对特定患者N的超声数据集。超声数据集对应于并限定沿单个扫描平面和/或扫描平面的集合采集的图像帧的集合，诸如当采集三维体积数据集和/或在一个扫描平面和/或有限的一组扫描平面处的电影环时。

在904处，一个或多个处理器接收对一个或多个“所选择的”扫描平面的指定。所选择的扫描平面可表示应当为对应的图像帧集合选择的最佳或最优扫描平面，以便从当前患者N的超声数据集产生所选择的或最佳的图像帧。附加地或另选地，904处的指定可包括指定多个扫描平面，诸如与胎儿CNS检查方案相关联的MSP、TCP、TVP和TTP扫描平面。作为另一示例，当检查方案涉及检查感兴趣的器官(诸如肝脏、肾脏、胆囊)时，所选择的/最佳扫描平面的指定可指示肾脏/胆囊的中间截面的视图，以用于评估结石的体积或结石的存在。

附加地或另选地，在904处，可输入关于US数据集的进一步信息，诸如结合US数据集的收集遵循的方案的指定、超声系统的采集设置、所选择的扫描平面的指定、患者人口统计信息(例如，身高、体重、年龄、性别、吸烟历史)等。以举例的方式，该方案可指示US数据集是结合胎儿CNS检查、待检查的器官或其他解剖结构等收集的。

在906处，一个或多个处理器基于US数据集和指定的所选扫描平面训练生成模型。以举例的方式，可使用深度学习方法(诸如深度卷积神经网络)来训练GAN。训练GAN的一个挑战是保持稳定性，因为训练过程可能固有地不稳定，从而导致两个竞争模型的同时动态训练。

结论声明

应当清楚地理解，相对于附图大致描述和示出的各种布置和过程，和/或此类布置的一个或多个单独部件或元件和/或与此类过程相关联的一个或多个过程操作，可独立于本文所述和所示的一个或多个其他部件、元件和/或过程操作而使用或一起使用。因此，虽然本文广义地设想、描述和示出了各种布置和过程，但是应当理解，它们仅以说明性和非限制性的方式提供，并且此外可被视为仅是其中一个或多个装置或过程可以运行或操作的可能工作环境的示例。

本文参考附图描述了各方面，附图示出了根据各种示例实施方案的示例方法、设备和程序产品。可将这些程序指令提供给通用计算机、专用计算机或其他可编程数据处理设备或信息处理设备的处理器以产生机器，以使得经由设备的处理器执行的指令实现指定的功能/动作。程序指令也可储存在设备可读介质中，该设备可读介质可引导设备以特定方式运行，以使得储存在设备可读介质中的指令产生包括实现指定功能/动作的指令的制造品。程序指令还可被加载到设备上，致使在设备上执行一系列操作步骤以产生实现设备的过程，以使得在设备上执行的指令提供用于实现指定功能/动作的过程。

应当理解，本文所述的主题在其应用中不限于本文的具体实施方式所阐述或本文的附图中所示的构造细节和部件布置。本文所述的主题可以具有其他实施方案，并且能够以各种方式实践或执行。此外，应当理解，本文所用的措辞和术语是为了描述的目的，并且不应被视为是限制性的。本文所用的“包括”、“包含”或“具有”及其变型旨在涵盖其后列出的项目及其等同物以及附加的项目。

应当理解，以上描述旨在是例示性的而非限制性的。例如，上述实施方案(和/或其方面)可以彼此组合使用。此外，在不脱离本发明的范围的情况下，可以做出许多修改以使特定的情况或材料适应本发明的教导。虽然本文所述的材料和涂层的尺寸、类型旨在限定各种参数，但它们决不是限制性的，并且在本质上是说明性的。在回顾以上描述后，许多其他实施方案对于本领域技术人员将是显而易见的。因此，实施方案的范围应参考所附的权利要求书以及这些权利要求被赋予的等同物的全部范围来确定。在所附权利要求书中，术语“包括”和“在…中”用作相应术语“包含”和“其中”的通俗中文等同物。此外，在以下权利要求书中，术语“第一”、“第二”和“第三”等仅用作标记，而不旨在对其对象强加数字要求或者对其行为强加执行顺序。

Claims (20)

1.一种系统，包括：

换能器，所述换能器具有被配置为收集超声(US)数据的压电换能器元件；

存储器，所述存储器被配置为存储程序指令；

处理器，所述处理器被配置为：

利用所述换能器元件沿着一个或多个采集扫描平面采集所述US数据，所述US数据限定具有第一图像质量的多个图像帧；

将生成模型应用于所述US数据或多个图像帧中的至少一者以沿着合成扫描平面生成合成扫描平面图像，其中所述生成模型基于一个或多个训练超声数据集来定义，所述合成扫描平面图像具有与所述多个图像帧的所述第一图像质量共同的图像质量；和

显示器，所述显示器被配置为显示所述合成扫描平面图像。

2.根据权利要求1所述的系统，其中所述处理器进一步被配置为基于生成对抗网络模型来预测所述合成扫描平面图像。

3.根据权利要求1所述的系统，其中所述合成扫描平面图像不对应于与所述多个采集图像帧中的任何采集图像帧相关联的任何扫描平面。

4.根据权利要求1所述的系统，其中所述处理器进一步被配置为重复所述采集和应用以基于新的采集图像帧图像帧自适应地识别新的合成扫描平面图像。

5.根据权利要求1所述的系统，其中所述生成模型应用采集参数来识别所述合成扫描平面图像。

6.根据权利要求1所述的系统，其中所述处理器进一步被配置为提供用户指导信息以基于所述合成扫描平面图像与所述多个图像帧之间的差来改变增益或其他扫描采集参数。

7.根据权利要求1所述的系统，其中所述处理器进一步被配置为提供关于要采集的未来图像帧的扫描平面的位置或取向信息中的至少一者的用户指导信息。

8.根据权利要求1所述的系统，其中所述处理器在超声系统、智能电话、平板设备、膝上型计算机、台式计算机或服务器中的至少一者中实现。

9.一种方法，包括：

利用换能器来发射超声信号并从感兴趣的区域接收超声(US)数据，其中所述US数据沿着一个或多个采集扫描平面采集，所述US数据限定具有第一图像质量的多个图像帧；

将生成模型应用于所述US数据或多个图像帧中的至少一者以沿着合成扫描平面生成合成扫描平面图像，其中所述生成模型基于一个或多个训练超声数据集来定义，所述合成扫描平面图像具有与所述多个图像帧的所述第一图像质量共同的图像质量；以及

显示所述合成扫描平面图像。

10.根据权利要求9所述的方法，其中所述应用包括基于生成对抗网络模型来预测所述合成扫描平面图像。

11.根据权利要求9所述的方法，其中所述合成扫描平面图像不对应于与所述多个采集图像帧中的任何采集图像帧相关联的任何扫描平面。

12.根据权利要求9所述的方法，所述方法进一步包括重复所述采集和所述应用以基于新的采集图像帧图像帧自适应地识别新的合成扫描平面图像。

13.根据权利要求9所述的方法，所述方法进一步包括提供用户指导信息以基于所述合成扫描平面图像与所述多个图像帧之间的差来改变增益或其他扫描采集参数。

14.根据权利要求9所述的方法，所述方法进一步包括从参考库获得所述生成模型的参考扫描平面图像并利用所述参考扫描平面图像生成所述合成扫描平面图像，其中所述合成扫描平面图像的所述图像质量与所述参考扫描平面图像的质量是共同的。

15.根据权利要求9所述的方法，其中所述共同的图像质量至少由第一质量特性限定，所述方法进一步包括基于所述第一质量特性在所述多个图像帧上的变化来限定所述第一质量特性的容差范围，所述生成模型为参照帧提供在所述容差范围内的所述第一质量特性。

16.根据权利要求9所述的方法，其中诊断信息不直接从所述合成扫描平面导出，所述诊断信息从所述多个图像帧导出。

17.一种计算机程序产品，所述计算机程序产品包括非信号计算机可读存储介质，所述非信号计算机可读存储介质包括计算机可执行代码以：

从感兴趣的区域获得超声(US)数据，其中所述US数据沿着一个或多个采集扫描平面采集，所述US数据限定具有第一图像质量的多个图像帧；

将生成模型应用于所述US数据或多个图像帧中的至少一者以沿着合成扫描平面生成合成扫描平面图像，其中所述生成模型基于一个或多个训练超声数据集来定义，所述合成扫描平面图像具有与所述多个图像帧的所述第一图像质量共同的图像质量；以及

显示所述合成扫描平面图像。

18.根据权利要求17所述的计算机程序产品，其中所述计算机可执行代码被进一步被配置为应用包括基于生成对抗网络模型来预测所述合成扫描平面图像。

19.根据权利要求17所述的计算机程序产品，其中所述共同的图像质量至少由第一质量特性限定，并且其中所述计算机可执行代码进一步被配置为基于所述第一质量特性在所述多个图像帧上的变化来限定所述第一质量特性的容差范围，所述生成模型为所述参照帧提供在所述容差范围内的所述第一质量特性。

20.根据权利要求17所述的计算机程序产品，其中所述计算机可执行代码进一步被配置为向以下中的至少一者提供用户指导信息：i)基于所述合成扫描平面图像与所述多个图像帧之间的差来改变增益或其他扫描采集参数；或ii)要采集的未来图像帧的扫描平面的位置或取向信息中的至少一者。

Images