CN113397589A - 用于超声图像质量确定的系统和方法 - Google Patents

用于超声图像质量确定的系统和方法 Download PDF

Info

Publication number
CN113397589A
CN113397589A CN202110214582.3A CN202110214582A CN113397589A CN 113397589 A CN113397589 A CN 113397589A CN 202110214582 A CN202110214582 A CN 202110214582A CN 113397589 A CN113397589 A CN 113397589A
Authority
CN
China
Prior art keywords
quality
image
ultrasound
model
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110214582.3A
Other languages
English (en)
Inventor
克里希纳·希瑟拉姆·施莱姆
拉胡尔·文卡塔拉马尼
阿底提·加格
钱丹·库马尔·马拉帕·阿拉达哈里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Precision Healthcare LLC
Original Assignee
GE Precision Healthcare LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Precision Healthcare LLC filed Critical GE Precision Healthcare LLC
Publication of CN113397589A publication Critical patent/CN113397589A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/485Diagnostic techniques involving measuring strain or elastic properties
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/486Diagnostic techniques involving arbitrary m-mode
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/488Diagnostic techniques involving Doppler signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明题为用于超声图像质量确定的系统和方法。本发明提供了用于评估超声图像的图像质量的方法和系统。在一个示例中,方法包括确定超声图像的探头位置质量参数,该探头位置质量参数表示相对于用于获取该超声图像的超声探头的位置的该超声图像的质量水平;确定该超声图像的一个或多个获取设置质量参数,每个获取设置质量参数表示相对于用于获取该超声图像的相应获取设置的该超声图像的相应质量水平;以及基于该探头位置质量参数和/或该一个或多个获取设置质量参数来向该超声系统的用户提供反馈,该探头位置质量参数和每个获取设置质量参数基于来自单独图像质量评估模型的输出来确定。

Description

用于超声图像质量确定的系统和方法
技术领域
本文公开的主题的实施方案涉及超声成像,并且更具体地讲,涉及改善用于超声成像的图像质量。
背景技术
医学超声是采用超声波来探测患者身体的内部结构并产生对应图像的成像模态。例如,包括多个换能器元件的超声探头发射超声脉冲,这些超声脉冲会被身体中的结构反射或回传、折射或者吸收。然后超声探头接收所反射的回波,这些所反射的回波被处理成图像。内部结构的超声图像可被保存以供临床医生稍后分析从而有助于诊断和/或可以实时地或近实时地显示在显示设备上。
发明内容
在一个实施方案中,用于超声系统的方法包括确定用超声系统获取的超声图像的探头位置质量参数,该探头位置质量参数表示相对于用于获取超声图像的超声探头的位置的超声图像的质量水平;确定超声图像的一个或多个获取设置质量参数,每个获取设置质量参数表示相对于用于获取超声图像的相应获取设置的超声图像的相应质量水平;以及基于探头位置质量参数和/或一个或多个获取设置质量参数来向超声系统的用户提供反馈,该探头位置质量参数和每个获取设置质量参数基于来自单独图像质量评估模型的输出来确定。
在单独或与附图联系时,本说明书的以上优势以及其他优势和特征将从以下具体实施方式中显而易见。应当理解,提供以上发明内容是为了以简化的形式介绍在具体实施方式中进一步描述的概念的选择。这并不意味着识别所要求保护的主题的关键或必要特征,该主题的范围由具体实施方式后的权利要求书唯一地限定。此外,所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。
附图说明
通过阅读以下详细描述并且参考附图,可以更好地理解本公开的各个方面,其中:
图1示出了超声系统的示例性实施方案的框图;
图2是示出根据示例性实施方案的用于在优化参数设置下生成超声图像的系统的示意图;
图3是示出示例性超声图像质量问题的示意图;
图4是示出根据一个实施方案的用于确定超声扫描质量的示例性方法的流程图;
图5是示出用于扫描设置模型的示例性方法的流程图;
图6是示出扫描设置模型的示例性输入和结果的示意图;以及
图7至图10是示例性图形用户界面,其包括可生成和输出以便显示在显示设备上的通知。
具体实施方式
医学超声成像通常包括在目标解剖特征(例如,腹部、胸部等)的位置处将包括一个或多个换能器元件的超声探头放置到成像对象(诸如患者)上。图像由超声探头获取并且实时或接近实时地显示在显示设备上(例如,一旦生成图像就显示图像且没有有意延迟)。超声探头的操作者可查看图像并且调整超声探头的各种获取参数和/或位置以便获得目标解剖特征结构(例如,心脏、肝脏、肾或另一个解剖特征结构)的高质量图像。可调整的获取参数包括发射频率、发射深度、增益(例如,总增益和/或时间增益补偿)、交叉波束、波束转向角度、波束形成策略、帧平均和/或其他参数。改变获取参数以获取最佳图像(例如,具有期望质量的图像)可能是非常有挑战性的并且基于用户体验。此外,可能难以分离出因探头放置引起的图像质量问题和因获取参数引起的图像质量问题。因此,操作者为了获取最佳图像而对获取参数进行的调整通常是主观的。例如,操作者可调整各种获取参数和/或调整探头的放置直到获取对于操作者看起来最佳的图像,并且可不在各检查间定义或重复该过程。该主观性和确定性过程的缺乏可导致不可再现的结果,并且在许多超声检查中,可能无法获取尽可能高质量的图像。
因此,根据本文所公开的实施方案,可使用一组图像质量模型来评估图像质量的各个方面,该组图像质量模型被配置为将探头放置错误与不当获取参数区分开并且向超声系统的操作者提供指引以便生成所成像的解剖结构的最佳可能图像。该组图像质量模型可包括解剖模型,该解剖模型经过训练以确定所有预期解剖特征是否存在于图像中,并且可被部署为识别超声探头是否正确地定位到图像指定的解剖结构。该组图像质量模型还可包括一个或多个扫描设置模型,每个扫描设置模型经过训练以确定是否已用合适/充分的扫描设置获取图像。例如,一个或多个扫描设置模型可确定发射频率、发射深度、增益、波束转向角度、波束形成策略、交叉波束、帧平均和/或其他设置对于一个或多个诊断目标(例如,所指示的解剖特征的测量、所指示的解剖特征的可视化和/或自动化任务诸如分割、结果(findings)确定等)是否合适/充分。如果该组图像质量模型确定探头放置或扫描设置问题,则可向超声系统的操作者输出指引以使得可重新定位探头和/或可调整一个或多个获取参数。引起不良图像质量的问题的识别以及关于如何解决如本文所述的图像质量问题的指引可简化操作者的工作流程,从而可减少检查时间并且可促进更高质量的检查,即使对于更无经验的操作者也是如此。此外,引起不良图像质量的问题的识别以及关于如何解决如本文所述的图像质量问题的指引可增加患者之间、甚至相同患者的各扫描之间的检查一致性。
图1中示出了一种示例性超声系统,该示例性超声系统包括超声探头、显示设备和成像处理系统。经由超声探头,可获取超声图像并将其显示在显示设备上。如上所述,可使用各种获取扫描参数(诸如频率和深度)来获取图像。为了确定所获取的超声图像是否具有充分的图像质量,可将超声图像输入到一组级联图像质量模型中,该组级联图像质量模型可确定不尽人意(例如,低)的图像质量是否是由于探头放置、获取参数设置或两者。此外,图像质量模型可识别哪些获取参数引起不尽人意的图像质量。如图2所示,图像处理系统包括图像质量评估模型(诸如解剖模型和一个或多个扫描设置模型),这些图像质量评估模型可被部署为根据图4和图5所示的方法评估如图3所示因不良探头放置和/或获取参数引起的图像质量问题。至少在如图6所示的一些示例中,扫描设置模型可利用不确定性网络。来自图像质量模型的输出可用于生成指引/通知,可输出该指引/通知以便向用户显示,如图7至图10的示例性图形用户界面所示。
参见图1,示出了根据本公开的实施方案的超声成像系统100的示意图。超声成像系统100包括发射波束形成器101和发射器102,该发射器驱动换能器阵列(本文中称为探头106)内的元件(例如,换能器元件)104,以将脉冲超声信号(本文中称为发射脉冲)发射到身体(未示出)中。根据一个实施方案,探头106可以是一维换能器阵列探头。然而,在一些实施方案中,探头106可以是二维矩阵换能器阵列探头。如以下进一步解释的,换能器元件104可以由压电材料构成。当向压电晶体施加电压时,晶体物理地膨胀和收缩,从而发射超声球波。这样,换能器元件104可将电子发射信号转换为声学发射波束。
在探头106的元件104将脉冲超声信号发射到(患者的)身体中之后,脉冲超声信号从身体内部的结构(如血细胞或肌肉组织)向后散射,以产生返回到元件104的回波。回波被元件104转换成电信号或超声数据,并且电信号被接收器108接收。表示所接收的回波的电信号穿过输出超声数据的接收波束形成器110。另外,换能器元件104可根据所接收的回波产生一个或多个超声脉冲以形成一个或多个发射波束。
根据一些实施方案,探头106可包含电子电路来执行发射波束形成和/或接收波束形成的全部或部分。例如,发射波束形成器101、发射器102、接收器108和接收波束形成器110的全部或一部分可位于探头106内。在本公开中,术语“扫描”或“扫描中”可也用于指通过传输和接收超声信号的过程来采集数据。本公开中,术语“数据”可以用于指称用超声成像系统来采集的一个或多个数据集。在一个实施方案中,可使用经由超声系统100获取的数据来训练机器学习模型。用户界面115可用于控制超声成像系统100的操作,包括用于控制患者数据(例如,患者病史)的输入、用于改变扫描或显示参数、用于启动探头复极化序列等。用户界面115可包括以下项中的一者或多者:旋转元件、鼠标、键盘、轨迹球、链接到特定动作的硬键、可被配置为控制不同功能的软键,和/或显示在显示设备118上的图形用户界面。
超声成像系统100还包括处理器116,该处理器用以控制发射波束形成器101、发射器102、接收器108和接收波束形成器110。处理器116与探头106进行电子通信(例如,通信地连接)。出于本公开的目的,术语“电子通信”可被定义为包括有线通信和无线通信两者。处理器116可以根据存储在处理器的存储器、和/或存储器120上的指令来控制探头106以采集数据。处理器116控制元件104中的哪些是活动的以及从探头106发射的波束的形状。处理器116还与显示设备118进行电子通信,并且处理器116可将数据(例如,超声数据)处理成图像以用于在显示设备118上显示。处理器116可以包括根据一个实施方案的中央处理器(CPU)。根据其他实施方案,处理器116可以包括能够执行处理功能的其他电子部件,诸如数字信号处理器、现场可编程门阵列(FPGA)或图形板。根据其他实施方案,处理器116可包括能够执行处理功能的多个电子部件。例如,处理器116可包括从电子部件的列表中选择的两个或更多个电子部件,这些电子部件包括:中央处理器、数字信号处理器、现场可编程门阵列和图形板。根据另一个实施方案,处理器116还可包括解调RF数据并且生成原始数据的复合解调器(未示出)。在另一个实施方案中,解调可以在处理链中较早地执行。处理器116适于根据数据上的多个可选超声模态来执行一个或多个处理操作。在一个示例中,可在扫描会话期间实时处理数据,因为回波信号被接收器108接收并且被传输至处理器116。出于本公开的目的,术语“实时”被定义为包括在没有任何有意延迟的情况下执行的过程。例如,实施方案可以7至20帧/秒的实时速率获取图像。超声成像系统100能够以显著更快的速率获取一个或多个平面的2D数据。然而,应当理解,实时帧速率可取决于采集用于显示的每帧数据所花费的时间长度。因此,当采集相对大量的数据时,实时帧速率可能较慢。因此,一些实施方案可具有显著快于20帧/秒的实时帧速率,而其他实施方案可具有低于7帧/秒的实时帧速率。数据可在扫描会话期间临时存储在缓冲器(未示出)中,并且在实时或离线操作中以不太实时的方式处理。本发明的一些实施方案可包括多个处理器(未示出),以处理根据上文所述的示例性实施方案的由处理器116处理的处理任务。例如,在显示图像之前,可利用第一处理器来解调和抽取RF信号,同时可使用第二处理器来进一步处理数据(例如,通过如本文进一步描述的那样扩充数据)。应当理解,其他实施方案可使用不同的处理器布置方式。
超声成像系统100可以例如10Hz至30Hz的帧速率(例如,每秒10帧至30帧)连续采集数据。根据数据生成的图像可以在显示设备118上以相似的帧速率刷新。其他实施方案能够以不同速率获取并且显示数据。例如,根据帧的大小和预期的应用,一些实施方案可以小于10Hz或大于30Hz的帧速率采集数据。包括存储器120,用于存储经处理的采集数据的帧。在示例性实施方案中,存储器120具有足够的容量来存储至少几秒钟的超声数据帧。数据帧的存储方式便于根据其采集顺序或时间进行检索。存储器120可包括任何已知的数据存储介质。
在本发明的各种实施方案中,处理器116可通过不同的模式相关模块(例如,B模式、彩色多普勒、M模式、彩色M模式、频谱多普勒、弹性成像、TVI、应变、应变速率等)来处理数据,以形成2D或3D数据。例如,一个或多个模块可生成B模式、彩色多普勒、M模式、彩色M模式、频谱多普勒、弹性成像、TVI、应变、应变速率以及它们的组合,等等。作为一个示例,一个或多个模块可处理彩色多普勒数据,其可包括传统彩色血流多普勒、功率多普勒、HD流,等等。图像线和/或帧存储在存储器中,并且可包括指示图像线和/或帧存储在存储器中的时间的定时信息。这些模块可包括例如扫描转换模块,用于执行扫描转换操作,以将所采集的图像从波束空间坐标转换为显示空间坐标。可以提供视频处理器模块,该视频处理器模块从存储器读取所采集的图像并且在对患者执行规程(例如,超声成像)时实时显示图像。视频处理器模块可包括单独的图像存储器,并且超声图像可被写入图像存储器以便由显示设备118读取和显示。
在本公开的各种实施方案中,超声成像系统100的一个或多个部件可以包括在便携手持式超声成像设备中。例如,显示设备118和用户界面115可以集成到手持式超声成像设备的外部表面中,该手持式超声成像设备可还包括处理器116和存储器120。探头106可以包括与手持式超声成像设备进行电子通信以收集原始超声数据的手持式探头。发射波束形成器101、发射器102、接收器108和接收波束形成器110可以包括在超声成像系统100的相同或不同部分中。例如,发射波束形成器101、发射器102、接收器108和接收波束形成器110可以包括在手持式超声成像设备、探头以及它们的组合中。
在执行二维超声扫描之后,生成包含扫描线及其样本的数据块。在应用后端滤波器之后,执行称为扫描转换的过程,以将二维数据块变换为具有附加扫描信息(诸如深度、每条扫描线的角度等)的可显示的位图图像。在扫描转换期间,应用内插技术来填充所得图像中的丢失的孔(即,像素)。出现这些丢失的像素是因为二维块的每个元素通常应该覆盖所得图像中的许多像素。例如,在当前超声成像系统中,应用了双三次插值,其利用了二维块的相邻元素。因此,如果与位图图像的尺寸相比,二维块相对较小,则扫描转换后的图像将包括分辨率差或分辨率低的区域,特别是对于深度较大的区域。
可进一步处理由超声成像系统100获取的超声图像。在一些实施方案中,可将超声成像系统100所产生的超声图像传输到图像处理系统,其中在一些实施方案中,可以通过使用超声图像和对应的地面实况输出而训练的一个或多个机器学习模型来分析超声图像,以便评估超声图像的图像质量问题。如本文所用,地面实况输出是指基于到机器学习模型中的给定输入的预期或“正确”输出。例如,如果正训练机器学习模型来对猫的图像进行分类,则当馈送猫的图像时,模型的地面实况输出为标签“猫”。如下文更详细解释,如果正训练机器学习模型以基于目标解剖特征的充分成像来对超声图像进行分类,则该模型的地面实况输出可以是指示目标解剖特征的存在和范围的标注。
尽管在本文被描述为单独的系统,但应当理解,在一些实施方案中,超声成像系统100包括图像处理系统。在其他实施方案中,超声成像系统100和图像处理系统可包括单独的设备。在一些实施方案中,超声成像系统100所产生的图像可用作用于训练一个或多个机器学习模型的训练数据集,其中如下所述,可使用机器学习模型来执行超声图像处理的一个或多个步骤。
参见图2,其示出了根据实施方案的图像处理系统202。在一些实施方案中,图像处理系统202结合到超声成像系统100中。例如,图像处理系统202可作为处理器116和存储器120设置在超声成像系统100中。在一些实施方案中,图像处理系统202的至少一部分设置在经由有线连接和/或无线连接通信地耦接到超声成像系统的设备(例如,边缘设备、服务器等)处。在一些实施方案中,图像处理系统202的至少一部分设置在单独的设备(例如,工作站)处,该单独的设备可从超声成像系统或从存储由超声成像系统所生成的图像/数据的存储设备接收图像。图像处理系统202可以可操作地/通信地耦接到用户输入设备232和显示设备234。至少在一些示例中,用户输入设备232可包括超声成像系统100的用户界面115,而显示设备234可包括超声成像系统100的显示设备118。
图像处理系统202包括处理器204,该处理器被配置为执行存储在非暂态存储器206中的机器可读指令。处理器204可以是单核或多核的,并且在其上执行的程序可以被配置用于进行并行或分布式处理。在一些实施方案中,处理器204可以任选地包括分布在两个或更多个设备中的单独部件,这些单独部件可以被远程定位以及/或者被配置用于协调处理。在一些实施方案中,处理器204的一个或多个方面可被虚拟化并且由以云计算配置进行配置的可远程访问的联网计算设备执行。
非暂态存储器206可存储图像质量模型208、训练模块210和超声图像数据212。图像质量模块208可包括一个或多个机器学习模型(诸如深度学习网络),该一个或多个机器学习模型包括多个权重和偏差、激活函数、损失函数、梯度下降算法以及用于实现该一个或多个深度神经网络以处理输入超声图像的指令。例如,图像质量模型208可存储用于实现解剖模型209和/或一个或多个扫描设置模型211的指令。解剖模型209和一个或多个扫描设置模型211可各自包括一个或多个神经网络。图像质量模块208可包括经训练的和/或未训练的神经网络并且还可包括与存储在其中的一个或多个神经网络模型相关联的训练例程或参数(例如,权重和偏差)。
解剖模型209可为神经网络(例如,卷积神经网络),该神经网络经过训练以识别预期解剖特征是否存在于超声图像中以及预期解剖特征是否具有预期形态特征。可训练解剖模型209以便以扫描平面/视图特定的方式识别预期解剖特征。例如,可训练解剖模型以识别心脏的四腔室视图中的预期解剖特征,但不识别心脏的胸骨旁长轴(PLAX)视图中的预期解剖特征。因此,在一些示例中,解剖模型209实际上可包括多个解剖模型,每个解剖模型特定于不同的扫描平面或解剖视图。可训练解剖模型209以输出探头位置质量度量,该探头位置质量度量反映随解剖充分性而变化的输入超声图像的质量(例如,对于当前成像的扫描平面而言,预期解剖特征是否存在以及是否具有预期形态特征)。例如,由解剖模型识别的预期解剖特征可随着探头位置改变而在外观、位置和/或存在上改变,并且由解剖模型209输出的探头位置质量度量可反映这些解剖特征的外观/可见度作为用于获取超声图像的探头是否处于最佳/正确位置的指示符。如本文所用,探头处于最佳/正确位置(或非最佳或不正确位置)可指基于目标(例如,标准)超声扫描平面来定位探头,以使得期望的解剖特征不存在于所获取的图像中。因此,探头是否放置在良好或不良位置的确定是基于期望或预期解剖特征是否存在于给定目标扫描平面的图像中。
一个或多个扫描设置模型211(本文中也称为获取设置模型)可包括一个或多个神经网络或其他机器学习模型,其经过训练以输出相应获取设置质量度量,该获取设置质量度量表示随获取参数值而变化的图像质量因数。一个或多个扫描设置模型211可包括评估深度的第一扫描设置模型(称为深度模型)、评估增益的第二扫描设置模型(称为增益模型)、评估频率的第三扫描设置模型(称为频率模型)和/或评估其他获取参数(例如,时间增益补偿(TGC)、帧平均等)的附加扫描设置模型。可训练深度模型以输出深度图像质量度量,该深度图像质量度量反映深度设置对超声图像的图像质量的影响水平。可训练增益模型以输出增益图像质量度量,该增益图像质量度量反映增益设置对超声图像的图像质量的影响水平。可训练频率模型以输出频率图像质量度量,该频率图像质量度量反映频率设置对超声图像的图像质量的影响水平。深度模型、增益模型、频率模型和/或任何附加扫描设置模型中的每一者可包括相应不确定性网络,该不确定性网络经过训练以对输入超声图像执行代理任务,诸如分割特定解剖特征。可评估分割解剖特征方面的不确定性的量并且将其与特定获取参数关联并量化以生成第二图像质量度量,如下文更详细描述。
非暂态存储器206还可包括训练模块210,该训练模块包括用于训练存储在图像质量模型208中的一个或多个机器学习模型的指令。在一些实施方案中,训练模块210不设置在图像处理系统202处。因此,图像质量模型208包括经训练和验证的网络。
非暂态存储器206还可存储超声图像数据212,诸如图1的超声成像系统100所捕获的超声图像。例如,超声图像数据212可包括由超声成像系统100获取的超声图像数据。超声图像数据212的超声图像可包括已由超声成像系统100在不同扫描设置下获取的超声图像,该不同扫描设置诸如为不同频率、不同增益、不同深度、不同TGC、不同帧平均等。此外,当训练模块210存储在非暂态存储器206中时,超声图像数据212可存储可用于训练图像质量模型208的超声图像、地面实况输出、机器学习模型输出的迭代以及其他类型的超声图像数据。在一些实施方案中,超声图像数据212可以有序的格式存储超声图像和地面实况输出,使得每个超声图像都与一个或多个对应的地面实况输出相关联。然而,在训练模块210未设置在图像处理系统202处的示例中,可用于训练图像质量模型210的图像/地面实况输出可以存储在其他地方。
在一些实施方案中,非暂态存储器206可包括设置在两个或更多个设备上的部件,这些部件可以被远程定位以及/或者被配置用于协调处理。在一些实施方案中,非暂态存储器206的一个或多个方面可包括以云计算配置进行配置的可远程访问的联网存储设备。
用户输入设备232可包括触摸屏、键盘、鼠标、触控板、运动感测相机或被配置为使用户能够与图像处理系统202内的数据交互并操纵该数据的其他设备中的一者或多者。在一个示例中,用户输入设备232可使用户能够选择超声图像以用于训练机器学习模型,以在超声图像数据212中指示或标记介入设备的位置,或者用于使用经训练的机器学习模型进行进一步处理。
显示设备234可包括利用几乎任何类型技术的一个或多个显示设备。在一些实施方案中,显示设备234可以包括计算机监视器,并且可以显示超声图像。显示设备234可以与处理器204、非暂态存储器206和/或用户输入设备232组合在共享的壳体中,或者可以是外围显示设备,并且可以包括监视器、触摸屏、投影仪或本领域中已知的其他显示设备,该其他显示设备可使得用户能够查看由超声成像系统产生的超声图像并且/或者与存储在非暂态存储器206中的各种数据进行交互。
应当理解,图2所示的图像处理系统202是用于说明而非限制。另一种合适的图像处理系统可以包括更多、更少或不同的部件。
转到图3,其示出了多个超声图像300,该多个超声图像描绘了胎儿中枢神经系统(CNS)扫描的探头放置域和扫描设置域中的不同图像质量问题。图像302是标准扫描图像,即良好探头放置和良好扫描设置两者的结果。在图像302中,突出显示了脑的两个解剖结构:透明隔腔(大矩形)和脑回(小矩形)。该图的其余部分示出了按域区分开并在两条轴上表示的更低质量的图像的示例,其中垂直轴上的第一组图像304表示因不当探头放置而具有不充分/低图像质量的图像的示例,并且水平轴上的第二组图像312表示因不当扫描设置而具有低图像质量的图像的示例。如本文所用,因不当或不充分扫描设置引起的低或不良图像质量可指用于获取图像的超声探头的扫描设置(例如,获取参数,诸如深度、频率、增益等)使得期望的解剖特征在图像中不充分可见和/或使得期望的解剖特征在图像中没有充分明确的边界和/或图像对比度、图像亮度、图像饱和度等不处于期望的水平和/或在整个图像中不一致。因此,图像是否因扫描设置而具有低质量的确定可基于专家(例如,训练有素的临床医生)是否将指示该图像适用于给定诊断目的(例如,诊断或排除病症、病变检测等)。
在探头放置域(垂直轴)中,影响扫描平面质量的因素包括结构形态变化和解剖结构缺失。图像310和图像308显现出解剖结构缺失;在图像310中,存在透明隔腔但不存在脑回,而在图像308中,存在脑回但不存在透明隔腔。图像306示出了结构变化。例如,虽然这两个目标解剖特征(例如,透明隔腔和脑回)均存在于图像308中,但每个解剖特征均具有与图像302中的对应解剖特征不同的形态。
另一方面,次优扫描设置可引起信息的感知损失。次优时间增益补偿(TGC)或增益设置可使视场中的结构模糊不清,而次优深度设置可从视场中排除结构。第二组图像312中示出了因不充分增益和次优深度/TGC设置引起的扫描设置域(水平轴)中的图像质量问题的示例。图像314、316和318分别示出了次优深度、不充分增益和不正确TGC的示例。
此外,虽然未在图3中示出,但图像质量可受到探头位置和扫描设置两者的影响。因此,预期解剖特征可因不良探头放置而缺失和/或表现出形态变化,同时可因次优扫描设置而存在信息的感知损失。在一些示例中,标准图像质量评估可能难以将因探头放置引起的图像质量问题与因扫描设置引起的图像质量问题区分开,因此对于无经验的超声操作者而言,在面对低质量图像时调整探头放置和/或扫描设置很有挑战性。因此,如下文更详细解释,可部署一连串的图像质量评估模型以评估图像质量,将不良探头放置与次优扫描设置区分开,和/或向超声系统的操作者提供指引,以便以可再现的方式获得高质量图像。
图4示出了根据一个实施方案的流程图,该流程图示出了用于评估超声图像的图像质量的示例性方法400。参照图1至图2的系统和部件描述了方法400,但应当理解,方法400可在不脱离本公开的范围的情况下用其他系统和部件来实现。方法400可以根据存储在计算设备(诸如图2的图像处理系统202)的非暂态存储器中的指令来执行。
在402处,获取超声图像并将其显示在显示设备上。例如,可通过图1的超声探头106获取超声图像并且经由显示设备118将其显示给操作者。图像可实时或接近实时地获取和显示,并且可通过默认或用户规定的扫描参数(例如,默认深度、频率等)来获取。在404处,方法400确定是否已接收到评估超声图像的图像质量的请求。可自动地接收该请求(例如,作为扫描协议的一部分)或可经由来自超声系统的操作者的用户输入来接收该请求。该请求可包括超声图像的目标扫描平面的指示。例如,可作为超声检查的一部分获取超声图像,其中在某些视图/轴中对某些解剖特征进行成像以便诊断患者状况、测量解剖特征的各方面等。例如,在心脏检查期间,可以对患者心脏的一个或多个目标扫描平面(也称为视图)进行成像。目标扫描平面可以包括四腔室视图、两腔室视图(其也可以称为短轴视图)和长轴视图(其也可以称为PLAX视图或三腔室视图)。可在每个扫描平面中获取一个或多个图像并且作为检查的一部分保存这些图像以供临床医生(诸如心脏病专家)稍后分析。当获取用于检查的图像时,超声操作者(例如,超声检查医师)可以移动超声探头,直到操作者确定目标扫描平面正被成像,并且然后操作者可以输入指示目标扫描平面正被成像并且请求评估目标扫描平面的所获取的超声图像的图像质量的输入(例如,经由用户界面115)。在另一个示例中,超声系统(例如,经由图像处理系统202)可以自动确定目标扫描平面正被成像。例如,可将每个所获取的超声图像(或所获取的超声图像的某个频率,诸如每五个图像)输入到被配置为自动检测当前扫描平面的检测模型中。如果当前扫描平面是目标扫描平面,则可以生成指示。
如果未接收到评估图像质量的请求,则方法400返回到402以继续获取和显示超声图像(例如,以默认或用户设置的扫描参数)。如果接收到评估图像质量的请求,则方法400前进到406以将超声图像作为输入来输入到解剖模型(诸如图2的解剖模型209)中。可训练解剖模型以识别单独解剖结构,从而输出给定图像是否因任何关键/预期解剖结构的不存在和/或关键/预期解剖结构的形态变化而具有不充分解剖结构的指示。解剖模型可包括多个部件,每个部件均经过训练以识别特定解剖结构。例如,如图3的图像302中所见,将脑的超声图像当作输入的胎儿CNS解剖模型可包括经训练以识别透明隔腔的一个部件(例如,网络)和经训练以识别脑回的另一个部件(例如,网络)(或经训练以识别透明隔腔和脑回两者的一个部件)。解剖模型可输出输入图像是否包括充分解剖特征的指示(基于获知目标扫描平面及因此预期存在什么解剖特征),诸如指示充分解剖结构的二元是/否值、可与预期特征列表相比较的图像中存在的解剖结构列表、能够被识别的解剖结构的视觉指示或扫描平面质量的另一个类似指示。此外,解剖模型的部件(例如,网络)可将结构形态的任何变化的指示要么输出为指示失真度的数值,要么输出为指示结构变化是否落在扫描平面质量的可接受范围内的二元是/否结果。该输出可在显示设备上显示为探头误放的通知并且可包括相对于移动探头的指引,其示例见于图10中。
在408处,方法400评估模型输出是否指示输入图像中存在充分解剖结构。当所有预期解剖结构在扫描平面中都可见且任何可见的结构变化均落在可接受范围内时,该解剖结构可被确定为充分的。如果模型输出未指示充分解剖结构,则方法400前进到410以输出移动探头的通知和/或指引,并且方法400返回。可输出移动探头的通知和/或指引以便显示在显示设备上。通知可包括如图10中的通知1004中所示的特定质量问题的文本指示(例如,解剖结构缺失的指示)、以二元或非二元方式指示充分解剖结构的一个或多个显示元素、以二元或非二元方式指示解剖特征的结构变化的一个或多个显示元素,或不良扫描平面质量或需要调整探头的简单指示。这样,可经由解剖模型来确定输入超声图像的探头位置质量参数,其中探头位置质量参数表示超声探头定位误差。如果探头位置质量参数(例如,来自解剖模型的输出)指示超声探头正确地定位,则可向操作者告知正确定位和/或预期解剖特征在输入图像中可见。如果探头位置质量参数指示不良探头定位(例如,由于预期解剖特征不可见和/或预期解剖特征具有出乎意料的形态外观),则可输出通知以便显示。
如果来自解剖模型的输出指示存在充分解剖结构,则方法400前进到412以将图像作为输入来输入到扫描设置模型(诸如图2的扫描设置模型211)中。下文参照图5呈现了有关扫描设置模型的附加细节。简而言之,扫描设置模型可基于输入图像来生成输出,其中该输出针对一个或多个扫描设置中的每一者指示图像的质量水平。例如,扫描设置模型可包括生成指示因增益引起的图像质量水平的输出的第一扫描设置模型、生成指示因深度引起的图像质量水平的输出的第二扫描设置模型等。这样,扫描设置模型可输出输入超声图像的一个或多个获取设置质量参数,其中每个获取设置质量参数表示相对于用于获取超声图像的相应获取设置的超声图像的相应质量水平,其中获取参数可包括深度、频率、增益等。
在414处,方法400确定来自扫描设置模型的模型输出是否指示充分扫描设置。可至少在一些示例中训练扫描设置模型以通过识别其轮廓来界定单独解剖结构(分割),并且该扫描设置模型可输出给定图像是否因次优扫描设置(例如,远场中的过饱和或低增益)而具有不充分/低图像质量的指示。该扫描设置模型可包括多个部件,每个部件均经过训练以界定特定解剖结构。例如,如图3的图像302中所见,将脑的超声图像当作输入的胎儿CNS扫描设置模型可包括经训练以分割透明隔腔的一个部件模型和经训练以分割脑回的另一个部件,或经训练以分割这两者的一个部件模型。每个部件模型可输出指示模型在分割对应解剖结构方面的不确定性的程度的数值,如n次分割尝试内的标准偏差所测量,其中更高的标准偏差指示模型难以清楚分割对应解剖结构,由此更高的不确定性值表示相对于对应解剖结构的不充分扫描设置。
解剖模型可输出指示随其不同部件所产生的单独不确定性值而变化的模型在一组解剖结构内执行分割任务方面的总体不确定性的数值。可输出该数值以便作为扫描平面质量的指示显示在显示设备上。在其他实施方案中,可将该值与扫描平面质量阈值进行比较并且用于输出扫描平面是否具有充分质量或是否可调整扫描设置的二元是/否指示。
如果确定扫描设置不充分,则方法400前进到416以输出调整设置的通知和/或指引,并且方法400返回。在一个实施方案中,在416处输出的通知向操作者告知不良图像质量是否是如图7至图10所示的次优深度设置、次优TGC设置、不充分增益和/或其他扫描设置问题(例如,频率)的结果。如果模型输出在414处指示扫描设置充分,则方法400前进到418以输出指示解剖结构和扫描设置两者的充分性的通知,并且随后返回。图6中示出并且下文描述了指示充分解剖结构和扫描设置的通知的示例。这样,可基于探头位置质量参数(例如,来自解剖模型的输出)和/或一个或多个获取设置质量参数(例如,来自扫描设置模型的输出)来向超声系统的用户输出反馈。此外,在一些示例中,如果确定输入图像具有充分解剖结构和充分扫描设置,则可获取具有当前扫描设置的扫描平面中的附加超声图像,可将该图像(和/或任何后续获取的图像)输入到扫描协议的后续步骤中(例如,可对该图像进行自动测量),和/或可保存该图像作为检查的一部分以供随后临床医生审查。
现在转到图5,呈现了使用扫描设置模型来确定图像质量度量的方法500。可作为方法400的一部分来执行方法500,例如可执行方法500以便生成在414处评估的模型输出。方法500可以根据存储在计算设备(诸如图2的图像处理系统202)的非暂态存储器中的指令来执行。如本文所呈现,方法500特定于确定因一个扫描参数(例如,TGC)的超声扫描设置引起的图像质量。应当理解,可将方法500所阐述的过程应用于附加扫描参数(例如,深度、频率等),如下文将更详细解释。因此,可针对本文所述的扫描设置模型的每个不同扫描设置模型来执行方法500。
方法500可识别是否用不充分/次优扫描设置获取给定扫描平面的图像。在部署扫描设置模型之前,可使用在最佳扫描设置下获得的给定扫描平面的样本图像作为输入来在代理任务上训练扫描设置模型,如502处所指示。扫描设置模型可包括多个部件模型,每个部件模型在不同任务和/或不同扫描设置上训练,由此扫描设置模型输出随其部件模型所产生的输出而变化的结果。在针对增益来训练扫描设置网络中,例如,训练数据由具有最佳增益的图像构成,但其他参数(频率、深度等)的扫描设置在训练数据的图像中不一定是最佳的。同样,为了训练深度模型,深度模型训练数据由具有最佳深度但不一定具有最佳频率、增益、TGC等的图像构成,这样,可仅使用具有该模型的最佳设置并同时提供其他获取参数的可变性的图像来训练每个模型。
解剖分割用作本文的示例性代理任务,由此训练部件模型以在给定扫描平面中分割特定解剖结构。在其他实施方案中,代理任务可涉及评估解剖结构的其他特性(诸如位置或相对尺寸)或图像自身的特性(诸如特征或区域的取向、清晰度或失真)等。一般来讲,代理任务可涉及可对训练数据可用的超声图像执行的任何操作(例如,解剖扫描平面分类、结构定位等)。
应当理解,502任选地包括在方法500内,如虚线所指示。可相反在执行方法500之前在不同设备上执行502处所述的模型训练。例如,可在远程设备(例如,服务器、云)上训练扫描设置模型,并且一旦验证扫描设置模型,就可将扫描设置模型部署在图像处理系统202上。在更进一步的示例中,扫描设置模型可驻留在远程设备上,并且扫描设置模型可从图像处理系统202接收输入图像并且将所生成的输出发送到图像处理系统202。
在504处,接收图像作为输入。在506处,使用变分网络对图像执行n次代理任务(例如,分割)以产生n个似真结果(分割)。在508处,确定代理任务的n个结果的不确定性。例如,经由根据平均分割进行的标准偏差的计算来量化该模型在n个结果内一致地执行代理任务的能力,从而输出表示该模型能够执行代理任务的不确定性程度的数值或其他合适的值(图6中更详细示出)。不确定性的确定用于在510处生成模型输出,其中相对较高的不确定性指示可调整扫描设置。在一个实施方案中,模型输出经由将因不正确或不充分TGC、增益或深度引起的不确定性区分开的一系列单独视觉元素来显示,并且经由颜色渐变来示出不确定性程度,如图7至图10中所见。在其他实施方案中,不确定性可按二元方式表示为已超过每个单独因素的给定阈值或表示为总体不确定性的集合量化。
在图6中,示意图600示出了作为扫描设置模型的实施方案的一部分包括在内的变分网络的示例性输入和输出,该变分网络在本文中是作为用于评估当前增益设置是否对低或高图像质量有贡献的增益模型的一部分的不确定性网络。将样本输入图像602馈送到代理任务不确定性网络604中以执行心脏的四腔室(4ch)视图/扫描平面中的中隔的解剖结构的分割。图像612示出了最佳设置(例如,产生目标扫描平面所需的扫描设置)下的4ch视图中的中隔。多个结果606示出了分割任务的输出,包括在一定程度上变化的n次似真分割。该多个结果是变分神经网络的配置的结果,该变分神经网络产生多个输出作为概率解释的结果。从这些输出,获得平均分割值(μ)608以及标准偏差(σ)610。标准偏差是不同分割输出(在该情况下相对于TGC设置)之间的不一致的测量值。标准偏差用作不确定性的定量,由此低不确定性(标准偏差)指示具有与训练队列中的图像类似的TGC设置的图像。
图7至图10示出了图形用户界面(GUI)的示例,可输出这些GUI以便作为图4的方法400的一部分显示在显示设备上。GUI 700包括用最佳扫描设置和探头放置获取的图像702。一组显示元素704示出了与深度、频率、TGC和增益相对应的四个单独视觉元素,该输出的参数已通过方法400(包括作为方法400的一部分执行的方法500)基于如上所述的不确定性的确定来生成。在704中,低不确定性值与所有四个参数相关联,因此未显示不确定性的视觉指示。相比之下,在GUI 800中,图像802是经由视觉元素804向操作者传送的次优TGC设置的结果(也在图3中示出为图像318),由此显示与表示为百分比的TGC不确定性相对应的灰度梯度。其他实施方案可使用表示通过方法400产生的、相对于具有最佳扫描设置和探头放置的标准扫描的不确定性程度的颜色或其他视觉手段。
同样,GUI 900包括与图3中的图像314相对应的图像902,该图像902具有因次优深度设置引起的低质量。与图像804一样,可经由视觉元素904传送不充分深度设置,该视觉元素指示按灰度梯度表示为百分比的深度的高不确定性值。GUI 1000包括与图3中的图像308相对应的图像1002,该图像1002示出了因不良探头放置引起的结构形态变化(不存在透明隔腔)。在该示例中,通知显示为视觉元素1004。在所示的示例中,视觉元素包括不存在预期解剖特征(透明隔腔)的通知,但其他通知也是可能的。例如,可经由二元或非二元性质的其他显示元素向操作者通知不充分解剖结构,该其他显示元素诸如为复选框、与预期特征相比图像中存在的解剖结构的指示、能够被识别的解剖结构的视觉指示(诸如图像1002中绘制的矩形)、以二元或非二元形式对结构形态的任何变化的指示,或有效地传送不充分解剖结构的任何其他另选显示元素。此外,在一些示例中,可向操作者提供指引,诸如移动探头的指令。
因此,本文所述的系统和方法提供了以允许将探头放置问题与扫描设置问题区分开的方式评估一个或多个超声图像的图像质量。当前,图像质量度量通常是独立于临床医生的任务/成像诊断目标来计算的并且由物理/图像处理(诸如对比噪声比等)来推动。然而,临床医生的理想图像并非总是具有最佳度量值(SNR、CNR等)的图像。例如,为了评估胆囊,临床医生需要沿着声音路径观察明亮/饱和尾部。此外,当前图像质量指数通常是标量。对于被确定为不良的扫描平面而言,质量指数未解释低图像质量的根本原因,诸如是探头放置相关的还是扫描设置相关的。因此,用户可能无法决定改善扫描平面质量的补救动作。
本文所述的系统和方法将探头放置相关的图像质量下降与扫描设置相关的图像质量下降区分开。在本文中因扫描平面中所见的结构变化(结构缺失或形态变化)而识别不当探头放置。在本文中基于信息的感知损失来识别次优扫描设置。例如,次优TGC/增益设置可使视场中的结构模糊不清,不正确深度可从视场中排除结构等。
如上所述,可在本文中使用作为一个或多个图像质量模型的一部分包括在内的不确定性网络来识别扫描设置在给定扫描平面中次优的区域。为了实现这一点,仅使用由目标参数的最佳扫描设置产生的样本图像在给定扫描平面上执行代理任务来训练网络(尽管包括因其他参数的次优扫描设置引起的低质量样本图像)。这些模型在部署时量化网络执行代理任务的不确定性。高不确定性的区域指示扫描设置变化的潜在需要,因为更高的不确定性对应于改变设置的需要。
对超声图像的生物统计方面的临床诊断需要获取正确/标准扫描平面。标准视图会因关键解剖结构的呈现而提供评估便利性。一致地到达标准扫描平面需要超声从业者拥有高超的技能。即使已到达解剖学上正确的扫描平面,不正确的扫描设置也可使关键结构模糊不清(过饱和、低增益、不正确TGC、不充分深度等)。
诊断扫描平面的获取可因不良探头放置和/或次优扫描仪设置而受影响,导致关键解剖结构的不良可见度。常规扫描平面质量评分方法提供了综合质量评级(良好/不良),但无法将不良探头位置与次优扫描设置区分开。一旦向用户指示这种综合质量评分,用户通常无法确定动作的下一过程-移动探头/改变扫描设置。
因此,如本文所述,可生成质量评分以在标准扫描平面获取期间引导超声操作者,从而将关键解剖结构的不存在(需要扫描平面重新获取(例如,探头移动))与次优扫描设置(需要设置变化以改善结构的可见度,例如增益、TGC、深度等)区分开。此外,质量评分可识别关键解剖结构的不存在和次优扫描设置两者。
这可使用两种神经网络来实现:(a)扫描仪设置充分性网络:预测给定扫描平面是否因次优增益设置(远场中的过饱和或低增益)而异常;和(b)解剖结构充分性网络:预测给定图像是否因任何关键解剖结构的不存在而异常。映射函数组合来自这两种网络的预测以确定为使期望扫描平面可视化而要由操作者采取的必要动作(移动探头和/或改变设置)。
本公开描述了将调出因不当探头位置和/或扫描设置引起的给定扫描平面与期望标准扫描平面的偏差(质量评分)的方法。这种质量评分确定后续用户动作-调整探头位置和/或改变设置(诸如增益/TGC/深度设置)以获取期望的标准扫描平面。
本公开的技术效果是提供比其他技术更具描述性和细微的质量评分。促使用户采取必要纠正动作以到达期望扫描平面的质量评分机制将有助于提升无经验的用户的技能。本公开的方法可扩大作为大批临床医生的选择模态的超声的可及性。
实施例提供了一种用于超声系统的方法,该方法包括确定用超声系统获取的超声图像的探头位置质量参数,该探头位置质量参数表示相对于用于获取超声图像的超声探头的位置的超声图像的质量水平;确定超声图像的一个或多个获取设置质量参数,每个获取设置质量参数表示相对于用于获取超声图像的相应获取设置的超声图像的相应质量水平;以及基于探头位置质量参数和/或一个或多个获取设置质量参数来向超声系统的用户提供反馈,该探头位置质量参数和每个获取设置质量参数基于来自单独图像质量评估模型的输出来确定。在该方法的第一实施例中,向用户提供反馈包括基于探头位置质量参数和/或一个或多个获取设置质量参数来在显示设备上显示图像获取指引。在任选地包括第一实施例的该方法的第二实施例中,基于探头位置质量参数和/或一个或多个获取设置质量参数来在显示设备上显示图像获取指引包括基于探头位置质量参数来显示与标准扫描平面相比预期解剖特征缺失或具有形态变化的通知。在任选地包括第一实施例和第二实施例中的一项或两项的该方法的第三实施例中,基于探头位置质量参数和/或一个或多个获取设置质量参数来在显示设备上显示图像获取指引包括显示用于获取超声图像的每个获取设置的相应质量指示符。在任选地包括第一实施例至第三实施例每一项中的一项或多项的该方法的第四实施例中,确定超声图像的一个或多个获取设置质量参数包括确定表示深度质量的深度参数、表示频率质量的频率参数、表示时间补偿增益(TCG)质量的TCG参数和表示增益质量的增益参数中的一者或多者。在任选地包括第一实施例至第四实施例每一项中的一项或多项的该方法的第五实施例中,确定超声图像的一个或多个获取设置质量参数中的第一获取设置质量参数包括将超声图像作为输入来输入到第一获取设置评估模型,该第一获取设置评估模型经过训练以输出表示第一获取设置的质量的第一获取设置质量参数。在任选地包括第一实施例至第五实施例每一项中的一项或多项的该方法的第六实施例中,第一获取设置模型包括不确定性网络,该不确定性网络被配置为分割目标解剖特征,其中第一获取设置模型通过将超声图像中的目标解剖特征分割多次并且确定该分割的不确定性水平来确定第一获取设置质量参数,并且其中第一获取设置参数基于该不确定性水平。在任选地包括第一实施例至第六实施例每一项中的一项或多项的该方法的第七实施例中,用包括多个训练超声图像的训练数据集来训练第一获取设置模型,每个训练超声图像在第一获取设置的相应目标设置下获取(例如,其中目标设置产生相对于第一获取设置的高图像质量)并且其中多个训练超声图像中的至少一些训练超声图像在一个或多个其他获取设置的非目标设置下获取(例如,其中非目标设置产生相对于一个或多个其他获取设置的不良或不太高质量的图像)并且每个训练超声图像包括指示目标解剖特征的标注。
实施例提供了一种系统,该系统包括存储指令的存储器;和处理器,该处理器通信地耦接到存储器并且在执行指令时,被配置为:确定用超声系统获取的超声图像的探头位置质量参数,该探头位置质量参数表示相对于用于获取超声图像的超声探头的位置的超声图像的质量水平;确定超声图像的一个或多个获取设置质量参数,每个获取设置质量参数表示相对于用于获取超声图像的相应获取设置的超声图像的相应质量水平;以及基于探头位置质量参数和/或一个或多个获取设置质量参数来向超声系统的用户提供反馈,该探头位置质量参数和每个获取设置质量参数基于来自单独图像质量评估模型的输出来确定。在该系统的第一实施例中,存储器存储图像质量评估模型,该图像质量评估模型包括解剖模型,该解剖模型经过训练以基于超声图像来输出探头位置质量参数。在任选地包括第一实施例的该系统的第二实施例中,存储器存储图像质量评估模型,该图像质量评估模型包括一个或多个扫描设置模型,每个扫描设置模型经过训练以基于超声图像来输出相应获取设置质量参数。在任选地包括第一实施例和第二实施例中的一项或两项的该系统的第三实施例中,一个或多个扫描设置模型包括增益模型,该增益模型经过训练以输出增益图像质量参数,该增益图像质量参数指示相对于用于获取超声图像的增益设置的超声图像的质量水平,该增益模型包括不确定性网络,该不确定性网络被配置为分割目标解剖特征,其中该增益模型被配置为通过将超声图像中的目标解剖特征分割多次并且确定该分割的不确定性水平来确定增益图像质量参数,并且其中该增益图像质量参数基于该不确定性水平。在任选地包括第一实施例至第三实施例中的一项或多项或每一项的该系统的第四实施例中,一个或多个扫描设置模型包括深度模型和/或频率模型。
实施例提供了一种方法,该方法包括基于解剖模型来确定超声图像包括一个或多个预期解剖特征;在确定超声图像包括一个或多个预期解剖特征后,将超声图像输入到多个扫描设置模型中,每个扫描设置模型经过训练以确定超声图像的相应获取参数特定的图像质量;以及在显示设备上显示基于超声图像的每个相应获取参数特定的图像质量的图像获取指引。在该方法的第一实施例中,显示基于超声图像的每个相应获取参数特定的图像质量的图像获取指引包括显示包括多个视觉元素的图形用户界面,每个视觉元素表示超声图像的相应获取参数特定的图像质量。在任选地包括第一实施例的该方法的第二实施例中,每个视觉元素包括颜色或灰度梯度。在任选地包括第一实施例和第二实施例中的一项或两项的该方法的第三实施例中,将超声图像输入到多个扫描设置模型中包括将超声图像输入到增益模型、深度模型和/或频率模型中。在任选地包括第一实施例至第三实施例每一项中的一项或多项的该方法的第四实施例中,训练增益模型以确定超声图像的增益特定的图像质量,训练深度模型以确定超声图像的深度特定的图像质量,并且训练频率模型以确定超声图像的频率特定的图像质量。在任选地包括第一实施例至第四实施例每一项中的一项或多项的该方法的第五实施例中,增益模型、深度模型和/或频率模型各自包括相应不确定性网络,该不确定性网络被配置为分割目标解剖特征,并且通过将超声图像中的目标解剖特征分割多次并且确定该分割的不确定性水平来确定相应获取参数特定的图像质量。在任选地包括第一实施例至第五实施例每一项中的一项或多项的该方法的第六实施例中,增益模型、深度模型和/或频率模型各自用包括多个训练超声图像的相应训练数据集来训练,训练数据集的每个训练超声图像在产生高图像质量的增益、深度或频率的相应设置下获取,并且每个训练超声图像包括指示目标解剖特征的标注。
当介绍本公开的各种实施方案的元件时,词语“一个”、“一种”和“该”旨在意指存在这些元件中的一个或多个元件。术语“第一”、“第二”等不表示任何顺序、量或重要性,而是用于将一个元件与另一个元件区分开。术语“包含”、“包括”和“具有”旨在是包含性的,并且意指除了列出的元件之外还可存在附加元件。如本文使用术语“连接到”、“耦接到”等,一个对象(例如,材料、元件、结构、构件等)可以连接到或耦接到另一个对象,而无论该一个对象是否直接连接或耦接到另一个对象,或者在该一个对象和另一个对象之间是否存在一个或多个介入对象。此外,应当理解,对本公开的“一个实施方案”或“实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。
除了任何先前指示的修改之外,本领域技术人员可以在不脱离本描述的实质和范围的情况下设计出许多其他变型和替换布置,并且所附权利要求书旨在覆盖此类修改和布置。因此,尽管上面已经结合当前被认为是最实际和最优选的方面对信息进行了具体和详细的描述,但对于本领域的普通技术人员将显而易见的是,在不脱离本文阐述的原理和概念的情况下,可以进行许多修改,包括但不限于形式、功能、操作方式和使用。同样,如本文所使用的,在所有方面,示例和实施方案仅意图是说明性的,并且不应以任何方式解释为限制性的。

Claims (20)

1.一种用于超声系统的方法,所述方法包括:
确定用所述超声系统获取的超声图像的探头位置质量参数,所述探头位置质量参数表示相对于用于获取所述超声图像的超声探头的位置的所述超声图像的质量水平;
确定所述超声图像的一个或多个获取设置质量参数,每个获取设置质量参数表示相对于用于获取所述超声图像的相应获取设置的所述超声图像的相应质量水平;以及
基于所述探头位置质量参数和/或所述一个或多个获取设置质量参数来向所述超声系统的用户提供反馈,所述探头位置质量参数和每个获取设置质量参数基于来自单独图像质量评估模型的输出来确定。
2.根据权利要求1所述的方法,其中向所述用户提供反馈包括基于所述探头位置质量参数和/或所述一个或多个获取设置质量参数来在显示设备上显示图像获取指引。
3.根据权利要求2所述的方法,其中基于所述探头位置质量参数和/或所述一个或多个获取设置质量参数来在所述显示设备上显示图像获取指引包括基于所述探头位置质量参数来显示与标准扫描平面相比预期解剖特征缺失或具有形态变化的通知。
4.根据权利要求2所述的方法,其中基于所述探头位置质量参数和/或所述一个或多个获取设置质量参数来在所述显示设备上显示图像获取指引包括显示用于获取所述超声图像的每个获取设置的相应质量指示符。
5.根据权利要求1所述的方法,其中确定所述超声图像的所述一个或多个获取设置质量参数包括确定表示深度质量的深度参数、表示频率质量的频率参数、表示时间补偿增益(TCG)质量的TCG参数和表示增益质量的增益参数中的一者或多者。
6.根据权利要求1所述的方法,其中确定所述超声图像的所述一个或多个获取设置质量参数中的第一获取设置质量参数包括将所述超声图像作为输入来输入到第一获取设置评估模型,所述第一获取设置评估模型经过训练以输出表示第一获取设置的质量的第一获取设置质量参数。
7.根据权利要求6所述的方法,其中所述第一获取设置模型包括不确定性网络,所述不确定性网络被配置为分割目标解剖特征,并且其中所述第一获取设置模型通过将所述超声图像中的所述目标解剖特征分割多次并且确定所述分割的不确定性水平来确定所述第一获取设置质量参数,并且其中所述第一获取设置参数基于所述不确定性水平。
8.根据权利要求7所述的方法,其中用包括多个训练超声图像的训练数据集来训练所述第一获取设置模型,每个训练超声图像在所述第一获取设置的相应目标设置下获取并且所述多个训练超声图像中的至少一些训练超声图像在一个或多个其他获取设置的非目标设置下获取,并且其中每个训练超声图像包括指示所述目标解剖特征的标注。
9.一种系统,包括:
存储器,所述存储器存储指令;和
处理器,所述处理器通信地耦接到所述存储器并且在执行所述指令时,被配置为:
确定用超声系统获取的超声图像的探头位置质量参数,所述探头位置质量参数表示相对于用于获取所述超声图像的超声探头的位置的所述超声图像的质量水平;
确定所述超声图像的一个或多个获取设置质量参数,每个获取设置质量参数表示相对于用于获取所述超声图像的相应获取设置的所述超声图像的相应质量水平;以及
基于所述探头位置质量参数和/或所述一个或多个获取设置质量参数来向所述超声系统的用户提供反馈,所述探头位置质量参数和每个获取设置质量参数基于来自单独图像质量评估模型的输出来确定。
10.根据权利要求9所述的系统,其中所述存储器存储所述图像质量评估模型,所述图像质量评估模型包括解剖模型,所述解剖模型经过训练以基于所述超声图像来输出所述探头位置质量参数。
11.根据权利要求9所述的系统,其中所述存储器存储所述图像质量评估模型,所述图像质量评估模型包括一个或多个扫描设置模型,每个扫描设置模型经过训练以基于所述超声图像来输出相应获取设置质量参数。
12.根据权利要求11所述的系统,其中所述一个或多个扫描设置模型包括增益模型,所述增益模型经过训练以输出增益图像质量参数,所述增益图像质量参数指示相对于用于获取所述超声图像的增益设置的所述超声图像的质量水平,所述增益模型包括不确定性网络,所述不确定性网络被配置为分割目标解剖特征,并且其中所述增益模型被配置为通过将所述超声图像中的所述目标解剖特征分割多次并且确定所述分割的不确定性水平来确定所述增益图像质量参数,并且其中所述增益图像质量参数基于所述不确定性水平。
13.根据权利要求11所述的系统,其中所述一个或多个扫描设置模型包括深度模型和/或频率模型。
14.一种方法,包括:
基于解剖模型来确定超声图像包括一个或多个预期解剖特征;
在确定所述超声图像包括所述一个或多个预期解剖特征后,将所述超声图像输入到多个扫描设置模型中,每个扫描设置模型经过训练以确定所述超声图像的相应获取参数特定的图像质量;以及
在显示设备上显示基于所述超声图像的每个相应获取参数特定的图像质量的图像获取指引。
15.根据权利要求14所述的方法,其中显示基于所述超声图像的每个相应获取参数特定的图像质量的图像获取指引包括显示包括多个视觉元素的图形用户界面,每个视觉元素表示所述超声图像的相应获取参数特定的图像质量。
16.根据权利要求15所述的方法,其中每个视觉元素包括颜色或灰度梯度。
17.根据权利要求14所述的方法,其中将所述超声图像输入到所述多个扫描设置模型中包括将所述超声图像输入到增益模型、深度模型和/或频率模型中。
18.根据权利要求17所述的方法,其中训练所述增益模型以确定所述超声图像的增益特定的图像质量,训练所述深度模型以确定所述超声图像的深度特定的图像质量,并且训练所述频率模型以确定所述超声图像的频率特定的图像质量。
19.根据权利要求17所述的方法,其中所述增益模型、所述深度模型和/或所述频率模型各自包括相应不确定性网络,所述不确定性网络被配置为分割目标解剖特征,并且通过将所述超声图像中的所述目标解剖特征分割多次并且确定所述分割的不确定性水平来确定所述相应获取参数特定的图像质量。
20.根据权利要求19所述的方法,其中所述增益模型、所述深度模型和/或所述频率模型各自用包括多个训练超声图像的相应训练数据集来训练,训练数据集的每个训练超声图像在产生高图像质量的增益、深度或频率的相应设置下获取,并且每个训练超声图像包括指示所述目标解剖特征的标注。
CN202110214582.3A 2020-03-16 2021-02-25 用于超声图像质量确定的系统和方法 Pending CN113397589A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/819,966 2020-03-16
US16/819,966 US11593933B2 (en) 2020-03-16 2020-03-16 Systems and methods for ultrasound image quality determination

Publications (1)

Publication Number Publication Date
CN113397589A true CN113397589A (zh) 2021-09-17

Family

ID=77665159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110214582.3A Pending CN113397589A (zh) 2020-03-16 2021-02-25 用于超声图像质量确定的系统和方法

Country Status (2)

Country Link
US (1) US11593933B2 (zh)
CN (1) CN113397589A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11532077B2 (en) 2020-08-17 2022-12-20 Netflix, Inc. Techniques for computing perceptual video quality based on brightness and color components
US11557025B2 (en) * 2020-08-17 2023-01-17 Netflix, Inc. Techniques for training a perceptual quality model to account for brightness and color distortions in reconstructed videos
US20220236197A1 (en) * 2021-01-28 2022-07-28 General Electric Company Inspection assistant for aiding visual inspections of machines
WO2023192603A1 (en) * 2022-03-31 2023-10-05 Bfly Operations, Inc. Methods and systems for ultrasound imaging proficiency management, quality assurance review, and analytics
WO2023239913A1 (en) * 2022-06-09 2023-12-14 Bfly Operations, Inc. Point of care ultrasound interface

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160081662A1 (en) * 2014-09-24 2016-03-24 General Electric Company Adaptive ultrasound image optimization through automatic gain control adjustment
US20180271484A1 (en) * 2017-03-21 2018-09-27 General Electric Company Method and systems for a hand-held automated breast ultrasound device
US20200060660A1 (en) * 2017-02-28 2020-02-27 Koninklijke Philips N.V. An intelligent ultrasound system
US20200069285A1 (en) * 2018-08-31 2020-03-05 General Electric Company System and method for ultrasound navigation

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7306561B2 (en) 2004-09-02 2007-12-11 Scimed Life Systems, Inc. Systems and methods for automatic time-gain compensation in an ultrasound imaging system
US20190015076A1 (en) * 2015-12-21 2019-01-17 Koninklijke Philips N.V. Ultrasound imaging apparatus and ultrasound imaging method for inspecting a volume of a subject
US10878311B2 (en) * 2018-09-28 2020-12-29 General Electric Company Image quality-guided magnetic resonance imaging configuration
EP3917405A1 (en) * 2019-02-04 2021-12-08 Google LLC Instrumented ultrasound probes for machine-learning generated real-time sonographer feedback
EP4028992A4 (en) * 2019-09-12 2023-10-04 Echonous, Inc. SYSTEMS AND METHODS FOR AUTOMATED ULTRASONIC IMAGE QUALITY LABELING AND RATING
US11488298B2 (en) * 2019-12-20 2022-11-01 GE Precision Healthcare LLC System and methods for ultrasound image quality determination

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160081662A1 (en) * 2014-09-24 2016-03-24 General Electric Company Adaptive ultrasound image optimization through automatic gain control adjustment
US20200060660A1 (en) * 2017-02-28 2020-02-27 Koninklijke Philips N.V. An intelligent ultrasound system
US20180271484A1 (en) * 2017-03-21 2018-09-27 General Electric Company Method and systems for a hand-held automated breast ultrasound device
US20200069285A1 (en) * 2018-08-31 2020-03-05 General Electric Company System and method for ultrasound navigation

Also Published As

Publication number Publication date
US20210287361A1 (en) 2021-09-16
US11593933B2 (en) 2023-02-28

Similar Documents

Publication Publication Date Title
US11488298B2 (en) System and methods for ultrasound image quality determination
US11593933B2 (en) Systems and methods for ultrasound image quality determination
JP6139144B2 (ja) 超音波システム
RU2667617C2 (ru) Система и способ эластографических измерений
US11715202B2 (en) Analyzing apparatus and analyzing method
US20110255762A1 (en) Method and system for determining a region of interest in ultrasound data
US11432803B2 (en) Method and system for generating a visualization plane from 3D ultrasound data
US11308609B2 (en) System and methods for sequential scan parameter selection
US11883229B2 (en) Methods and systems for detecting abnormal flow in doppler ultrasound imaging
US20120065512A1 (en) Ultrasonic diagnostic apparatus and ultrasonic image processng apparatus
KR102063374B1 (ko) 초음파 볼륨의 자동 정렬
US20210169455A1 (en) System and methods for joint scan parameter selection
US10937155B2 (en) Imaging system and method for generating a medical image
US20110251488A1 (en) Method and system for displaying system parameter information
JP7346266B2 (ja) 超音波撮像システムおよび対象物体品質レベルを表示するための方法
US11890142B2 (en) System and methods for automatic lesion characterization
US20220087644A1 (en) Systems and methods for an adaptive interface for an ultrasound imaging system
US11250564B2 (en) Methods and systems for automatic measurement of strains and strain-ratio calculation for sonoelastography
CN115105118A (zh) 用于医学成像的自适应引导的系统和方法
US11506771B2 (en) System and methods for flash suppression in ultrasound imaging
US20220395251A1 (en) System and methods for a measurement tool for medical imaging
US20210228187A1 (en) System and methods for contrast-enhanced ultrasound imaging
US20230267618A1 (en) Systems and methods for automated ultrasound examination
CN116602704A (zh) 用于医学图像的自动测量的系统和方法
CN116258736A (zh) 用于分割图像的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination