CN112807016B - 用于启用湍流感知的超声扫描的方法和系统 - Google Patents

用于启用湍流感知的超声扫描的方法和系统 Download PDF

Info

Publication number
CN112807016B
CN112807016B CN202011130969.2A CN202011130969A CN112807016B CN 112807016 B CN112807016 B CN 112807016B CN 202011130969 A CN202011130969 A CN 202011130969A CN 112807016 B CN112807016 B CN 112807016B
Authority
CN
China
Prior art keywords
turbulence
image
amount
threshold
scan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011130969.2A
Other languages
English (en)
Other versions
CN112807016A (zh
Inventor
钱丹·库马尔·马拉帕·阿拉达哈里
克里希纳·希瑟拉姆·施莱姆
维克拉姆·梅拉普迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Precision Healthcare LLC
Original Assignee
GE Precision Healthcare LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Precision Healthcare LLC filed Critical GE Precision Healthcare LLC
Publication of CN112807016A publication Critical patent/CN112807016A/zh
Application granted granted Critical
Publication of CN112807016B publication Critical patent/CN112807016B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A61B8/4461Features of the scanning mechanism, e.g. for moving the transducer within the housing of the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • A61B8/5276Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts due to motion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5292Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54Control of the diagnostic device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/58Testing, adjusting or calibrating the diagnostic device
    • A61B8/587Calibration phantoms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明题为“用于启用湍流感知的超声扫描的方法和系统”。本文提供了用于在超声扫描期间进行湍流监测的方法和系统。在一个示例中,在用超声探头进行扫描期间,可监测两个连续帧之间的湍流量,并且响应于湍流量等于或高于较高阈值,可以停止或延迟一个或多个图像判读协议的部署,直至所述湍流量降低到低于较高阈值。

Description

用于启用湍流感知的超声扫描的方法和系统
技术领域
本文公开的主题的实施方案涉及医学成像模态,具体地涉及用于超声成像的系统和方法。
背景技术
医学超声是采用超声波来探测患者身体的内部结构并产生对应图像的成像模态。例如,包括多个换能器元件的超声探头发射超声脉冲,这些超声脉冲会被身体中的结构反射或回传、折射或者吸收。然后超声探头接收所反射的回波,这些所反射的回波被处理成图像。内部结构的超声图像可以实时地或近实时地显示在显示设备上。
在扫描期间可以采用一个或多个图像判读协议来帮助用户判读扫描图像。示例判读协议可以包括基于深度学习模型的一个或多个人工智能(AI)协议,用于识别超声图像中的解剖特征并跨多个超声图像跟踪所识别的解剖特征的位置。附加地或另选地,在扫描期间可以使用一个或多个附加图像判读协议,例如用于确定内部解剖结构生物计量、检测异常等。
然而,在超声扫描期间,可能发生由于用户生成的探头运动和患者生成的解剖运动中的一者或多者而引起的湍流。因此,图像质量可能劣化。在湍流扫描期间实现图像判读协议可降低由这些协议执行的结构识别、跟踪和异常检测的准确度。此外,在扫描期间实现图像判读协议可引起标记问题,诸如放置、外观等。
发明内容
在一个实施方案中,一种用于医学图像处理器的方法,包括:在超声扫描期间评估两个扫描图像之间的图像质量,以及仅当所述图像质量高于阈值时部署一个或多个图像判读算法。
这样,通过在超声扫描期间监测图像质量,能够实现一个或多个图像判读协议的选择性部署。因此,提高了图像判读、解剖结构生物计量以及用判读协议标记的准确度。
应当理解,提供上面的简要描述来以简化的形式介绍在具体实施方式中进一步描述的精选概念。这并不意味着识别所要求保护的主题的关键或必要特征,该主题的范围由具体实施方式后的权利要求书唯一地限定。此外,所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。
附图说明
通过参考附图阅读以下对非限制性实施方案的描述将更好地理解本发明,其中以下:
图1示出了超声系统的示例性实施方案的框图;
图2是示出根据示例性实施方案的用于检测湍流并基于检测到的湍流部署一个或多个人工智能协议的系统的示意图;
图3A示出了根据示例性实施方案的图示用于在超声扫描期间检测湍流并部署一个或多个图像判读协议的方法的高级流程图;
图3B是图3A的延续;
图4示出了根据示例性实施方案的图示用于在超声扫描期间基于部署速率部署一个或多个图像判读协议的方法的高级流程图;并且
图5示出了根据示例性实施方案的用于部署一个或多个人工智能协议以在超声扫描期间判读扫描图像的示例性序列。
具体实施方式
以下描述涉及超声扫描的各种实施方案。具体地,涉及用于在超声扫描期间实现一个或多个人工智能协议的系统和方法。图1中示出了一种示例性超声系统,该示例性超声系统包括超声探头、显示设备和成像处理系统。图2示出了可以与图1的超声系统一起使用的另一示例性图像处理系统。经由超声探头,可获取超声图像并将其显示在显示设备上。在超声扫描期间,根据用户动作和患者状态中的一者或多者,扫描可能是湍流性的,这可能会降低图像质量。例如,由于用户的不规则的探头移动和/或由于诸如快速呼吸的患者移动,在扫描期间可能发生湍流。由湍流导致的低图像质量可能引起图像判读和分析中的下游问题。因此,图像处理系统的处理器可以被实现为监测湍流并控制一个或多个图像判读和分析算法的部署。在图3中描述了用于湍流监测和基于湍流监测的图像判读算法部署的示例性方法。具体地,在扫描期间,处理器可以接收两个或更多个扫描图像,并且通过评估至少参考图像与第二图像之间的结构相似性来确定当前湍流量。结构相似性指示图像质量并且与湍流成反比。例如,当参考图像与第二图像之间的结构相似度高时,第二图像相对于参考的图像质量高并且湍流量低。类似地,当参考图像与第二图像之间的结构相似度低时,第二图像相对于参考图像的图像质量低并且湍流量高。这样,在当前扫描过程期间的湍流量可以通过评估至少两个所获取的图像之间的结构相似性来确定。可以使用确定两个扫描图像之间的相似性的性能度量,诸如结构相似性指数(SSIM)。其他性能度量,诸如均方误差(MSE)、峰值信噪比(PSNR)、外观等效数(ENL)和边缘保持指数(EPI),以及SSIM的其他变型,诸如多尺度SSIM、复小波SSIM和三分量SSIM,也在本公开的范围内。当湍流量增加到阈值极限以上时,超声扫描的质量低,并且因此扫描图像质量低。如果在扫描期间当湍流量大于阈值(即,图像质量低)时部署基于人工智能的算法,则在扫描期间正确识别和分割解剖结构、跟踪期望的解剖结构以及评估生物计量的算法的可靠性降低。因此,当湍流量大于阈值时,处理器可以停止一个或多个图像判读和分析算法的部署。此外,在扫描的开始时间段期间,湍流监测可以用作关守(gate-keeper),仅当图像质量高并且湍流量低于阈值时部署一个或多个图像判读和分析算法。此外,响应于确定在湍流量大于阈值的情况下执行超声扫描,处理器可以经由用户界面向用户提供一个或多个警报以指示高湍流度并且提供引导(例如,保持探头稳定、屏住呼吸等),从而辅助用户提高超声扫描质量。此外,在一个示例性实施方案中,如图4所述,可以监测一个或多个算法的部署速率,以进一步提高超声扫描效率。图5示出了图3中讨论的具有湍流监测的示例性超声扫描序列。
参考图1,示出了根据本发明的实施方案的超声成像系统100的示意图。超声成像系统100包括发射波束形成器101和发射器102,该发射波束形成器和发射器驱动换能器阵列或探头106内的元件104将脉冲超声信号发射到体内(未示出)。根据一个实施方案,换能器阵列106可以是一维换能器阵列探头。然而,在一些实施方案中,换能器阵列106可以是二维矩阵换能器阵列探头。仍参见图1,脉冲超声信号从体内特征如血细胞或肌肉组织反向散射,以产生返回到元件104的回波。回波被元件104转换成电信号或超声数据,并且电信号被接收器108接收。表示所接收的回波的电信号穿过输出超声数据的接收波束形成器110。根据一些实施方案,探头106可包含电子电路来执行发射波束形成和/或接收波束形成的全部或一部分。例如,发射波束形成器101、发射器102、接收器108和接收波束形成器110的全部或一部分可位于探头106内。在本公开中,术语“扫描”或“扫描中”还可用于指通过发射和接收超声信号的过程来获取数据。本公开中,术语“数据”可以用于指用超声成像系统获取的一个或多个数据集。
用户界面115可用于控制超声成像系统100的操作,包括用于控制患者数据的输入、用于改变扫描或显示参数等。用户界面115可包括以下项中的一者或多者:旋转件、鼠标、键盘、轨迹球、链接到特定动作的硬键、可被配置为控制不同功能的软键,以及显示在显示设备118上的图形用户界面。
超声成像系统100还包括处理器116,该处理器用以控制发射波束形成器101、发射器102、接收器108和接收波束形成器110。处理器116与探头106进行电子通信。出于本公开的目的,术语“电子通信”可被定义为包括有线通信和无线通信两者。处理器116可控制探头106以获取数据。处理器116控制元件104中的哪些是活动的以及从探头106发射的波束的形状。处理器116还与显示设备118进行电子通信,并且处理器116可将数据处理成图像以显示在显示设备118上。根据一个实施方案,处理器116可包括中央处理器(CPU)。根据其他实施方案,处理器116可以包括能够执行处理功能的其他电子部件,诸如数字信号处理器、现场可编程门阵列(FPGA)或图形板。在一些实施方案中,处理器116可被配置为具有并行处理能力的图形处理单元。根据其他实施方案,处理器116可包括能够执行处理功能的多个电子部件。例如,处理器116可包括从电子部件的列表中选择的两个或更多个电子部件,这些电子部件包括:中央处理器、数字信号处理器、现场可编程门阵列和图形板。根据另一个实施方案,处理器116还可包括解调RF数据并且生成原始数据的复合解调器(未示出)。在另一个实施方案中,解调可以在处理链中较早地执行。处理器116适于根据数据上的多个可选超声模态来执行一个或多个处理操作。随着接收到回波信号,可以在扫描会话期间实时处理数据。出于本公开的目的,术语“实时”被定义为包括在没有任何有意延迟的情况下执行的过程。例如,一个实施方案能够以7至20体积/秒的实时速率获取图像。超声成像系统100能够以显著更快的速率获取一个或多个平面的2D数据。然而,应当理解,实时体积速率可取决于获取用于显示的每体积数据所花费的时间长度。因此,当获取相对较大体积的数据时,实时体积速率可能较慢。因此,一些实施方案可具有显著快于20体积/秒的实时体积速率,而其他实施方案可具有慢于7体积/秒的实时体积速率。数据可在扫描会话期间临时存储在缓冲器(未示出)中,并且在实时或离线操作中以不太实时的方式处理。本发明的一些实施方案可包括多个处理器(未示出),以处理根据上文所述的示例性实施方案的由处理器116处理的处理任务。例如,第一处理器可用于解调和抽取RF信号,而第二处理器可用于在显示图像之前进一步处理数据。应当理解,其他实施方案可使用不同的处理器布置方式。
超声成像系统100能够以例如10Hz至30Hz的体积速率连续获取数据。能够以类似帧速率刷新从数据生成的图像。其他实施方案能够以不同速率获取并且显示数据。例如,根据体积的大小和预期的应用,一些实施方案能够以小于10Hz或大于30Hz的体积速率获取数据。包括存储器120以用于存储已处理的获取数据的体积。在一个示例性实施方案中,存储器120具有足够的容量来存储至少数秒钟的超声数据体积。数据体积的存储方式便于根据其获取顺序或时间进行检索。存储器120可包括任何已知的数据存储介质。
任选地,可利用造影剂来实现本发明的实施方案。当使用包括微泡在内的超声造影剂时,造影成像生成体内解剖特征和血流的增强图像。在使用造影剂获取数据之后,图像分析包括分离谐波分量和线性分量、增强谐波分量以及通过利用增强的谐波分量生成超声图像。使用合适的滤波器来执行从所接收信号中分离谐波分量。使用造影剂进行超声成像是本领域技术人员所熟知的,因此将不再详细描述。
在本发明的各种实施方案中,处理器116可通过其他或不同的模式相关模块(例如,B模式、彩色多普勒、M模式、彩色M模式、频谱多普勒、弹性成像、TVI、应变、应变速率等)来处理数据,以形成2D或3D数据。例如,一个或多个模块可生成B模式、彩色多普勒、M模式、彩色M模式、频谱多普勒、弹性成像、TVI、应变、应变速率以及它们的组合,等等。存储图像线和/或体积,并且可记录指示在存储器中获取数据的时间的定时信息。这些模块可包括例如扫描转换模块以用于执行扫描转换操作,以将图像体积从光束空间坐标转换为显示空间坐标。可提供视频处理器模块,该视频处理器模块从存储器读取图像体积,并且在对患者进行手术时实时显示图像。视频处理器模块可将图像存储在图像存储器中,显示设备118从该图像存储器读取和显示图像。
在本发明的各种实施方案中,超声成像系统100的一个或多个部件可以包括在便携手持式超声成像设备中。例如,显示器118和用户界面115可以集成到手持式超声成像设备的外部表面中,该手持式超声成像设备可还包括处理器116和存储器120。探头106可以包括与手持式超声成像设备进行电子通信以收集原始超声数据的手持式探头。发射波束形成器101、发射器102、接收器108和接收波束形成器110可以包括在超声成像系统100的相同或不同部分中。例如,发射波束形成器101、发射器102、接收器108和接收波束形成器110可以包括在手持式超声成像设备、探头以及它们的组合中。
在执行二维超声扫描之后,生成包含扫描线及其样本的数据块。在应用后端滤波器之后,执行称为扫描转换的过程,以将二维数据块变换为具有附加扫描信息(诸如深度、每条扫描线的角度等)的可显示的位图图像。在扫描转换期间,应用内插技术来填充所得图像中的丢失的孔(即,像素)。出现这些丢失的像素是因为二维块的每个元素通常应该覆盖所得图像中的许多像素。例如,在当前超声成像系统中,应用了双三次插值,其利用了二维块的相邻元素。因此,如果与位图图像的尺寸相比,二维块相对较小,则扫描转换后的图像将包括分辨率差或分辨率低的区域,特别是对于深度较大的区域。
可进一步处理由超声成像系统100获取的超声图像。在一些实施方案中,可将超声成像系统100所产生的超声图像传输到图像处理系统,其中在一些实施方案中,可通过使用超声图像和对应的地面实况输出而训练的机器学习模型来对超声图像进行分割。如本文所用,地面实况输出是指基于到机器学习模型中的给定输入的预期或“正确”输出。例如,如果正训练机器学习模型来对猫的图像进行分类,则当馈送猫的图像时,模型的地面实况输出为标签“猫”。
尽管在本文被描述为单独的系统,但应当理解,在一些实施方案中,超声成像系统100包括图像处理系统。在其他实施方案中,超声成像系统100和图像处理系统可包括单独的设备。在一些实施方案中,超声成像系统100所产生的图像可用作用于训练一个或多个机器学习模型的训练数据集,其中如下所述,可使用机器学习模型来执行超声图像处理的一个或多个步骤。
参见图2,其示出了根据示例性实施方案的图像处理系统202。在一些实施方案中,图像处理系统202结合到超声成像系统100中。在一些实施方案中,图像处理系统202的至少一部分设置在经由有线连接和/或无线连接通信地耦接到超声成像系统的设备(例如,边缘设备、服务器等)处。在一些实施方案中,图像处理系统202的至少一部分设置在单独的设备(例如,工作站)处,该单独的设备可从超声成像系统或从存储由超声成像系统所生成的图像/数据的存储设备接收图像/标测图。图像处理系统202可以可操作地/通信地耦接到用户输入设备214和显示设备216。
图像处理系统202包括处理器204,该处理器被配置为执行存储在非暂态存储器206中的机器可读指令。处理器204可以是单核或多核的,并且在其上执行的程序可以被配置用于进行并行或分布式处理。在一些实施方案中,处理器204可以可选地包括遍布于两个或更多个设备中的单独部件,其可以被远程定位和/或被配置用于协调处理。在一些实施方案中,处理器204的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。
非暂态存储器206可存储神经网络模块209、湍流检测模块208和超声图像数据212。神经网络模块209可包括一个或多个机器学习模型(诸如深度学习网络),所述一个或多个机器学习模型包括多个权重和偏差、激活函数、损失函数、梯度下降算法以及用于实现所述一个或多个深度神经网络以处理输入的超声图像的指令。神经网络模块209可包括经训练的和/或未训练的神经网络并且还可包括与存储在其中的一个或多个神经网络模型相关联的训练例程或参数(例如,权重和偏差)。
图像处理系统202可通信地耦接到训练模块210,该训练模块包括用于训练存储在神经网络模块209中的一个或多个机器学习模型的指令。在一个示例中,训练模块210包括用于从超声图像数据212接收训练数据集的指令,这些训练数据集包括用于训练存储在分割和跟踪模块208中的机器学习模型中的一个或多个机器学习模型的超声图像、相关联的地面实况标签/图像和相关联的模型输出的集合。训练模块210可从超声图像数据212以外的其他来源(诸如其他图像处理系统、云等)接收用于训练一个或多个机器学习模型的超声图像、相关联的地面实况标签/图像和相关联的模型输出。在一些实施方案中,训练模块210的一个或多个方面可包括以云计算配置进行配置的可远程访问的联网存储设备。非暂态存储器206还可存储超声图像数据212,诸如图1的超声成像系统所捕获的超声图像。例如,超声图像数据212可存储超声图像、地面实况输出、机器学习模型输出的迭代以及其他类型的超声图像数据。在一些实施方案中,超声图像数据212可以有序的格式存储超声图像和地面实况输出,使得每个超声图像都与一个或多个对应的地面实况输出相关联。
在一些实施方案中,非暂态存储器206可以包括设置在两个或更多个设备上的部件,这些部件可以被远程定位和/或被配置用于协调处理。在一些实施方案中,非暂态存储器206的一个或多个方面可以包括以云计算配置进行配置的可远程访问的联网存储设备。
用户输入设备216可包括触摸屏、键盘、鼠标、触控板、运动感测相机或被配置为使用户能够与图像处理系统31内的数据交互并操纵该数据的其他设备中的一者或多者。在一个示例中,用户输入设备216可使用户能够选择超声图像以用于训练机器学习模型,或者用于使用经训练的机器学习模型进行进一步处理。
显示设备214可包括利用几乎任何类型技术的一个或多个显示设备。在一些实施方案中,显示设备214可包括计算机监视器,并且可显示超声图像。显示设备214可与处理器204、非暂态存储器206和/或用户输入设备216结合在共用的外壳中,或者可以是外围显示设备,并且可包括监测器、触摸屏、投影仪或本领域已知的其他显示设备,其可使用户能够查看由超声成像系统产生的超声图像,并且查看超声扫描图像的分割注释,和/或与存储在非暂态存储器206中的各种数据交互。
应当理解,图2所示的图像处理系统202是用于说明而非限制。另一种合适的图像处理系统可以包括更多、更少或不同的部件。
转到图3A,示出了图示用于在超声扫描期间监测湍流并且基于湍流控制一个或多个图像判读和分析协议(在本文中被替代地称为图像判读算法/协议)的部署的示例方法300的高级流程图。参照图1和图2的系统和部件描述了方法300,但是应当理解,方法300可在不脱离本公开的范围的情况下用其他系统和部件来实现。例如,方法300可作为可执行指令存储在非暂态存储器(诸如存储器120)中,并且可由超声成像系统100的处理器(诸如处理器116)执行,或可由以上所公开的系统中的一个或多个系统(诸如图像处理系统202)实现。在一些实施方案中,方法300可由医务人员(诸如医生)或操作者(诸如超声波检查医师)发起。
方法300在302处开始。在302处,方法300包括获取扫描图像序列。获取扫描图像序列可以包括获取至少第一参考图像和第二后续图像。在一些示例中,扫描图像序列可以在一段时间内被获取并且可以包括多于两个图像。
在获取扫描图像序列时,方法300前进至304。在304处,方法300包括确定在一段持续时间内至少两个连续扫描图像(扫描图像在此可替换地称为帧)之间的湍流量。例如,可以计算第一参考图像与第二后续图像之间的湍流量。在一个实施方案中,可以确定在持续时间内帧序列中的连续帧之间的湍流量。例如,可以在第一帧与第二帧之间、第二帧与第三后续帧之间、第三帧与第四后续帧之间等等确定湍流量。在另一个实施方案中,可以确定第一帧与后续帧中的每个之间的湍流量。例如,可以确定在持续时间内第一参考帧与第二帧之间、第一参考帧与第三帧之间、第一参考帧与第四帧之间等等的湍流量。在一些实施方案中,湍流量是在持续时间内参考帧与期望数量的连续帧中的每个帧之间的平均湍流量。在一个示例中,参考帧可以基于超声成像模式和受评估的解剖结构。
湍流量可以基于性能度量,诸如峰值信噪比(PSNR)、均方误差(MSE)、结构相似性指数度量(SSIM)、外观等效数(ENL)和边缘保持指数(EPI)。例如,高SSIM可以指示两个帧之间的高结构相似性,并且因此,可以将湍流量确定为低。因此,湍流量可以是所选择的性能度量的函数。另外,可以确定在持续时间内的湍流速率。湍流速率可以指示相对于在持续时间内捕获的图像序列中的参考帧的结构相似性的变化率。因此,湍流速率可以基于所选择的性能度量的变化率。例如,如果使用SSIM测量湍流,则湍流速率可以基于SSIM在一段时间内的变化率。可以基于受检查的解剖结构的运动周期性来选择时间段。在一些示例中,湍流速率可以基于由在图像序列中选择的性能度量所指示的结构差异的频率。
接下来,在306处,方法300包括确定当前成像模式。可根据在超声系统的用户界面(诸如图1的用户界面115)处接收到的用户输入来确定当前超声成像模式。超声系统的操作者可经由用户界面来选择成像模式和/或协议,或以其他方式录入指示期望的超声成像模式和/或期望的成像协议的输入。示例性超声成像模式可包括B-模式成像、多普勒成像、M-模式成像等。
此外,在一些示例中,成像模式可以基于超声成像协议。示例超声成像协议可包括心脏成像协议(例如,超声心动图)、腹部成像、胎儿成像、肾成像和/或其他解剖结构特定的协议。另外,一些示例性超声成像协议可基于连同成像一起或在成像期间执行的规程的类型,诸如复苏协议、穿刺活检协议等。成像模式和/或协议可规定使用哪种类型的超声探头、如何在成像会话期间控制超声探头(例如,信号频率、增益、光束焦点等)、如何处理所获取的图像信息和/或操作者要在成像会话期间获取什么类型的图像(这可包括操作者在成像会话期间如何定位和控制超声探头)。在一些示例中,另外,用户可指示期望的检查类型。例如,可显示可能的检查类型的列表,其包括内部器官、肌肉组织、脉管、肌腱等,并且操作者可点击期望的检查类型,从而指示处理器加载适合于该检查类型的设置。
接下来,在308处,方法300包括确定是否期望或当前部署一个或多个图像判读协议。具体地,方法300可以确定是否部署一个或多个基于人工智能的算法。基于人工智能的算法可以包括机器学习算法和深度学习算法中的一者或多者,所述算法使得用户能够判读、分析和/或评估超声扫描图像。示例性深度学习和机器学习算法可以包括分割算法、跟踪算法、生物计量算法和分类算法中的一者或多者。应当理解,用于医学图像处理的其他基于人工智能的算法也在本公开的范围内。
如果没有部署人工智能算法,则在308处的回答是“否”,方法300前进至310。在310处,方法300可以在不部署用于图像判读和分析的一个或多个人工智能算法的情况下,继续基于如上所述的所选择的结构相似性度量来监测湍流。在一个实施方案中,可以在不部署一个或多个人工智能算法的情况下执行超声扫描。然而,在一些实施方案中,可以部署不基于人工智能的一个或多个其他图像处理协议以帮助用户判读扫描图像。一个或多个其他图像处理协议可以包括图像质量改进协议。方法300然后可以返回以继续获取扫描序列并且确定所获取的序列的湍流。
返回到308,如果期望或当前部署一个或多个基于人工智能的算法,则方法300前进至312。在312处,方法300包括确定湍流量是否大于第一较低阈值。第一较低阈值可以是用于稳态扫描的阈值指示。当湍流量低于第一较低阈值时,扫描性能高,因此图像质量高。因此,连续帧之间的结构相似性高,并且湍流量低。因此,如果湍流量不大于第一较低阈值,则312处的回答为“否”,并且方法300前进至326。
在326处,方法300包括以静态模式操作超声扫描,其中由于探头和解剖结构中的一者或多者而引起的移动较少。以静态模式操作超声扫描可以包括在328处在扫描期间部署一个或多个期望的图像判读算法。图像判读协议可以包括基于人工智能的算法,包括用于图像判读、分析和评估的深度学习算法和机器学习算法。另外,可以部署能够在不采用深度学习模型的情况下实现的高级图像处理协议。在一个示例中,当部署基于深度神经网络的算法时,所获取的扫描图像可以被用作到神经网络模型的输入,并且可以获得对应的输出扫描图像并向用户显示。例如,如果部署基于深度神经网络的分割算法,则所获取的扫描图像可以用作到分割算法的输入,并且输出可以是所获取的图像的经分割的扫描图像,包括扫描图像中可见的各种内部解剖结构的分割。
此外,在330处,方法300包括在所获取的序列的连续帧之间继续湍流监测,同时部署一个或多个期望的图像判读协议。然后,方法300返回。
返回到312,如果湍流等于或大于第一较低阈值,则方法300前进至314。在314处,方法300包括确定湍流是否大于第二较高阈值。第二较高阈值可以大于第一较低阈值。此外,第二较高阈值可以是稳态扫描的极限的指示。例如,在扫描期间,由于稳定的内部生理过程而引起的移动可以被观察为稳定状态移动。当湍流量低于第二较高阈值时,与静态扫描相比相对较高的湍流可能是由于稳定的生理移动。稳态移动可以是周期性的。然而,当湍流量大于第二较高阈值时,扫描湍流可能是由于用户引起的粗略不规则的探头移动所致,并且图像质量可能较低。因此,参考帧与后续帧之间的结构相似性可能较低,并因此当湍流量较高时,性能度量可具有较低值。因此,如果湍流量大于第二较高阈值,则314处的回答为“是”,并且方法300前进至316。
在316处,方法300包括以第一湍流模式操作扫描,其中图像质量低,并且连续帧之间的湍流量大于第二较高阈值。当湍流量大于第二较高阈值时,部署图像判读协议可能导致难以标记、跟踪和内部结构的不太精确的分割。因此,以第一湍流模式操作扫描包括在318处,在不部署一个或多个期望的图像判读协议中的任何协议的情况下执行扫描。此外,以第一湍流模式操作扫描包括在320处向用户提供一个或多个警报。一个或多个警报可以包括在322处指示用户保持探头稳定的引导指示。在一个示例中,引导可以经由在通信地耦合到超声成像系统的用户界面处显示的视觉指示。在另一示例中,附加地或另选地,可提供可听警报。
此外,以第一湍流模式操作扫描包括在324处在不部署一个或多个期望的图像判读协议的情况下,在所获取的序列的连续帧之间继续湍流监测。在一个实施方案中,以第一湍流模式操作扫描可以包括在超声扫描期间不部署任何图像判读和分析算法(包括基于AI的和非基于AI的图像判读和分析算法)。在一些示例中,当湍流大于第二阈值时,可以部署医学图像质量改进算法诸如去噪、对比度增强等。然后,方法300返回。
这样,基于方法300的湍流监测算法通过仅当超声扫描的性能度量高时部署一个或多个图像判读和分析算法而充当用于一个或多个图像判读和分析算法的关守。即,当参考帧与一个或多个连续帧之间的结构相似度高并且湍流量低时,可以部署一个或多个图像判读和分析算法。
返回到314,如果湍流不大于第二阈值,则314处的回答为“否”,并且方法300前进至图3B处的332。在332处,方法300包括评估湍流速率是否大于阈值速率。湍流速率可以基于在持续时间内相对于参考帧的帧序列中的图像质量的变化率。即,湍流速率可以是在持续时间内扫描图像序列上的图像质量的变化频率。例如,在超声扫描期间,由于生理过程所导致的周期运动可能发生并且在扫描期间可能是可见的。当选择参考帧时,性能度量可以在每次扫描图像匹配参考帧时达到峰值。因此,对于帧序列,性能度量可表现出正弦型式,其中峰值与参考帧图像重合。因此,湍流速率可以基于在扫描期间的时间段内观察到的性能度量的振荡频率。在稳态条件期间,例如,在患者正常呼吸期间,湍流速率可以在阈值速率内,并因此可以在扫描期间部署基于AI的算法。然而,当呼吸快时,湍流速率可能大于阈值速率,这在部署基于AI的图像判读和分析算法时可能在标记、跟踪、分割和分类中的一者或多者中引起问题。因此,如果湍流速率等于或大于阈值速率,则332处的回答为“是”,方法300前进至340。在340处,方法300包括以第二湍流模式操作扫描。以第二湍流模式操作扫描包括在342处在不部署一个或多个期望的图像判读算法的情况下执行超声扫描。具体地,当湍流速率大于阈值时,可以不部署基于人工智能的算法。此外,如果当前部署一个或多个期望的图像判读算法,则可以停止当前部署的图像判读算法的实现,并且可以在不部署一个或多个期望的图像判读算法的情况下继续进行扫描。在一些实施方案中,如上所述,当湍流速率大于阈值速率时,可以部署医学图像质量改进算法,诸如去噪、对比度增强等。可以注意到,在扫描期间,当湍流量低于较低阈值时(即,当以步骤326中讨论的静态模式操作时),可以不监测湍流速率,并且可以部署一个或多个图像判读和分析算法而不管湍流速率如何。
此外,在344处,以第二湍流模式操作扫描包括向用户提供一个或多个警报,这可以包括在346处,引导患者屏住呼吸保持期望的持续时间。在一个示例中,引导可以经由在通信地耦接到超声成像系统的用户界面处显示的视觉指示、以及可听警报中的一者或多者。
此外,以第二湍流模式操作扫描包括在348处,在不部署一个或多个期望的图像判读协议的情况下,在所获取的序列的连续帧之间或在参考帧与如上所述的一个或多个连续帧中的每个连续帧之间继续湍流监测。然后,方法300返回。
返回到332,如果湍流速率不大于阈值速率,则观察到的较高湍流可能是由于内部解剖结构的稳态运动所致,并且332处的回答为“否”。然后,方法300前进至334。在334处,方法300包括以稳态模式操作扫描。以稳态模式操作扫描包括在336处在扫描期间部署一个或多个期望的图像判读协议。此外,在336处,方法300包括在所获取的序列的连续帧之间或者在参考帧与一个或多个连续帧中的每个连续帧之间继续湍流监测,同时部署一个或多个期望的图像判读协议。然后,方法300返回。
这样,可以监测超声扫描期间的湍流,以及仅当湍流在第二阈值量内并且湍流速率在阈值速率内时,可以部署用于图像判读和分析的一个或多个基于人工智能的算法。在一个实施方案中,部署用于图像判读和分析的一个或多个基于人工智能的算法可以包括使用超声扫描图像或图像序列作为到深度学习模型中的输入,该深度学习模型然后可以对输入图像执行分割、识别、跟踪、标记和分类中的一者或多者。通过仅当图像质量高(即,湍流小于阈值)时部署基于人工智能的算法,由算法执行的一个或多个任务(诸如分割、识别、跟踪、标记、分类等)可以具有更高的准确度和效率。此外,通过监测湍流,可以向用户提供引导以保持探头稳定或要求患者屏住呼吸,这改善了用户进行的扫描的性能。此外,通过监测湍流速率(即,在扫描图像序列上的图像质量的变化频率在阈值频率内)以及湍流量,可以确定湍流的原因(例如,由于患者的快速呼吸或由于用户的不稳定的探头移动),并且可以向用户提供适当的引导(例如,屏住呼吸相对于保持探头稳定)。在一个示例中,引导可以经由在通信地耦接到超声成像系统的用户界面处显示的视觉指示。在另一示例中,附加地或另选地,可提供可听警报。
在另一个实施方案中,湍流监测可以仅基于湍流的量。在此类实施方案中,当湍流量等于或大于第二较高阈值时,可以不部署一个或多个期望的图像判读算法,或者可以停止任何当前运行的算法,直至湍流量降低到低于第二较高阈值。虽然上述实施方案被描述为具有用于湍流监测的两个阈值,包括第一较低阈值和第二较高阈值,但是其中单个阈值用于湍流监测的实施方案也在本公开的范围内。
此外,如上所述,湍流量是基于图像质量度量,诸如SSIM、SSIM的变型、MSE、PSNR等。因此,在另一个实施方案中,在超声扫描期间,仅当两个连续扫描图像之间的图像质量大于阈值时,才可以部署一个或多个图像判读和分析算法。此外,在扫描期间可以继续监测图像质量,同时部署一个或多个图像判读和分析算法,并且当图像质量下降到阈值或降低到阈值以下时,可以停止一个或多个图像判读和分析算法的部署。在一个示例中,一个或多个图像判读和分析算法可以包括但不限于基于深度学习的算法,诸如深度神经网络实现的分割、跟踪、标记、识别和分类算法。
转到图4,示出了用于基于先前部署速率来评估一个或多个图像判读算法的部署的高级方法400的流程图。参照图1和图2的系统和部件描述了方法400,但是应当理解,方法400可在不脱离本公开的范围的情况下用其他系统和部件来实现。例如,方法400可作为可执行指令存储在非暂态存储器(诸如存储器120)中,并且可由超声成像系统100的处理器(诸如处理器116)执行,或可由以上所公开的系统中的一个或多个系统(诸如图像处理系统202)实现。在一些实施方案中,方法400可由医务人员(诸如医生)或操作者(诸如超声波检查医师)发起。
方法400在402处开始。步骤402至406类似于图3A处的步骤302至306,因此为了简洁起见将不再重复。简而言之,可以获取扫描序列,可以确定如上文关于方法300所讨论的湍流量、湍流速率和当前成像模式。
接下来,方法400前进至408。在408处,方法400包括确定是否期望或当前部署一个或多个图像期望的图像判读算法。如果不期望或当前不部署一个或多个图像判读算法,则在408处的回答为“否”,并且方法400前进至409。在409处,方法400可以在不部署一个或多个图像判读协议的情况下继续基于如上所述的结构相似性度量来监测湍流。方法400然后可以返回以继续获取扫描序列并且确定所获取的序列的湍流。
如果不期望或当前不部署一个或多个图像判读算法,则在408处的回答为“是”,并且方法400前进至410。在410处,方法400包括监测图像判读算法部署的速率(在本文中也被称为算法部署速率)。具体地,监测算法部署速率包括确定图像判读算法部署在扫描周期内被切换为开(ON)和关(OFF)的速率。可以基于当前扫描帧来选择用于监测算法部署速率的扫描周期。具体地,用于监测算法部署速率的扫描周期可以是当前扫描帧之前的持续时间,并且可以包括针对当前扫描帧的时间段。
例如,如上文关于图3所讨论的,在一个或多个湍流扫描条件期间,可以关闭一个或多个期望的图像判读算法,诸如基于AI的算法,所述一个或多个湍流扫描条件包括当湍流量等于或大于第二阈值(例如,由于用户的不稳定的探头移动所致)时和当湍流量等于或大于阈值速率(例如,由于患者的快速呼吸所致)时的扫描条件中的一个或多个。当湍流降低到第二阈值量以下并且湍流速率低于阈值时,可以开启一个或多个期望的图像判读算法。因此,在超声扫描期间,根据由用户和/或患者引起的湍流,基于AI的图像判读算法可以被不断地开启和关闭。因此,如果基于AI的算法部署被不断地开启和关闭,则图像判读算法部署的速率可以更高,反之亦然。
接下来,在确定算法部署速率时,方法400前进至412。在412处,方法400包括确定算法部署速率是否大于阈值。如果是,则基于AI的算法被不断地开启和关闭,这指示湍流扫描条件,这可能是由于由患者移动和探头移动中的一者或多者引起的低图像质量所致。在此类湍流扫描条件期间将基于AI的算法切换为开和关可降低超声扫描效率。因此,当算法部署速率大于阈值时,方法400前进至414。在414处,方法400包括以湍流警报模式操作扫描。例如,当图像质量不一致得高时,图像判读协议可以被重复地关闭和开启。因此,以湍流警报模式操作扫描包括在416处在不实现一个或多个期望的图像判读协议的情况下操作扫描。在一个实施方案中,当算法部署速率大于阈值部署速率时,即使在湍流量小于第二较高阈值或第一较低阈值时,也可以在不部署一个或多个图像判读算法的情况下执行超声扫描。因此,图像判读算法的部署可以被延迟,直至部署速率(在扫描周期期间图像判读算法被开启和关闭的次数)降低到阈值以下。
此外,以湍流警报模式扫描包括在418处向用户提供一个或多个警报,这可以包括在420处引导用户保持探头稳定。此外,在422处,可以提供检测到频繁湍流的指示。
在一些实施方案中,可以部署可用于改善对用户的引导但不需要更高质量的图像序列的某些图像判读协议。例如,可以提供当前扫描平面相对于整个人体解剖结构的高级指示。
接下来,方法400前进至424。在424处,方法400包括在不部署一个或多个期望的图像判读协议的情况下在所获取的序列的连续帧之间继续湍流监测。接下来,在426处,方法400包括当部署速率降低到阈值以下时部署一个或多个图像判读协议。然后,方法400返回。
返回到412,如果部署速率不大于阈值部署速率,则方法400前进至428。在428处,方法400包括以静态模式操作扫描,其中由于探头移动和患者移动中的一者或多者引起的湍流较少。因此,以静态模式操作扫描包括在430处执行扫描,同时部署一个或多个期望的图像判读协议。如本文所述,图像判读协议可以包括基于深度学习模型实现的基于人工智能的协议和可在不采用深度学习模型的情况下实现的图像处理协议。此外,以静态模式操作扫描包括在432处在所获取序列的连续帧之间继续湍流监测,同时部署一个或多个期望的图像判读协议。然后,方法400返回。
这样,通过监测基于AI的算法部署速率,可以提高超声扫描的效率。此外,在一些实施方案中,当算法部署速率高(大于阈值部署速率)时,可以使用非基于AI的算法来向用户提供引导。
在一个实施方案中,在对患者成像之前,可以在超声扫描开始时执行用户校准,以确定可能由于用户的不稳定的探头移动而引入的预期湍流量。例如,对于新手用户,与有经验的用户相比,用户校准可以指示由探头移动引起的更大的预期湍流量。可以对体模执行用户校准,并且可以基于在连续帧之间或者在参考帧与一个或多个连续帧之间计算的所选择的性能度量来确定预期湍流量。性能度量可以与用于在患者的超声扫描期间确定湍流量的性能度量一致。基于预期湍流量,可以设置在对患者的实际超声扫描期间用于AI算法部署的一个或多个阈值。例如,对于新手用户,预期湍流量可以更高,并且因此,第二较高阈值可以被降低,以便确保改进的超声扫描质量。此外,用户校准还可以基于预期湍流量来提供用户是新手用户的指示。因此,当不允许部署基于AI的图像判读协议时,可在扫描条件期间部署可用于改进对用户的引导但不需要更高质量的图像序列的某些图像判读协议。
对于有经验的用户,探头移动可能更稳定。因此,预期湍流量可以更低,并且因此,在扫描期间,可以预期湍流量在第二较高阈值内。因此,可以增加第二较高阈值和第一较低阈值,使得基于AI的图像判读算法保持被部署而没有太多中断,以进一步提高有经验的用户的超声扫描效率。
转到图5,示出了包括基于湍流量来部署一个或多个图像判读协议的时间段的示例性超声扫描序列。具体地,示出了基于湍流和湍流频率的用于图像判读和分析的一个或多个人工智能协议的部署,诸如基于深度学习的分割、标记、识别、分类、生物计量和异常跟踪。图5中所示的一个或多个图像判读协议的部署可以根据图3A和图3B中讨论的方法300利用图1至图2中讨论的超声系统来执行。垂直标记t1至t5表示在扫描序列期间的感兴趣的时间。
图5图示了在曲线502处的例如在超声监测系统的用户界面处和/或经由可听警报的用户和/或患者警报指示的示例状态;在曲线504处的基于归一化结构相似性度量的振荡频率的湍流频率;在505处的阈值湍流频率;在曲线506处的湍流量;第一较低阈值509;第二较高阈值507;在曲线510处的归一化相似性度量;以及在曲线512处的基于AI的算法部署的状态。
从图5的顶部起的第一曲线是用户和/或患者警报状态对时间的曲线。Y轴表示警报的开/关状态。
从图5的顶部起的第二曲线是湍流频率对时间的曲线。Y轴表示湍流频率,并且频率在Y轴箭头的方向上增加。
从图5的顶部起的第三曲线是湍流量对时间的曲线。Y轴表示湍流量,并且湍流量在Y轴箭头方向上增加。
从图5的顶部起的第四曲线是归一化的结构相似性度量对时间的曲线。Y轴表示归一化的结构相似性度量,并且结构相似性度量的归一化值在Y轴箭头的方向上从零增加到一。
从图5的顶部起的第五曲线是基于AI的算法部署状态对时间的曲线。Y轴表示算法部署状态的开/关状态。
在t0处,结构相似性度量可以具有高值(曲线510),指示两个连续图像帧之间或参考帧与参考帧之后的一个或多个连续帧中的每个连续帧之间的高结构相似性。因此,湍流量(曲线506)低于第一较低阈值509。响应于在t0处湍流量低于第一较低阈值,一个或多个基于AI的算法可在t0之后不久部署。在AI算法部署之后,可以继续监测湍流量。在AI算法部署的时间(t0之后)和t1之间,由于减少了探头移动并且减少了受检查的解剖结构的周期运动,图像质量可以是高的。因此,结构相似性度量可以保持高(曲线510),并且湍流量(曲线506)可以低于第一较低阈值509。因此,用于图像判读和分析的一个或多个人工智能协议可以保持被部署。
在t1和t2之间,可以在扫描期间观察到诸如由于呼吸引起的周期运动(例如,由于对诸如肺的解剖结构的检查,其结构基于所执行的生理功能诸如呼吸而经历变化)。即使在稳态条件下,周期运动也可能显示图像质量的降低,特别是当参考图像和比较的连续图像没有显示高的结构相似性时。然而,在周期运动期间,当参考帧与连续图像帧匹配时,经归一化的结构相似性度量的值达到峰值,并且因此,周期运动可以由处理器通过在扫描期间监测结构相似性度量中的周期性波峰和波谷来确定。在t1和t2之间,周期运动可以处于稳定状态,并且因此周期运动的频率(湍流频率)基于归一化结构相似性的正弦波型式的频率(曲线510)来确定。由于周期运动处于稳定状态,所以湍流频率(504)可低于阈值频率505。因此,即使当湍流量(曲线506)增加到高于第一较低阈值509时,扫描也在稳定状态(如由归一化结构相似性度量的低频振荡所确定的)和湍流量低于第二较高阈值507时执行。因此,AI算法可继续被部署(曲线512)。此外,在t0和t1之间,响应于高图像质量和稳态扫描,可以不提供一个或多个可听和可视警报。
在t2和t3之间,可能发生快速呼吸。因此,即使当湍流量(曲线506)保持在第二较高阈值507以下时,湍流频率(曲线504)也可增加到阈值505以上。响应于阈值速率大于阈值,可以终止用于图像判读和分析的一个或多个人工智能协议的部署(曲线512),直至图像质量改善。此外,可向用户提供指示以请求患者屏住呼吸或维持稳定呼吸。t3和t4之间的时间段可以类似于t1和t2,在此期间快速周期运动已经消退并且实现更稳定的运动。因此,可以再次部署用于图像判读和分析的一个或多个人工智能协议。
在t4和t5之间,图像质量可能例如由于不适当的探头定位和/或移动而劣化。因此,湍流量(曲线506)高于第二较高阈值507。响应于湍流增大到第二阈值507以上,可以终止用于图像判读和分析的一个或多个人工智能协议的部署(曲线512)。此外,可以向用户提供调整探头位置和/或移动的指示(曲线502)。当湍流减少(在t5处和在扫描期间t5之后的某个持续时间)并且图像质量提高时,可以恢复用于图像判读和分析的一个或多个人工智能协议的部署。
这样,可以基于通过在超声扫描期间使用结构相似性度量实时监测图像质量来确定一个或多个基于AI的算法的部署。因此,湍流和/或图像质量监测充当用于一个或多个图像判读算法的关守,所述图像判读算法仅在图像质量大于阈值时以及在时间湍流低于阈值湍流时部署它们,并且还向用户提供关于湍流的存在和用于减少湍流的潜在解决方案的一个或多个警报。
使用湍流监测方法的技术效果是提高了置信度并减小了基于人工智能的图像判读算法中的误差,所述基于人工智能的图像判读算法包括基于人工智能的分割、标记、识别、生物计量和分类算法。仅当由解剖运动和探头运动中的一者或多者引入的高频变化消退时部署基于人工智能的算法的另一技术效果是增加了基于人工智能的算法的可靠性。控制基于人工智能的算法的部署的另一技术效果是改进了图像上覆盖的解剖结构标记。基于湍流监测部署基于人工智能的算法的另一技术效果是总体提高超声扫描的效率,并且在条件不利于AI部署时减少非暂态存储器资源的消耗。此外,基于湍流监测提供的一个或多个警报和引导另外增加了超声扫描的效率和质量。
一个用于医学成像处理器的方法的实施方案包括在超声扫描期间评估两个扫描图像之间的图像质量,以及仅当所述图像质量高于阈值时部署一个或多个图像判读算法。所述方法的第一实施例包括:在所述超声扫描期间在部署所述一个或多个图像判读算法的情况下,当所述图像质量低于所述阈值时,停止所述一个或多个图像判读算法的部署并经由用户界面提供一个或多个警报。在所述方法的第二实施例中,所述方法可选地包括第一实施例,并且还包括:其中所述一个或多个警报包括在所述扫描期间湍流的第一指示,以及第二指示,所述第二指示包括提供关于下列中的一项或多项的指令:用户保持超声探头稳定以及患者屏住呼吸。在所述方法的第三实施例中,所述方法可选地包括第一实施例和第二实施例中的一个或两个,所述方法还包括:其中评估所述图像质量包括确定所述两个扫描图像之间的结构相似性度量。在所述方法的第四实施例中,所述方法可选地包括第一实施例至第三实施例中的一个或多个或每个,所述方法还包括:其中所述结构相似性度量是结构相似性指数度量(SSIM)、均方误差(MSE)、峰值信噪比(PSNR)、外观等效数(ENL)和边缘保持指数(EPI)、多尺度SSIM、复小波SSIM和三分量SSIM中的任何一个。在所述方法的第五实施例中,所述方法可选地包括第一实施例至第四实施例中的一个或多个或每个,所述方法还包括:其中评估所述图像质量包括确定所述两个图像中的每个图像中的所选择的感兴趣区域之间的结构相似性度量。在所述方法的第六实施例中,所述方法可选地包括第一实施例至第五实施例中的一个或多个或每个,所述方法包括:其中所述一个或多个图像判读算法包括一个或多个基于人工智能的算法;并且其中所述一个或多个基于人工智能的算法包括用于图像分割、跟踪和生物计量中的一者或多者的基于深度神经网络的算法。在所述方法的第七实施例中,所述方法可选地包括第一实施例至第六实施例中的一个或多个或每个,所述方法还包括:在所述超声扫描期间,当所述图像质量低于所述阈值时,如果所述图像质量在扫描图像序列上的变化频率在阈值频率内,则部署所述一个或多个图像判读算法。
一个实施方案涉及一种用于医学成像处理器的方法,包括:在用超声探头进行扫描期间,监测第一扫描图像与第二扫描图像之间的湍流量;响应于所述湍流量低于较高阈值,部署一个或多个图像判读算法;以及响应于所述湍流量高于较高阈值,停止一个或多个图像判读算法的部署并经由用户界面提供警报。所述方法的第一实施例包括:其中所述湍流量基于所述第一图像与所述第二图像之间的结构相似性的量;并且其中所述湍流量随着所述结构相似性的降低而增加。在所述方法的第二实施例中,所述方法可选地包括第一实施例,并且还包括:其中基于结构相似性度量来确定所述结构相似性的量;并且其中所述结构相似性度量是结构相似性指数度量(SSIM)、均方误差(MSE)、峰值信噪比(PSNR)、外观等效数(ENL)和边缘保持指数(EPI)、多尺度SSIM、复小波SSIM和三分量SSIM中的任何一个。在所述方法的第三实施例中,所述方法可选地包括第一实施例和第二实施例中的一个或两个,所述方法还包括:其中所述一个或多个警报包括指示操作所述超声探头的用户保持所述探头稳定的引导。在所述方法的第四实施例中,所述方法可选地包括第一实施例至第三实施例中的一个或多个或每个,所述方法还包括:其中所述一个或多个图像判读算法包括一个或多个基于人工智能的算法;并且其中所述一个或多个基于人工智能的算法包括用于图像分割、跟踪和生物计量中的一者或多者的基于深度神经网络的算法。在所述方法的第五实施例中,所述方法可选地包括第一实施例至第四实施例中的一个或多个或每个,所述方法还包括:在用超声探头进行扫描期间,监测第一扫描图像与第二扫描图像之间的湍流量;响应于所述湍流量低于较高阈值,部署一个或多个图像判读算法;以及响应于所述湍流量等于或高于较高阈值,停止一个或多个图像判读算法的部署并经由用户界面提供警报。在所述方法的第六实施例中,所述方法可选地包括第一实施例至第五实施例中的一个或多个或每个,所述方法包括:其中基于多个扫描图像的序列相对于参考扫描图像的结构相似性度量来确定所述扫描持续时间内的所述湍流频率。在所述方法的第七实施例中,所述方法可选地包括第一实施例至第六实施例中的一个或多个或每个,所述方法还包括:当所述湍流频率大于所述阈值频率时提供不同的警报;并且其中所述不同的警报包括指示受检查的患者屏住呼吸的第二引导。
提供了一个用于医学成像系统中的湍流监测的实施方案。成像系统包括:超声探头;用户界面,所述用户界面包括显示部分;以及处理器,所述处理器被配置有在非暂态存储器中的指令,所述指令在被执行时使处理器:获取基于来自超声探头的扫描数据而生成的超声扫描图像序列;监测来自所述超声扫描图像序列的至少两个连续扫描图像之间的湍流量;以及响应于湍流量小于阈值量,部署一个或多个图像判读算法。在所述系统的第一实施例中,所述处理器还被配置有在非暂态存储器中的指令,所述指令用于:响应于所述湍流量等于或高于所述阈值量,在不部署一个或多个图像判读算法的情况下继续获取扫描图像,并经由用户界面提供一个或多个警报;并且其中所述一个或多个警报包括湍流扫描的指示以及指示保持探头稳定以及屏住呼吸达短的持续时间的一个或多个指令。在所述成像系统的第二实施例中,所述成像系统可选地包括第一实施例,基于图像质量度量来确定湍流量;并且其中所述图像质量度量是结构相似性指数度量(SSIM)、均方误差(MSE)、峰值信噪比(PSNR)、外观等效数(ENL)和边缘保持指数(EPI)、多尺度SSIM、复小波SSIM和三分量SSIM中的任何一个。在所述成像系统的第三实施例中,所述成像系统可选地包括第一实施例和第二实施例中的一个或两个,所述一个或多个图像判读算法包括一个或多个基于人工智能的算法;并且其中所述一个或多个基于人工智能的算法包括用于图像分割、跟踪和生物计量中的一者或多者的基于深度神经网络的算法。
以上描述本公开的一个或多个具体实施方案以提供透彻的理解。这些所描述的实施方案仅仅是用于通过使用实现多个神经网络模型的深度学习模型来评估至少两个解剖结构之间的结构相似性的系统和方法的示例。本领域技术人员将理解,在不脱离本公开的实质的情况下,可以在实施时修改实施方案中描述的具体细节。
当介绍本公开的各种实施方案的元件时,词语“一个”、“一种”和“该”旨在意指存在这些元件中的一个或多个元件。术语“第一”、“第二”等不表示任何顺序、量或重要性,而是用于将一个元件与另一个元件区分开。术语“包含”、“包括”和“具有”旨在是包含性的,并且意指除了列出的元件之外还可存在附加元件。如本文使用术语“连接到”、“耦接到”等,一个对象(例如,材料、元件、结构、构件等)可以连接到或耦接到另一个对象,而无论该一个对象是否直接连接或耦接到另一个对象,或者在该一个对象和另一个对象之间是否存在一个或多个介入对象。此外,应当理解,对本公开的“一个实施方案”或“实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。
除了任何先前指示的修改之外,本领域技术人员可以在不脱离本具体实施方式的的实质和范围的情况下设计出许多其他变型和替换布置,并且所附权利要求书旨在覆盖此类修改和布置。因此,尽管上面已经结合当前被认为是最实际和最优选的方面对信息进行了具体和详细的描述,但对于本领域的普通技术人员将显而易见的是,在不脱离本文阐述的原理和概念的情况下,可以进行许多修改,包括但不限于形式、功能、操作方式和使用。同样,如本文所使用的,在所有方面,实施例和实施方案仅意图是说明性的,并且不应以任何方式解释为限制性的。

Claims (13)

1.一种用于医学成像处理器的方法,所述方法包括:
在超声扫描期间评估两个扫描图像之间的图像质量以评估所述两个扫描图像之间的湍流,其中评估所述图像质量包括确定所述两个扫描图像之间的结构相似性度量或者确定所述两个图像中的每个图像中的所选择的感兴趣区域之间的结构相似性度量,并且其中所述湍流随着结构相似性的降低而增加;以及仅当所述图像质量高于阈值时部署一个或多个图像判读算法;
在所述超声扫描期间在部署所述一个或多个图像判读算法的情况下,当所述图像质量低于所述阈值时,停止所述一个或多个图像判读算法的部署并经由用户界面提供一个或多个警报,其中所述一个或多个警报包括第一指示,所述第一指示提供在所述扫描期间的湍流的指示,以及第二指示,所述第二指示包括提供关于下列中的一项或多项的指令:用户保持超声探头稳定以及患者屏住呼吸。
2.根据权利要求1所述的方法,其中所述结构相似性度量是结构相似性指数度量SSIM、均方误差MSE、峰值信噪比PSNR、外观等效数ENL和边缘保持指数EPI、多尺度SSIM、复小波SSIM和三分量SSIM中的任何一个。
3.根据权利要求1所述的方法,其中所述一个或多个图像判读算法包括一个或多个基于人工智能的算法;并且其中所述一个或多个基于人工智能的算法包括用于图像分割、跟踪和生物计量中的一者或多者的基于深度神经网络的算法。
4.根据权利要求1所述的方法,还包括:
在所述超声扫描期间,当所述图像质量低于所述阈值时,如果所述图像质量在扫描图像序列上的变化频率在阈值频率内,则部署所述一个或多个图像判读算法。
5.一种用于医学成像处理器的方法,所述方法包括:
在用超声探头进行扫描期间,
监测第一扫描图像与第二扫描图像之间的湍流量,其中所述湍流量基于所述第一扫描图像与所述第二扫描图像之间的结构相似性的量;并且其中所述湍流量随着所述结构相似性的降低而增加;
响应于所述湍流量低于第一阈值,部署一个或多个图像判读算法;以及
响应于所述湍流量高于所述第一阈值,停止所述一个或多个图像判读算法的部署并经由用户界面提供警报;
所述方法还包括:
在用所述超声探头进行扫描期间,
响应于所述湍流量高于第二阈值且低于所述第一阈值,
确定扫描持续时间内的湍流频率,并且当所述湍流频率大于阈值频率时停止所述一个或多个图像判读算法的部署,其中所述第一阈值大于所述第二阈值;以及
响应于所述湍流量低于所述第二阈值,部署所述一个或多个图像判读算法。
6.根据权利要求5所述的方法,其中基于结构相似性度量来确定所述结构相似性的量;并且其中所述结构相似性度量是结构相似性指数度量SSIM、均方误差MSE、峰值信噪比PSNR、外观等效数ENL和边缘保持指数EPI、多尺度SSIM、复小波SSIM和三分量SSIM中的任何一个。
7.根据权利要求5所述的方法,其中所述一个或多个警报包括指示操作所述超声探头的用户保持所述探头稳定的引导。
8.根据权利要求5所述的方法,其中所述一个或多个图像判读算法包括一个或多个基于人工智能的算法;并且其中所述一个或多个基于人工智能的算法包括用于图像分割、跟踪和生物计量中的一者或多者的基于深度神经网络的算法。
9.根据权利要求5所述的方法,其中基于多个扫描图像的序列相对于参考扫描图像的结构相似性度量来确定所述扫描持续时间内的所述湍流频率。
10.根据权利要求5所述的方法,还包括当所述湍流频率大于所述阈值频率时提供不同的警报;并且其中所述不同的警报包括指示受检查的患者屏住呼吸的第二引导。
11.一种成像系统,所述成像系统包括:
超声探头;
用户界面,所述用户界面包括显示部分;以及
处理器,所述处理器被配置有在非暂态存储器中的指令,所述指令在被执行时使所述处理器:
获取基于来自所述超声探头的扫描数据而生成的超声扫描图像序列;
监测来自所述超声扫描图像序列的至少两个连续扫描图像之间的湍流量,其中所述湍流量基于所述至少两个连续扫描图像之间的结构相似性的量;并且其中所述湍流量随着所述结构相似性的降低而增加;以及
响应于所述湍流量小于阈值量,部署一个或多个图像判读算法;
所述指令还用于:
响应于所述湍流量等于或高于所述阈值量,在不部署一个或多个图像判读算法的情况下继续获取扫描图像,并经由用户界面提供一个或多个警报;并且其中所述一个或多个警报包括湍流扫描的指示以及指示保持探头稳定以及屏住呼吸达期望持续时间的一个或多个指令。
12.根据权利要求11所述的系统,其中基于结构相似性度量来确定所述结构相似性的量;并且其中所述结构相似性度量是结构相似性指数度量SSIM、均方误差MSE、峰值信噪比PSNR、外观等效数ENL和边缘保持指数EPI、多尺度SSIM、复小波SSIM和三分量SSIM中的任何一个。
13.根据权利要求11所述的系统,其中所述一个或多个图像判读算法包括一个或多个基于人工智能的算法;并且其中所述一个或多个基于人工智能的算法包括用于图像分割、跟踪和生物计量中的一者或多者的基于深度神经网络的算法。
CN202011130969.2A 2019-11-18 2020-10-21 用于启用湍流感知的超声扫描的方法和系统 Active CN112807016B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/687,392 US11419585B2 (en) 2019-11-18 2019-11-18 Methods and systems for turbulence awareness enabled ultrasound scanning
US16/687,392 2019-11-18

Publications (2)

Publication Number Publication Date
CN112807016A CN112807016A (zh) 2021-05-18
CN112807016B true CN112807016B (zh) 2024-09-17

Family

ID=75853999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011130969.2A Active CN112807016B (zh) 2019-11-18 2020-10-21 用于启用湍流感知的超声扫描的方法和系统

Country Status (2)

Country Link
US (1) US11419585B2 (zh)
CN (1) CN112807016B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11922621B2 (en) * 2021-04-26 2024-03-05 Biosense Webster (Israel) Ltd. Automatic frame selection for 3D model construction

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109982656A (zh) * 2016-06-30 2019-07-05 皇家飞利浦有限公司 采用光学位置感测的医学导航系统及其操作方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3688265B2 (ja) * 2002-12-09 2005-08-24 川崎重工業株式会社 超音波探傷装置
US7974682B2 (en) * 2006-11-22 2011-07-05 Marcela Gonzalez Molezzi System and method to adaptively control contrast-enhanced diagnostic imaging procedure
CN102551791B (zh) * 2010-12-17 2016-04-27 深圳迈瑞生物医疗电子股份有限公司 一种超声成像方法和装置
US8507869B2 (en) * 2011-10-27 2013-08-13 General Electric Company Methods and systems for adaptive tomographic imaging
US9420997B2 (en) * 2012-06-14 2016-08-23 Siemens Medical Solutions Usa, Inc. Motion artifact suppression in ultrasound diagnostic imaging
CN105491957B (zh) * 2013-07-24 2019-03-12 皇家飞利浦有限公司 用于对颈动脉狭窄进行分类的非成像二维阵列探头和系统
US11109842B2 (en) * 2014-12-10 2021-09-07 General Electric Company Method and system for enhanced visualization of individual images in a real-time scan
KR101779018B1 (ko) * 2015-11-11 2017-09-26 (주)비스토스 초음파 도플러 태아감시 장치의 심박 검출 신호처리 방법
US20170164924A1 (en) * 2015-12-15 2017-06-15 Konica Minolta, Inc. Ultrasound image diagnostic apparatus
US10291910B2 (en) * 2016-02-12 2019-05-14 Gopro, Inc. Systems and methods for spatially adaptive video encoding
US20180049720A1 (en) * 2016-08-17 2018-02-22 Carestream Health, Inc. Ultrasound beamforming system and method
US10578480B2 (en) * 2017-04-25 2020-03-03 California Institute Of Technology Multi-probe system for measuring height of fluid in pipes with steady-state and turbulent flow conditions
US11030485B2 (en) * 2018-03-30 2021-06-08 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for feature transformation, correction and regeneration for robust sensing, transmission, computer vision, recognition and classification

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109982656A (zh) * 2016-06-30 2019-07-05 皇家飞利浦有限公司 采用光学位置感测的医学导航系统及其操作方法

Also Published As

Publication number Publication date
CN112807016A (zh) 2021-05-18
US11419585B2 (en) 2022-08-23
US20210145411A1 (en) 2021-05-20

Similar Documents

Publication Publication Date Title
US11488298B2 (en) System and methods for ultrasound image quality determination
CN112603361B (zh) 用于在超声图像中跟踪解剖特征的系统和方法
CN112890854B (zh) 用于顺序扫描参数选择的系统和方法
US11593933B2 (en) Systems and methods for ultrasound image quality determination
CN111683600B (zh) 用于根据超声图像获得解剖测量的设备和方法
US11712224B2 (en) Method and systems for context awareness enabled ultrasound scanning
CN112890853A (zh) 用于联合扫描参数选择的系统和方法
US11903760B2 (en) Systems and methods for scan plane prediction in ultrasound images
CN112807016B (zh) 用于启用湍流感知的超声扫描的方法和系统
US11506771B2 (en) System and methods for flash suppression in ultrasound imaging
CN109640831A (zh) 超声诊断装置
CN116258736A (zh) 用于分割图像的系统和方法
US20220296219A1 (en) System and methods for adaptive guidance for medical imaging
US11890142B2 (en) System and methods for automatic lesion characterization
CN114521912B (zh) 用于增强胸膜线的可视化的方法和系统
US12004900B2 (en) System and methods for a measurement tool for medical imaging
US20210228187A1 (en) System and methods for contrast-enhanced ultrasound imaging
US11810294B2 (en) Ultrasound imaging system and method for detecting acoustic shadowing
EP4108178A1 (en) Generation of m-mode data for detecting fetal cardiac activity
US11803967B2 (en) Methods and systems for bicuspid valve detection with generative modeling
US20230267618A1 (en) Systems and methods for automated ultrasound examination
US20240285256A1 (en) Ultrasound imaging system and method for segmenting an object from a volumetric ultrasound dataset
WO2022268844A1 (en) Generation of m-mode data for detecting fetal cardiac activity

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant