CN113454484A - 具有基于深度学习的波束形成的超声成像和相关联的设备、系统及方法 - Google Patents

具有基于深度学习的波束形成的超声成像和相关联的设备、系统及方法 Download PDF

Info

Publication number
CN113454484A
CN113454484A CN202080015904.5A CN202080015904A CN113454484A CN 113454484 A CN113454484 A CN 113454484A CN 202080015904 A CN202080015904 A CN 202080015904A CN 113454484 A CN113454484 A CN 113454484A
Authority
CN
China
Prior art keywords
ultrasound
data
beamforming
channel data
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080015904.5A
Other languages
English (en)
Inventor
F·G·G·M·维尼翁
M·U·加尼
J·S·沈
F·C·梅拉尔
黄圣文
J-L·F-M·罗伯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN113454484A publication Critical patent/CN113454484A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8909—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration
    • G01S15/8915—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration using a transducer array
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52023—Details of receivers
    • G01S7/52025—Details of receivers for pulse systems
    • G01S7/52026—Extracting wanted echo signals
    • G01S7/52028—Extracting wanted echo signals using digital techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52046—Techniques for image enhancement involving transmitter or receiver
    • G01S7/52047—Techniques for image enhancement involving transmitter or receiver for elimination of side lobes or of grating lobes; for increasing resolving power
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/18—Methods or devices for transmitting, conducting or directing sound
    • G10K11/26—Sound-focusing or directing, e.g. scanning
    • G10K11/34—Sound-focusing or directing, e.g. scanning using electrical steering of transducer arrays, e.g. beam steering
    • G10K11/341—Circuits therefor
    • G10K11/346—Circuits therefor using phase variation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

提供了超声图像设备、系统和方法。一种超声成像系统，包括被配置为将超声能量发送到解剖结构中并且接收与所述解剖结构相关联的超声回波的声学元件的阵列以及处理器电路，所述处理器电路与声学元件的阵列通信并且被配置为：从所述阵列接收对应于接收到的超声回波的超声信道数据；通过将第一缩放函数应用到所述超声信道数据将所述超声信道数据规范化；通过将预测网络应用到规范化超声信道数据来生成波束形成数据；通过将第二缩放函数应用到所述波束形成数据将所述波束形成数据去规范化；根据所述波束形成数据来生成所述解剖结构的图像；并且将所述解剖结构的图像输出到与所述处理器电路通信的显示器。

Description

具有基于深度学习的波束形成的超声成像和相关联的设备、 系统及方法
技术领域
本公开总体上涉及超声成像，并且具体而言，涉及使用用于波束形成的预测模型根据超声回波信道响应重建超声图像。
背景技术
超声成像系统广泛用于医学成像。常规医学超声系统可以包括超声换能器探头，其耦合到处理系统和一个或多个显示设备。超声换能器探头可以包括声学元件的阵列，其将声波发送到对象(例如，患者的身体)中并且记录从对象反射的声波。声波的发送和/或反射声波或者回波响应的接收可以通过相同超声换能器元件集合或者不同声学元件集合执行。处理系统根据由声学元件接收的回波响应重建或者创建对象的图像。对于常规超声成像，处理系统可以通过对接收到的回波响应信号进行延迟和求和来执行波束形成，以实现沿着成像深度的接收聚焦。处理系统可以通过应用信号处理和/或图像处理技术根据波束形成信号重建图像。
常常存在常规超声成像中的分辨率、对比度、穿透深度、信噪比(SNR)和/或采集速度和/或帧速率之间的折中。例如，常规超声成像中的图像质量或分辨率由衍射限制。减少衍射的效应的一种方法是采用具有较大孔径大小的换能器。在另一范例中，超声成像系统可以利用未聚焦超声波束或发散波以利用单个发送照射感兴趣区域(ROI)的较大部分以便减少图像采集时间。然而，从有限数目的发散波获得的图像可以具有比从聚焦成像获得的图像更低的图像质量。因此，常规超声成像系统中的超声成像质量能够由系统和/或采集过程的能力(例如，换能器孔径大小)限制。
发明内容
尽管现有超声成像已经证明对临床指导和诊断有用，但是仍然存在对于用于提供高质量超声图像的经改进的系统和技术的需要。本公开的实施例提供了一种将超声回波信道信号映射到波束形成信号而不是执行常规基于延迟相加(DAS)的波束形成的深度学习框架。例如，包括换能器阵列的成像探头可以被用于超声成像。所述换能器阵列可以包括声学元件的阵列，其将超声脉冲发射到对象(例如，患者的解剖结构)中并且接收对应于从所述对象反射的超声波的超声信道信号。预测网络(例如，卷积神经网络(CNN))可以被训练以在逐像素基础上将每信道超声回波信道信号映射到波束形成信号。在范例中，每信道超声回波信道信号在应用所述预测网络之前时间对准并且规范化。因此，所述预测网络被训练以学习波束形成而不是幅度映射和/或时间延迟映射。例如，特定孔径大小的换能器阵列和/或具有特定数目的发送激发的采集可以使用基于DAS的波束形成提供特定图像质量。在实施例中，所述预测网络可以被训练以提供具有比使用中的实际换能器孔径大小可以提供的更高的图像质量或分辨率的波束形成信号。在实施例中，所述预测网络可以被训练以提供具有比采集中使用的实际数目的发送激发可以提供的更高的图像质量或分辨率的波束形成信号。所述预测网络可以使用模拟数据、从实验测试设置中的体模采集的数据和/或从临床设置中的患者采集的数据的组合来训练。所公开的实施例适于在二维(2D)成像、三维(3D)体积成像、聚焦成像和/或未聚焦成像中使用。
在一个实施例中，一种超声成像系统，包括：声学元件的阵列，其被配置为将超声能量发送到解剖结构中并且接收与所述解剖结构相关联的超声回波；以及处理器电路，其与所述声学元件的阵列通信并且被配置为：从所述阵列接收对应于接收到的超声回波的超声信道数据；通过基于所述超声信道数据的信号水平将第一缩放函数应用到所述超声信道数据将所述超声信道数据规范化；通过将预测网络应用到规范化超声信道数据来生成波束形成数据；通过基于所述超声信道数据的所述信号水平将第二缩放函数应用到所述波束形成数据将所述波束形成数据去规范化；根据所述波束形成数据来生成所述解剖结构的图像；并且将所述解剖结构的所述图像输出到与所述处理器电路通信的显示器。
在一些实施例中，其中，所述处理器电路还被配置为基于成像深度将时间延迟应用到所述规范化超声信道数据。在一些实施例中，其中，所述超声信道数据包括针对多个信道的多个样本，其中，所述波束形成数据包括多个输出值，其中，所述处理器电路还被配置为基于成像深度来选择所述多个样本的子集，其中，所述处理器电路将所述超声信道数据规范化包括基于所述多个样本的所述子集的第二信号水平来缩放所述多个样本的所述子集的第一样本的第一信号水平以产生所述规范化超声信道数据的子集，并且其中，所述处理器电路生成所述波束形成数据包括将所述预测网络应用到所述规范化超声信道数据的所述子集以产生所述波束形成数据中的所述多个输出值中的第一输出值。在一些实施例中，其中，所述第一样本和所述第一输出值对应于所述图像中的相同像素位置。在一些实施例中，其中，所述处理器电路将所述超声信道数据规范化包括基于所述多个样本的所述子集的均方根(RMS)值来缩放所述第一样本的所述第一信号水平。在一些实施例中，其中，所述声学元件的阵列包括第一孔径大小，并且其中，所述波束形成数据与大于所述第一孔径大小的第二孔径大小相关联。在一些实施例中，所述预测网络是通过以下操作来训练的：提供基于所述第一孔径大小生成的测试超声信道数据和基于所述第二孔径大小生成的第一目标波束形成数据；并且训练所述预测网络以根据所述测试超声信道数据来产生所述第一目标波束形成数据。在一些实施例中，其中，所述预测网络是通过以下操作来训练的：提供基于所述第一孔径大小生成的第二目标波束形成数据；并且在训练所述预测网络以产生所述第一目标波束形成数据之前训练所述预测网络以根据所述测试超声信道数据来产生所述第二目标波束形成数据。在一些实施例中，其中，所述超声信道数据是根据第一数量的超声发送触发事件来生成的，并且其中，所述波束形成数据与大于所述第一数量的超声发送触发事件的第二数量的超声发送触发事件相关联。在一些实施例中，其中，所述预测网络是通过以下操作来训练的：提供基于所述第一数量的超声发送触发事件生成的测试超声信道数据和基于所述第二数量的超声发送触发事件生成的第一目标波束形成数据；并且训练所述预测网络以根据所述测试超声信道数据来产生所述第一目标波束形成数据。在一些实施例中，其中，所述预测网络是通过以下操作来训练的：提供基于所述第一数量的超声发送触发事件生成的第二目标波束形成数据；并且在训练所述预测网络以产生所述第一目标波束形成数据之前训练所述预测网络以根据所述测试超声信道数据来产生所述第二目标波束形成数据。在一些实施例中，其中，所述超声信道数据与第一信噪比(SNR)相关联，并且其中，所述波束形成数据与大于所述第一SNR的第二SNR相关联。在一些实施例中，其中，所述声学元件的阵列包括声学元件的一维阵列。在一些实施例中，其中，所述声学元件的阵列包括声学元件的二维阵列。
在一个实施例中，一种超声成像的方法，包括：在与声学元件的阵列通信的处理器电路处接收对应于与解剖结构相关联的超声回波的超声信道数据；通过基于所述超声信道数据的信号水平将第一缩放函数应用到所述超声信道数据将所述超声信道数据规范化；通过将预测网络应用到规范化超声信道数据来生成波束形成数据；通过基于所述超声信道数据的所述信号水平将第二缩放函数应用到所述波束形成数据将所述波束形成数据去规范化；根据所述波束形成数据来生成所述解剖结构的图像；并且将所述解剖结构的所述图像输出到与所述处理器电路通信的显示器。
在一些实施例中，所述方法还包括基于成像深度将时间延迟应用到所述规范化超声信道数据。在一些实施例中，其中，所述超声信道数据包括针对多个信道的多个样本，其中，所述波束形成数据包括多个输出值，其中，所述方法包括基于成像深度来选择所述多个样本的子集，其中，将所述超声信道数据规范化包括基于所述多个样本的所述子集的第二信号水平来缩放所述多个样本的所述子集的第一样本的第一信号水平以产生所述规范化超声信道数据，所述第一样本对应于所述图像中的像素位置，并且通过以下操作来生成所述波束形成数据：将所述预测网络应用到所述规范化超声信道数据的所述子集以产生所述波束形成数据中的所述多个输出值中的第一输出值，所述第一输出值对应于所述像素位置。在一些实施例中，其中，所述声学元件的阵列包括第一孔径大小，并且其中，所述波束形成数据与大于所述第一孔径大小的第二孔径大小相关联。在一些实施例中，其中，所述超声信道数据是根据第一数量的超声发送触发事件来生成的，并且其中，所述波束形成数据与大于所述第一数量的超声发送触发事件的第二数量的超声发送触发事件相关联。在一些实施例中，其中，所述超声信道数据与第一信噪比(SNR)相关联，并且其中，所述波束形成数据与大于所述第一SNR的第二SNR相关联。
本公开的额外方面、特征和优点将根据以下详细描述变得明显。
附图说明
将参考附图描述本公开的说明性实施例，其中：
图1是根据本公开的方面的超声成像系统的示意图。
图2是根据本公开的实施例的实现基于延迟相加(DAS)的波束形成的超声成像系统的示意图。
图3是根据本公开的方面的图示用于超声成像的超声波发送方案的示意图。
图4是根据本公开的方面的图示用于超声成像的超声波发送方案的示意图。
图5是根据本公开的实施例的实现基于深度学习的波束形成的超声成像系统的示意图。
图6是根据本公开的方面的图示用于基于深度学习的波束形成的规范化方案的示意图。
图7是根据本公开的方面的图示深度学习网络的配置的示意图。
图8是根据本公开的方面的图示深度学习网络训练方案的示意图。
图9图示了根据本公开的方面的根据基于DAS的波束形成和基于深度学习的波束形成生成的预扫描转换图像。
图10是根据本公开的方面的图示深度学习网络训练方案的示意图。
图11是根据本公开的方面的图示深度学习网络训练方案的示意图。
图12图示了根据本公开的方面的根据基于DAS的波束形成和基于深度学习的波束形成生成的图像。
图13是根据本公开的实施例的处理器电路的示意图。
图14是根据本公开的方面的基于深度学习的超声成像方法的流程图。
具体实施方式
为了促进对本公开原理的理解的目的，现在将参考附图中图示的实施例，并且将使用特定语言来描述其。然而应理解，不旨在限制本公开的范围。如本公开涉及领域的技术人员通常会想到的，对所描述的设备、系统和方法的任何改变和进一步的修改以及对本公开的原理的任何进一步应用被充分地预期并包括在本公开内。特别地，完全预期，关于一个实施例描述的特征、部件和/或步骤可以与关于本公开的其他实施例描述的特征、部件和/或步骤组合。然而，为了简洁起见，将不单独描述这些组合的许多迭代。
图1是根据本公开的方面的超声成像系统100的示意图。系统100用于扫描患者身体的区域或体积。系统100包括通过通信接口或链路120与主机130通信的超声成像探头110。探头110包括换能器112、模拟前端(AFE)113、波束形成器114、处理器电路116和通信接口118。主机130包括显示器132、处理器电路134、通信接口136和存储器138。
探头110可以采取任何合适的形式以用于在被定位于患者身体内部或外部时对患者的各个身体部分成像。在实施例中，探头110是包括被配置用于由用户手持操作的壳体的外部超声成像设备。换能器112可以被配置成在用户抓握探头110的壳体时获得超声数据，使得换能器112被定位成邻近患者的皮肤和/或与患者的皮肤接触。探头110被配置为在探头110被定位于患者身体外部时获得患者身体内的解剖结构的超声数据。在一些其他实施例中，探头110可以采取导管、血管内超声(IVUS)导管、心内超声心动图(ICE)导管、经食道超声心动图(TEE)探头、经胸超声心动图(TTE)探头、腔内探头、手持式超声扫描器或基于片块的超声设备的形式。
换能器112朝向解剖对象105发射超声信号并且接收从对象105反射回换能器112的回波信号。对象105可以包括适合于超声成像检查的患者的任何解剖结构(例如，肺、血管、组织、心脏、肾脏和/或肝脏)。超声换能器112可以包括任何合适数目的声学元件，包括一个或多个声学元件和/或多个声学元件。在一些实例中，换能器112包括单个声学元件。在一些实例中，换能器112可以包括具有任何适当配置中的任何数目的声学元件的声学元件的阵列。例如，换能器112可以包括在1个声学元件和1000个声学元件之间，包括诸如2个声学元件、4个声学元件、36个声学元件、64个声学元件、128个声学元件、500个声学元件、812个声学元件的值和/或更大和更小两者的其他值。在一些实例中，换能器112可以包括具有任何适当配置中的任何数目的声学元件的声学元件的阵列，诸如线性阵列、平面阵列、弯曲阵列、曲线阵列、圆周阵列、环形阵列、相控阵列、矩阵阵列、一维(1D)阵列、1.x维阵列(例如1.5D阵列)或二维(2D)阵列。可以一致或独立地控制和激活的声学元件的阵列(例如，一个或多个行、一个或多个列和/或一个或多个取向)。换能器112可以被配置为获得患者解剖结构的1D、2D和/或三维(3D)图像。声学元件还可以被称为换能器元件或成像元件。在一些实施例中，换能器112可以包括压电微机械超声换能器(PMUT)、电容性微机械超声换能器(CMUT)、单晶、锆钛酸铅(PZT)、PZT复合材料、其他合适的换能器类型和/或其组合。
AFE 113耦合到换能器112。AFE 113可以包括控制在换能器112处的超声波的发送和/或在换能器112处的回波响应的接收的部件。例如，在发送路径中，AFE 113可以包括数模转换器(DAC)、滤波器、增益控制和/或高压(HV)发射器，其驱动或触发在换能器112的声学元件或换能器元件处的超声脉冲发射。在接收路径中，AFE 113可以包括增益控制、滤波器、放大器和模数转换(ADC)，其从换能器112的换能器元件接收回波响应。AFE 113还可以包括多个发送/接收(T/R)开关，其控制换能器元件处的发送和接收之间的切换，并防止高压脉冲损坏换能器112的换能器元件。
在实施例中，换能器112包括M多个换能器元件(例如，图2的声学元件202)。在一些实施例中，M可以为大约2、16、64、128、192或大于192。在接收路径中，每个换能器元件可以将从反射的超声脉冲接收的超声能量转换为电信号，从而形成单个接收信道。换句话说，换能器112可以生成M个模拟超声回波信道信号160。AFE 113可以经由M条信号线耦合到换能器112。AFE 113中的ADC(例如，图2的ADC 204)可以产生M个数字超声回波信道信号162，每个对应于在换能器112中的换能器元件之一处接收到的模拟超声回波信道信号160。数字超声回波信道信号162也可以称作为超声回波数据流或超声回波信道数据。
波束形成器114耦合到AFE 113。波束形成器114可以包括延迟元件和求和元件，其被配置为控制在换能器112处的发送和/或接收波束形成。波束形成器114可以将适当的时间延迟应用于至少数字超声回波信道信号162的子集并组合时间延迟的数字超声回波信道信号以形成波束形成信号164(例如，聚焦波束)。例如，波束形成器114可以产生L多个波束形成信号164，其中，L是小于M的正整数。在一些实施例中，波束形成器114可以包括波束形成的多个阶段。例如，波束形成器114可以执行部分波束形成以组合数字超声回波信道信号162的子集以形成部分波束形成信号，并且随后对部分波束形成信号进行波束形成以产生完全波束形成信号。尽管在数字波束形成的背景下描述了波束形成器114，但是在一些实施例中，AFE113可以包括用于模拟部分波束形成的电子器件和/或专用硬件。
处理器电路116耦合到波束形成器114。处理器电路116可以包括中央处理单元(CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、控制器、现场可编程门阵列(FPGA)设备、另一个硬件设备、固件设备或被配置为执行本文所描述的操作的其任何组合。处理器电路134还可以被实施为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP核结合的一个或多个微处理器、或任何其他此类配置。处理器电路116被配置为处理波束形成信号164。例如，处理器电路116可以对波束形成信号164执行一系列相干和/或不相干信号处理，诸如复合，包络检测、对数压缩和/或非线性图像滤波，以产生图像信号166。
通信接口118耦合到处理器电路116。通信接口118可以包括一个或多个发射器、一个或多个接收器、一个或多个收发机和/或用于发送和/或接收通信信号的电路。通信接口118可以包括硬件部件和/或软件部件，其实施适于通过通信链路120将信号传输到主机130的特定通信协议。通信接口118可以被称为通信设备或通信接口模块。
通信链路120可以是任何合适的通信链路。例如，通信链路120可以是有线链路，诸如通用串行总线(USB)链路或以太网链路。备选地，通信链路120可以是无线链路，诸如超宽带(UWB)链路、电气和电子工程师协会(IEEE)802.11WiFi链路或蓝牙链路。
在主机130处，通信接口136可以接收图像信号166、换能器元件信号(例如，模拟超声回波信道信号160)或部分波束形成信号。通信接口136可以基本上类似于通信接口118。主机130可以是任何合适的计算和显示设备，例如工作站、个人计算机(PC)、膝上型计算机、平板电脑或移动电话。
处理器电路134耦合到通信接口136。处理器电路134可以被实施为软件部件和硬件部件的组合。处理器电路134可以包括中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、控制器、FPGA设备、另一硬件设备、固件设备或被配置为执行本文所描述的操作的其任何组合。处理器电路134还可以被实施为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP核结合的一个或多个微处理器、或任何其他此类配置。
处理器电路134可以被配置为根据从探头110接收到的图像信号166、来自换能器信号(例如，模拟超声回波信道信号160)的波束形成图像168、或部分波束形成信号164生成或重建对象105的图像168。处理器电路134还可以向图像信号166应用图像处理技术。在一些实施例中，处理器电路134可以执行扫描转换以根据图像信号166形成2D或2D体积图像。在一些实施例中，处理器电路134可以对图像信号166执行实时处理以提供对象105的超声图像168的流式视频。图像168可以包括对象105的形态信息、功能信息和/或定量测量结果，这取决于探头110处使用的采集方式。形态信息可以包括对象105的解剖结构信息(例如，B模式信息)。功能信息的范例可以包括与对象105相关联的组织应变、弹性、多普勒流、组织多普勒流和/或血流信息。定量测量结果的范例可以包括血流速度、血流量、管腔直径、管腔面积、狭窄长度、斑块负担和/或组织弹性。在一些实施例中，处理器电路134可以对图像信号166执行图像分析以确定与对象105相关联的临床状况。
显示器132耦合到处理器电路134。显示器132可以是监测器或任何合适的显示器。显示器132被配置为显示超声图像、图像视频和/或与在检查中的对象105相关联的信息。
尽管系统100被图示有在探头110处分别由波束形成器114和处理器电路116执行的波束形成和信号处理功能，但是在一些实施例中，可以在主机130处执行波束形成和/或信号处理功能中的至少一些。换句话说，探头110可以将数字超声回波信道信号162或波束形成信号164传输到主机130以用于处理。在一些其他实施例中，探头110可以例如利用一些增益控制、过滤、和/或部分模拟波束形成将模拟超声回波信道信号160发送到主机130以用于处理。在这样的实施例中，主机130还可以包括ADC和波束形成器。另外，探头110处的通信接口118可以是工业标准物理连接器和/或专用物理连接器，并且通信链路120可以包括任何工业标准线缆、同轴线缆和/或专用线缆。通常，系统100可以表示任何类型的超声成像系统，其中，超声成像功能可以跨探头(例如，包括换能器112)、主机和/或探头与主机之间的任何中间处理子系统以任何适合的方式划分。
根据本公开的实施例，系统100使用用于波束形成的预测模型(例如，深度学习模型)而不是上文所描述的基于延迟相加(DAS)的波束形成器114。系统100可以使用在超声成像的各种阶段中。在实施例中，系统100可以被用于收集超声图像以形成用于训练用于超声波束形成的机器学习网络142的训练数据集140。例如，主机130可以包括存储器138，其可以是任何适合的存储设备，诸如高速缓存存储器(例如，处理器电路134的高速缓存存储器)、随机存取存储器(RAM)、磁阻RAM(MRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪速存储器、固态存储器设备、硬盘驱动器、固态驱动器、其他形式的易失性和非易失性存储器或不同类型的存储器的组合。存储器138可以被配置为存储训练图像数据集140和机器学习网络142。例如，训练图像数据集140可以存储与使用系统100生成的波束形成信号或模拟波束形成信号相关联的数字超声回波信道信号162。在实施例中，系统100可以利用用于波束形成的经训练的机器学习网络142而不是临床设置中的DAS波束形成器114(例如，在超声检查期间)。本文更详细地描述了用于训练用于超声波束形成的深度学习模型和应用用于超声波束形成的经训练的深度学习模型的机制。
图2是根据本公开的实施例的图示实现基于DAS的波束形成的超声成像系统200的示意图。系统200对应于系统100的部分并且提供沿着系统100的接收信号路径的分量的更详细视图(例如，在探头110和/或主机130内)。如图2所示，换能器112包括多个声学元件202。每个声学元件202形成接收信道，其中，可以当在发送触发之后声学元件202被激活用于接收时接收模拟超声回波信道信号160。例如，换能器112可以包括M数量的声学元件202。因此，接收信道可以被称为信道(1)到信道(M)。在实施例中，AFE 113可以包括多个ADC204。每个ADC 204可以耦合到声学元件202。尽管未示出，但是AFE 113可以额外地包括其他部件，诸如滤波器和放大器，其耦合到每个声学元件202。每个ADC 204可以对对应模拟超声回波信道信号160进行采样以形成数字超声回波信道信号162。每个数字超声回波信道信号162包括沿着成像场深度的一系列样本。在一些其他实施例中，AFE 113可以包括比接收信道的数目更少数目的ADC 204。在这样的实施例中，每个ADC 204可以耦合到接收信道的子集并且被配置为从接收信道的子集中采样模拟超声回波信道信号160，例如，以复用方式。
波束形成器114耦合到ADC 204。波束形成器114包括多个延迟元件210，其耦合到求和元件220。每个延迟元件210被配置为向对应数字超声回波信道信号162应用时间延迟以产生延迟的超声回波信道信号212。延迟元件210可以动态地被配置为向数字超声回波信道信号162应用适当的时间延迟。例如，声学元件202中的一个或多个可以被触发以将超声能量发送到解剖结构(例如，解剖结构对象105)中，并且一组声学元件202可以被激活以接收由于超声信号发送而从解剖结构反射的超声回波。由于不同传播路径，因此接收回波可以在不同时间处到达声学元件202。因此，延迟元件210延迟超声回波信道信号162，使得超声回波信道信号162在时间方面对准。求和元件220被配置为组合延迟的超声回波信道信号212以产生波束形成数据230。波束形成数据230对应于波束形成信号164。
通常，波束形成的目标是反转声波传播效应，使得超声或声能可以聚焦在沿着超声回波信号路径的主轴的各位置处。例如，延迟元件210可以动态地被配置为提供沿着超声回波信号路径的主轴的每个回波位置处的接收聚焦。换句话说，延迟元件210可以被配置有不同延迟以提供不同回波位置处的聚焦。
波束形成数据230还可以由处理器电路116和/或处理器电路134处理，例如包括频率复合、包络检测、对数压缩和/或如上文关于图1所描述的非线性图像滤波，以产生图像168。
一些性能量度，诸如图像质量或分辨率和/或数据采集速率或帧速率，可能对于超声成像重要。例如，图像质量、分辨率或对比度可能影响临床医师区分所采集的超声图像内的解剖细节的能力。数据采集速率或帧速率可能影响用于采集超声图像或视频所需的时间量，并且因此实时成像能力和超声检查时间。
超声成像质量或分辨率能够由衍射限制，其由换能器的孔径大小确定。换句话说，系统100和/或200的图像质量或分辨率可以由用于检查的换能器112的孔径大小206(参见图2)限制。孔径大小206指代换能器112的物理大小或尺寸。孔径大小206可以对应于换能器112中的声学元件202的数目。改进图像质量或图像分辨率的一种方法是采用具有较大孔径大小的换能器。通常，图像分辨率与换能器的孔径大小成比例变化。例如，具有大约160个声学元件202的换能器可以提供与具有大约80个声学元件202的换能器相比较大约两倍成像分辨率。
数据采集速率可以具有用于3D成像或体积成像的关心问题，其中，大量的成像数据被采集以便产生3D图像。常规超声成像采集方案利用聚焦发送波束(在图3中示出)。聚焦发送波束可以对限制区域进行准直。因此，多个发送波束通常被用于扫过或者照射整个感兴趣区域。这样一来，聚焦发送波束的使用可以提出针对实时体积成像和/或应用的时间限制，其中，高帧速率例如在心脏成像中是重要的。
图3是根据本公开的方面的图示用于超声成像的超声波发送方案300的示意图。方案300可以由系统100和/或200采用。方案300将换能器112配置为发射聚焦超声波束320以用于超声成像。如所示，一组声学元件202被激活以发射聚焦超声波束320。聚焦超声波束320具有沙漏形状，其具有324的成像深度处的焦点322。如可以观察到的，多个聚焦超声波束320被要求以便扫过感兴趣区域(ROI)330，并且因此可能花费一定量的时间。
为了改进帧速率或减少图像采集时间，更快的成像方法可以使用未聚焦超声波束(在图4中示出)。未聚焦波束可以照射ROI 330的较大部分，并且因此可以减少照射或扫过整个ROI 330所需的发送的数目。
图4是根据本公开的方面的图示用于超声成像的超声波发送方案400的示意图。方案400可以由系统100和/或200采用。方案400将换能器112配置为发射未聚焦超声波束420以用于超声成像。如所示，一组声学元件202被激活以生产未聚焦超声波束420。未聚焦超声波束420包括平面波或者发散波，其中，焦点422位于换能器112后面。未聚焦超声波束420可以比聚焦超声波束320照射ROI 330的大部分，并且因此与使用聚焦超声波束320相比较当使用未聚焦超声波束420时更少数目的发送被要求以扫描整个ROI 330。
尽管发散波可以照射ROI 330的较大部分，但是图像质量可以由于缺乏发送聚焦而降低。补偿归因于未聚焦成像的图像质量损失的一种方法是重复发送或增加发散波发送的数目，并且相干地复合来自多个发送的接收到的波束。因此，存在帧速率或采集时间与图像质量之间的折中。
未聚焦超声波束420的使用可以具有具有3D成像的附加影响。3D成像使用2D换能器阵列，其可以包括大量的声学元件(例如，声学元件202)，例如，大约几千个声学元件。然而，超声成像系统可以通常具有有限数目的系统信道或接收信道(例如，大约128个)以用于将从换能器接收的接收超声回波运送到处理器电路(例如，处理器电路116和/或主机130)。克服有限数目的系统信道的一种方法是使用微波束形成器，其中，部分波束形成在向系统信道发送接收到的超声回波信号之前被执行。尽管微波束形成器可通过使用聚焦发送波束(例如，波束320)提供良好的接收聚焦性能，但是当发送波束被操纵远离发送波束(例如，未聚焦波束420)的主轴时，接收聚焦性能可能是次优的。另外，在一些实例中，微波束形成阵列可能导致欠采样阵列，其中，元件间间距(例如，声学元件202之间的间距)可以超过λ/2的光栅波瓣限制，其中，λ表示发送波束的波长。作为结果，光栅波瓣可以在重建图像中出现。光栅波瓣可以不与聚焦发送波束交叠，并且因此当聚焦发送波束被使用时可能不是问题。然而，光栅波瓣可以产生具有较宽声透射的伪影(例如，当未聚焦波束420被使用时)。
因此，本公开提供克服上文所描述的图像质量和数据采集速率问题的技术。本公开使用用于波束形成的深度学习技术而不是常规基于DAS的波束形成。在一个实施例中，深度学习网络被训练以利用比孔径大小可以提供的更高的分辨率将从特定孔径大小生成的每信道超声回波数据(例如，超声回波信道信号162)映射到波束形成信号。换句话说，基于深度学习的波束形成数据包括对应于从较大换能器孔径大小生成的图像的分辨率(例如，用于收集每信道超声回波数据的换能器的孔径大小的大约两倍)。在一个实施例中，深度学习网络被训练以将从具有一定数目的发送触发事件的未聚焦发送波束(例如，未聚焦超声波束420)生成的每信道超声回波数据映射到具有比发送触发事件的数目可以提供的更高的图像质量(例如，更高的SNR、更好的对比度和/或更好的噪声对比度)的波束形成数据。换句话说，基于深度学习的波束形成数据包括对应于从更大数目的发送触发事件生成的图像的图像质量。因此，本公开可以改进图像质量和/或减少数据采集时间。
图5是根据本公开的实施例的实现基于深度学习的波束形成的超声成像系统500的示意图。系统500基本上类似于系统100，但是利用基于深度学习的波束形成器560而不是基于DAS的波束形成器114以用于波束形成。系统500包括信号调节部件510和基于深度学习的波束形成器560。信号调节部件510和基于深度学习的波束形成器560可以通过硬件和软件的组合实现。基于深度学习的波束形成器560包括时间对准部件520、规范化部件530、深度学习网络540和去规范化部件550。
类似于系统100和200，系统500可以包括换能器阵列(例如，换能器112)。换能器阵列可以包括M数目的声学元件(例如，声学元件202)，其可以被配置为将超声能量发送到解剖结构(例如，解剖对象105)中并且接收从解剖结构反射回到换能器阵列的超声回波。超声回波可以以M数目的信道的形式被接收，每个信道携带超声回波信道信号502(例如，数字超声回波信道信号162)。超声回波信道信号502可以是原始射频(RF)信道信号。超声回波信道信号502可以被称为每信道超声RF回波数据。
信号调节部件510可以包括一个或多个滤波器，其被配置为接收超声回波信道信号502并且在波束形成之前调节接收到的超声回波信道信号502。在范例中，信号调节部件510可以将带通滤波器应用到超声回波信道信号502以移除电子噪声。带通滤波器可以跨越由系统500在图像重建期间用于后续频率复合的所有正交带通滤波器(QBP)。作为范例，换能器阵列可以在大约2.4MHz的中心频率处生成超声波束，并且超声回波信道信号502在大约32MHz处被采样(例如，通过ADC，诸如204)。超声回波信道信号502可以在大约8MHz处抽取以降低后续计算速度要求。因此，带通滤波器可以居中在大约2.4MHz处并且可以具有大约0MHz与大约4MHz之间的带宽。通常，抽取可以在时间对准之后执行，因为存在可用于使延迟样本的估计更准确的更大数目的样本。
时间对准部件520耦合到信号调节部件510。时间对准部件520被配置为将经调节的超声回波信道信号512时间对准。时间对准部件520可以包括类似于延迟元件210的延迟元件，并且执行与上文关于图2所描述的延迟元件210基本上类似的时间延迟操作。
规范化部件530耦合到时间对准部件520。规范化部件530被配置为通过由信号522的局部能量缩放时间对准的每信道超声回波信号522的信号水平或幅度来规范化时间对准的每信道超声回波信号522的信号水平。规范化部件530执行来自时间对准的每信道超声回波信号522的样本的子集中的信号水平规范化，如本文更详细地描述的。
深度学习网络540耦合到规范化部件530。深度学习网络540将规范化的时间对准的每信道超声回波信号532映射到规范化波束形成数据542。在范例中，深度学习网络540可以是CNN网络。本文更详细地描述了深度学习网络540的配置或架构和/或深度学习网络540的训练。
将深度学习网络540应用到规范化的时间对准的每信道超声回波信道信号532可以降低深度学习网络540的复杂性并且改进深度学习网络的波束形成或波束求和预测性能。例如，在深度学习网络540之前执行时间对准或时间延迟可以允许深度学习网络540被训练以学习波束形成而不必学习时间对准。时间对准或者时间延迟操作具有相对低的计算复杂性，并且因此可以在没有高计算成本的情况下在深度学习网络540外部执行。在深度学习网络540之前的规范化可以避免使具有大幅度或信号水平的样本主导具有较低幅度或信号水平的样本。因此，深度学习网络540可以被训练以学习波束形成中的求和操作而非幅度映射。这样一来，规范化可以防止深度学习网络540的损失函数中的数值不平衡。损失函数是深度学习网络540执行多么好的度量并且被用作训练期间的误差量度，如本文更详细地描述的。
去规范化部件550耦合到深度学习网络540。去规范化部件550被配置为基于在规范化部件530处执行的规范化对波束形成数据542进行去规范化。换句话说，去规范化部件550反转规范化部件530的操作，如本文更详细地描述的。去规范化部件550产生去规范化波束形成数据552。波束形成数据552还可以由处理器电路116和/或处理器电路134处理，例如包括频率复合、包络检测、对数压缩和/或如上文关于图1所描述的非线性图像滤波，以产生图像。
根据本公开的实施例，深度学习网络540被训练为使得波束形成数据552具有比基于DAS的波束形成数据230更高的图像质量或分辨率。这样一来，根据波束形成数据552生成的图像可以具有比根据基于DAS的波束形成数据230生成的图像更高的图像质量或分辨率。
图6是根据本公开的方面的图示用于基于深度学习的波束形成的规范化方案600的示意图。方案600由图5的规范化部件530实现。方案600将规范化应用到时间对准的超声回波信道信号522的M个信道。接收信道中的每个超声回波信道信号522包括沿着成像深度的多个时间样本(例如，在y维度上)。时间样本被示出为图6中的符号“X”。
方案600基于成像深度将超声回波信道信号522中的样本分为多个子集610。为了便于讨论和说明，示出了各自对应于成像深度范围的三个子集610a、610b和610c。然而，子集610的数目可以取决于实施例而变化。在一些范例中，针对每个子集的成像深度范围可以对应于对应超声发送波束的波长的大约四倍(例如，4×λ)。
规范化部件530通过基于对应子集610的信号能量缩放对应子集610中的样本的信号水平或幅度来规范化每个子集610。规范化部件530从每个子集610产生规范化超声回波信道信号532中的样本的子集。例如，子集610a被规范化以产生规范化超声回波信道信号532中的样本的子集620a，子集610b被规范化以产生规范化超声回波信道信号532中的样本的子集620b，并且子集610c被规范化以产生规范化超声回波信道信号532中的样本的子集620c。在规范化之后，规范化超声回波信道信号532可以包括大约1与-1之间的信号水平。
深度学习网络540被应用于规范化超声回波信道信号532以产生波束形成信号542。作为范例，深度学习网络540输出针对子集610a的波束形成输出样本或像素632a、针对子集610b的波束形成输出样本或像素632b以及针对子集610c的波束形成输出样本或像素632c。像素632a对应于子集610a的中心时间样本612a。像素632b对应于子集610b的中心时间样本612b。像素632c对应于子集610c的中心时间样本612c。在范例中，子集610a包括沿着成像深度的每个信道的大约13个样本。样本612a可以对应于信道(i)中的第7样本。时间样本612a和波束形成输出像素632a可以对应于最终图像中的相同像素位置。类似地，时间样本612b和波束形成输出像素632b可以对应于最终图像中的相同像素位置。时间样本612c和波束形成输出像素632c可以对应于最终图像中的相同像素位置。
在实施例中，规范化部件530通过将样本的子集除以对应于波束形成输出样本或像素的样本的信号水平的均方根(RMS)执行缩放。例如，规范化部件530通过将样本612a除以子集610a中的所有样本的RMS来缩放样本612a，通过将样本612b除以子集610b中的所有样本的RMS来缩放样本612b，并且通过将样本612c除以子集610c中的所有样本的RMS来缩放样本612c。因此，每个样本612a、612b或612c关于其邻域中的信号能量来采样。因此，规范化回波信道信号532可以几乎包括具有大约0与大约1之间的信号能量的样本。
参考图5，针对去规范化550，用于每个子集610的规范化的因子或RMS值可以存储，并且去规范化部件550可以将相同因子或RMS值应用到每个对应波束形成像素值632a、632b和632c。换句话说，去规范化部件550将输出632a乘以子集610a的信号水平的RMS值，将输出632b乘以子集610b的信号水平的RMS值，并且将输出632c乘以子集610c的信号水平的RMS值。
尽管子集610在图6中被图示为非交叠的，但是方案600可以以滑动窗口方式沿着成像深度应用于交叠样本。作为范例，子集610a可以包括沿着成像深度的K行(例如，行1到行K)样本。第二子集610可以通过包括沿着成像深度从行2到行K+1的样本来形成。第三子集610可以通过包括沿着成像深度从行3到行K+2的样本等等来形成。针对每个子集610，规范化值(例如，RMS)根据对应子集中的所有样本计算，并且位于子集的中心的样本(例如，样本612a)除以规范化值。去规范化可以使用类似滑动窗口机制执行。因此，在将滑动窗口应用到规范化和去规范化之后，计算针对最终波束形成数据552的所有样本。
在实施例中，深度学习网络540被训练为将从具有特定孔径大小(例如，孔径大小206)或包括特定数目的声学元件(例如，声学元件202)的换能器采集的每信道超声回波数据映射到对应于从较大换能器孔径大小(例如，大约两倍)或更大数目的声学元件获得的波束形成数据的波束形成数据。换句话说，由深度学习网络540预测的波束形成数据552具有比使用中的换能器可以提供的图像质量更高的图像质量(例如，更高的分辨率和/或减少的杂波或伪影)。
尽管在包括沿着x轴的多个信道和沿着y轴的成像深度的2D数据集的背景下描述方案600，但是类似的机制可以应用于包括多个发送触发或沿着z轴的激发的3D数据集，例如，当深度学习网络540被训练以将从特定数目的发送触发采集的每信道超声回波数据映射到对应于更大数目的发送触发的波束形成数据时。例如，3D数据集基于成像深度划分成3D数据子集，规范化部件530可以通过将居中样本除以对应3D子集中的所有样本的RMS来缩放每个3D数据子集中的中心样本，并且深度学习网络540将每个3D数据子集映射到波束形成的输出样本或像素。
应当注意，在一些其他实施例中，规范化可以通过基于该组超声回波信道数据的信号能量来缩放整组超声回波信道数据(例如，超声回波信道信号522)而不是基于如方案600中的成像深度每子集应用规范化来执行。
图7是根据本公开的方面的图示深度学习网络540的配置700的示意图。深度学习网络540可以包括一个或多个CNN 710。CNN 710可以在每信道超声信道数据702上操作。CNN710将每信道超声信道数据702映射到波束形成数据704。在范例中，超声信道数据702可以对应于规范化的时间对准的超声回波信道信号532，并且波束形成数据704可以对应于系统500中的波束形成数据552。CNN 710提供2D数据和/或3D数据到波束形成数据的基于每信道像素的映射。
CNN 710包括一组N个卷积层720，跟随有一组K个全连接层730，其中，N和K可以是任何正整数。卷积层720被示出为720(1)至720(N)。全连接层730被示出为730(1)至730(K)。在范例中，卷积层720(1)至720(N)和全连接层730 730(1)至730(K-1)可以利用整流非线性(ReLU)激活函数。最后输出层730(K)可以利用线性激活函数。每个卷积层720可以包括一组滤波器722，其被配置为从超声信道数据702提取特征。值N和K和每个卷积层720中的滤波器722的大小可以根据实施例而变化。应当注意，CNN710不包括通常被用于减少卷积层的大小的池化层。池化层的排除允许所有卷积贡献于CNN 710的输出。备选地，CNN可以包括仅卷积层720或仅全连接层730。
在范例中，超声信道数据702可以包括跨越对应于接收信道(例如，图2和5的信道(1)至信道(M))的x维度和对应于成像深度的y维度的2D数据集。CNN 710可以包括大约五个卷积层720(例如，N＝5)和大约两个全连接层730(例如，K＝2)。卷积层720可以包括在x和y维度上跨越的2D卷积核(例如，滤波器722)。2D卷积核大小可以根据实施例而变化。在一些范例中，相同2D卷积核大小被用于所有卷积层720。在一些范例中，不同2D卷积核大小可以被用于卷积层720。在一些范例中，2D卷积核大小可以取决于用于收集超声信道数据702的超声发送配置。第一卷积层720(1)层可以包括大约六十四个滤波器722或者2D卷积核，第二卷积层720(2)层可以包括大约三十二个滤波器722，第三卷积层720(3)层可以包括大约十六个滤波器722，第四卷积层720(4)层可以包括大约八个滤波器722，并且第五卷积层720(5)层可以包括大约四个滤波器722。第一全连接层730(1)可以具有大约32的大小，并且最后全连接层730(2)可以具有大约1的大小。最后全连接层730(2)处的输出对应于单个波束形成输出样本或像素(例如，波束形成输出632a、632b、或632c)。
在另一范例中，超声信道数据702可以包括跨越对应于接收信道(例如，图2和5的信道(1)至信道(M))的x维度、对应于成像深度的y维度和对应于发送触发或发送事件的z维度的3D数据集。CNN 710可以包括大约六个卷积层720(例如，N＝6)和大约四个全连接层730(例如，K＝4)。卷积层720可以包括在x、y和z维度上跨越的3D卷积核。3D卷积核大小可以根据实施例而变化。在一些范例中，相同3D卷积核大小被用于所有卷积层720。在一些范例中，不同3D卷积核大小可以被用于卷积层720。在一些范例中，3D卷积核大小可以取决于用于收集超声信道数据702的超声发送配置。第一卷积层720(1)层可以包括大约六十四个滤波器722或者3D卷积核，第二卷积层720(2)层可以包括大约三十二个滤波器722，第三卷积层720(3)层可以包括大约十六个滤波器722，第四卷积层720(4)层可以包括大约八个滤波器722，第五卷积层720(5)层可以包括大约四个滤波器722，并且第六卷积层720(6)层可以包括大约两个滤波器722。第一全连接层730(1)可以具有大约32的大小，第二全连接层730(2)可以具有大约16的大小，第三全连接层730(3)可以具有大约8的大小，并且最后全连接层730(4)可以具有大约1的大小。最后全连接层730(4)处的输出对应于单个波束形成输出样本或像素(例如，波束形成输出632a、632b或632c)。
在一些范例中，CNN 710可以包括最后卷积层720(N)的输出处的平坦层，以将CNN710的卷积部分转换成针对后续全连接层730的1D特征向量。在一些范例中，卷积层720可以包括零填充，使得卷积或滤波器722的输入和输出大小是相同的。
在一些范例中，CNN 170可以包括用于规范化(例如，包括与规范化部件530类似的规范化操作)的第一卷积层720(1)之前的额外层和用于去规范化(例如，包括与去规范化部件550类似的去规范化操作)的最后全连接层730(K)之后的额外层。因此，CNN 710可以在不明确规范化时间对准每信道超声回波信号(例如，信号522)并且不明确去规范化CNN 710的输出的情况下应用。在一些范例中，CNN 710可以被训练以针对特定超声中心频率执行包括规范化前层和去规范化后层的波束形成，因为在规范化中的超声回波样本的划分可以取决于超声中心频率。
图8是根据本公开的方面的图示深度学习网络训练方案800的示意图。方案800可以由诸如主机130的计算机系统实现。方案800可以被用于训练用于超声波束形成的深度学习网络540。方案800训练深度学习网络540以预测或者模拟从具有比使用中的换能器更大的孔径大小的换能器获得的波束形成数据。
方案800在两个阶段810和820中训练深度学习网络540。在第一阶段810中，方案800使用输入-输出对训练深度学习网络540，其中，输入包括超声信道数据802，并且输出包括目标波束形成数据812。超声信道数据802可以是类似于规范化的时间对准的超声回波信道信号532的规范化的时间对准的超声回波信道信号。超声信道数据802可以从包括孔径大小M(例如，孔径大小206)或M数目的声学元件(例如，声学元件202)的换能器阵列(例如，换能器112)采集。超声信道数据802可以对应于从特定受检者(例如，对象105)接收到的超声回波响应。超声信道数据802可以是具有对应于接收信道的x维度和对应于成像深度的y维度的2D数据集。目标数据812可以对应于使用基于DAS的波束形成器(例如，波束形成器114)从超声信道数据802生成的波束形成数据。目标数据812还被规范化，使得训练不必学习幅度映射。在训练期间，深度学习网络540可以使用正向传播应用到超声信道数据802以产生输出804(例如，波束形成数据542)。卷积层720中的滤波器722的系数和全连接层730中的权重可以使用反向传播调节以使预测或映射输出804与目标输出812之间的误差最小化。在一些实施例中，误差函数或者损失函数可以是均方误差(MSE)函数或者任何其他适合的误差量度函数。换句话说，方案800训练深度学习网络540以近似由波束形成器114提供的波束形成。针对滤波器722的系数的训练或者调节可以针对多个输入-输出对重复。第一阶段810用作深度学习网络540中的滤波器系数和/或权重的初始化。
在后续阶段820中，方案800使用从第一阶段810针对深度学习网络540获得的滤波器系数和/或权重作为开始，并且继续训练。方案800使用输入-输出对来训练深度学习网络540，其中，输入包括超声信道数据802，并且输出包括目标波束形成数据822。目标数据822可以对应于从具有比孔径大小M更大的孔径大小的换能器生成的相同受检者的波束形成数据，例如，k×M的孔径大小或k×M数目的声学元件，其中，k大于1。类似地，目标数据822是规范化数据。在范例中，目标数据812可以针对包括大约80个声学元件(例如，声学元件202)的孔径大小生成，并且目标数据822可以针对包括大约160个声学元件的孔径大小生成(例如，基于Tukey变迹法)。类似于第一阶段820，深度学习网络540通过使用正向传播应用超声信道数据802来训练以产生输出806(例如，波束形成数据542)。卷积层720中的滤波器722的系数和全连接层730中的权重可以使用反向传播来调节以使输出806与目标输出822之间的误差最小化。针对滤波器722的系数的训练或者调节可以针对多个输入-输出对重复。尽管方案800利用两个训练阶段，但是在一些实施例中，方案800可以在不执行训练的第一阶段810的情况下执行训练的第二阶段820。
如可以观察到的，方案800训练深度学习网络540以将每信道超声回波信号映射到对应于比用于收集超声回波信道信号的换能器的孔径大小更大的换能器孔径大小的波束形成数据。因此，深度学习网络540可以在最终重建图像中提供比常规基于DAS的波束形成器(例如，波束形成器114)更高的图像质量(例如，经改进的分辨率和/或增强的对比度)。
图9图示了根据本公开的方面的根据基于DAS的波束形成和基于深度学习的波束形成生成的预扫描转换的超声图像。超声图像910和920从同一组每信道超声回波信号(例如，数字超声信道回波信号162和502以及超声信道数据702和802)生成，该组每信道超声回波信号是从心尖四腔视图中的患者心脏的体内扫描采集的。超声图像910使用常规基于DAS的波束形成器(例如，波束形成器114)对所采集的每信道超声回波信号进行波束形成来生成，而超声图像920通过应用深度学习网络(例如，使用方案800训练的深度学习网络540)以将每信道超声回波信号映射到波束形成数据(例如，波束形成数据542和704)来生成。如可以观察到的，与超声图像910相比较，超声图像920提供了改进的对比度和分辨率而没有心脏结构(心内膜)的显著损失。因此，基于深度学习的波束形成可以提供比常规DAS波束形成更高的图像质量或分辨率。
图10是根据本公开的方面的图示深度学习网络训练方案1000的示意图。方案1000可以由诸如主机130的计算机系统实现。方案1000可以被用于训练用于超声波束形成的深度学习网络540或CNN 710。方案1000基本上类似于方案800。然而，方案1000使用不同类型的输入和/或目标数据。方案1000训练深度学习网络540以预测或者模拟从比采集中使用的发送激发的实际数目更大数目的发送激发或事件获得的波束形成数据。
在第一阶段1010中，方案1000使用输入-输出对训练深度学习网络540，其中，输入包括超声信道数据1002，并且输出包括目标波束形成数据1012。超声信道数据1002可以是类似于规范化的时间对准的超声回波信道信号532的规范化的时间对准的超声回波信道信号。超声信道数据1002可以从T数目的发送事件采集。例如，超声波束的发送被重复T次，并且T组每信道超声回波信号被接收。超声信道数据1002可以对应于从特定受检者(例如，对象105)接收到的超声回波响应。
在一些范例中，超声波束是聚焦波束(例如，聚焦超声发送波束320)。在一些其他范例中，超声波束是未聚焦波束或发散波束(例如，未聚焦超声发送波束420)。
在一些范例中，超声信道数据1002可以是具有对应于接收信道的x维度、对应于成像深度的y维度和对应于发送事件的z维度的3D数据集。
目标数据1012可以对应于使用基于DAS的波束形成器(例如，波束形成器114)从超声信道数据1002生成的波束形成数据。目标数据1012还被规范化，使得训练不必学习幅度映射。在训练期间，深度学习网络540可以使用正向传播应用到超声信道数据1002以产生输出1004(例如，波束形成数据542)。卷积层720中的滤波器722的系数和全连接层730中的权重可以使用反向传播调节以使输出1004与目标输出1012之间的误差最小化。在一些实施例中，误差函数可以是MSE函数或者任何其他适合的误差量度函数。换句话说，方案1000训练深度学习网络540以近似由波束形成器114提供的波束形成。针对滤波器722的系数的训练或者调节可以针对多个输入-输出对重复。第一阶段1010用作深度学习网络540中的滤波器系数和/或权重的初始化。
在后续阶段1020中，方案1000使用从第一阶段1010针对深度学习网络540获得的滤波器系数和/或权重作为开始，并且继续训练。方案1000使用输入-输出对来训练深度学习网络540，其中，输入包括超声信道数据1002，并且输出包括目标波束形成数据1022。目标数据1022可以对应于根据从更大数目的发送事件(例如，m×T数目的发送事件或触发)收集的超声回波信道信号生成的相同受检者的波束形成数据。类似地，目标数据1022是规范化数据。在范例中，目标数据1022可以根据5个发送事件(例如，具有5个重复超声发送)生成，并且目标数据1022可以根据51个发送事件生成。类似于第一阶段1020，深度学习网络540通过使用正向传播应用超声信道数据1002来训练以产生输出1006(例如，波束形成数据542)。卷积层720中的滤波器722的系数和全连接层730中的权重可以使用反向传播来调节以使输出1006与目标输出1022之间的误差最小化。针对滤波器722的系数的训练或者调节可以针对多个输入-输出对重复。尽管方案1000利用两个训练阶段，但是在一些实施例中，方案1000可以在不执行训练的第一阶段1010的情况下执行训练的第二阶段1020。
如可以观察到的，方案1000训练深度学习网络540以将每信道超声回波信号映射到对应于更大数目的发送事件的波束形成数据。因此，深度学习网络540可以提供比常规基于DAS的波束形成器(例如，波束形成器114)更高的图像质量。另外，当使用用于未聚焦成像的发散波束时，方案1000可以训练深度学习网络540以补偿通过使用发散波束引起的伪影并且在没有采集时间的显著增加的情况下改进最终超声图像质量。
图11是根据本公开的方面的图示深度学习网络训练方案1100的示意图。方案1100可以由诸如主机130的计算机系统实现。方案1100可以被用于训练用于超声波束形成的深度学习网络540或CNN 710。
方案1100在两个阶段1110和1120中训练深度学习网络540。在第一阶段1110中，方案1100使用输入-输出对来训练深度学习网络540，其中，输入包括超声信道数据1102，并且输出包括目标波束形成数据1112。超声信道数据1102可以是类似于规范化的时间对准的超声回波信道信号532的规范化的时间对准的超声回波信道信号。超声信道数据1102可以从临床设置期间的患者或者从测试设置中的体模采集。超声信道数据1102可以是具有对应于接收信道的x维度和对应于成像深度的y维度的2D数据集。目标数据1112可以对应于使用基于DAS的波束形成器(例如，波束形成器114)从超声信道数据1102生成的相同受检者的波束形成数据。目标数据1112可以具有第一SNR(例如，S分贝(dB))。目标数据1112还被规范化，使得训练不必学习幅度映射。在训练期间，深度学习网络540可以使用正向传播应用到超声信道数据1102以产生输出1104(例如，波束形成数据542)。卷积层720中的滤波器722的系数和全连接层730中的权重可以使用反向传播来调节以使输出1104与目标输出1112之间的误差最小化。在一些实施例中，误差函数可以是MSE函数或者任何其他适合的误差量度函数。换句话说，方案1100训练深度学习网络540以近似由波束形成器114提供的波束形成。针对滤波器722的系数的训练或者调节可以针对多个输入-输出对重复。第一阶段1110用作深度学习网络540中的滤波器系数和/或权重的初始化。
在后续阶段1120中，方案1100使用从第一阶段1110针对深度学习网络540获得的滤波器系数和/或权重作为开始，并且继续训练。方案1100使用输入-输出对来训练深度学习网络540，其中，输入包括超声信道数据1102，并且输出包括目标波束形成数据1122。目标数据1122可以对应于相同受检者的波束形成数据，但是具有高于第一SNR的第二SNR(例如，n×S dB，其中，n大于1)。更高的SNR可以归因于更先进的信号和/或成像处理技术、更大的换能器孔径大小和/或更大数目的发送激发的使用。类似地，目标数据1122是规范化数据。类似于第一阶段1120，深度学习网络540通过使用正向传播应用超声信道数据1102来训练以产生输出1106(例如，波束形成数据542)。卷积层720中的滤波器722的系数和全连接层730中的权重可以使用反向传播来调节以使输出1106与目标输出1122之间的误差最小化。针对滤波器722的系数的训练或者调节可以针对多个输入-输出对重复。尽管方案1100利用两个训练阶段，但是在一些实施例中，方案1100可以在不执行训练的第一阶段1110的情况下执行训练的第二阶段1120。
如可以观察到的，方案1100训练深度学习网络540以将每信道超声回波信号映射到对应于比来自常规基于DAS的波束形成器(例如，波束形成器114)的波束形成数据更高的SNR的波束形成数据。
图12图示了根据本公开的方面的根据基于DAS的波束形成和基于深度学习的波束形成而生成的超声图像。从患者的心脏的体内扫描采集超声图像1210、1220和1230。初始地，在未聚焦超声波束或发散波束(例如，未聚焦超声波束420)的5个发送触发之后收集第一组每信道超声回波信号(例如，数字超声信道回波信号162和502和超声信道数据702和802)。随后地，在未聚焦超声波束或发散波束的51个发送触发之后收集第二组每信道超声回波信号。使用基于DAS的波束形成器(例如，波束形成器114)对来自51个发送触发的第二组每信道超声回波信号进行波束形成来生成超声图像1210。使用DAS波束形成器对来自5个发送触发的第一组每信道超声回波信号进行波束形成来生成图像1220。通过应用深度学习网络540以利用5个发送触发将第一组每信道超声回波信号映射到来自51个发送触发的波束形成数据(例如，波束形成数据542和704)来生成图像1230。
比较图像1210和图像1220，来自51个发送触发的图像1210提供比来自如预期的5个发送触发的图像1220更高的图像质量(例如，更好的对比度、更好的对比噪声比)。比较图像1210、1220和1230，来自5个发送触发的基于深度学习的波束形成图像1230提供可与来自51个发送触发的基于DAS的波束形成图像1210相比较的图像质量或分辨率。根据基于深度学习的波束形成而生成的图像1230中的杂波或伪影量显著地小于根据具有相同数目的发送触发的基于DAS的波束形成而生成的图像1220。因此，基于深度学习的波束形成可以提供比常规基于DAS的波束形成更高的图像质量或分辨率。
通常，方案800、1000和1100可以使用离线生成的模拟数据、从临床设置中的患者采集的数据和从测试设置中的体模采集的数据的任何适合的组合来训练深度学习网络540。给定例如根据更大的孔径大小生成的具有高SNR的目标波束形成数据、增加数目的发送和/或从多个发送接收的相干复合回波信号，方案800、1000和1100可以训练深度学习网络540以输出具有更高SNR的波束形成数据。此外，使用从超声系统(例如，系统100和200)采集的实际数据而不是模拟数据作为输入-输出数据对，深度学习网络540可以被训练以抑制来自噪声源的杂波，诸如声噪声、热噪声、电子噪声、像差和/或混响，其由于不佳的声学条件而引入并且不能沿着超声系统(例如，系统100、200和/或500)的信号路径寻址。
在一些实施例中，深度学习网络540可以被训练以学习将微波束形成数据而不是每信道超声回波数据映射到波束形成数据。作为范例，系统(例如，系统100和200)可以具有80个接收信道。系统可以包括用于微波束形成的微波束形成器。例如，系统可以将四个相邻声学元件(例如，声学元件202)分组在一起并且将波束形成器应用到声学元件组以将延迟聚焦和转向到对应接收信道，使得微波束形成点沿着发送波束的主轴。因此，在微波束形成之后，80个接收信道减少到20个信道。深度学习网络540可以训练并且应用于使用与上文所描述的基本上类似的机制将20个微波束形成信道信号映射到波束形成数据(例如，波束形成数据542)。
尽管上文所描述的方案800、1000和1100中的误差函数或者损失函数是标注数据像素值(例如，在目标数据812、822、1012、1022、1112和1122中)与深度学习网络540预测像素值(例如，在输出804、806、1004、1006、1104和1006中)之间的误差或成本函数，但是深度学习网络540可以被训练以在超声系统100和/或200的信号路径中的较早阶段处(例如，在波束形成之前)预测其他信号值。
在范例中，深度学习网络540可以被训练以学习将发送复合从有限数目的发送映射到增加数目的发送。因此，针对深度学习网络540的损失函数可以是标注数据发送复合信道数据与对应于更大数目的发送的网络预测复合信道数据之间的差异。例如，深度学习网络540的输入可以是如上文所描述的3D超声回波信道数据集，其中，x维度可以对应于接收信道，y维度可以对应于成像深度，并且z维度对应于发送事件(例如，T)。深度学习网络540可以被训练以输出对应于m×T个发送的复合回波信道数据集，其中，m大于1。备选地，3D超声回波信道数据集可以通过对来自T个发送事件(例如，在发送或z维度上折叠)的每信道超声回波信号求和而转换为2D数据集，并且深度学习网络540可以训练以提供对应于m×T个发送的相同复合回波信道数据集。
通常，深度学习网络540可以以任何适合的维度或表示输出复合信道数据或波束形成数据，并且因此可以修改损失函数。在基于深度学习的发送复合的范例中，深度学习网络540可以被训练以在发送或z维度上折叠并且在深度或y维度处采样的1D复合信道数据。在基于深度学习的波束形成的范例中，深度学习网络540可以被训练以提供在信道或x维度上折叠并且在深度或y维度上采样的1D DAS向量，或者在信道或x维度和发送或z维度上折叠并且在深度或y维度上采样的对应像素点的标量值。
尽管上文所描述的方案800、1000和1100中的输入数据是针对每个像素的3D矩阵，但是针对每个波束的对准数据的3D矩阵可以用作输入。完全卷积架构可以使用与上文所描述基本上类似的机制在更大的数据集上操作。
尽管上文所描述的方案800、1000和1100中的输入数据是每信道超声回波数据，但是波束形成数据可以用作输入。例如，输入波束形成数据可以从有限数目的发送产生并且可以包括光栅波瓣伪影。深度学习网络540可以被训练以提供对应于较大数目的发送和具有更大的图像质量和分辨率的波束形成数据。
通常，本公开的方面描述使用机器学习网络来替换一个或多个常规超声图像处理步骤，诸如波束形成，其被要求以生成常规超声图像。机器学习网络应用于通过超声换能器获得的原始信道数据，而不是常规图像处理步骤中的一个或多个在原始信道数据上执行(例如，多个发送的波束形成和/或复合)。机器学习网络使用多个目标波束形成数据来训练。将机器学习网络应用到原始信道数据得到经修改的数据。处理器使用经修改的数据来生成超声图像，该经修改的数据包括目标图像的特征(例如，解剖结构、散斑等)。尽管在使用深度学习将超声回波信道数据RF数据映射到波束形成数据的背景下描述了所公开的实施例，但是在一些实施例中，类似深度学习技术可以应用于将中频(IF)或基带(BB)中的超声回波信道数据映射到波束形成数据。
图13是根据本公开的实施例的处理器电路1300的示意图。处理器电路1300可以实现在图1的探头110和/或主机130中。如所示，处理器电路1300可以包括处理器1360、存储器1364和通信模块1368。这些元件可以彼此直接或者间接通信，例如，经由一个或多个总线。
处理器1360可以包括CPU、DSP、ASIC、控制器、FPGA、另一硬件设备、固件设备或其任何组合，其被配置为执行本文所描述的操作。处理器1360还可以被实现为计算设备的组合，例如，DSP和微处理器、多个微处理器、结合DSP核的一个或多个微处理器或者任何其他这样的配置的组合。在范例中，处理器1360可以对应于图1的处理器电路116。在范例中，处理器1360可以对应于图1的处理器电路134。
存储器1364可以包括高速缓存存储器(例如，处理器1360的高速缓存存储器)、随机存取存储器(RAM)、磁阻RAM(MRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪速存储器、固态存储器设备、硬盘驱动器、其他形式的易失性和非易失性存储器或不同类型的存储器的组合。在实施例中，存储器1364包括非瞬态计算机可读介质。存储器1364可以存储指令1366。指令1366可以包括当由处理器1360运行时使处理器1360执行本文所描述的操作的指令，例如，图2-8、10-11和14的方面，并且参考主机130和/或探头110(图1)。指令1366也可以被称为代码。术语“指令”和“代码”应当宽广地被解释为包括任何类型的(一个或多个)计算机可读叙述。例如，术语“指令”和“代码”可以是指一个或多个程序、例程、子例程、函数、流程等。“指令”和“代码”可以包括单个计算机可读叙述或许多计算机可读叙述。在范例中，存储器1364可以对应于图1的存储器138。
通信模块1368可以包括促进处理器电路1300、探头110和/或显示器132之间的数据的直接或间接通信的任何电子电路和/或逻辑电路。在该方面中，通信模块1368可以是输入/输出(I/O)设备。在一些实例中，通信模块1368促进处理器电路1300和/或主机130(图1)的各种元件之间的直接或间接通信。在一些实例中，通信模块1368可以对应于通信接口118(图1)。在一些实例中，通信模块1368可以对应于通信接口136(图1)。
图14是根据本公开的方面的基于深度学习的超声成像方法1400的流程图。方法1400的步骤可以由系统100、200和/或500执行，例如，由诸如处理器电路116、134或处理器1360的处理器、诸如处理器电路1300的处理器电路和/或诸如探头110和/或主机130的其他适合的部件。如所图示的，方法1400包括多个列举步骤，但是方法1400的实施例可以在列举步骤之前、之后和之间包括额外步骤。在一些实施例中，列举步骤中的一个或多个可以省略或以不同的次序执行。
在步骤1410处，方法1400包括在与声学元件的阵列通信的处理器电路处接收对应于与解剖结构相关联的超声回波的超声信道数据。处理器电路可以类似于处理器电路116和138和处理器电路1300。声学元件可以类似于声学元件202。超声信道数据可以类似于数字超声回波信道信号162和502、超声信道数据702、802、1002和1102。
在步骤1420处，方法1400包括通过基于超声信道数据的信号水平将第一缩放函数应用到超声信道数据来规范化超声信道数据，例如，利用规范化部件530和/或方案。
在步骤1430处，方法1400包括通过将预测网络(例如，深度学习网络540)应用到规范化超声信道数据(例如，超声回波信道信号532)生成波束形成数据。
在步骤1440处，方法1400包括通过基于超声信道数据的信号水平将第二缩放函数应用到波束形成数据来去规范化波束形成数据，例如，利用去规范化部件550。
在范例中，第一缩放函数可以包括通过对应于超声信道数据的信号能量或RMS值的第一因子缩放超声信道数据的信号水平。第二缩放函数可以包括通过第一因子的倒数(例如，信号能量或RMS值的倒数)缩放波束形成数据的信号水平。
在步骤1450处，方法1400包括根据波束形成数据生成解剖结构的图像。
在步骤1460处，方法1400包括向与处理器电路通信的显示器(例如，显示器132)输出解剖结构的图像。
在实施例中，时间延迟基于成像深度应用于规范化超声信道数据，例如，利用时间对准部件520以促进接收聚焦。
在实施例中，超声信道数据包括针对多个信道的多个样本(例如，图5和图6的接收信道1至M)。波束形成数据包括多个输出值(例如，波束形成输出样本或像素632)。规范化可以包括基于成像深度来选择多个样本的子集(例如，子集610a、610b或610c)并且基于多个样本的第二信号水平(例如，RMS)缩放多个样本的子集的第一样本(例如，样本612a、612b或612c)的第一信号水平以产生规范化超声信道数据的子集(例如，子集620a、620b或620c)。第一样本对应于图像中的像素位置。生成波束形成数据包括将预测网络应用到规范化超声信道数据的子集以产生波束形成数据中的多个输出值中的第一输出值，其中，第一输出值对应于与第一样本相同的图像中的像素位置。
在实施例中，声学元件的阵列包括第一孔径大小(例如，孔径大小206)，并且波束形成数据与大于第一孔径大小的第二孔径大小相关联。例如，预测网络使用方案800来训练。
在实施例中，超声信道数据根据第一数量的超声发送触发事件生成，并且波束形成数据与大于第一数量的超声发送触发事件的第二数量的超声发送触发事件相关联。例如，预测网络使用方案1000来训练。
在实施例中，超声信道数据与第一SNR相关联，并且波束形成数据与大于第一SNR的第二SNR相关联。例如，预测网络使用方案1100来训练。
本公开的方面可以提供若干益处。例如，使用深度学习网络(例如，深度学习网络540)对从探头(例如，探头110)采集的原始RF信道数据(例如，超声回波信道信号162和502)进行波束形成可以提供与常规基于DAS的波束形成器相比较更好的超声图像质量(例如，改进的分辨率、增强的对比度和/或减少的旁瓣、杂波和/或伪影)和/或减少图像采集时间或提高成像帧速率。使用规范化的时间对准的超声回波信道信号作为深度学习网络的输入允许深度学习网络被训练用于波束形成或波束求和而不必学习幅度映射和/或时间延迟映射，并且因此降低网络的复杂性。另外，使用深度学习网络可以提供与常规基于DAS的波束形成器(例如，波束形成器114)相比较的计算成本优点，因为深度学习网络的推理阶段中的运算主要是卷积(例如，乘加)和矩阵乘法。
本领域的技术人员将认识到，可以以各种方式修改上文所描述的装置、系统和方法。因此，本领域的普通技术人员将意识到，由本公开涵盖的实施例不限于上文所描述的特定示范性实施例。在该方面中，尽管已经示出并描述了说明性实施例，但是在前述公开中预期各种各样的修改、改变和替代。应理解，在不脱离本公开的范围的情况下，可以对前述内容做出这样的变化。因此，所附权利要求宽广地并且以与本公开一致的方式解释是适当的。

Claims (20)

1.一种超声成像系统，包括：
声学元件的阵列，其被配置为将超声能量发送到解剖结构中并且接收与所述解剖结构相关联的超声回波；以及
处理器电路，其与所述声学元件的阵列通信并且被配置为：
从所述阵列接收对应于接收到的超声回波的超声信道数据；
通过基于所述超声信道数据的信号水平将第一缩放函数应用到所述超声信道数据将所述超声信道数据规范化；
通过将预测网络应用到规范化超声信道数据来生成波束形成数据；
通过基于所述超声信道数据的所述信号水平将第二缩放函数应用到所述波束形成数据将所述波束形成数据去规范化；
根据所述波束形成数据来生成所述解剖结构的图像；并且
将所述解剖结构的所述图像输出到与所述处理器电路通信的显示器。
2.根据权利要求1所述的系统，其中，所述处理器电路还被配置为：
基于成像深度将时间延迟应用到所述规范化超声信道数据。
3.根据权利要求1所述的系统，
其中，所述超声信道数据包括针对多个信道的多个样本，
其中，所述波束形成数据包括多个输出值，
其中，所述处理器电路还被配置为基于成像深度来选择所述多个样本的子集，
其中，所述处理器电路将所述超声信道数据规范化包括基于所述多个样本的所述子集的第二信号水平来缩放所述多个样本的所述子集的第一样本的第一信号水平以产生所述规范化超声信道数据的子集，并且
其中，所述处理器电路生成所述波束形成数据包括将所述预测网络应用到所述规范化超声信道数据的所述子集以产生所述波束形成数据中的所述多个输出值中的第一输出值。
4.根据权利要求3所述的系统，其中，所述第一样本和所述第一输出值对应于所述图像中的相同像素位置。
5.根据权利要求4所述的系统，其中，所述处理器电路将所述超声信道数据规范化包括：
基于所述多个样本的所述子集的均方根(RMS)值来缩放所述第一样本的所述第一信号水平。
6.根据权利要求1所述的系统，其中，所述声学元件的阵列包括第一孔径大小，并且其中，所述波束形成数据与大于所述第一孔径大小的第二孔径大小相关联。
7.根据权利要求6所述的系统，其中，所述预测网络是通过以下操作来训练的：
提供基于所述第一孔径大小生成的测试超声信道数据和基于所述第二孔径大小生成的第一目标波束形成数据；并且
训练所述预测网络以根据所述测试超声信道数据来产生所述第一目标波束形成数据。
8.根据权利要求7所述的系统，其中，所述预测网络是通过以下操作来训练的：
提供基于所述第一孔径大小生成的第二目标波束形成数据；并且
在训练所述预测网络以产生所述第一目标波束形成数据之前训练所述预测网络以根据所述测试超声信道数据来产生所述第二目标波束形成数据。
9.根据权利要求1所述的系统，其中，所述超声信道数据是根据第一数量的超声发送触发事件来生成的，并且其中，所述波束形成数据与大于所述第一数量的超声发送触发事件的第二数量的超声发送触发事件相关联。
10.根据权利要求9所述的系统，其中，所述预测网络是通过以下操作来训练的：
提供基于所述第一数量的超声发送触发事件生成的测试超声信道数据和基于所述第二数量的超声发送触发事件生成的第一目标波束形成数据；并且
训练所述预测网络以根据所述测试超声信道数据来产生所述第一目标波束形成数据。
11.根据权利要求10所述的系统，其中，所述预测网络是通过以下操作来训练的：
提供基于所述第一数量的超声发送触发事件生成的第二目标波束形成数据；并且
在训练所述预测网络以产生所述第一目标波束形成数据之前训练所述预测网络以根据所述测试超声信道数据来产生所述第二目标波束形成数据。
12.根据权利要求1所述的系统，其中，所述超声信道数据与第一信噪比(SNR)相关联，并且其中，所述波束形成数据与大于所述第一SNR的第二SNR相关联。
13.根据权利要求1所述的系统，其中，所述声学元件的阵列包括声学元件的一维阵列。
14.根据权利要求1所述的系统，其中，所述声学元件的阵列包括声学元件的二维阵列。
15.一种超声成像的方法，包括：
在与声学元件的阵列通信的处理器电路处接收对应于与解剖结构相关联的超声回波的超声信道数据；
通过基于所述超声信道数据的信号水平将第一缩放函数应用到所述超声信道数据将所述超声信道数据规范化；
通过将预测网络应用到规范化超声信道数据来生成波束形成数据；
通过基于所述超声信道数据的所述信号水平将第二缩放函数应用到所述波束形成数据将所述波束形成数据去规范化；
根据所述波束形成数据来生成所述解剖结构的图像；并且
将所述解剖结构的所述图像输出到与所述处理器电路通信的显示器。
16.根据权利要求15所述的方法，还包括：
基于成像深度将时间延迟应用到所述规范化超声信道数据。
17.根据权利要求15所述的方法，
其中，所述超声信道数据包括针对多个信道的多个样本，
其中，所述波束形成数据包括多个输出值，
其中，所述方法包括基于成像深度来选择所述多个样本的子集，
其中，将所述超声信道数据规范化包括基于所述多个样本的所述子集的第二信号水平来缩放所述多个样本的所述子集的第一样本的第一信号水平以产生所述规范化超声信道数据，所述第一样本对应于所述图像中的像素位置，并且
通过以下操作来生成所述波束形成数据：将所述预测网络应用到所述规范化超声信道数据的所述子集以产生所述波束形成数据中的所述多个输出值中的第一输出值，所述第一输出值对应于所述像素位置。
18.根据权利要求15所述的方法，其中，所述声学元件的阵列包括第一孔径大小，并且其中，所述波束形成数据与大于所述第一孔径大小的第二孔径大小相关联。
19.根据权利要求15所述的方法，其中，所述超声信道数据是根据第一数量的超声发送触发事件来生成的，并且其中，所述波束形成数据与大于所述第一数量的超声发送触发事件的第二数量的超声发送触发事件相关联。
20.根据权利要求15所述的方法，其中，所述超声信道数据与第一信噪比(SNR)相关联，并且其中，所述波束形成数据与大于所述第一SNR的第二SNR相关联。
CN202080015904.5A 2019-02-22 2020-02-10 具有基于深度学习的波束形成的超声成像和相关联的设备、系统及方法 Pending CN113454484A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962809080P 2019-02-22 2019-02-22
US62/809,080 2019-02-22
PCT/EP2020/053288 WO2020169384A1 (en) 2019-02-22 2020-02-10 Ultrasound imaging with deep learning-based beamforming and associated devices, systems, and methods

Publications (1)

Publication Number Publication Date
CN113454484A true CN113454484A (zh) 2021-09-28

Family

ID=69570659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080015904.5A Pending CN113454484A (zh) 2019-02-22 2020-02-10 具有基于深度学习的波束形成的超声成像和相关联的设备、系统及方法

Country Status (4)

Country Link
US (1) US11950960B2 (zh)
EP (1) EP3928121A1 (zh)
CN (1) CN113454484A (zh)
WO (1) WO2020169384A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240111045A1 (en) * 2019-10-16 2024-04-04 Koninklijke Philips N.V. Method and apparatus for deep learning-based ultrasound beamforming

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210353249A1 (en) * 2020-05-12 2021-11-18 Acoustiic Inc. Detection and treatment of tumors using ultrasound
US11710218B2 (en) * 2021-03-17 2023-07-25 GE Precision Healthcare LLC System and method for normalizing dynamic range of data acquired utilizing medical imaging

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5997479A (en) * 1998-05-28 1999-12-07 Hewlett-Packard Company Phased array acoustic systems with intra-group processors
US6468216B1 (en) * 2000-08-24 2002-10-22 Kininklijke Philips Electronics N.V. Ultrasonic diagnostic imaging of the coronary arteries
FR2886533B1 (fr) * 2005-06-03 2007-09-14 Theraclion Soc Par Actions Sim Tete d'imagerie et de traitement d'organes d'etres vivants et procede de fabrication
FR2886534A1 (fr) * 2005-06-03 2006-12-08 Theraclion Soc Par Actions Sim Tete d'imagerie et de traitement d'organes d'etres vivants et procede de fabrication
US8565856B2 (en) * 2007-09-18 2013-10-22 Siemens Medical Solutions Usa, Inc. Ultrasonic imager for motion measurement in multi-modality emission imaging
US8348846B2 (en) * 2008-09-30 2013-01-08 Mediri Gmbh 3D motion detection and correction by object tracking in ultrasound images
CN102187250B (zh) * 2008-10-20 2013-12-04 皇家飞利浦电子股份有限公司 具有高压换能器的低压超声系统
US10542962B2 (en) * 2009-07-10 2020-01-28 Elekta, LTD Adaptive radiotherapy treatment using ultrasound
CN103153196B (zh) * 2011-09-22 2016-10-26 东芝医疗系统株式会社 超声波诊断装置
WO2013056089A2 (en) * 2011-10-12 2013-04-18 Seno Medical Instruments, Inc. System and method for acquiring optoacoustic data and producing parametric maps thereof
JP7123984B2 (ja) * 2017-06-22 2022-08-23 コーニンクレッカ フィリップス エヌ ヴェ 化合物超音波画像生成の方法及びシステム
EP3641658B1 (en) * 2017-06-23 2021-06-16 Mayo Foundation for Medical Education and Research Methods for ultrasound system independent attenuation coefficient estimation
EP3435324A1 (en) * 2017-07-27 2019-01-30 Koninklijke Philips N.V. Fetal ultrasound image processing
WO2019118613A1 (en) * 2017-12-12 2019-06-20 Oncoustics Inc. Machine learning to extract quantitative biomarkers from ultrasound rf spectrums
EP3553785A1 (en) * 2018-04-11 2019-10-16 Koninklijke Philips N.V. Systems and methods for generating enhanced diagnostic images from 3d medical image data

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240111045A1 (en) * 2019-10-16 2024-04-04 Koninklijke Philips N.V. Method and apparatus for deep learning-based ultrasound beamforming

Also Published As

Publication number Publication date
EP3928121A1 (en) 2021-12-29
WO2020169384A1 (en) 2020-08-27
US11950960B2 (en) 2024-04-09
US20220096054A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
US11103221B2 (en) System and method for providing variable ultrasound array processing in a post-storage mode
US11559277B2 (en) Ultrasound 3D imaging system
CN110023782B (zh) 用于对超声图像杂波滤波的方法和系统
US11950960B2 (en) Ultrasound imaging with deep learning-based beamforming and associated devices, systems, and methods
CN112470028A (zh) 通过深度学习进行的超声成像及关联的设备、系统和方法
US20240111045A1 (en) Method and apparatus for deep learning-based ultrasound beamforming
US20230248336A1 (en) Ultrasound diagnosis apparatus
JP7387249B2 (ja) 超音波診断装置、医用画像処理装置及び医用画像処理プログラム
US20130172744A1 (en) Providing particle flow image in ultrasound system
van Sloun et al. 1 Deep learning for ultrasound beamforming
Roman et al. An open-source test-bench for autonomous ultrasound imaging
CN112842382B (zh) 用于对信道数据进行流处理以应用非线性波束形成的方法和系统
Ossenkoppele et al. Improving lateral resolution in 3-D imaging with micro-beamforming through adaptive beamforming by deep learning
Ibrahim et al. Single-FPGA complete 3D and 2D medical ultrasound imager
Chatar et al. Analysis of existing designs for fpga-based ultrasound imaging systems
Ibrahim et al. Apodization scheme for hardware-efficient beamformer
Yen et al. Gated transmit and Fresnel-based receive beamforming with a phased array for low-cost ultrasound imaging
KR101456923B1 (ko) 애퍼처 컴파운딩을 이용한 초음파 촬영 방법과 그를 위한 초음파 진단 장치
Nikolov et al. Real-time synthetic aperture imaging: opportunities and challenges
CN117084717A (zh) 一种血流成像方法和超声成像装置
CN115735138A (zh) 用于连续波多普勒的基于超声换能器探头的模数转换以及相关联的设备、系统和方法
Kypriotis Scalable Ultrafast Ultrasound Delay-and-Sum Beamforming design on an FPGA
Ibrahim et al. Assessment of image quality vs. computation cost for different parameterizations of ultrasound imaging pipelines
WO2024121348A1 (en) Adaptive ultrasound beamforming
CN117982162A (zh) 一种超声成像系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination