CN115715171A - 根据短的欠采样信号群生成彩色多普勒图像的系统和方法 - Google Patents

根据短的欠采样信号群生成彩色多普勒图像的系统和方法 Download PDF

Info

Publication number
CN115715171A
CN115715171A CN202180045383.2A CN202180045383A CN115715171A CN 115715171 A CN115715171 A CN 115715171A CN 202180045383 A CN202180045383 A CN 202180045383A CN 115715171 A CN115715171 A CN 115715171A
Authority
CN
China
Prior art keywords
group
signals
signal
neural network
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180045383.2A
Other languages
English (en)
Inventor
I·Z·阿波斯托拉基斯
F·C·梅拉尔
J·S·沈
F·G·G·M·维尼翁
汪世英
J-L·F-M·罗伯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN115715171A publication Critical patent/CN115715171A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8909—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration
    • G01S15/8915—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration using a transducer array
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8979—Combined Doppler and pulse-echo imaging systems
    • G01S15/8981—Discriminating between fixed and moving objects or between objects moving at different speeds, e.g. wall clutter filter
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8979—Combined Doppler and pulse-echo imaging systems
    • G01S15/8988—Colour Doppler imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52023—Details of receivers
    • G01S7/52025—Details of receivers for pulse systems
    • G01S7/52026—Extracting wanted echo signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Vascular Medicine (AREA)
  • Cardiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

一种超声成像系统可以获取短和/或欠采样射频信号群以用于生成彩色多普勒图像。超声成像系统可以处理短和/或欠采样信号群以模拟从长的射频信号群获取的彩色多普勒图像。在一些示例中，超声成像系统可以包括神经网络来处理信号群。在一些示例中，神经网络可以包括两个串联的神经网络。在一些示例中，在神经网络的训练期间，可以对神经网络的输出使用基于功率多普勒的流量掩模。在一些示例中，在神经网络的训练期间，可以对神经网络的输出使用对抗损失。

Description

根据短的欠采样信号群生成彩色多普勒图像的系统和方法
技术领域
本公开内容涉及用于生成彩色多普勒图像的成像系统和方法。特别是用于根据短的欠采样射频(RF)信号群(ensemble)生成彩色多普勒图像的成像系统和方法。
背景技术
传统上，彩色多普勒(CD)用于诊断颅外动脉的动脉粥样硬化疾病并检查心脏的血液动力学属性。然而，由于高且湍流的血液速度，对心脏和狭窄动脉中的血流的检查常常是个挑战。
通过估计来自同一样本体积的超声脉冲信号群(射频(RF)信号群)内的平均相移来生成CD图像。最广泛使用的相移估计技术是对慢时间RF信号群脉冲操作的lag-1自相关。从lag-0自相关中提取功率多普勒(PD)。CD提供与血流速度(例如，速度和方向)有关的信息。PD提供比CD更灵敏的血流检测，但不提供方向信息。通过沿着慢时间方向应用高通滤波器(例如，壁滤波器)，能够将移动的血液回波与组织背景分离。
CD信号质量的一个决定因素是用于生成单幅CD图像的信号群(RF信号群大小)中的脉冲/慢速观测的数量。与较小的RF信号群大小相比，较大的RF信号群大小对CD血流速度估计提供了更高的准确度和灵敏度。另一CD质量因素是信号群脉冲的脉冲重复频率(PRF)。PRF确定多普勒信号的时间采样率和能够恢复的最高血流速度。
发明内容
如本文所公开的，可以利用人工智能(例如，深度学习)来将彩色多普勒图像中的短/抽取信号群与较长的信号群和/或具有较高PRF的信号群进行相关。以这种方式，可以根据短/抽取信号群来生成高质量彩色多普勒图像，该高质量彩色多普勒图像模仿了根据较长的信号群和/或具有较高PRF的信号群生成的外观彩色多普勒图像。
根据本公开内容的示例的超声成像系统可以包括处理器，所述处理器被配置为：接收与第一射频(RF)信号群相对应的超声信号，所述第一RF信号群包括第一长度、第一脉冲重复频率(PRF)和第一灵敏度；至少部分地基于与至少一个参考RF信号群相对应的参考超声信号来根据所述第一RF信号群估计第二RF信号群，所述至少一个参考RF信号群包括与所述第一RF信号群不同的第二脉冲重复率、第二长度或第二灵敏度中的至少一项；并且使用所述第二RF信号群来生成彩色多普勒图像。
根据本公开内容的示例的方法可以包括：接收与第一射频(RF)信号群相对应的超声信号，所述第一RF信号群包括第一长度、第一脉冲重复频率(PRF)和第一灵敏度；至少部分地基于与至少一个参考RF信号群相对应的参考超声信号来根据所述第一RF信号群估计第二RF信号群，所述至少一个参考RF信号群包括与所述第一RF信号群不同的第二脉冲重复率、第二长度或第二灵敏度中的至少一项；并且使用所述第二RF信号群来生成彩色多普勒图像。
根据本公开内容的示例，一种非瞬态计算机可读介质可以包含指令，所述指令在被运行时使成像系统：接收与第一射频(RF)信号群相对应的超声信号，所述第一RF信号群包括第一长度、第一脉冲重复频率(PRF)和第一灵敏度；至少部分地基于与至少一个参考RF信号群相对应的参考超声信号来根据所述第一RF信号群估计第二RF信号群，所述至少一个参考RF信号群包括与所述第一RF信号群不同的第二脉冲重复率、第二长度或第二灵敏度中的至少一项；并且使用所述第二RF信号群来生成彩色多普勒图像。
附图说明
图1示出了长信号群、短信号群和抽取信号群的示例CD图像。
图2是根据本公开内容的原理的超声系统的框图。
图3是图示根据本公开内容的原理的示例处理器的框图。
图4是根据本公开内容的原理的用于训练和部署神经网络的过程的框图。
图5示出了根据本公开内容的原理的神经网络的训练阶段和部署阶段的概览。
图6图示了根据本公开内容的原理的用于生成训练数据集的示例工作流程。
图7是根据本公开内容的原理的神经网络的图解。
图8是图示根据本公开内容的原理的对任选掩蔽损失的使用的方法的流程图。
图9是根据本公开内容的原理的方法的流程图。
图10示出了根据本公开内容的原理的示例抽取信号群彩色多普勒图像和示例增强彩色多普勒图像。
图11示出了根据本公开内容的原理的示例短信号群、长信号群和增强原始相移结果彩色多普勒图像。
图12示出了根据本公开内容的原理的示例短信号群、长信号群和增强原始相移结果彩色多普勒图像。
图13示出了根据本公开内容的原理的示例短信号群、长信号群和增强后处理彩色多普勒图像。
图14示出了根据本公开内容的原理的示例短信号群、长信号群和增强后处理彩色多普勒图像。
具体实施方式
下面对某些实施例的描述本质上仅仅是示例性的，而决不是为了限制本发明或其应用或用途。在下面对本系统和方法的实施例的详细描述中，参考了附图，这些附图构成了本描述的部分，并且以图示的方式示出了可以实践所描述的系统和方法的具体实施例。足够详细地描述了这些实施例，以使得本领域技术人员能够实践当前公开的系统和方法，并且应当理解，在不脱离本系统的精神和范围的情况下，可以利用其他实施例，并且可以进行结构和逻辑上的改变。此外，为了清楚起见，当某些特征对本领域技术人员来说是显而易见的时，将不会讨论这些特征的详细描述，以免模糊对本系统的描述。因此，下面的详细描述不是限制性的，并且本系统的范围仅由权利要求来限定。
彩色多普勒(CD)图像是通过估计来自同一样本体积的超声脉冲信号群(射频(RF)信号群)内的平均相移来生成的。在一些示例中，每个脉冲可以对应于一帧(例如，RF帧)。长信号群提供高质量的CD图像，对血流速度具有灵敏且接近的估计结果。然而，长信号群可能会降低帧速率，有时会显著降低帧速率，这可能会妨碍诊断。在临床扫描器中常用的短信号群长度扩展了杂波带宽，从而使壁滤波更具挑战性并降低了灵敏度。另外，从较短的RF信号群获取平均多普勒频移可能导致可变性增加，从而降低测量准确度。
与短信号群相比，欠采样信号群长度(例如，抽取信号群)具有提高的灵敏度。欠采样信号群还可以为交错获取提供更大的机会(例如，以不同方式(例如，多普勒和B模式)获取交替的超声帧)。然而，欠采样信号群可能遭受多普勒信号的采样时间不足的问题。更具体地，当检测到的多普勒频率超过脉冲重复频率(PRF)的一半时，不再能够明确恢复血液速度并且可能出现混叠。
图1分别示出了长(或完整)信号群、短信号群和抽取信号群的示例CD图像100、102和104。所有的CD图像100、102、104都是从流动体模获取的。长信号群CD图像100是根据包括14个脉冲重复频率(PRF)为4000Hz的超声脉冲的信号群生成的。短信号群CD图像102是根据包括7个PRF为4000Hz的超声脉冲的信号群生成的。如上面所指出的，与长信号群相比，短信号群降低了灵敏度。例如，在区域106中，CD图像102未能检测到在CD图像100中检测到的所有流动。抽取信号群CD图像104是从包括7个PRF为2000Hz的超声脉冲的信号群生成的。虽然CD图像104显示出比CD图像102对流动的灵敏度更高，但是例如在区域108中能够观察到速度值的混叠。
因此，会期望获得具有高PRF的长信号群的优点(例如，如CD图像100中所示的高CD图像质量)，同时保持短/欠采样信号群的灵活性(例如，更高的成像帧速率、交错能力)。
如本文所公开的，人工智能(例如，深度学习)可以被用来将短/欠采样信号群链接到使用较长的信号群和/或具有较高PRF的信号群生成的CD图像。更具体地，深度学习框架包括一个或多个卷积神经网络(CNN)，其中，短/抽取信号群作为输入数据，并且长和/或高PRF信号群CD图像作为输出数据。一旦被训练，深度学习框架就可以提供来自短/欠采样信号群的CD图像，与根据短/欠采样信号群生成的典型CD图像相比，该CD图像具有更高的质量(例如，更高的灵敏度、更准确的速度估计)。换句话说，由深度学习框架提供的CD图像可以提供更接近根据长和/或高PRF信号群生成的CD图像的质量的CD图像。
图2示出了根据本公开内容的原理构建的超声成像系统200的框图。根据本公开内容的超声成像系统200可以包括换能器阵列214，换能器阵列214可以被包括在超声探头212(例如，外部探头或内部探头(例如，心脏内回波描记(ICE)探头或经食道回波描记(TEE)探头))中。在其他实施例中，换能器阵列214可以是柔性阵列的形式，该柔性阵列被配置为保形地应用于要被成像的对象(例如，患者)的表面。换能器阵列214被配置为发射超声信号(例如，波束、波)并接收响应于超声信号的回波。可以使用各种换能器阵列，例如，线性阵列、弯曲阵列或相控阵列。例如，换能器阵列214能够包括换能器元件的二维阵列(如图所示)，该二维阵列能够在仰角和方位角这两个维度上扫描，以用于2D成像和/或3D成像。众所周知，轴向方向是垂直于阵列面的方向(在弯曲阵列的情况下，轴向方向呈扇形散开)，方位角方向通常由阵列的纵向维度来定义，而仰角方向横切于方位角方向。
在一些实施例中，换能器阵列214可以被耦合到微波束形成器116，微波束形成器116可以位于超声探头212中，并且可以通过阵列214中的换能器元件来控制对信号的发射和接收。在一些实施例中，微波束形成器216可以通过阵列214中的激活元件(例如，在任何给定时间时定义激活孔径的阵列元件的激活子集)来控制对信号的发射和接收。
在一些实施例中，微波束形成器216可以例如通过探头线缆或者无线地耦合到发射/接收(T/R)开关218，该T/R开关218在发射与接收之间切换并且保护主波束形成器222免受高能发射信号的影响。在一些实施例中，例如在便携式超声系统中，T/R开关218和系统中的其他元件能够被包括在超声探头212中，而不是被包括在可以容纳图像处理电子器件的超声系统基座中。超声系统基座通常包括软件部件和硬件部件，包括用于信号处理和图像数据生成的电路以及用于提供用户接口的可执行指令(例如，处理电路250和用户接口224)。
在微波束形成器216的控制下，从换能器阵列214发射超声信号的发射操作由发射控制器220来指导，该发射控制器220可以被耦合到T/R开关218和主波束形成器222。发射控制器220可以控制波束被转向的方向。波束可以从换能器阵列214(垂直于换能器阵列214)直线前进，或者以不同的角度转向以获得更宽的视场。发射控制器220还可以被耦合到用户接口224并且接收来自用户对用户控键的操作的输入。用户接口224可以包括一个或多个输入设备，例如，控制面板252，这一个或多个输入设备可以包括一个或多个机械控件(例如，按钮、编码器等)、触敏控件(例如，轨迹板、触摸屏等)和/或其他已知的输入设备。
在一些实施例中，由微波束形成器216产生的部分波束形成的信号可以被耦合到主波束形成器222，在主波束形成器222中，来自换能器元件的个体拼片的部分波束形成的信号可以被组合成完全波束形成的信号。在一些实施例中，省去了微波束形成器216，并且换能器阵列214处于执行所有信号波束形成的主波束形成器222的控制之下。在具有和不具有微波束形成器216的实施例中，主波束形成器222的波束形成的信号都被耦合到处理电路250，处理电路250可以包括一个或多个处理器(例如，信号处理器226、B模式处理器228、多普勒处理器260以及一个或多个图像生成和处理部件268)，这一个或多个处理器被配置为根据波束形成的信号(例如，波束形成的RF数据)来产生超声图像。
信号处理器226可以被配置为以各种方式(例如，带通滤波、抽取、I和Q分量分离以及谐波信号分离)处理接收到的波束形成的RF数据。信号处理器226还可以执行额外的信号增强，例如，散斑抑制、信号复合和噪声消除。经处理的信号(也被称为I和Q分量或IQ信号)可以被耦合到额外的下游信号处理电路以用于图像生成。IQ信号可以被耦合到系统内的多条信号路径，其中的每条信号路径可以与适合用于生成不同类型的图像数据(例如，B模式图像数据、多普勒图像数据)的信号处理部件的特定布置相关联。例如，该系统可以包括B模式信号路径258，B模式信号路径258将来自信号处理器226的信号耦合到B模式处理器228，以用于产生B模式图像数据。
B模式处理器能够采用幅度检测来对体内结构进行成像。由B模式处理器228产生的信号可以被耦合到扫描转换器230和/或多平面重新格式化器232。扫描转换器230可以被配置为将回波信号根据它们被接收时的空间关系布置成期望的图像格式。例如，扫描转换器230可以将回波信号布置成二维(2D)扇形格式，或者金字塔形或其他形状的三维(3D)格式。多平面重新格式化器232能够将从身体的体积区域中的公共平面中的点接收到的回波转换成该平面的超声图像(例如，B模式图像)，例如如在美国专利US 6443896(Detmer)中所描述的那样。在一些实施例中，扫描转换器230和多平面重新格式化器232可以被实施为一个或多个处理器。
体积绘制器234可以生成如从给定参考点观看到的3D数据集的图像(也被称为投影、绘制或绘制结果)，例如如在美国专利US 6530885(Entrekin等人)中所描述的那样。在一些实施例中，体积绘制器234可以被实施为一个或多个处理器。体积绘制器234可以通过任何已知的或未来已知的技术(例如，表面绘制和最大强度绘制)来生成绘制(例如，正绘制或负绘制)。
在一些实施例中，该系统可以包括将来自信号处理器226的输出耦合到多普勒处理器260的多普勒信号路径262。多普勒处理器260可以被配置为估计多普勒频移并生成多普勒图像数据。多普勒图像数据可以包括彩色数据，然后用B模式(即，灰度)图像数据叠加该彩色数据以进行显示。多普勒处理器260可以被配置为例如使用壁滤波器来滤除不想要的信号(即，与非移动组织相关联的噪声或杂乱信号)。多普勒处理器260还可以被配置为根据已知的技术来估计速度和功率。例如，多普勒处理器可以包括诸如自相关器之类的多普勒估计器，其中，速度(多普勒频率)估计基于lag-1自相关函数的自变量，而多普勒功率估计基于lag-0自相关函数的量值。还能够通过已知的相位域(例如，诸如MUSIC、ESPRIT等参数频率估计器)或时域(例如，互相关)信号处理技术来估计运动。代替速度估计器或除了速度估计器以外，能够使用与速度的时间或空间分布有关的其他估计器，例如，加速度或时间和/或空间速度导数的估计器。在一些实施例中，速度和/或功率估计可以经历进一步的阈值检测以进一步降低噪声，并且还经历分割和后处理(例如，填充和平滑)。然后，可以根据颜色图将速度和/或功率估计结果映射到期望的显示颜色范围。彩色数据(也被称为多普勒图像数据)然后可以被耦合到扫描转换器230，在扫描转换器230中，多普勒图像数据可以被转换成期望的图像格式，并且被叠加在组织结构的B模式图像上，以形成彩色多普勒或功率多普勒图像。在一些示例中，在将彩色多普勒图像叠加到B模式图像上之前，可以使用功率估计结果(例如，lag-0自相关信息)来掩蔽或分割彩色多普勒中的流动(例如，速度估计结果)。
根据本公开内容的实施例，超声探头212可以发射超声脉冲的信号群(例如，RF信号群或简单信号群)。在一些实施例中，信号群可以是短和/或欠采样信号群。超声探头212可以接收响应于所发射的信号群的超声信号。这些信号可以经由波束形成器222和信号处理器226被提供给多普勒处理器260。多普勒处理器260可以基于接收到的信号来生成增强CD图像。在一些实施例中，与根据短和/或欠采样信号群生成的典型CD图像相比，由多普勒处理器260基于来自短和/或欠采样信号群的信号生成的增强CD图像可以对流动具有更高的灵敏度和/或具有更准确的速度估计(例如，减少混叠)。在一些示例中，由多普勒处理器260生成的增强CD图像可以具有更接近或等于由长和/或高PRF信号群生成的CD图像的灵敏度和准确度。在一些示例中，用于生成增强CD图像的信号可以被壁滤波。在其他示例中，用于生成增强CD图像的信号可以不经过壁滤波。
在一些实施例中，多普勒处理器260可以由一个或多个处理器和/或专用集成电路来实施。在一些实施例中，多普勒处理器260可以包括任何一个或多个机器学习、人工智能算法和/或多个神经网络。在一些示例中，多普勒处理器260可以包括深度神经网络(DNN)、卷积神经网络(CNN)、递归神经网络(RNN)、自动编码器神经网络等，以根据短和/或欠采样信号群生成增强CD图像。神经网络可以被实施在硬件部件(例如，神经元由物理部件表示)和/或软件部件(例如，神经元和路径被实施在软件应用中)中。根据本公开内容实施的神经网络可以使用多种拓扑和学习算法来训练神经网络以产生期望的输出。例如，可以使用被配置为运行指令的处理器(例如，单核或多核CPU、单个GPU或GPU集群或被布置用于并行处理的多个处理器)来实施基于软件的神经网络，所述指令可以被存储在计算机可读介质中，并且当被运行时使处理器执行经训练的算法以用于根据短和/或欠采样信号群来生成增强CD图像。在一些实施例中，多普勒处理器260可以结合其他图像处理方法(例如，分割、直方图分析)来实施神经网络。
在各种实施例中，可以使用各种当前已知或以后开发的学习技术中的任一种学习技术来训练(一个或多个)神经网络，以获得被配置为分析呈超声图像、测量结果和/或统计数据形式的输入数据的神经网络(例如，经训练的算法或基于硬件的节点系统)。在一些实施例中，可以静态训练神经网络。也就是说，可以用数据集来训练神经网络并将其部署在多普勒处理器260上。在一些实施例中，可以动态训练神经网络。在这些实施例中，可以用初始数据集来训练神经网络并将其部署在多普勒处理器260上。然而，在将神经网络部署在多普勒处理器260上之后，可以基于由系统200获取的超声图像来继续训练并修改神经网络。
来自扫描转换器230、多平面重新格式化器232和/或体积绘制器234的输出可以被耦合到图像处理器236，以用于在图像显示器238上显示之前进行进一步的增强、缓冲和临时存储。图形处理器240可以生成与图像一起显示的图形叠加物。这些图形叠加物能够包含例如标准识别信息(例如，患者姓名)、图像的日期和时间、成像参数等。出于这些目的，图形处理器可以被配置为从用户接口224接收输入，例如，键入的患者姓名或其他注释。用户接口224也能够被耦合到多平面重新格式化器232，以用于选择和控制对多个多平面重新格式化(MPR)图像的显示。
系统200可以包括本地存储器242。本地存储器242可以被实施为任何合适的非瞬态计算机可读介质(例如，闪存驱动器、磁盘驱动器)。本地存储器242可以存储由系统200生成的数据，包括超声图像、可执行指令、成像参数、训练数据集或系统200操作所需的任何其他信息。
如前面所提到的，系统200包括用户接口224。用户接口224可以包括显示器238和控制面板252。显示器238可以包括使用各种已知的显示技术(例如，LCD、LED、OLED或等离子显示技术)实施的显示设备。在一些实施例中，显示器238可以包括多个显示器。控制面板252可以被配置为接收用户输入(例如，信号群长度、成像模式)。控制面板252可以包括一个或多个硬控件(例如，按钮、旋钮、拨号盘、编码器、鼠标、轨迹球等)。在一些实施例中，控制面板252可以额外地或替代地包括在触敏显示器上提供的软控件(例如，GUI控制元件或被简称为GUI控件)。在一些实施例中，显示器238可以是触敏显示器，该触敏显示器包括控制面板252的一个或多个软控件。
在一些实施例中，图2所示的各个部件可以合并。例如，图像处理器236和图形处理器240可以被实施为单个处理器。在一些实施例中，图2所示的各个部件可以被实施为单独的部件。例如，信号处理器226可以被实施为用于每种成像模式(例如，B模式、多普勒)的单独的信号处理器。在一些实施例中，图2所示的各个处理器中的一个或多个处理器可以由通用处理器和/或被配置为执行特定任务的微处理器来实施。在一些实施例中，各个处理器中的一个或多个处理器可以被实施为专用电路。在一些实施例中，各个处理器中的一个或多个处理器(例如，图像处理器236)可以用一个或多个图形处理单元(GPU)来实施。
图3是图示根据本公开内容的原理的示例处理器300的框图。处理器300可以用于实施本文所述的一个或多个处理器和/或控制器，例如，图2所示的图像处理器236和/或图2所示的任何其他处理器或控制器。处理器300可以是任何合适的处理器类型，包括但不限于微处理器、微控制器、数字信号处理器(DSP)、现场可编程阵列(FPGA)(其中，FPGA已被编程为形成处理器)、图形处理单元(GPU)、专用集成电路(ASIC)(其中，ASIC已被设计为形成处理器)或其组合。
处理器300可以包括一个或多个内核302。内核302可以包括一个或多个算术逻辑单元(ALU)304。在一些实施例中，除了ALU 304以外或者代替ALU 304，内核302可以包括浮点逻辑单元(FPLU)306和/或数字信号处理单元(DSPU)308。
处理器300可以包括被通信性耦合到内核302的一个或多个寄存器312。寄存器312可以使用专用逻辑门电路(例如，触发器(flip-flop))和/或任何存储器技术来实施。在一些实施例中，寄存器312可以使用静态存储器来实施。寄存器可以向内核302提供数据、指令和地址。
在一些实施例中，处理器300可以包括被通信性耦合到内核302的一个或多个级别的高速缓冲存储器310。高速缓冲存储器310可以向内核302提供计算机可读指令以供运行。高速缓冲存储器310可以提供由内核302处理的数据。在一些实施例中，计算机可读指令可能已经由本地存储器(例如，附接到外部总线316的本地存储器)提供给了高速缓冲存储器310。高速缓冲存储器310可以用任何合适的高速缓冲存储器类型来实施，例如，金属氧化物半导体(MOS)存储器(例如，静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM))和/或任何其他合适的存储器技术。
处理器300可以包括控制器314，控制器314可以控制从系统中包括的其他处理器和/或部件(例如，图2所示的控制面板252和扫描转换器230)到处理器300的输入和/或从处理器300到系统中包括的其他处理器和/或部件(例如，图2所示的显示器238和体积绘制器234)的输出。控制器314可以控制ALU 304、FPLU 306和/或DSPU 308中的数据路径。控制器314可以被实施为一个或多个状态机、数据路径和/或专用控制逻辑单元。控制器314的门可以被实施为独立的门、FPGA、ASIC或任何其他合适的技术。
寄存器312和高速缓冲存储器310可以经由内部连接320A、320B、320C和320D与控制器314和内核302通信。内部连接可以被实施为总线、多路复用器、交叉开关和/或任何其他合适的连接技术。
可以经由总线316来提供针对处理器300的输入和输出，总线316可以包括一条或多条导线。总线316可以被通信性耦合到处理器300的一个或多个部件，例如，控制器314、高速缓冲存储器310和/或寄存器312。总线316可以被耦合到系统的一个或多个部件，例如，先前提到的显示器238和控制面板252。
总线316可以被耦合到一个或多个外部存储器。外部存储器可以包括只读存储器(ROM)332。ROM 332可以是掩蔽ROM、电子可编程只读存储器(EPROM)或任何其他合适的技术。外部存储器可以包括随机存取存储器(RAM)333。RAM 333可以是静态RAM、电池备份静态RAM、动态RAM(DRAM)或任何其他合适的技术。外部存储器可以包括电可擦除可编程只读存储器(EEPROM)335。外部存储器可以包括闪速存储器334。外部存储器可以包括磁性存储设备，例如，磁盘336。在一些实施例中，外部存储器(例如，本地存储器242)可以被包括在系统(例如，图2所示的超声成像系统200)中。
图4示出了根据本公开内容的原理的用于训练和部署神经网络的过程的框图。图4所示的过程可以用于训练在多普勒处理器260中包括的神经网络。图4的左手边(阶段1)图示了神经网络的训练。为了训练神经网络，包括输入阵列和输出分类的多个实例的训练集可以被呈现给(一个或多个)神经网络的(一种或多种)训练算法(例如，AlexNet训练算法，如Krizhevsky,A.、Sutskever,I.和Hinton,G.E.的“ImageNet Classification with DeepConvolutional Neural Networks”(NIPS 2012或其后代)所描述的那样)。训练可以涉及选择起始网络架构412和准备训练数据414。起始网络架构412可以是空白架构(例如，具有定义的层和节点布置但没有任何先前训练的权重的架构)或经部分训练的网络(例如，开端网络)，所述经部分训练的网络然后可以被进一步量身调整以用于超声图像的分类。起始架构412(例如，空白权重)和训练数据414被提供给训练引擎410(例如，ADAM优化器)以用于训练模型。在足够次数的迭代后(例如，当模型在可接受的误差范围内一致地执行时)，模型420被认为已被训练好并准备好了部署，在图4的中间(阶段2)图示出这种情况。在图4的右手边(或阶段3)，(经由推理引擎430)应用经训练的模型420来分析新的数据432，新的数据432是在初始训练期间(在阶段1中)没有呈现给模型的数据。例如，新的数据432可以包括未知图像，例如，在扫描患者期间获取的实况超声图像(例如，在超声心动描记检查期间的心脏图像)。经由引擎430实施的经训练的模型420用于根据模型420的训练对未知图像进行分类以提供输出434(例如，根据短和/或欠采样信号群来生成增强CD图像)。然后，该系统可以使用输出434来进行后续过程440(例如，显示增强CD图像，对增强CD图像执行额外的图像处理)。
在使用经训练的模型420来实施多普勒处理器260的神经网络的实施例中，起始架构可以是卷积神经网络或深度卷积神经网络的起始架构，该起始架构可以被训练为根据短和/或欠采样信号群来生成增强CD图像。训练数据414可以包括多幅(数百幅，常常为数千幅或甚至更多幅)经注释/标记的图像(也被称为训练图像)。应当理解，训练图像不需要包括由成像系统产生的完整图像(例如表示超声探头的完整视场或整个MRI体积)，而是可以包括图像的拼片或部分，例如，包括流动的那些部分。
在各种实施例中，经训练的神经网络可以被至少部分地实施在包括由处理器(例如，多普勒处理器260)运行的可执行指令的计算机可读介质中。
图5示出了根据本公开内容的原理的神经网络的训练阶段和部署阶段的概览。在训练阶段期间，未经训练的神经网络500接收包括来自短和/或欠采样RF信号群的信号的部分和/或整个图像信号的训练集作为输入504。在一些示例中，可以对信号进行壁滤波。在其他示例中，可以不对信号进行壁滤波。信号的部分可以是包括流动(例如，血管中的血流)的部分。在一些示例中，可以将来自短和/或欠采样RF信号群的所有信号提供为输入(例如，血管中的血流和来自周围组织的信号)。然而，这会在噪声上训练神经网络500，这样会导致在输出中生成伪影(例如，在无移动的组织中有流动的错误指示)。训练集还可以包括与输入504中的每个输入相关联的期望输出集506。输出506可以包括基于来自长和/或高PRF信号群的信号生成的CD图像。在一些示例中，输出506可以包括CD图像的分量，例如，lag-1自相关或对数压缩的lag-0自相关的相位。如参考图4所讨论的，未经训练的神经网络500可以调整自身(例如，调节权重、层的数量、每层中的节点的数量等)，直到神经网络500能够基于对应的输入504可靠地生成与期望输出506完全相同或充分相似的输出为止。
在训练阶段之后，可以部署经训练的神经网络502(例如，在超声成像系统中，例如为超声成像系统200)。经训练的神经网络502可以从短/欠采样RF信号群接收先前没有看见的(例如，新的)信号部分作为输入508。在一些示例中，可以将全部信号提供给经训练的神经网络502。可以对信号进行壁滤波，也可以不对信号进行壁滤波。信号可能已经由超声探头(例如，超声探头212)获取了。经训练的神经网络502可以对输入508执行操作(例如，处理)以生成增强CD图像作为输出510。如先前所讨论的，与在不使用经训练的神经网络502的情况下根据短/欠采样RF信号群生成的CD图像相比，增强CD图像可以更接近根据长和/或高PRF信号群生成的图像。
图6图示了根据本公开内容的原理的用于生成训练数据集的示例过程或工作流程。在第一步骤600中，可以获取来自长和/或高PRF RF信号群的信号。所述信号可以是一根或多根血管、心脏或其部分或由超声探头获取的具有流动的其他区域的体内信号。在一些示例中，超声探头可以从流动体模(例如，Sun Nuclear公司的Gammex流动体模)获取信号。在一些示例中，可以通过使用超声模拟软件(例如，由丹麦技术大学的
Figure BDA0004014569220000071
Arendt Jensen开发的Field II)进行模拟来获取信号。在步骤600处获取的信号可以对应于如在步骤602处所示的多个帧。例如，在一些应用中，长信号群可以生成10-20个帧。在步骤602处，可以使用来自长和/或高PRF信号群的帧的子集来提供与在步骤604处的短和/或欠采样信号群相对应的帧的集合。
在步骤606处，可以使用来自长和/或高PRF信号群的帧来生成CD图像。在步骤606处生成的CD图像可以是高质量的CD图像(例如，高灵敏度和准确的速度估计)。在步骤608处，还可以使用来自短和/或欠采样信号群的帧来生成CD图像。然而，不需要步骤608来生成训练数据集，并且提供步骤608仅用于说明在步骤606处的根据长和/或高PRF信号群生成的CD图像与根据短信号群生成的CD图像之间的质量差异。例如，在区域610中的步骤608处的图像中，能够观察到速度值的混叠。
最后，在步骤612处，将在步骤604处生成的短和/或欠采样信号群链接到在步骤606处的根据长和/或高PRF信号群生成的对应CD图像。然后将这些输入-输出对提供给神经网络(例如，神经网络500)以用于训练。
本文提供了用于生成训练数据的两个示例。然而，提供这些示例仅用于解释目的，并且本公开内容不限于本文中公开的用于生成训练数据的示例。
在根据本公开内容的第一示例中，使用模拟数据来训练CNN。通过模拟假定的血管的边界内的散射体(例如，18根模拟血管，血管半径＝1.5-7.5mm)来生成流动体模。根据抛物线流动剖面模拟散射体运动。假定的血管的角度和半径以及沿着假定的血管的峰值流速对于每个体模都是随机变化的。
使用场II模拟对模拟流动体模的多普勒成像。模拟S5-1换能器(中心频率2.5MHz，50％带宽)，并且在假定的PRF(例如，2N＝10，PRF＝2000Hz)下针对体模中的每个体模生成2N个RF帧的信号群。然后对每个通道的RF信号进行采样、波束形成和QBP滤波。
因此，获得的3D数据集的尺寸为：样本×接收线×信号群大小。然后以因子2抽取RF信号群(CNN输入，例如，N＝5，PRF＝1000Hz)。采用1D自相关方法来估计针对原始RF信号群(CNN目标)的多普勒相移。从每对训练输入/目标中提取拼片(例如，800个拼片，大小为100个样本×20条接收线(×5个RF帧，针对RF信号群))。由于仅模拟了流动(例如，没有模拟组织散射体)，因此在模拟数据集中没有应用壁滤波，基本上模拟了理想的经壁滤波的数据集。
在根据本公开内容的第二示例中，用(可从飞利浦Healthcare获得的)EPIQ超声扫描器扫描Gammex流动体模以生成用于CNN的训练数据。每次获取的流动体模速度都不同。使用S5-1换能器(中心频率2.5MHz，50％带宽)，获得在特定PRF下的14个脉冲的信号群并对其进行QBP滤波(长信号群，Nle＝14，PRF＝4000Hz)。在该示例中，仅提取长信号群的4个第一脉冲以用作针对短信号群的CNN输入(Nse＝4个脉冲，PRF＝4000Hz)。对于每种情况，使用适当的壁滤波器(例如，高通滤波器)对长信号群和短信号群进行壁滤波。壁滤波使得丢掉了少量(N1)的RF信号群帧(例如，Nle’＝Nle－N1＝12，Nse’＝Nse－N1＝2)。
采用1D自相关方法来估计长RF信号群(例如，CNN的期望输出)的平均多普勒相移。从每对训练输入/期望输出中提取拼片(例如，500个拼片，大小为200个样本×20条接收线(×2个RF帧，针对RF信号群))。使用了用于促进训练的多普勒特定增强，并且该多普勒特定增强涉及仅在多普勒信号的功率(RF信号群的lag-0自相关)超过用户定义的深度相关的阈值的点周围选择训练拼片。这减少了在噪音方面对CNN的训练。
RF信号群拼片中的每个RF信号群拼片以零为中心并被归一化到单位功率。经归一化的RF信号群拼片和对应的CD相位图像拼片被混洗以便促进一般化并且被分成训练数据集和验证数据集。
图7是根据本公开内容的原理的神经网络的一个示例的图解。神经网络700是具有两个串行uNet的卷积神经网络。在线701的左手侧，示出了神经网络700的示意图702，它图示了第一uNet 704和第二uNet 706。在线701的右手侧是神经网络700的对应架构的框图708。水平虚线703和705指示框图708的哪些部分与示意图702中的uNet 704、706中的哪个uNet相对应。
在图7所示的示例中，第一uNet 704关注于从短和/或欠采样RF信号群的每个个体帧中提取信息并同时保持信号群尺寸相同。随后，卷积层将经处理的短和/或欠采样RF信号群压缩成单个平均多普勒相位图像。该层的结果与短和/或欠采样信号群平均多普勒相位(辅助输入#1)相级联，这可以促进平均多普勒相位估计(例如使用短R1相位的特征)。该结果然后被馈送到第二uNet 706，第二uNet 706关注于处理所估计的平均多普勒相位，以使所估计的平均多普勒相位与长和/或高PRF信号群估计的多普勒相位相匹配，从而生成增强CD图像。换句话说，第一uNet 704接收短和/或欠采样RF信号群，并且输出平均多普勒相位图像和短和/或欠采样信号群多普勒相位。第二uNet 706接收第一uNet的输出作为输入，并且输出增强CD图像。在一些示例中，第二uNet 706可以输出生成的RF信号群，根据该RF信号群，可以生成增强CD图像。
任选地，在一些示例(例如，如图7所示的示例)中，在训练阶段期间可以包括神经网络700的多普勒特定增强。多普勒特定增强可以包括定制的掩蔽均方误差(MSE)损失。更具体地，在高通壁滤波之后，非流动区域会表现出高量值的嘈杂的多普勒频移值，该多普勒频移值可能主导在训练期间使用的MSE，由此使该MSE偏置并导致伪影出现在预测图像中。为了最大程度地减小这个问题，可以实施基于长信号群功率多普勒的掩模。可以根据深度依赖性阈值对长信号群功率多普勒图像进行阈值化，然后将其与高斯核卷积以获得多普勒流动的平滑掩模。该掩模可以在训练期间与CNN的输出发生级联，并且被用于估计定制加权MSE损失函数，如箭头710和被标记为“辅助输入2”的框所指示的。在训练期间使用掩蔽损失函数使神经网络700关注于流动区域并防止或减少由于高背景值而产生的偏差。在测试期间，由于没有计算误差量度，因此可以删除最后一个连接层。
任选地，在一些示例中，可以在训练期间使用对抗损失。对抗损失可以使所得到的增强CD图像看起来更自然。可以通过使用条件生成对抗网络(cGAN)或类似模型(被统称为鉴别器网络)来添加对抗损失。在这些示例中，可以将鉴别器网络与神经网络700同时训练，以基于二元交叉熵损失将增强CD图像与根据长和/或高PRF信号群生成的CD图像区分开，该二元交叉熵损失由以下公式来提供：
Binary_cross_entropy＝-∑(labeli·log(p(labeli))+(1-labeli)·log(1-p(labeli)))
公式1
其中，p是概率函数，并且labeli是进入对抗网络的第i个输入帧的标签。例如，如果输入帧是由神经网络700生成的增强CD图像(例如，“假的”)，则labeli可以＝1，而如果输入框是根据长和/或高PRF RF信号群生成的CD图像(例如，“真的”)，则labeli可以＝0。在鉴别器网络的输出处，计算输入的第i个帧是“假的”的概率。因此，p(labeli)可以具有介于0和1之间的值，包括0和1这两个端点。当p(labeli)对应于正确的标签时(例如，当labeli＝1->p(labeli)＝1并且labeli＝
0->p(labeli)＝0时)，二元交叉熵损失最小化。当p(labeli)不正确时(例如，当labeli＝0->p(labeli)＝1并且labeli＝1->p(labeli)＝0时)，二元交叉熵损失最大化。
鉴别器网络被训练为区分神经网络700的输出(例如，区分增强CD图像与来自长和/或高PRF RF信号群的CD图像)，以使公式1中的损失最小化。一旦鉴别器网络已被训练为使该损失最小化，鉴别器网就被冻结，并且神经网络700就将继续训练以使总损失最小化。在一些示例中，用于训练神经网络700的总对抗损失可以通过加权MSE和二元交叉熵损失的平均值来确定。
使用MSE损失和/或对抗损失来修改神经网络700可以赋予背景噪声更高的值，这个值更接近常规多普勒处理所期望的值。这可以促进对图像的处理，因为可能不需要改变超声系统(例如，信号处理器226、图像处理器236)的信号和图像处理(SIP)和/或滤除背景噪声。
图7所示的神经网络700仅作为示例来提供。可以使用其他神经网络，例如，常规的串行CNN。
图8是图示根据本公开内容的原理的使用任选的掩蔽损失的方法800的流程图。如参考图7所讨论的，掩蔽均方损失可以有助于确保神经网络(例如，神经网络700)学习以重建有意义的流动区，同时避免来自高量值多普勒相位噪声(例如，来自没有流动的周围组织)的偏差。公式2提供了MSE损失：
Figure BDA0004014569220000091
其中，E是期望值/平均值，并且R1是RF信号群(例如，多普勒相位)的lag-1自相关函数。
Figure BDA0004014569220000092
是由神经网络预测的多普勒相位图像，并且
Figure BDA0004014569220000093
是根据长和/或高PRF RF信号群生成的高质量多普勒相位图像。Mask是使用来自长和/或高PRF RF信号群的R0(lag-0)功率多普勒图像生成的掩模。
图8图示了当神经网络在后壁滤波数据上训练时生成公式2中的掩模的步骤。获取N个帧的后壁滤波的长和/或高PRF RF信号群802，并且如下面的公式所提供的那样根据长和/高PRF信号群802来估计多普勒功率(R0)图像804：
Figure BDA0004014569220000101
其中，RFwallfiltered(x,z,i)是长壁滤波的信号群，x是方位角坐标，z是深度，并且i是RF信号群中的索引。
还通过下面给出的公式4针对掩模估计线性深度依赖性阈值806：
Figure BDA0004014569220000102
其中，a和K是定义阈值攻击性的用户定义的参数，并且E[R0]是长和/或高PRF信号群R0的平均值。最后，估计的(例如，原始的)掩模808和平滑的掩模810由以下公式生成：
Figure BDA0004014569220000103
Mask(x,z)＝G(x,z)*Maskraw(x,z) 公式6
其中，G(x,z)指示高斯核，并且星号(*)指示卷积。公式5和6中所示的方法只是示例。可以遵循其他更先进/复杂的阈值化策略来获得掩模和其他滤波核，也可以使用其他方法。
在训练期间，将诸如掩模808或掩模810之类的掩模或使用另一适当过程生成的掩模提供给诸如神经网络700之类的神经网络。在图7所示的示例中。如箭头710所示，可以向神经网络700提供掩模808或掩模810。如参考图7所讨论的，如图8所示的找到的掩模仅在训练期间使用，以便在长和/或高PRF RF信号群可用的情况下进行损失估计。在部署期间，已经训练了神经网络。因此，不再需要掩模，因为不进行损失估计或训练(除了在采用动态训练的实施例中以外)。在一些示例中，可以使用相同的掩模来检测流动区并生成包括用于训练神经网络的训练数据集的流动的图像拼片。这会类似于获得以像素为中心的图像拼片，其中，mask(x,z)>0。
当还使用参考图7和公式1所讨论的来自鉴别器网络的对抗丢失时，总损失由下式给出：
Figure BDA0004014569220000104
其中，R1loss由公式2提供。因此，可以训练神经网络以使掩蔽损失最小化并使鉴别器损失最大化。换句话说，神经网络可以被训练为忽略噪声并使得鉴别器网络无法在长RF信号群CD图像与由神经网络生成的增强CD图像之间进行鉴别。
虽然已经参考CD图像描述了本公开内容的示例，但是本公开内容的原理中的至少一些原理可以应用于功率多普勒(PD)图像(例如，R0、lag-0自相关)。例如，诸如神经网络700之类的神经网络或神经网络的额外分支可以用于根据短和/或欠采样的RF信号群来生成增强PD图像，以模仿根据长和/或高PRF信号群生成的PD图像。在这些示例中，当训练神经网络以生成增强PD图像时，可以使用标准损失(例如，均方误差损失)和/或掩蔽损失(例如，如公式2中提供的损失)。在一些示例中，可以应用对数损失，这可以通过压缩所涉及的算术值来促进对神经网络的优化。对数损失可以由下式给出：
Figure BDA0004014569220000105
其中，E指示期望值/平均值，并且R0是RF信号群的lag-0自相关函数(例如，功率多普勒信息)。
Figure BDA0004014569220000106
是由神经网络预测的多普勒相位图像，并且
Figure BDA0004014569220000107
是根据长和/或高PRF RF信号群生成的高质量多普勒相位图像。
图9是根据本公开内容的原理的方法900的流程图。在一些示例中，方法800可以由超声成像系统(例如，图2所示的系统200)来执行。在一些示例中，方法900可以由多普勒处理器(例如，多普勒处理器260)来执行。
在框902处，可以执行“接收与RF信号群相对应的超声信号”。该接收可以由处理器(例如，多普勒处理器260)来执行。RF信号群可以具有第一长度(例如，多个脉冲、RF帧)、第一脉冲重复频率(PRF)和/或第一灵敏度。RF信号群可以已经由超声探头(例如，超声探头212)发射了。由RF信号群产生的超声信号可以已经被超声探头接收到了，并且该信号被提供给处理器。
在框904处，可以执行“处理超声信号以生成彩色多普勒图像”。该处理可以由处理器来执行。在一些示例中，处理可以包括至少部分地基于与至少一个参考RF信号群相对应的参考超声信号来根据第一RF信号群估计第二RF信号群。参考RF信号群可以具有与第一RF信号群不同的第二脉冲重复率、第二长度或第二灵敏度中的至少一项。处理还可以包括使用第二RF信号群来生成彩色多普勒图像。在一些示例中，增强彩色多普勒图像可以具有比根据未经处理的RF信号群生成的彩色多普勒图像更接近根据具有与参考RF信号群相似的特性的RF信号群生成的彩色多普勒图像的灵敏度或速度估计结果(例如，血流速度的估计结果)中的至少一项。在一些示例中，参考RF信号群的长度可以大于RF信号群的长度。也就是说，第二长度可以大于第一长度。例如，第二长度可以是与长信号群(例如，～14个帧)相对应的长度，而第一长度对应于短和/或欠采样信号群(例如，～4个帧)。在一些示例中，该处理可以由神经网络来执行。在一些示例中，神经网络可以是一系列卷积网络(例如，图7所示的两个uNet)。
任选地，在框906处，在由神经网络执行处理的示例中，可以执行“训练神经网络”。在一些示例中，训练可以包括：提供与具有第一长度的RF信号群相对应的多个信号作为输入，并且提供根据与第二长度的RF信号群相对应的对应多个信号生成的对应多幅彩色多普勒图像作为期望输出。在一些示例中，输入可以通过第二长度的RF信号群的子集来生成。训练集可以从模拟、流动体模和/或体内获取。在一些示例中，可以在训练期间应用掩蔽和/或对抗损失。在一些示例中，在处理器上实施(例如，部署)神经网络之前，训练神经网络。
图10示出了根据本公开内容的原理的示例抽取信号群彩色多普勒图像1000和示例增强彩色多普勒图像1002。图像1000是从使用EPIQ系统(飞利浦Healthcare)获取的Gammex流动体模获取的。在该示例中，用于生成增强CD图像1002的神经网络仅在(例如来自场II的)模拟数据集上进行训练。尽管神经网络仅在模拟数据上进行训练，流动体模的增强CD图像1002也表现出对抽取信号群CD图像1000中存在的速度估计结果的混叠的部分补偿。
图11示出了根据本公开内容的原理的示例短信号群、长信号群和增强原始相移结果彩色多普勒图像。列1100包括来自四个帧的抽取信号群的CD图像。列1102包括来自14个帧的长信号群的CD图像。列1104包括由一系列常规CNN生成的增强CD图像(在训练期间没有应用掩蔽)。列1106包括由一系列常规CNN生成的增强CD图像(在训练期间应用了掩蔽)。列1108包括由图7所示的神经网络700生成的增强CD图像(在训练期间应用了掩蔽)。对于该示例，所有的神经网络都是仅在体模数据上进行训练的。行1110中的图像是从第一Gammex流动体模获取的。行1112中的图像是从第二Gammex流动体模获取的。行1114中的图像是在体内获取的心脏图像。从列1104向右移动到列1108，对于分别显示在三行1110、1112和1114中的每一行中的每个被成像介质(例如，第一Gammex流动体模、第二Gammex流动体模和体内对象)，能够看到增强CD图像(例如，噪声抑制、分辨率)的逐渐改善。
图12示出了根据本公开内容的原理的示例短信号群、长信号群和增强原始相移结果彩色多普勒图像。列1200包括来自四个帧的抽取信号群的CD图像。列1202包括来自14个帧的长信号群的CD图像。列1204包括由图7所示的神经网络700生成的增强CD图像(在训练期间应用了掩蔽)。列1206包括由图7所示的神经网络700生成的增强CD图像(在训练期间应用了掩蔽和对抗损失)。对于该示例，所有的神经网络都是仅在体模数据上进行训练的。行1210中的图像是从第一Gammex流动体模获取的。行1212中的图像是从第二Gammex流动体模获取的。行1214中的图像是在体内获取的心脏图像。从列1204向右移动到列1206，能够看到增强CD图像的改善(例如，噪声抑制、分辨率)。
图13示出了根据本公开内容的原理的示例短信号群、长信号群和增强后处理彩色多普勒图像。列1300包括来自针对四个不同的Gammex流动体模的4个帧的信号群的CD图像。列1302包括来自针对四个不同的Gammex流动体模的14个帧的长信号群的CD图像。列1304包括由图7所示的神经网络700生成的增强CD图像(在针对四个不同的Gammex流动体模的训练期间应用了掩蔽(但没有对抗损失))。对于该示例，神经网络700是仅在体模数据上进行训练的。列1304中所示的图像比列1300中所示图像更相似于列1302的图像，这表明，与未处理的短和/或欠采样信号群相比，神经网络700根据短和/或欠采样信号群提供的增强CD图像具有提高的灵敏度、改善的速度估计和/或提高的分辨率。
图14示出了根据本公开内容的原理的示例短信号群、长信号群和增强后处理彩色多普勒图像。列1400包括来自针对体内获取的三个不同心脏测试病例的四个帧的信号群的CD图像。列1402包括来自针对体内获取的三个不同心脏测试病例的14个帧的长信号群的CD图像。列1204包括由图7所示的神经网络700生成的增强CD图像(在对体内获取的三个不同心脏测试病例的训练期间应用了掩蔽(但没有对抗损失))。对于该示例，神经网络700是仅在体模数据上进行训练的。与列1400中所示的图像相比，列1404中所示图像表现出减小的流速方差和更大的噪声抑制，这表明，与未处理的短和/或欠采样信号群相比，神经网络700根据短和/或欠采样信号群提供的增强CD图像具有提高的灵敏度、改善的速度估计和/或提高的分辨率。通过在体内训练数据集而不是体模数据集上训练神经网络700或者通过增加体模数据集中的流速以匹配心脏血流的速度，可以看到进一步的改善。
图9-13所示的所有示例结果使用了完整信号群的功率多普勒(R0)以确保所估计的流速的公平比较。这意味着用于确定在特定像素处是示出彩色多普勒(R1)图像还是示出B模式图像的掩模是从完整信号群导出的。
如本文所公开的，可以利用人工智能(例如，深度学习)将短和/或欠采样信号群链接到使用较长信号群生成的CD图像。更具体地，包括一个或多个卷积神经网络(CNN)(例如，两个串行uNet)的深度学习框架可以用于处理短和/或欠采样信号群，以生成模仿根据较长信号群生成的CD图像的CD图像。在训练期间，深度学习框架可以接收短和/或抽取信号群作为输入数据，并且接收根据长和/或高PRF信号群生成的CD图像作为期望的输出数据。一旦被训练，深度学习框架就可以提供与根据短和/或欠采样信号群生成的典型CD图像相比质量更高(例如，更高的灵敏度、更准确的速度估计结果)的来自短和/或欠采样信号群的增强CD图像。换句话说，由深度学习框架提供的增强CD图像可以提供更接近根据长和/或高PRF信号群生成的CD图像的质量的CD图像。在一些应用中，本文公开的系统和方法可以提供改善的CD图像，其具有更小的帧速率和/或交错能力的损失。
虽然本文描述的示例讨论了对超声图像数据的处理，但是应当理解，本公开内容的原理不限于超声，并且可以应用于来自诸如磁共振成像和计算机断层摄影之类的其他模态的图像数据。
在使用可编程设备(例如，基于计算机的系统或可编程逻辑单元)实施部件、系统和/或方法的各种实施例中，应当理解，能够使用各种已知的或后来开发的编程语言(例如，“C”、“C++”、“C#”、“Java”、“Python”等)来实施上述系统和方法。因此，能够准备各种存储介质(例如，计算机磁盘、光盘、电子存储器等，其能够包含能够指导诸如计算机的设备的信息)来实现上述系统和/或方法。一旦适当的设备访问了被包含在存储介质上的信息和程序，存储介质就能够向设备提供信息和程序，从而使得设备能够执行本文所述的系统和/或方法的功能。例如，如果向计算机提供包含适当材料(例如，源文件、目标文件、可执行文件等)的计算机磁盘，则计算机可以接收该信息，适当配置其自身并执行在上面的图表和流程图中概述的各种系统和方法的功能，从而实施各种功能。也就是说，计算机可以从盘中接收与上述系统和/或方法的不同元件有关的各种信息的部分，实施各个系统和/或方法并协调上述各个系统和/或方法的功能。
鉴于本公开内容，应当注意，本文描述的各种方法和设备能够以硬件、软件和固件来实施。另外，各种方法和参数仅作为示例被包括在内，而不具有任何限制意义。鉴于本公开内容，本领域普通技术人员能够在确定他们自己的技术和所需仪器时实施本教导来影响这些技术，同时保持在本发明的范围内。本文描述的处理器中的一个或多个处理器的功能可以并入更少数量或单个处理单元(例如，CPU)中，并且可以使用专用集成电路(ASIC)或被编程为响应于可执行指令而执行本文所述的功能的通用处理电路来实施。
虽然已经具体参考超声成像系统描述了本系统，但是还可以设想到，本系统能够被扩展到其他医学成像系统，在其他医学成像系统中，以系统方式获得一幅或多幅图像。因此，本系统可以用于获得和/或记录以下图像信息，这些图像信息涉及但不限于肾脏、睾丸、乳腺、卵巢、子宫、甲状腺、肝脏、肺、肌肉骨骼、脾脏、心脏、动脉和脉管系统，以及与超声引导的介入相关的其他成像应用。另外，本系统还可以包括可以与常规的成像系统一起使用的一个或多个程序，使得所述一个或多个程序可以提供本系统的特征和优点。在研究本公开内容后，本领域技术人员能够容易想到本公开内容的某些额外优点和特征，或者本领域技术人员在采用本公开内容的新颖系统和方法后能够经历本公开内容的某些额外优点和特征。本系统和方法的另一个优点可以是能够容易地升级常规的医学图像系统以结合使用本系统、设备和方法的特征和优点。
当然，应当理解，本文描述的示例、实施例或过程中的任一个可以与一个或多个其他示例、实施例和/或过程进行组合，或者可以被分开在根据本系统、设备和方法的设备或设备部分中，并且/或者在根据本系统、设备和方法的设备或设备部分中得到执行。
最后，上述讨论仅旨在说明本系统，而不应被解释为将权利要求限制到任何特定的实施例或实施例组。因此，虽然已经参考示例性实施例具体且详细地描述了本系统，但是还应当理解，本领域普通技术人员可以在不脱离如权利要求所阐述的本发明的更广泛和预期的精神和范围的情况下设计出许多修改和替代实施例。因此，说明书和附图应被视为是说明性的，而不是要限制权利要求的范围。

Claims (20)

1.一种超声成像系统，包括：
处理器，其被配置为：
接收与第一射频(RF)信号群相对应的超声信号，所述第一RF信号群包括第一长度、第一脉冲重复频率(PRF)和第一灵敏度；
至少部分地基于与至少一个参考RF信号群相对应的参考超声信号来根据所述第一RF信号群估计第二RF信号群，所述至少一个参考RF信号群包括与所述第一RF信号群不同的第二脉冲重复率、第二长度或第二灵敏度中的至少一项；并且
使用所述第二RF信号群来生成彩色多普勒图像。
2.根据权利要求1所述的超声成像系统，其中，所述处理器还被配置为对与所述第一RF信号群相对应的所述超声信号进行壁滤波。
3.根据权利要求1所述的超声成像系统，其中，所述处理器实施神经网络以估计所述第二RF信号群，其中，所述神经网络包括一系列卷积神经网络。
4.根据权利要求3所述的超声成像系统，其中，所述一系列卷积神经网络是uNet。
5.根据权利要求3所述的超声成像系统，其中，所述神经网络还生成所述彩色多普勒图像，并且其中，所述一系列卷积神经网络的第一神经网络接收与所述RF信号群相对应的所述超声信号，并且提供平均多普勒相位图像和多普勒相位作为第一输出，其中，所述一系列卷积神经网络的第二神经网络接收所述第一输出，并且提供所述彩色多普勒图像作为第二输出。
6.一种方法，包括：
接收与第一射频(RF)信号群相对应的超声信号，所述第一RF信号群包括第一长度、第一脉冲重复频率(PRF)和第一灵敏度；
至少部分地基于与至少一个参考RF信号群相对应的参考超声信号来根据所述第一RF信号群估计第二RF信号群，所述至少一个参考RF信号群包括与所述第一RF信号群不同的第二脉冲重复率、第二长度或第二灵敏度中的至少一项；并且
使用所述第二RF信号群来生成彩色多普勒图像。
7.根据权利要求6所述的方法，还包括在所述估计之前对所述超声信号进行壁滤波。
8.根据权利要求6所述的方法，其中，所述估计是由包括一系列卷积网络的神经网络执行的。
9.根据权利要求8所述的方法，还包括训练所述神经网络，其中，所述训练包括：
提供至少一个RF信号群，所述至少一个RF信号群具有与所述第一RF信号群相同的第三长度、第三PRF或第三灵敏度中的至少一项；并且
提供根据所述参考RF信号群生成的对应的彩色多普勒图像作为期望输出。
10.根据权利要求9所述的方法，还包括根据所述至少一个参考RF信号群的子集来生成多个参考RF信号群。
11.根据权利要求9所述的方法，其中，所述输入和所述期望输出是从流动体模、模拟或体内中的至少一项获取的。
12.根据权利要求9所述的方法，其中，所述训练还包括应用掩蔽均方误差(MSE)损失。
13.根据权利要求12所述的方法，其中，所述掩蔽MSE损失至少部分地基于所述参考RF信号群的功率多普勒数据。
14.根据权利要求9所述的方法，其中，所述训练还包括应用对抗损失。
15.根据权利要求14所述的方法，其中，所述对抗损失基于二元交叉熵损失，所述二元交叉熵损失是通过训练鉴别器网络以将根据所述第一RF信号群生成的彩色多普勒图像与根据所述参考RF信号群生成的彩色多普勒图像区分开而生成的。
16.根据权利要求15所述的方法，其中，所述鉴别器网络具有条件生成对抗网络架构。
17.根据权利要求9所述的方法，其中，所述第一RF信号群和所述参考RF信号群被壁滤波。
18.根据权利要求6所述的方法，其中，所述第一RF信号群包括欠采样信号群。
19.根据权利要求8所述的方法，还包括利用所述神经网络或第二神经网络来处理所述第一RF信号群以至少部分地基于所述至少一个参考RF信号群来生成第一功率多普勒图像。
20.一种非瞬态计算机可读介质，其包含指令，所述指令在被运行时使成像系统：
接收与第一射频(RF)信号群相对应的超声信号，所述第一RF信号群包括第一长度、第一脉冲重复频率(PRF)和第一灵敏度；
至少部分地基于与至少一个参考RF信号群相对应的参考超声信号来根据所述第一RF信号群估计第二RF信号群，所述至少一个参考RF信号群包括与所述第一RF信号群不同的第二脉冲重复率、第二长度或第二灵敏度中的至少一项；并且
使用所述第二RF信号群来生成彩色多普勒图像。
CN202180045383.2A 2020-06-23 2021-06-15 根据短的欠采样信号群生成彩色多普勒图像的系统和方法 Pending CN115715171A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063042602P 2020-06-23 2020-06-23
US63/042,602 2020-06-23
PCT/EP2021/066014 WO2021259694A1 (en) 2020-06-23 2021-06-15 Systems and methods for generating color doppler images from short and undersampled ensembles

Publications (1)

Publication Number Publication Date
CN115715171A true CN115715171A (zh) 2023-02-24

Family

ID=76553761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180045383.2A Pending CN115715171A (zh) 2020-06-23 2021-06-15 根据短的欠采样信号群生成彩色多普勒图像的系统和方法

Country Status (5)

Country Link
US (1) US20230228873A1 (zh)
EP (1) EP4167866A1 (zh)
JP (1) JP2023531984A (zh)
CN (1) CN115715171A (zh)
WO (1) WO2021259694A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6530885B1 (en) 2000-03-17 2003-03-11 Atl Ultrasound, Inc. Spatially compounded three dimensional ultrasonic images
US6443896B1 (en) 2000-08-17 2002-09-03 Koninklijke Philips Electronics N.V. Method for creating multiplanar ultrasonic images of a three dimensional object
WO2019222478A2 (en) * 2018-05-17 2019-11-21 Teratech Corporation Portable ultrasound system
EP3871007B1 (en) * 2018-10-23 2024-04-24 Koninklijke Philips N.V. Adaptive ultrasound flow imaging

Also Published As

Publication number Publication date
JP2023531984A (ja) 2023-07-26
WO2021259694A1 (en) 2021-12-30
US20230228873A1 (en) 2023-07-20
EP4167866A1 (en) 2023-04-26

Similar Documents

Publication Publication Date Title
Nair et al. Deep learning to obtain simultaneous image and segmentation outputs from a single input of raw ultrasound channel data
US11364013B2 (en) Ultrasound imaging system with a neural network for image formation and tissue characterization
KR102055738B1 (ko) 초음파 프로세싱 시스템에서 혈류 벡터 속도 이미지를 생성하는 방법
Wiacek et al. CohereNet: A deep learning architecture for ultrasound spatial correlation estimation and coherence-based beamforming
JP7464593B2 (ja) 医用画像内でのインターベンションデバイスの識別
CN106529561A (zh) 超声彩色流中的闪光伪像检测
US20220338845A1 (en) Systems and methods for image optimization
Sanabria et al. Comparative study of raw ultrasound data representations in deep learning to classify hepatic steatosis
US20230134503A1 (en) Systems and methods for non-invasive pressure measurements
US20190374194A1 (en) Ultrasound evaluation of anatomical features
US20230228873A1 (en) Systems and methods for generating color doppler images from short and undersampled ensembles
US11766239B2 (en) Ultrasound imaging system and method for low-resolution background volume acquisition
US20240119705A1 (en) Systems, methods, and apparatuses for identifying inhomogeneous liver fat
US20230360225A1 (en) Systems and methods for medical imaging
US20230240645A1 (en) Systems and methods for measuring cardiac stiffness
US20230377246A1 (en) Rendering of b-mode images based on tissue differentiation
WO2024013114A1 (en) Systems and methods for imaging screening
US20220249064A1 (en) Methods and systems for speckle reduction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination