CN112771374A - 基于训练的非线性映射的图像重建方法 - Google Patents

基于训练的非线性映射的图像重建方法 Download PDF

Info

Publication number
CN112771374A
CN112771374A CN201980063947.8A CN201980063947A CN112771374A CN 112771374 A CN112771374 A CN 112771374A CN 201980063947 A CN201980063947 A CN 201980063947A CN 112771374 A CN112771374 A CN 112771374A
Authority
CN
China
Prior art keywords
image
function
regularization
mapping
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980063947.8A
Other languages
English (en)
Inventor
迪米特里斯·佩迪欧斯
阿德里安·贝松
弗洛里安·马丁纳茨
马塞尔·阿尔迪蒂
让-菲利普·蒂兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ecole Polytechnique Federale de Lausanne EPFL
Original Assignee
Ecole Polytechnique Federale de Lausanne EPFL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ecole Polytechnique Federale de Lausanne EPFL filed Critical Ecole Polytechnique Federale de Lausanne EPFL
Publication of CN112771374A publication Critical patent/CN112771374A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/06—Visualisation of the interior, e.g. acoustic microscopy
    • G01N29/0654—Imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/043—Analysing solids in the interior, e.g. by shear waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/11—Analysing solids by measuring attenuation of acoustic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22—Details, e.g. general constructional or apparatus details
    • G01N29/32—Arrangements for suppressing undesired influences, e.g. temperature or pressure variations, compensating for signal noise
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4481—Neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8977—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using special techniques for image reconstruction, e.g. FFT, geometrical transformations, spatial deconvolution, time deconvolution
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52046—Techniques for image enhancement involving transmitter or receiver
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52077—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging with means for elimination of unwanted signals, e.g. noise or interference
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/023—Solids
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/04—Wave modes and trajectories
    • G01N2291/044—Internal reflections (echoes), e.g. on walls or defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/10—Number of transducers
    • G01N2291/106—Number of transducers one or more transducer arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/424—Iterative

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Biomedical Technology (AREA)
  • Algebra (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Optimization (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种阵列处理图像重建方法，包括：从感兴趣对象接收(13)一组回波波形，作为测量值；定义(15)将对象的未知图像链接到测量值的测量模型；使用测量模型定义(17)数据保真度函数；使用训练的非线性映射定义(19)正则化函数，所述正则化函数包括关于未知图像的先验知识；定义(21)涉及数据保真度函数和正则化函数的优化问题，用于获得未知图像的第一图像估计值；并且解决(23)优化问题，以获得第一图像估计值。

Description

基于训练的非线性映射的图像重建方法
技术领域
本发明涉及一种图像重建方法。更具体地，该方法使用训练的非线性映射来重建图像。该方法可以用于例如超声成像。本发明还涉及一种相应的成像设备和一种用于实现该方法的计算机程序产品。
背景技术
例如，用于雷达、声纳、地震成像和超声(US)成像的阵列处理技术广泛应用于各种技术领域。在医学应用中，超声成像用于观察身体内部结构，例如，肌腱、肌肉、关节、血管和内部器官。然而，超声成像也广泛应用于医疗领域之外。超声成像的一个商业用途是无损检测(NDT)，这是在不破坏零件或系统可用性的情况下检查、测试或评估材料、部件或组件的不连续性或特性差异的过程。换言之，当检查或测试完成时，零件仍然可以使用。NDT的一个示例是对油管的超声检测。在这种情况下，例如，超声波脉冲波用于在管道内传播，并且以这种方式，可以从脉冲波的反射中检测是否存在裂纹或缺陷。通过了解声波在管道中的速度以及从裂纹反射与发送脉冲波之间的时间间隔，可以估计缺陷的位置。用于管道裂纹检测的相同理论可用于检测飞机结构/机翼面板等的裂纹。并且例如，用于检测机翼表面上冰的积聚。
由于其高灵活性、成本效益、安全性和非侵入性，超声成像是一种广泛使用的成像方式。传统上使用换能器元件阵列(也称为换能器或换能器阵列)来执行脉冲回波超声成像，并且能够将电信号转换成声压波，反之亦然。这种元件阵列用于传输通过感兴趣介质传播的短声波前。由声阻抗的局部变化产生的反向散射回波然后被同一阵列接收，并被检测为所谓的原始元件射频(RF)数据。通常使用流行的延迟和求和(DAS)算法从这些测量值中实时重建射频图像。通过对射频图像应用包络检测和对数压缩而获得的B模式图像通常用于显示和存储目的。
最近，所谓的超快超声成像引起了研究界的极大兴趣。与使用聚焦发射光束进行多脉冲回波测量的传统超声成像相比，超快超声成像利用了通过传输非聚焦波前(例如，平面波(PW)或发散波(DW))一次声穿透整个视场的思想。这可能导致极高的多kHz帧速率，仅受未聚焦波前及其产生的反向散射回波的往返飞行时间和图像重建时间的限制。这种帧速率为超声成像开辟了广泛的新诊断模式，例如，弹性成像、超快速向量流成像和功能性超声成像。与使用依次聚焦光束相比，超快超声成像的主要缺点是信噪比(SNR)较低和图像质量下降。事实上，与能量集中在特定感兴趣区域的聚焦发射光束相比，未聚焦波前的能量分布在整个视场上。
提高整体质量的一种常见方法在一个称为相干合成的过程中，对从不同声穿透方向重建的多个图像进行平均，在某种意义上，这类似于在计算机断层扫描(CT)中从多个投影重建图像。虽然这种技术的实现很简单，但不可避免地以较低的帧速率、较大的数据传输和增加的计算需求为代价，因为需要多个发射-接收事件和图像重建过程。
在超快超声成像环境中重建高质量图像的问题已经引起了超声成像界的重要兴趣。最近的方法试图将重建高质量图像所需的未聚焦透射波前的数量最小化。虽然一些现有的方法以很少的发射-接收事件实现了高质量的图像，但是它们受到重要的计算复杂性的影响，妨碍了它们在实时应用中的使用。
总之，目前已知的阵列处理图像重建方法受到次优折衷的影响：这些方法可能以降低的速率提供高质量的图像，或者以非常快的速率提供低质量的图像。
发明内容
本发明的一个目的是克服上面识别的与阵列处理领域中的图像重建相关的至少一些问题。
根据本发明的第一方面，提供了一种根据如权利要求1所述的图像重建方法。
所提出的新解决方案的优点在于，可以非常快速地重建图像，并且具有非常高的质量。
因此，本发明提出了一种图像重建方法，通过使用高效的数据驱动先验来解决优化问题，该方法可以被公式化为逆问题。使用非线性映射(例如，人工神经网络(ANN))来构建这种先验，专门为成像任务而训练该非线性映射。根据数据驱动先验的属性，可以用于迭代算法，例如，梯度下降、即插即用先验或投影梯度下降。建议训练从低质量图像(例如，从单个PW或DW重建)到没有任何伪影的高质量图像(例如，从合成孔径(SA)测量重建)的非线性映射，然后将其视为参考或金标准方法。与一些现有的解决方案相比，本方法侧重于重建高质量的射频图像和散斑图案，同时保留其光谱内容。在一个方面，所提出的解决方案依赖于神经网络(NN)，因为它们在类似的任务中被证明是极其有效和鲁棒的。通过适当地训练NN，以映射低质量到高质量图像，可以获得关于高质量图像的一般结构的高度特定的先验知识。此外，实现这种映射的计算要求可以与实时成像兼容。
根据本发明的第二方面，提供了一种被配置为执行根据权利要求15所述的根据本发明的第一方面的方法的成像设备。
在所附的从属权利要求中叙述本发明的其他方面。
附图说明
参照附图，本发明的其他特征和优点将从以下对非限制性示例实施例的描述中变得明显，其中：
图1是示出根据本发明的一个示例的成像系统的一些元件的框图，这些元件对于理解本发明的教导是有用的；
图2是示出根据本发明的示例的所提出的图像重建方法的流程图；
图3是示出根据本发明的示例的直接非线性映射的框图；
图4是示出根据本发明的示例的残差非线性映射的框图；
图5是示出根据本发明的示例的具有“编码器-解码器”架构的残差非线性映射的框图；
图6是示出根据本发明的示例的使用梯度下降算法的所提出的图像重建方法的流程图；
图7是示出根据本发明的示例的使用通用的基于投影的算法的所提出的图像重建方法的流程图；以及
图8是示出可用于本发明的示例深度残差卷积神经网络的框图。
具体实施方式
现在将参照附图详细描述本发明的实施例。在脉冲回波超声成像的背景下描述该实施例，但是本发明的教导不限于这种环境。出现在不同附图中的相同或相应的功能和结构元件被赋予相同的附图标记。在本说明书中，输出向量的向量变量和函数用粗体表示。
图1是示出成像系统或设备1的一些元件的简化框图，这些元件有助于理解本发明的教导。如图1所示，所提出的成像系统包括超声波探头3，其能够通过发射和接收模块3在感兴趣的介质中发射声束并接收反向散射回波。使用图像重建模块7来重建图像，图像重建模块7利用与图像重建模块7执行的图像重建算法或过程结合使用的训练非线性映射或训练非线性函数。训练的非线性映射相对于其输入数据(在该示例中为图像)是非线性的，并且被设置成将输入向量空间映射到输出向量空间。后处理和显示模块9被设置成对重建图像进行后处理。所提出的图像重建方法的主要优点是其重建高质量图像的能力，没有常见的阵列处理伪影，与使用最先进的图像重建方法获得类似图像质量所需的发射-接收事件的数量相比，发射-接收事件的数量显著减少。
在这个示例中，超声波探头3具有有限的孔径，该孔径包括压电元件的线性阵列，也称为换能器。这种探头适合于在2D成像的目的，并且可以包括圆柱形聚焦方案，以将声能集中在图像平面附近的高度上。然而，这种探头仅仅是一个示例。所提出的方法可以很容易地适用于不同的探头几何形状(例如，凸探头、相控阵等)或技术(包括聚偏氟乙烯(PVDF)共聚物和电容微机械超声换能器(CMUT)等)。类似地，所提出的方法可以扩展到使用2D矩阵探头的情况，所述探头被设计成发射声束并收集来自声穿透体积的回波，以便提供体积成像，由此成像过程产生被检查体积的3D表示。在2D成像配置中，通常使用具有沿着直的平面、凸的或凹的线设置的换能器元件的探头。在3D成像配置中，通常使用具有设置在平面、凸面或凹面上的换能器元件的矩阵阵列探头。这些换能器元件能够将电激励转换成声压波形，并将声压波形记录成电信号。该属性用于在感兴趣的介质中发射声束和接收相应的反向散射回波，所述回波由局部声阻抗变化产生。探头3因此形成具有阵列结构的阵列处理配置，该阵列结构包括一组换能器，这些换能器可以充当空间分离的传感器或致动器。
在这个示例中，发射和接收模块5包括发射路径和接收路径，并且连接到超声波探头3。发射路径通常包含前端电子设备，其可以包括具有受控时间、电压幅度和波形整形装置的电激励电路。用于控制和整形所需的发射波束。接收路径通常包含：具有相关联的可编程增益控制(例如，固定增益和时间增益补偿)的电路，用于抵消对象(例如，组织)衰减；以及模数转换装置，随后是数字信号处理装置。然后，接收的信号或测量值被发送到图像重建模块7。
图像重建模块7的目的是根据接收的信号重建被检查介质的图像。为此，图像重建模块7实现图像重建方法、过程或算法，其使用定义为fθ的经过训练的非线性映射。经过训练的非线性映射可以是ANN，其可训练参数θ已经被优化，以减少或甚至消除常见的超声成像伪影。换言之，非线性映射可以是具有可训练参数的机器学习配置。通过使用专用数据集的优化算法来执行这些可训练参数的训练。一旦经过训练，经过训练的非线性映射将用于图像重建方法，以最少数量的发射-接收事件产生高质量的图像。
图像重建方法解决了该形式的不适定逆问题
y＝H(x)+n (1)
其中，
Figure BDA0002994374440000051
(R表示实数)是未知图像，N是图像元件的数量，即构成图像的像素或体素，
Figure BDA0002994374440000052
是测量值，M是测量样本的数量，
Figure BDA0002994374440000053
是测量模型，其说明了物理测量过程(在超声的情况下，可以利用到达时间和波形传播的距离之间的关系，由介质中的声速确定)，
Figure BDA0002994374440000054
是测量噪声。可以使用迭代算法来找到未知图像x或其估计值
Figure BDA00029943744400000510
以解决以下形式的优化问题：
Figure BDA0002994374440000055
其中，
Figure BDA0002994374440000056
是数据保真度函数或项(也称为数据差异函数)，
Figure BDA0002994374440000057
(
Figure BDA0002994374440000058
表示正实数)是正则化函数或项，通常称为关于未知图像x的先验编码先验知识，
Figure BDA0002994374440000059
是控制正则化函数相对于数据保真度函数的权重的超参数。函数被理解为是指从向量空间到实数R的(例如，线性)映射。代替使用标准的图像处理先验，例如，固定基或帧中的稀疏性，这在超声成像中具有有限的吸引力，可以使用训练的非线性映射fθ来构建高效且有代表性的数据驱动正则化函数
Figure BDA0002994374440000061
许多众所周知的迭代算法在文献中可用于解决等式(2)的问题，例如，梯度下降、近梯度下降和投影梯度下降，这取决于函数
Figure BDA0002994374440000062
和
Figure BDA0002994374440000063
的数学性质。这种算法可以受益于正则化函数
Figure BDA0002994374440000064
的可微性，这意味着非线性映射fθ是可微的。在这种情况下，使用经训练的NN作为非线性映射fθ可能是有益的，因为它们可以被构造成可微分的，或者可以利用标准技术来精确地近似其导数。此外，可以容易地利用对其导数的有效评估来加速算法的每次迭代中所涉及的计算。
图2的流程图根据一个示例总结了所提出的图像重建方法。在步骤11中，探头3通过使用一组发射元件在要至少部分重建的介质中发射一组波形。然而，应当注意，步骤11是可选的，因为感兴趣的对象可以简单地暴露于物理激励，该物理激励可以包括超声(声波波形)、热激励或其他激励，例如，光声成像中的电磁辐射脉冲。在步骤13中，探头3或更具体地其传感器通过使用一组接收元件接收或获取由声穿透介质的物理散射产生的一组(回波)波形。换言之，在该步骤中，接收或获取一组波形(或信号)，作为来自受物理激励刺激(或暴露于物理激励)的感兴趣对象的测量值。在步骤15中，定义、确定或识别测量模型，将介质的未知图像链接到记录的一组测量值。在步骤17中，使用定义的测量模型来构建、确定或识别数据保真度函数
Figure BDA0002994374440000065
这将在后面解释。在步骤19中，使用训练的非线性映射fθ来构建、确定或识别数据驱动的正则化函数
Figure BDA0002994374440000066
或先验，这将在后面解释。在步骤21中，定义、确定或识别涉及数据保真度函数
Figure BDA0002994374440000067
和正则化函数
Figure BDA00029943744400000610
的优化问题，以获得未知图像的有意义的或高质量的估计值
Figure BDA0002994374440000068
在步骤23中，例如，通过迭代算法或解算器来解决优化问题，直到达到收敛标准，以获得被检查介质的图像估计值
Figure BDA0002994374440000069
该算法可以包括10至100次迭代，或者更具体地，10至50次迭代，或者1至20次迭代。可以由图像重建模块7执行步骤15至21。
在图像重建之后，重建的数据(即图像)被发送到后处理和显示模块9，如图1进一步所示。后处理步骤涵盖一系列应用，例如：
·B模式成像；
·扫描转换；
·彩色多普勒成像；
·向量流动成像；以及
·弹性成像。
对于使用射频数据的B模式成像，包络检测应用于重建数据(即图像)上。例如，包络检测可以通过希尔伯特变换、幅度检测和可选的低通滤波来实现。也可以通过对信号进行平方和低通滤波来实现。在使用IQ数据的B模式成像的情况下，提取复杂信号的幅度。包络检测步骤之后是增益调整和动态压缩步骤。对于多普勒和弹性成像，直接使用重建的射频或IQ数据(即图像)，无需后处理。
在以上描述中，给出了本发明的简要概述。接下来将参考一些具体实例更详细地描述本发明。
超声成像(更一般地，阵列处理)由于几个因素而遭受伪影，如下描述其中一些因素。典型的超声波探头具有有限的孔径，该孔径被细分为换能器元件的阵列。这些换能器元件中的每一个都具有带限或带通电声和声电脉冲响应，允许它们将电激励转换成声压，并将声压记录成电信号。这意味着组织中的理想点反射器只能记录为带限或带通射频脉冲波形。换能器元件的有限尺寸特性使得它们以方向灵敏度衍射对象。探头孔径、孔径内这些换能器元件的设置以及用于整形发射波束的延迟和幅度是阵列发射和接收空间脉冲响应(SIR)的控制因素。发射波束的数量和类型以及相应的DAS波束形成操作是最终图像质量的关键因素。探头、换能器元件的设置、其形状和物理特性以及发射和接收设置是超声成像配置的定义参数。这种成像配置耦合到图像重建方法，例如，众所周知的DAS，以从记录的测量值产生图像。点扩散函数(PSF)给出了结果图像的标准质量度量。散射和衰减等波传播效应也会影响整体图像质量。整个物理成像过程需要出现成像伪影，最明显的是由旁瓣和栅瓣电平、衰减、混响和多次散射引起的，这些伪影被可视化为更低的对比度、不正确位置的重影、非物理条纹图像结构、阴影等。
作为一个示例，让我们定义两种成像配置，详见表1。一种低质量的配置(称为LQ)使用由128个传感器元件组成的线性探头，中心频率为5.133MHz，带宽为67％。图像由单次PW测量重建，即阵列的所有元件同时在介质中发射声波，产生未聚焦的准平面波前。反向散射回波由阵列的所有元件测量，在图像估计值的每个像素位置由DAS从阵列的所有元件重建图像。一种高质量的配置(称为HQ)使用一个相似的探头，在同一孔径内有两倍多的换能器元件。从256个SA测量值中重建图像，这可以被认为是给定孔径的超声成像的黄金标准。如下获得SA测量值。阵列的单个元件在介质中传输未聚焦的波前。反向散射回波由阵列的所有元件测量，由DAS从这些元件中重建中间射频图像的像素。对阵列的每个元件重复该过程，并且通过平均所有中间射频图像来获得最终射频图像。
参数 LQ HQ
元件编号 128 256
间距 300μm 150μm
元件宽度 270μm 150μm
孔径 38.1mm 38.1mm
元件高度 5mm 5mm
仰角焦距 20mm 20mm
中心频率 5.133MHz 5.133MHz
带宽 67％ 67％
发射频率 5.208MHz 5.208MHz
激励周期 2.5 2.5
采样频率 20.832MHz 20.832MHz
发射-接收方案 1PW 256SA
表1
通过评估图像重建结果，应当注意，LQ配置的PSF比HQ配置遭受更多的伪影。在HQ配置中，主要影响图像对比度的旁瓣和重影伪影大幅减少。对图像分辨率有直接影响的主瓣在HQ配置中收紧。LQ配置中存在光栅波瓣，它会产生毁灭性的模糊和阴影效应。这是因为所考虑的阵列间距大于波长的一半。在HQ配置中，完全去除这些光栅波瓣，HQ配置具有半波长间距。总的来说，使用HQ配置时重建的图像比从LQ配置重建的图像质量高得多。
假设
Figure BDA0002994374440000091
是从导致大量伪影的成像配置重建的低质量图像的子空间，其中，N表示图像的维度，例如，二维(2D)空间中的像素数量或三维(3D)空间中的体素数量。假设
Figure BDA0002994374440000092
是高质量图像的子空间。这种高质量的图像可以通过减少或甚至完全消除这些伪影的最佳超声成像配置来重建。也可以是用不受这些伪影影响的另一种成像方式获得的高质量图像，或者是精确的物理介质属性(如果有的话)。我们定义映射F：V→W，该映射将高质量图像或高质量图像估计值(也称为第一图像估计值)
Figure BDA0002994374440000093
变换为相应的低质量图像或低质量图像估计值(也称为第二图像估计值)
Figure BDA0002994374440000094
使得
Figure BDA0002994374440000095
可能存在很多不同的映射F，取决于子空间V和W，但本质上都是不适定的。事实上，由于低质量图像中存在的伪影水平高于高质量图像中存在的伪影水平，这意味着F导致信息丢失。换言之，映射F充当高质量图像
Figure BDA00029943744400000911
上的模糊算子。因此，通过最先进的方法不可能找到逆映射，来从其对应的低质量图像
Figure BDA00029943744400000912
恢复高质量图像
Figure BDA00029943744400000913
作为一个示例，让我们考虑表1中定义的HQ和LQ配置。为了将得到的图像子空间W和V形式化，让我们将
Figure BDA0002994374440000096
和
Figure BDA0002994374440000097
定义为用LQ和HQ配置获得的测量子空间，其中，ML和MH是它们相应的测量样本数。在这个示例中，应当注意，MH基本上大于ML，因为HQ配置由两倍数量的换能器元件组成，并且需要比LQ配置多256倍的发射-接收事件。有了这些定义，人们可以将低质量图像
Figure BDA0002994374440000098
和高质量图像
Figure BDA00029943744400000914
表示为，
Figure BDA0002994374440000099
Figure BDA00029943744400000910
其中，DL：TL→W和DH：YH→V分别是LQ和HQ配置的成像算子。因此，低质量图像的子空间可以表示为W＝DL(YL)，高质量图像的子空间可以表示为V＝DH(YH)。在上述特定示例中，DAS用作图像重建方法，因此算子DL和DH都是线性算子。有趣的是，用于从利用HQ配置获得的一组SA测量值重建图像的重建方法实际上是对同一图像的多个视图进行相干平均的过程。由于用HQ配置重建的图像比用LQ配置获得的测量值重建的图像获得的视图多得多，因此它们固有地包含更多的信息。因此，可以如等式(3)中所定义的那样表达映射F，在该示例中，映射F是线性的，例如，通过主成分分析(PCA)。然而，很明显，通过最先进的方法找到其逆映射是不可能的，因为这相当于恢复丢失的信息。
为了规避这种限制，通常将成像重建任务公式化为逆问题。让我们定义未知图像
Figure BDA0002994374440000101
和由超声成像配置感测的测量值
Figure BDA0002994374440000102
其中，M表示由探头的换能器元件记录的测量样本的数量。对应的逆问题可以写成
y＝H(x)+n (6)
其中，
Figure BDA0002994374440000103
是考虑物理测量过程的测量模型或前向模型(将x作为其输入之一)，
Figure BDA0002994374440000104
是测量噪声。重要的是，应当注意，测量模型可能是非线性的。即使所提出的公式是用采用
Figure BDA0002994374440000105
值(实数)的测量模型表示的，它也可以容易地扩展到测量模型采用
Figure BDA0002994374440000106
值(复数)的情况。在线性逆问题的特殊情况下，测量模型可以表示为矩阵
Figure BDA0002994374440000107
使得H(x)＝Hx。在这种情况下，等式(6)的问题变成
y＝Hx+n (7)
由于等式(6)的问题通常是不适定的，所以可以通过公式化无约束优化问题来解决
Figure BDA0002994374440000108
在函数
Figure BDA0002994374440000109
和
Figure BDA00029943744400001010
都是凸的情况下，等式(8)的问题可以等价地公式化为约束最小化问题
Figure BDA00029943744400001011
其中，
Figure BDA00029943744400001012
是闭凸集，τ由正则化参数λ唯一定义。
测量H(x)和测量值y之间得距离的数据保真度函数
Figure BDA00029943744400001013
通常表示为l2-范数的平方
Figure BDA00029943744400001015
根据未知图像x的性质，文献中通常使用不同的正则化函数
Figure BDA0002994374440000111
通常称为先验。一些流行的先验是平方l2-范数、l1-范数、小波稀疏性或全变差(TV)。尽管这种先验在标准图像处理任务中已经证明了其有效性，但是由于超声图像的高度特异性，它们在超声成像环境中仍然远非最佳。与合适的范数相结合的学习词典也通常用作正则化函数。然而，它们对计算要求很高，并且只适用于图像块，这显然限制了这些技术的吸引力。
本发明提出了一种策略，该策略包括使用具有可训练参数θ的适当训练的非线性映射
Figure BDA0002994374440000114
来构建未知图像x的高效数据驱动先验。图3示出了这种非线性映射fθ的简化框图。训练的非线性映射通常可以是深度神经网络(DNN)，其可训练参数θ已经被训练，以减少或甚至去除常见的超声成像伪影。
配备有经训练的非线性映射fθ，数据驱动的先验可以通过正则化函数
Figure BDA0002994374440000115
来表示。
Figure BDA0002994374440000116
的典型示例可以被定义为图像x和残差项[x-fθ(x)]之间的内积，使得
Figure BDA0002994374440000117
其中，
Figure BDA00029943744400001113
表示x的转置。在复向量
Figure BDA0002994374440000118
的情况下，转置操作应该由表示为xH的共轭转置(或厄米转置)来代替。
定义这种正则化函数的另一种方式可以是所述残差的平方l2-范数，其明确表示为
Figure BDA00029943744400001110
很明显，在等式(11)和(12)给出的两个示例中，当图像x趋向于fθ(x)时，
Figure BDA00029943744400001111
将趋向于零。在某些情况下，特别是在考虑DNN时，可能需要将非线性映射fθ设计为残差映射，使得
fθ(x)＝x+rθ(x) (13)
其中，
Figure BDA00029943744400001112
是非线性映射，其被训练用来预测将被应用于x的负噪声。
图4示出了这种残差非线性映射的框图。在这种情况下，等式(12)中定义的正则化函数可以简化为例如
Figure BDA0002994374440000121
很明显，在这种情况下，随着预测的负噪声rθ(x)趋于零，
Figure BDA0002994374440000122
将趋于零。
另一种流行的NN架构是“编码器-解码器”架构，其中，具有可训练参数θe的编码器
Figure BDA0002994374440000123
首先将输入图像x映射到潜在空间，使得
Figure BDA0002994374440000124
其中，E表示潜在空间的维度，其通常小于图像空间N的维度。然后，具有可训练参数θd的解码器
Figure BDA0002994374440000125
将潜在空间映射回图像空间，使得，
Figure BDA0002994374440000126
通过其残余形式，这样的架构可以表示为
Figure BDA0002994374440000127
其中，可训练参数θ包括θe和θd。图5显示了具有“编码器-解码器”架构的残差非线性映射的框图。对于这种经训练的非线性映射fθ，可以将正则化函数表示为
Figure BDA0002994374440000128
这在计算复杂性方面可能是有利的。
配备有以针对给定应用适当训练的非线性映射fθ表示的数据驱动正则化函数
Figure BDA0002994374440000129
人们可以在合适的图像重建方法中使用它来从超声成像配置产生高质量图像，该超声成像配置仅能够利用传统图像重建方法(例如，众所周知的DAS)产生低质量图像。所提出的图像重建方法通常需要通过迭代算法来解决和优化诸如问题(8)等问题。根据
Figure BDA00029943744400001210
和
Figure BDA00029943744400001211
的数学性质，例如，凸性和可微性，许多算法可用于解决问题(8)，将在以下部分中描述其中一些。就数据保真度函数而言，为了简洁明了，但不受限制，我们将下面的示例限制为用等式(10)中描述的平方l2范数表示的数据保真度函数。
让我们首先考虑梯度下降法。在这种情况下，我们考虑等式(8)的问题，其中，人们试图找到最小化代价函数
Figure BDA00029943744400001213
的
Figure BDA00029943744400001214
假设
Figure BDA00029943744400001215
相对于x是可微的，这意味着
Figure BDA00029943744400001216
和
Figure BDA00029943744400001217
相对于x都是可微的，可以表示以下梯度下降迭代
Figure BDA00029943744400001218
其中，
Figure BDA00029943744400001219
是在每次迭代
Figure BDA00029943744400001220
(N表示自然数)时可能变化的步长。通过适当的初始化x0和步长序列
Figure BDA00029943744400001221
序列
Figure BDA00029943744400001222
可以收敛到代价函数
Figure BDA00029943744400001223
的期望局部或甚至全局最小值。梯度下降算法包括递归地应用等式(17)中定义的迭代，直到满足收敛标准。图6的流程图总结了使用梯度下降算法的图像重建过程。在步骤30中，探头3接收或获取由感兴趣对象产生的一组波形。换言之，在该步骤中，接收或获取一组波形(或信号)，作为来自受物理激励刺激(或暴露于物理激励)的感兴趣对象的测量值。在步骤31中，定义测量模型，将介质的未知图像链接到记录的一组测量组。在步骤32中，使用H构造可微数据保真度函数
Figure BDA0002994374440000131
在步骤33中，使用fθ构造可微正则化函数
Figure BDA00029943744400001325
在步骤35中，算法或解决方案被初始化为x0。在步骤37中，评估或确定数据保真度梯度
Figure BDA0002994374440000132
在步骤39中，评估或确定正则化梯度
Figure BDA0002994374440000133
在步骤41中，评估或确定迭代步长γk。在步骤43中，通过计算
Figure BDA0002994374440000134
来更新估计值或解。在步骤45，确定是否满足给定的收敛标准。如果满足，这个过程就结束了。另一方面，如果没有满足标准，则过程在步骤37继续。
在关于代价函数
Figure BDA0002994374440000135
的严格假设下，例如，凸性和Lipschitz梯度以及适当选择步长序列
Figure BDA0002994374440000136
梯度下降算法的收敛性可以得到保证。可能很难满足这些关于
Figure BDA0002994374440000137
的严格假设。在某些情况下，
Figure BDA0002994374440000138
和/或
Figure BDA0002994374440000139
对于任何
Figure BDA00029943744400001310
都是不可微的。在这种情况下，如果
Figure BDA00029943744400001311
(和/或
Figure BDA00029943744400001312
)是凸不可微函数，则可以用其子梯度
Figure BDA00029943744400001313
(和/或
Figure BDA00029943744400001314
)代替等式(17)中的梯度
Figure BDA00029943744400001315
(和/或
Figure BDA00029943744400001316
)。如果
Figure BDA00029943744400001317
(和/或
Figure BDA00029943744400001318
)是具有局部Lipschitz连续性的非凸不可微函数，则可以用广义梯度
Figure BDA00029943744400001319
(和/或
Figure BDA00029943744400001320
)代替等式(17)中的梯度
Figure BDA00029943744400001321
(和/或
Figure BDA00029943744400001322
)，如Clarke F.(2013)广义梯度所定义，“FunctionalAnalysis，Calculus of Variations and Optimal Control”，Graduate Texts inMathematics，第264卷，伦敦斯普林格。
通常使用线性测量模型将数据保真度函数构造为表现良好的凸和Lipschitz函数，但是当使用训练的非线性映射fθ(例如，NN)构造正则化函数
Figure BDA00029943744400001323
时，这种性质可能不容易验证。在这种情况下，可以通过专门使用可微激活函数来加强fθ的可微性。如果使用不可微的激活函数，例如，流行的校正线性单元(ReLU)，并且可以加强局部Lipschitz连续性，则可以受益于上面定义的广义梯度。如果局部Lipschitz连续性不能加强，则人们仍然可以在不连续的位置上近似梯度
Figure BDA00029943744400001324
这是通常为训练这种NN所做的。猜测良好的初始化x0也可能是特别有利的。例如，使用由众所周知的DAS获得的图像，可以为等式(17)中定义的迭代提供有效的初始化x0。已经开发了梯度下降算法的许多变型，以便加快其速度，或者为了给定的收敛保证而放松关于
Figure BDA0002994374440000141
的假设。当然可以容易地应用这些变型。
等式(17)中描述的梯度下降迭代涉及
Figure BDA0002994374440000142
和
Figure BDA0002994374440000143
的梯度。作为一个示例，我们考虑等式(10)中定义的l2-范数数据保真度的平方，其中，梯度可以表示为
Figure BDA0002994374440000145
应当注意，
Figure BDA0002994374440000146
是雅可比矩阵的转置，雅可比矩阵定义为
Figure BDA0002994374440000147
在线性情况下，l2-范数数据保真度函数
Figure BDA0002994374440000149
的平方的梯度变为
Figure BDA00029943744400001410
正则化函数
Figure BDA00029943744400001411
的梯度特别有意义。例如，让我们考虑等式(11)中定义的正则化函数
Figure BDA00029943744400001412
其梯度
Figure BDA00029943744400001413
可以表示为
Figure BDA00029943744400001414
其中，
Figure BDA00029943744400001415
是位置x处的训练非线性映射fθ沿x方向的方向导数，其中，
Figure BDA00029943744400001416
是雅可比矩阵的转置，其被定义为
Figure BDA00029943744400001417
然而，在每次迭代k时建立雅可比矩陌
Figure BDA00029943744400001418
在计算上是禁止的。可以看出，如等式(17)所述，在每次迭代中只需要对项
Figure BDA00029943744400001419
进行评估。假设这种评估是可能的，而不必建立雅可比矩阵，可以有效地处理迭代。使用NN作为fθ的一个显著方面在于，它本质上是可微的，或者至少可以容易地获得有效近似于其梯度的方式。这种可区分性是其训练策略的关键组成部分，该策略依赖于强大的反向传播方法，该方法依赖于链式规则。因此，可以利用计算高效的反向传播算法来直接评估矩阵向量乘积
Figure BDA00029943744400001420
而不必显式地构建雅可比矩陌
Figure BDA00029943744400001421
这种策略可被视为方向导数的“无矩阵”评估，并且在将NN用于经训练的非线性映射fθ时是一个明显的优势。
作为第二示例，让我们考虑等式(14)中定义的正则化函数
Figure BDA00029943744400001422
其梯度可以表示为
Figure BDA0002994374440000151
其中，
Figure BDA0002994374440000152
是在位置x处沿着方向rθ(x)的经训练的非线性残差映射rθ的方向导数。与前面的示例类似，可以利用有效的反向传播算法在每次迭代k时计算矩阵向量乘积
Figure BDA0002994374440000153
接下来考虑基于投影的方法。让我们首先介绍最近梯度方法，当
Figure BDA0002994374440000154
和
Figure BDA0002994374440000155
都是凸函数，
Figure BDA0002994374440000156
是可微的，
Figure BDA0002994374440000157
是不可微的时，可以用来解决等式(8)的问题。相应算法的迭代由下式给出
Figure BDA0002994374440000158
其中，
Figure BDA0002994374440000159
是迭代
Figure BDA00029943744400001510
时的梯度步长。等式(24)首先执行关于数据保真度的梯度步长，以确保接近测量值，然后执行邻近步长，其考虑了关于未知图像的先验知识。等式(24)中涉及的近端算子定义为
Figure BDA00029943744400001511
对于某和
Figure BDA00029943744400001512
是指中间图像。根据正则化函数
Figure BDA00029943744400001513
的构造中使用的经训练的非线性映射fθ，问题(25)可能有一个封闭形式的解，在这种情况下，它可以很容易地应用。如果这种封闭形式的解不可用，人们可以迭代解决等式(25)，然而这可能在计算上要求很高。
更仔细地观察等式(25)中定义的并包含在等式(24)中的近端算子，应当注意，该操作在概念上是图像x的去噪。例如，如S.V.Venkatakrishnan、Ch.A.Bouman和Br.Wohlberg的“Plug-and-Play priors for model based reconstruction”，2013 IEEE GlobalConference on Signal and Information Processing，2013年，第945-94页所解释的，利用即插即用优先方法，可以用合适的去噪器代替近端算子。因此，用经过训练的非线性映射fθ来代替近端算子，可以显著提高最终的图像质量。等式(24)中定义的迭代变为
Figure BDA00029943744400001514
应当注意，在fθ是投影到某个闭凸集
Figure BDA00029943744400001515
上的投影仪的特殊情况下，等式(26)中描述的迭代对应于众所周知的投影梯度下降算法，并且可以用于解决等式(9)中定义的约束优化问题。因此，等式(26)中定义的迭代可以用于形成通用的基于投影的算法，当fθ是投影到某个闭凸集
Figure BDA00029943744400001613
上的投影仪时，该算法简化为投影梯度下降算法。通用的基于投影的算法包括递归地应用等式(26)中定义的迭代，直到满足收敛标准。图7的流程图显示了使用通用的基于投影的算法的图像重建过程。在步骤50中，探头3接收或获取由感兴趣对象产生的一组波形。换言之，在该步骤中，接收或获取一组波形(或信号)，作为来自受物理激励刺激(或暴露于物理激励)的感兴趣对象的测量值。在步骤51中，定义测量模型，将介质的未知图像链接到记录的一组测量组。在步骤52中，使用H来构造或定义可微或次可微的数据保真度函数
Figure BDA00029943744400001612
在步骤53中，算法或解被初始化为x0。在步骤55中，评估或确定数据保真度梯度
Figure BDA0002994374440000161
在步骤57中，评估或确定迭代步长γk。在步骤59中，通过应用投影
Figure BDA0002994374440000162
来更新估计或解。在步骤61，确定是否满足给定的收敛标准。如果满足，这个过程就结束了。另一方面，如果没有满足标准，则过程在步骤55继续。当经训练的非线性映射fθ是一般映射时，它类似于即插即用方法。当经训练的非线性映射fθ是投影到某个闭凸集上时，基于投影的算法等同于众所周知的投影梯度下降算法。
当考虑步长γ0＝1且初始化x0＝0的等式(26)的单次迭代k＝0时，出现了感兴趣的特殊情况。假设线性测量情况具有等式(10)中定义的l2-范数数据保真度函数
Figure BDA0002994374440000164
的平方，在等式(20)中表示其梯度，估计值
Figure BDA00029943744400001614
由下式给出
Figure BDA0002994374440000165
Figure BDA0002994374440000166
已经证明，当关于线性测量算子H做出特定假设时，操作
Figure BDA00029943744400001615
实际上是应用于测量值y的众所周知的DAS操作。因此，在这种非常特定的情况下，可以从由DAS重建的低质量图像估计值
Figure BDA0002994374440000167
获得高质量图像估计值
Figure BDA0002994374440000168
使得通过简单的直接映射，
Figure BDA0002994374440000169
Figure BDA00029943744400001610
因此，首先计算低质量图像估计值
Figure BDA00029943744400001611
然后通过应用映射来计算陔估计值，使得
Figure BDA0002994374440000171
这种简化具有很大的优点，即只需要通过DAS重建低质量图像，然后对fθ进行单次评估。因此，经过训练的非线性映射fθ近似于等式(3)中定义的映射F的逆。尽管过于简单，但这种特殊情况可能已经对重建的高质量图像
Figure BDA0002994374440000172
提供了显著的改进，与低质量图像
Figure BDA0002994374440000173
相比，这种改进得到了显著的增强。
应当注意，上面给出的两个图像重建示例(梯度下降和基于投影的方法)在迭代算法的每次迭代中都依赖于全局训练的非线性映射fθ。然而，人们可以很容易地用一组非线性映射
Figure BDA0002994374440000174
来专门化这种方法，其中，每个
Figure BDA0002994374440000175
是针对迭代算法的每次迭代
Figure BDA0002994374440000176
处存在的给定水平的伪影而专门设计和训练的。在这种情况下，图像重建方法将基于至少两个训练的非线性映射(多个训练的非线性映射)。
上面描述了用于解决优化问题的一般方法，例如，等式(8)中描述的方法，其中，正则化函数
Figure BDA0002994374440000177
是使用训练的非线性映射fθ构造的。在下文中，提供了一些关于如何设计和训练这种非线性映射的见解，以便充分受益于所提出的方法。
作为非限制性示例，考虑图5所示的残余“编码器-解码器”架构。这种结构可以实现为深度残余卷积NN，如图8所示。通过NN架构的向下路径(从左上方到中下方)执行输入图像x的编码，在NN架构的向上路径(从中下方到右上方)直到中间残差输出rθ(x)执行解码。然后，残余输出与输入图像相加，以形成最终输出fθ(x)＝x+rθ(x)。实心箭头指定操作，而虚线箭头指定内部跳过连接。虚线箭头不表示操作，而是表示数量的转移。每个虚线框构成分解层次。在这个具体的示例中，考虑了三个分解层次，即l＝0，1，2。带有实线轮廓的矩形表示在NN的相应深度的特征映射，即操作或层的输出。每个方框的宽度(即沿水平线的尺寸)表示特征图中存在的通道号。第一操作使用内核大小为(1×1)的卷积运算将输入图像x的通道号扩展到用户可定义的通道号Nc。残差输出rθ(x)之前的最后一个操作使用内核大小为(1×1)的卷积运算将通道号Nc收缩回输入图像的通道号。在每个分解层次中，在每个特征图之间执行(3×3)卷积运算，然后执行非线性激活(在图8中，nl.)，而不改变特征图的维度。这种非线性激活例如可以是众所周知的整流线性单元(ReLU)、指数线性单元(ELU)或sigmoid函数。在向下路径中的每个分解层次之间，使用多尺度(3×3)卷积运算(随后是非线性激活)执行下采样操作，该运算具有(或不具有)通道数的扩展。这种多尺度运算例如可以是最大池运算和卷积运算的组合。也可以是具有(或不具有)通道数扩展的步进卷积。在向上路径中的每个分解层次之间，使用多尺度(3×3)卷积运算(随后是非线性激活)执行上采样操作。这种多尺度运算例如可以是具有(或不具有)通道数收缩的转置和步进卷积运算。
NN架构的所有滤波器系数都是可训练的参数。可以通过最小化经验风险来训练这些参数(也称为权重)
Figure BDA0002994374440000181
其中，
Figure BDA0002994374440000182
是训练损失函数，
Figure BDA0002994374440000183
和
Figure BDA0002994374440000184
是L图像的集合。通常通过分别从高质量子空间V和低质量子空间W采样来构造集合
Figure BDA0002994374440000185
和
Figure BDA0002994374440000186
可以例如通过实验或数值模拟来获得这种采样。集合
Figure BDA0002994374440000187
通常被称为训练集。优化算法可以例如用于解决等式(30)中定义的最小化问题，例如，随机梯度下降(SGD)、批量SGD或Adam优化器(D.P.Kingma和J.Ba，“Adam：A Method for Stochastic Optimization”，第1-15页，2014年，arXiv：1412.6980)，该算法是使用从以前的迭代中评估的动量的SGD变量。为此，可以例如通过使用流行的链式规则的反向传播来计算损耗函数相对于可训练参数
Figure BDA0002994374440000189
的梯度。典型的损失函数是均方误差(MSE)，其被定义为
Figure BDA0002994374440000188
然而，可以使用不同的损失函数、风险最小化函数和优化算法。
对于非线性映射fθ，可以使用被称为U-Net的神经网络架构(在其他可能性中)，这首先是由O.Ronneberger、Ph.Fischer和Th.Brox介绍的，“U-Net：Convolutional Networksfor Biomedical Image Segmentation”，第1-8页，2015年，arXiv：1505.04597，用于生物医学图像分割目的，最近适用于稀疏视图CT图像重建的背景中。本质上，非常类似于图8所示的残差非线性映射。fθ的参数θ使用Adam优化器进行优化，而前面描述的MSE用作训练损失。
训练集可以由例如使用特定的模拟器生成的大约1000到100000或10000到30000个图像组成。合成幻像可用于此目的，并可随机产生不同大小和回声反射性的内含物。内含物大小和回声反射性的概率分布可以被建模，以密切模拟感兴趣对象中存在的分布。可以设计和使用数字模型来获得遍及整个图像的完全扩散散斑图案，其回声反射性范围从-∞dB(无回声区域)到30dB(高回声区域)。使用模拟数据而不是实验数据的主要优势如下。提供了对不同回声反射性的伪像和内含物分布的完全控制。这对于训练神经网络是有用的，因为如果在训练集中几乎没有表示特定的伪像，则神经网络将很少关注去除。与实验数据相比，还可以在训练集中施加更大的多样性。模拟环境完全受控这一事实也防止了由组织运动引起的模糊效果。另一优势是可以模拟不存在的超声成像配置。例如，表1中定义的LQ配置基于真实的探头，但是HQ配置中使用的探头不存在，并且允许为给定的孔径重建理想的图像。使用模拟训练集的主要缺点在于，当应用于实验数据时，结果是否会转化并不是不言而喻的。
一旦经过训练，例如，可以使用等式(29)中给出的直接映射方法。因此，通过简单地将经训练的非线性映射fθ应用于低质量图像估计
Figure BDA0002994374440000192
可以获得高质量图像估计值
Figure BDA0002994374440000191
总之，本发明的动机在于，在超快超声成像环境中，从高质量超声成像配置重建图像是有代价的，并且在实践中甚至可能不可行。事实上，通常通过平均或合成多个依次重建的低质量图像，而获得高质量的超快图像。这种策略的一个示例是众所周知的相干PW复合，其中，依次传输操纵PW，并且通过平均为每个操纵PW重建的所有图像来获得最终图像。由于发射-接收事件是连续的，所以声波的往返飞行时间在需要非常高的帧速率的情况下已经是一个限制因素。在某些情况下，例如，在3D成像或低功率环境中，重建许多要合成的图像的计算要求可能也不可行。此外，当对在不同时刻重建的连续图像进行平均时，对象(例如，人体组织)的运动会引起所得图像的显著模糊。因此，本发明的一个目标是用单次或非常少的PW测量来重建高质量的图像。
虽然已经在附图和前面的描述中详细说明和描述了本发明，但是这种说明和描述被认为是示出性的或示例性的，而不是限制性的，本发明不限于所公开的实施例。基于对附图、公开内容和所附权利要求的研究，本领域技术人员在实施要求保护的发明时可以理解并实现其他实施例和变型。例如，本发明的教导可以应用于光声成像，其中，发射的声波被电磁辐射脉冲代替。
在权利要求中，词语“包括”不排除其他元件或步骤，不定冠词“a”或“an”不排除多个。在相互不同的从属权利要求中引用不同特征这一事实并不表示不能有利地使用这些特征的组合。

Claims (15)

1.一种图像重建方法，包括：
从感兴趣对象接收(13)一组波形，作为测量值y；
定义(15)将对象的未知图像x链接到测量值y的测量模型H；
使用测量模型确定(17)数据保真度函数
Figure FDA0002994374430000011
所述数据保真度函数测量H(x)和测量值y之间的距离；
使用训练的非线性映射fθ确定(19)正则化函数
Figure FDA0002994374430000012
所述映射相对于其输入数据是非线性的，所述正则化函数包括关于未知图像的先验知识；
定义(21)涉及数据保真度函数和正则化函数的优化问题，用于获得未知图像的第一图像估计值
Figure FDA0002994374430000013
并且
解决(23)优化问题，以获得第一图像估计值
Figure FDA0002994374430000014
2.根据权利要求1所述的方法，其中，所述方法包括在定义数据保真度函数
Figure FDA0002994374430000015
和正则化函数
Figure FDA0002994374430000016
之前，通过使用训练数据集来训练非线性映射。
3.根据权利要求2所述的方法，其中，所述训练数据集包括通过实验或数值模拟获得的图像。
4.根据前述权利要求中任一项所述的方法，其中，所述训练的非线性映射是训练的人工神经网络。
5.根据前述权利要求中任一项所述的方法，其中，所述优化问题被表示为
Figure FDA0002994374430000017
其中，
Figure FDA0002994374430000018
是控制正则化函数
Figure FDA0002994374430000019
的权重的正则化参数。
6.根据前述权利要求中任一项所述的方法，其中，所述数据保真度函数
Figure FDA00029943744300000110
和/或正则化函数
Figure FDA00029943744300000111
具有以下属性中的至少一个：凸性、非凸性、可微性和不可微性。
7.根据前述权利要求中任一项所述的方法，其中，解决优化问题包括执行迭代算法。
8.根据权利要求7所述的方法，其中，用于解决优化问题的迭代算法是梯度下降法或通用的基于投影的方法。
9.根据权利要求7或8所述的方法，其中，所述方法包括将迭代步长设置为1，将初始化参数设置为零并且在迭代算法中仅包括一次迭代，然后将非线性映射直接应用于第二图像估计值
Figure FDA00029943744300000112
以获得感兴趣对象的第一图像估计值
Figure FDA00029943744300000113
其中，所述第二图像估计值
Figure FDA00029943744300000114
在图像伪影方面具有比第一图像估计值
Figure FDA00029943744300000115
更低的质量。
10.根据权利要求7至9中任一项所述的方法，其中，所训练的非线性映射从一个迭代步骤到另一迭代步骤而变化。
11.根据权利要求7或8所述的方法，其中，所述方法还包括向感兴趣的对象传输(11)一组波形。
12.根据权利要求11所述的方法，其中，所传输的波形的数量在1和5之间，更具体地在1和3之间，更具体地为1。
13.根据前述权利要求中任一项所述的方法，其中，所述图像重建方法是超声图像重建方法。
14.根据前述权利要求中任一项所述的方法，其中，所述正则化函数被定义为以下之一：
Figure FDA0002994374430000021
其中，
Figure FDA0002994374430000022
是经过训练的非线性映射，用于预测将应用于x的负噪声；并且
Figure FDA0002994374430000023
其中，
Figure FDA0002994374430000024
是具有可训练参数θe的编码器。
15.一种图像重建设备，包括装置，用于：
从感兴趣对象接收一组波形，作为测量值y；
定义将对象的未知图像x链接到测量值的测量模型H；
使用测量模型确定数据保真度函数
Figure FDA0002994374430000025
所述数据保真度函数测量H(x)和y之间的距离；
使用训练的非线性映射确定正则化函数
Figure FDA0002994374430000026
所述映射相对于其输入数据是非线性的，所述正则化函数包括关于未知图像的先验知识；
定义涉及数据保真度函数和正则化函数的优化问题，用于获得未知图像的第一图像估计值
Figure FDA0002994374430000027
并且
解决优化问题，以获得第一图像估计值
Figure FDA0002994374430000028
CN201980063947.8A 2018-10-08 2019-08-29 基于训练的非线性映射的图像重建方法 Pending CN112771374A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18199166.2 2018-10-08
EP18199166.2A EP3637099B1 (en) 2018-10-08 2018-10-08 Image reconstruction method based on a trained non-linear mapping
PCT/EP2019/073152 WO2020074181A1 (en) 2018-10-08 2019-08-29 Image reconstruction method based on a trained non-linear mapping

Publications (1)

Publication Number Publication Date
CN112771374A true CN112771374A (zh) 2021-05-07

Family

ID=63794402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980063947.8A Pending CN112771374A (zh) 2018-10-08 2019-08-29 基于训练的非线性映射的图像重建方法

Country Status (8)

Country Link
US (1) US11846608B2 (zh)
EP (1) EP3637099B1 (zh)
JP (1) JP7345208B2 (zh)
KR (1) KR20210069655A (zh)
CN (1) CN112771374A (zh)
ES (1) ES2886155T3 (zh)
IL (1) IL281888B2 (zh)
WO (1) WO2020074181A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436109A (zh) * 2021-07-08 2021-09-24 清华大学 一种基于深度学习的超快高质量的平面波超声成像方法
US11751825B2 (en) 2019-03-27 2023-09-12 Siemens Healthcare Gmbh Devices, systems, and methods for controlling acquisition parameters when carrying out a medical x-ray examination

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783616B (zh) * 2020-06-28 2024-03-26 北京瓦特曼科技有限公司 一种基于数据驱动自学习的无损检测方法
CN111861961B (zh) * 2020-07-25 2023-09-22 安徽理工大学 单幅图像超分辨率的多尺度残差融合模型及其复原方法
CN112674794B (zh) * 2020-12-21 2023-02-10 苏州二向箔科技有限公司 一种结合深度学习与吉洪诺夫正则化反演的超声ct声速重建方法
US11933765B2 (en) * 2021-02-05 2024-03-19 Evident Canada, Inc. Ultrasound inspection techniques for detecting a flaw in a test object
CN113014358B (zh) * 2021-03-05 2022-06-28 苏州至善视界信息技术有限公司 一种应用于反向散射系统的自适应解码方法及解码系统
CN115018943B (zh) * 2022-05-31 2024-02-20 合肥工业大学 一种基于无训练的深度级联网络的电磁逆散射成像方法
EP4285835A1 (en) * 2022-06-03 2023-12-06 Helmholtz Zentrum München - Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) Methods and system for optoacoustic and/or ultrasonic imaging, reconstructing optoacoustic and/or ultrasonic images and training an artificial neural network provided therefor
CN115236208B (zh) * 2022-06-27 2023-04-07 哈尔滨工业大学 一种基于信息增强与变步长稀疏表达的钢轨健康监测方法
CN116612206B (zh) * 2023-07-19 2023-09-29 中国海洋大学 一种利用卷积神经网络减少ct扫描时间的方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150086097A1 (en) * 2013-09-25 2015-03-26 Wisconsin Alumni Research Foundation Fast statistical imaging reconstruction via denoised ordered-subset statistically-penalized algebraic reconstruction technique
CN105593905A (zh) * 2013-09-30 2016-05-18 皇家飞利浦有限公司 针对完全3d迭代ct重建中的图像质量优化用于对正则化参数的局部调节的方法
CN106204449A (zh) * 2016-07-06 2016-12-07 安徽工业大学 一种基于对称深度网络的单幅图像超分辨率重建方法
CN107369189A (zh) * 2017-07-21 2017-11-21 成都信息工程大学 基于特征损失的医学图像超分辨率重建方法
CN108550115A (zh) * 2018-04-25 2018-09-18 中国矿业大学 一种图像超分辨率重建方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010065651A1 (en) * 2008-12-02 2010-06-10 Opteryx, Llc Reconstruction of nonlinear wave propagation
WO2012173095A1 (ja) * 2011-06-13 2012-12-20 株式会社東芝 磁気共鳴イメージング装置及びその制御装置
CN103596496B (zh) * 2011-06-30 2016-08-24 株式会社日立制作所 磁共振成像装置以及倾斜磁场波形推定方法
ES2869401T3 (es) * 2011-07-12 2021-10-25 Colorado School Of Mines Análisis de velocidad de migración de ecuación de onda usando deformación de imágenes
EP3475916B1 (en) 2016-11-30 2019-10-23 Koninklijke Philips N.V. Bone and hard plaque segmentation in spectral ct
ES2812649T3 (es) * 2017-08-23 2021-03-17 Ecole Polytechnique Fed Lausanne Epfl Método de reconstrucción de imágenes basado en modelo

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150086097A1 (en) * 2013-09-25 2015-03-26 Wisconsin Alumni Research Foundation Fast statistical imaging reconstruction via denoised ordered-subset statistically-penalized algebraic reconstruction technique
CN105593905A (zh) * 2013-09-30 2016-05-18 皇家飞利浦有限公司 针对完全3d迭代ct重建中的图像质量优化用于对正则化参数的局部调节的方法
CN106204449A (zh) * 2016-07-06 2016-12-07 安徽工业大学 一种基于对称深度网络的单幅图像超分辨率重建方法
CN107369189A (zh) * 2017-07-21 2017-11-21 成都信息工程大学 基于特征损失的医学图像超分辨率重建方法
CN108550115A (zh) * 2018-04-25 2018-09-18 中国矿业大学 一种图像超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KANG, EUNHEE 等: "A deep convolutional neural network using directional wavelets for low-dose X-ray CT reconstruction", 《MEDICAL PHYSICS》, vol. 44, no. 10, pages 360 - 375 *
李欣等: "基于局部回归模型的图像超分辨率重建", 《计算机应用》, vol. 36, no. 6, pages 1654 - 1658 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11751825B2 (en) 2019-03-27 2023-09-12 Siemens Healthcare Gmbh Devices, systems, and methods for controlling acquisition parameters when carrying out a medical x-ray examination
CN113436109A (zh) * 2021-07-08 2021-09-24 清华大学 一种基于深度学习的超快高质量的平面波超声成像方法
CN113436109B (zh) * 2021-07-08 2022-10-14 清华大学 一种基于深度学习的超快高质量的平面波超声成像方法

Also Published As

Publication number Publication date
IL281888B1 (en) 2023-07-01
EP3637099A1 (en) 2020-04-15
IL281888A (en) 2021-05-31
JP7345208B2 (ja) 2023-09-15
WO2020074181A1 (en) 2020-04-16
ES2886155T3 (es) 2021-12-16
EP3637099B1 (en) 2021-06-23
KR20210069655A (ko) 2021-06-11
US20210341436A1 (en) 2021-11-04
JP2022503946A (ja) 2022-01-12
US11846608B2 (en) 2023-12-19
IL281888B2 (en) 2023-11-01

Similar Documents

Publication Publication Date Title
JP7345208B2 (ja) 学習非線形マッピングに基づく画像再構成方法
Zhang et al. Ultrasound image reconstruction from plane wave radio-frequency data by self-supervised deep neural network
Besson et al. Ultrafast ultrasound imaging as an inverse problem: Matrix-free sparse image reconstruction
JP2019535448A (ja) 超音波画像クラッタをフィルタリングする方法及びシステム
Laroche et al. An inverse approach for ultrasonic imaging from full matrix capture data: Application to resolution enhancement in NDT
Schretter et al. Ultrasound imaging from sparse RF samples using system point spread functions
CN112041699A (zh) 重建系统和方法
CN106940883B (zh) 基于超声系统点扩散函数仿真和压缩感知的超声成像方法
CN111213066B (zh) 基于模型的图像重建方法
CN107204021B (zh) 基于高斯函数探头响应模型和压缩感知的超声成像方法
Ramkumar et al. Compressed sensing approach for reducing the number of receive elements in synthetic transmit aperture imaging
Laroche et al. An inverse approach for ultrasonic imaging by total focusing point for close reflectors separation
EP3088912A1 (en) Ultrasound imaging system and method for representing rf signals therein
Paul et al. Improvement of delay and sum beamforming photoacoustic imaging based on delay-multiply-sum-to-standard-deviation-factor
CN106997045B (zh) 基于超声系统点扩散函数测量和压缩感知的超声成像方法
Guenther et al. Robust finite impulse response beamforming applied to medical ultrasound
Nili et al. Field of View and Resolution Improvement in Coprime Sparse Synthetic Aperture Ultrasound Imaging
Carlson et al. High resolution image reconstruction from full-matrix capture data using minimum mean square error deconvolution of the spatio-temporal system transfer function
Hourani et al. Joint deconvolution of fundamental and harmonic ultrasound images
Hourani Fundamental and Harmonic Ultrasound Image Joint Restoration
Hutt Towards next generation ultrasonic imaging
Ashfaq et al. An eikonal equation based scheme for refraction artefacts compensation in time-of-flight tomography
Capineri et al. Computer simulated benchmarks of synthetic aperture techniques for vascular ultrasonography
Musti Venkata Plane-Wave Fourier-Domain Beamforming with CNN-Assisted Resolution Enhancement
Han et al. Numerical estimation of femoral neck cortical bone thickness based on time domain topological energy and sparse signal approximation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination