CN107847217A - 用于生成超声散射体表示的方法和装置 - Google Patents

用于生成超声散射体表示的方法和装置 Download PDF

Info

Publication number
CN107847217A
CN107847217A CN201680043844.1A CN201680043844A CN107847217A CN 107847217 A CN107847217 A CN 107847217A CN 201680043844 A CN201680043844 A CN 201680043844A CN 107847217 A CN107847217 A CN 107847217A
Authority
CN
China
Prior art keywords
scattering object
scattering
ultrasonic
different
psf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680043844.1A
Other languages
English (en)
Inventor
O·戈克塞尔
O·玛特奥切
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vita Medical Treatment Joint-Stock Co
Original Assignee
Eidgenoessische Technische Hochschule Zurich ETHZ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eidgenoessische Technische Hochschule Zurich ETHZ filed Critical Eidgenoessische Technische Hochschule Zurich ETHZ
Publication of CN107847217A publication Critical patent/CN107847217A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/286—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for scanning or photography techniques, e.g. X-rays, ultrasonics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/58—Testing, adjusting or calibrating the diagnostic device
    • A61B8/587—Calibration phantoms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8977—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using special techniques for image reconstruction, e.g. FFT, geometrical transformations, spatial deconvolution, time deconvolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Medicinal Chemistry (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Educational Technology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

逼真的超声成像模拟需要对与不同成像散斑外观对应的散射体进行建模。散射体生成器获取多个超声信号样本，每个超声信号样本与不同的超声捕捉对应，并且根据超声信号样本和相关联的点扩展函数而重建散射体表示。点扩散函数(PSF)可以从由于射束控制产生的在相同参考位置处多个图像获取来估计。然后，重建的散射体可以直接用于超声模拟中，或者可以应用散射体建模的附加步骤。统计分布参数化或纹理合成可以被用于对散射体进行建模。不同的散射体模型可以用于不同的同质区域。可以通过散射体生成器将重建的散射体和/或散射体模型登记到散射体库中。

Description

用于生成超声散射体表示的方法和装置
技术领域
本文描述的方法和装置一般涉及超声图像模拟，并且更具体地涉及例如在医学领域中用于超声练习训练模拟目的的虚拟现实超声图像建模。
相关申请的交叉引用
本申请要求于2015年7月27日提交的以Orcun Goksel、Oliver Mattausch署名的、标题为“Method and apparatus for generating an ultrasound scattererrepresentation”的美国临时专利申请序列号US 62/197,102和于2016年3月16日提交的以Orcun Goksel、Oliver Mattausch署名的、标题为“Method and apparatus forgenerating an ultrasound scatterer representation”的美国临时专利申请序列号US62/309,298的优先权，通过引用将这些申请整体地结合于本文中以用于所有目的。
背景技术
医学成像模拟器
超声波的应用既需要在操纵成像设备方面的高水平专业知识又需要在分析和解释作为结果的图像方面的高水平专业知识，例如在医疗领域中为了进行准确的诊断和干预指导。因此，学习这种模式的正确执行需要对超声专家进行长时间的训练。
为了便于医学学生和医生的培训，可以使用先进的医疗程序模拟器(诸如在美国专利8992230中描述的模拟器)。这样的模拟器可以基于虚拟现实(“VR”)和/或混合或增强现实(“AR”)模拟装置，医师可以通过该装置来实验医疗过程场景。VR/AR系统可以根据医师的手势和动作来计算和显示解剖结构的视觉VR/AR模型，以提供各种反馈(诸如视觉反馈)。在VR系统中，可以模拟整个图像来显示给用户，并且在AR系统中，可以将模拟图像与实际图像重叠或以其它方式与实际图像结合以显示给用户。可以选择具有不同病理的各种患者模型。因此，为了训练的目的可以在压缩的时间段内为用户模拟由练习医疗人员多年来遇到的自然变化。
超声成像模拟
已经基于插值超声模拟开发了早期的超声模拟技术方案，诸如，例如在“B-modeultrasound image simulation in deformable 3-D medium”，IEEE Trans MedicalImaging，28(11):1657-69，2009年11月[Goksel2009]中所描述的、由O.Goksel和S.E.Salcudean开发的方法。插值方法通常可以生成逼真的图像，但只能在没有方向性图像伪像(artifact)并且对于来自有限视野的图像的情况下生成。如某些超声应用(诸如腹部超声)所要求的，为了处理不同的视野并更好地模拟某些伪像，需要其它方法。
生成式模拟
生成式(generative)模拟(诸如基于波的或基于射线的超声模拟)通过实时地使用分析和数值技术方案的组合，旨在模拟将通过变换器(transducer)位置/方位进行登记的超声信号。但是，模拟所有可能的超声组织相互作用现象仍然是未解决的理论问题。例如，超声纹理(散斑)是主要由亚波长粒子(诸如细胞核、其它细胞器)散射的超声波的相长干涉和相消干涉的结果。但是，没有已知方法可以在具有细胞结构的这样细微细节的情况下观察到足够大的组织区域(对于OB/GYN超声检查，40-150mm)。
在文献中已经提出了具有对不同波特性的权衡和近似的各种方法：
基于波的生成式模拟。超声的波性质在超声与亚波长粒子的相互作用期间变得特别重要，这导致部分入射超声发生散射。由于这是超声的散斑纹理特性的主要来源，因此在数十年中散射效应的模拟受到显著关注。在J.A.Jensen，Field：A program forsimulating ultrasound systems，第10届North-Baltic Conf.on Biomedical Imaging，第351-353页，1996年[Jen96]中，Jensen提出了用于计算超声点扩散函数(PSF)的声学模型，该模型是理论上将从单个理想化的散射体接收到的声压的空间分布和等效的(脉冲)超声响应。然后，可以使用空间变化的PSF(其也可以考虑复杂的变换器元件几何体和特性)来使用随机分布的散射体(大约10-1000mm-3)生成同质介质的逼真散射图案。尽管如此，但是由于涉及的散射体数量庞大，每帧计算时间可能花费数个小时，这对于实时模拟来说是不切实际的和不相干的。通常仅在用于评估新变换器设计的超声场需要这样的准确度，考虑[Jen96]的模拟的公开发布的名称是FieldII，这也是文献中引用最多的模拟方法之一。替代技术是由Bamber和Dickinson在J C Bamber和R J Dickinson，Ultrasonic b-scanning：a computer simulation，Phys Med Biol，25(3)：463-479,1980年[BD80]中提出的线性波模型来对PSF进行近似，利用其可以通过少量简单的可分离函数的卷积来计算单个散射体的响应。[BD80]首先在2D平面同质域中证明了这一点。后来，由Gao等人在Hang Gao，HonFai Choi，P.Claus，S.Boonen，S.Jaecques，G.H.van Lenthe，G.Van Der Perre，W.Lauriks和J.D’hooge，A fast convolution-based methodology to simulate 2-D/3-D cardiacultrasound images，IEEE Trans UFFC，56(2):404-409，2009年[GCC+09]中提出的快速卷积延伸将该方法提高到达到30s/帧。在Adrien Marion和Didier Vray，Toward a real-time simulation of ultrasound image sequences based on a 3-d set of movingscatterers,Ultrasonics,Ferroelectrics and Frequency Control,IEEE Transactionson,56(10):2167–2179,2009年[MV09]中介绍了在具有移动散射体和血流的图像序列中的快速离散卷积，实现达到2s/帧。在Jean-Louis Dillenseger,Soizic Laguitton,andDelabrousse的Fast simulation of ultrasound images from a ctvolume,Computersin biology and medicine,39(2):180–186,2009年[DLD09]中，Dillenseger等人使用简单地通过阈值从CT图像中分割的多维分形填充和2D解剖图证明了基于卷积的模拟。
基于射线的生成的模拟(rUSim)。这组技术沿着射束传播轴在图像中“行走”，以确定在每个图像像素点处的反射、衰减等的波幅的量。这个类别中的大多数方法执行2D平面模拟，2D平面模拟通常从3D体积模型中进行实时地切片。模拟的超声散斑的逼真表现对于合理的(plausible)基于超声射线的生成的模拟是必不可少的。超声散斑的高效且逼真的模型是超声PSF与点散射体的参数化分布的卷积。如在2D中呈现的可能的超声散斑模型通过将组织中的点状散射体T(x,y)与超声脉冲响应H(x,y)(或者所谓的PSF)进行卷积来计算超声散斑强度I(x,y)，即(方程1)：
I(x，y)＝T(x，y)*H(x，y)
其中H(x,y)近似于理想的sinc核。
H(x,y)可以例如被表示为在轴向方向y上用余弦调制的高斯分布(方程2)：
在Benny Bürger,Sascha Bettinghausen,Matthias Radle和Jürgen Hesser的Real-time gpu-based ultrasound simulation using deformable mesh models,Medical Imaging,IEEE Transactions on,32(3):609–618,2013年[BBRH13]中，为了利用GPU管线(诸如Nvidia OptiX射线跟踪库(最初是为计算机图形渲染而设计的))，Burger等人提出使用该模型的离散化版本，其中散射体在离散化的纹理网格上被表示，即T[x,y]。他们还引入了3-参数近似来对特定于组织的稀疏散射体图案进行建模。这使用具有两个参数的正态分布N(μ,σ)和散射体稀疏度参数r，散射体稀疏度参数r是填充有散射体的纹理元素的比率。这样的模型形成了基于射线的模拟的基础，该模拟也利用PSF散射体卷积图案进行“纹理”查找。这在[BBRH13]中得到证明可以为模拟体模产生优异的图像。但是，相比之下，在该作品中呈现的体内图像缺乏真实感，潜在地由于以下问题：(i)人体组织的散射体分布参数化是次优的，以及(ii)与他们的成功的仿真图像(其中几何体是准确已知的)相比，解剖模型没有被逼真地生成。
我们观察到，对于给定的任意组织，将生成逼真图像的这种散射体分布并不是先验已知的，并且目前没有原理性的方法来针对待模拟的给定的目标组织提取这种散射体图案。因此对解决从样本超声信号/图像估计散射体分布的逆向问题的系统和方法的需求。如果这样的分布是从同质组织区域获得的，那么可以使用诸如在[BBRH13]中的参数模型来抽象散射体模型。例如，在[BBRH13]的模拟模型的情况下，需要从样本US图像中自动识别μ、σ和r的原理性方法。
此外，需要高效且逼真的方法来自动生成各种各样的散射体，这些散射体适用于具有与在现实世界医疗实践中遇到的相似的终端用户交互的各种各样的实时超声模拟器实现。然后，作为结果的散射体可以被存储为与不同模拟实践对应的散射体库。然后，这样的散射体库可以用于各种各样的基于射线的超声模拟应用，这些超声模拟应用与现有技术的方法相比具有更逼真的组织外观。
发明内容
描述了用于重建适合于超声成像模拟的散射体的方法和装置，包括：
获取多个超声信号样本，每个超声信号样本与不同的超声捕捉对应；
估计与该多个超声信号样本相关联的至少一个点扩散函数(PSF)；
从所述多个超声信号样本和所述点扩散函数来重建散射体表示。
重建的散射体可以被直接登记到散射体库中。在另外的实施例中，可以应用对散射体建模的附加步骤。可以使用统计分布参数化或纹理合成来对散射体进行建模。然后可以将作为结果的散射体模型登记到散射体库中，以由射线跟踪超声模拟系统来参考。
附图说明
图1表示散射体生成器系统。
图2示出了超声B模式图像中的同质组织样本区域，该区域对应于其本身不可观察的散射体的微观的叠加的脉冲响应。
图3a表示PSF估计系统，并且图3b示出了PSF估计系统中的PSF估计单元的可能实施例。
图4示出了根据PSF估计系统的一个实施例的针对四个不同的轴向估计的不同PSF和横向超声信号捕捉以及作为结果的射束轮廓的横向扩展。
图5示出了根据散射体生成器系统的一个实施例的从肝脏的完整超声图像重建的散射体图。
图6示出了根据可用于模拟的骨盆体模的US图像的重建的四个同质组织区域。
图7示出了与不同散射体对应的三种不同的统计分布模型参数化。
图8图示了与原始超声图像相比，如可以从根据本发明的不同可能实施例生成的散射体而模拟的三种不同合成的子宫图像示例。
图9示出了从如根据所提出的方法生成的散射体利用改变超声参数而模拟的超声图像。
图10示出了针对不同的观察方向从如根据所提出的方法生成的相同体积的散射体模拟的超声图像。
具体实施方式
散射体生成器
图1表示包括散射体重建单元110和散射体建模单元120的散射体生成器系统100。散射体重建单元110可以包括至少一个中央处理单元(“CPU”)电路、至少一个存储器、控制模块和通信模块，以计算与样本超声信号105对应的散射体并将其记录到存储器115上。散射体建模单元120可以包括至少一个中央处理单元(“CPU”)电路、至少一个存储器、控制模块和通信模块，以计算与样本超声信号105对应的散射体库并将其记录到存储器125上。不同的实施例也是可能的，例如，散射体重建单元110或散射体建模单元120或两者的FPGA实现。
散射体建模单元120和散射体重建单元110可以是物理上相同或不同的数据处理单元。散射体建模单元120可以适用于散射体重建单元110，因为取决于散射体重建的质量，可能需要更多或更少的统计参数化操作。在可能的实施例中(未呈现)，重建的散射体表示(散射体图)115也可以被直接记录到散射体库存储器125上(一对一映射参数化)。
超声信号样本获取
散射体生成器100采用与真实超声捕捉对应的多个样本超声信号105和相关联的点扩散函数PSF 15作为输入。散射体生成器100可以使用与超声探头连接的获取单元(未呈现)来从各种各样的超声探头设置、各种各样的视角和/或各种各样的组织区域获取与不同的散斑属性(即，不同的散射体115)对应的样本超声信号105。作为这些不同属性在实际图像中的图示，图2示出了B模式超声图像捕捉中的同质组织样本的放大图像，该图像对应于微观的其本身不可观察的散射体的叠加的脉冲响应。
为了提高散射体生成器步骤的统计鲁棒性，并且为了能够从实际超声图像合成不同组织类型的图像来以任意视角和变换器设置在模拟中使用，可以使用来自相同组织区域的不同捕捉作为散射体生成器系统的输入。
此外，样本超声信号105可以在医疗实践环境中从不同的超声发射/接收序列(例如通过射束控制)和/或不同的探头设置(例如，如本领域技术人员已知的，如在复合技术中进行的经由焦点、频率和其它变化的多次获取)生成，以便获取特定于患者的样本。
在可能的实施例中，散射体生成器100首先利用获取单元获取射频(RF)超声信号，并且应用希尔伯特变换来提取其无载波的包络图像信号。可替代地，样本超声RF信号可以直接用作散射体重建单元的输入。
PSF估计
使用包络图像，对应的PSF 15可以在数学上被建模为高斯调制的余弦脉冲(方程2)：
在超声中，PSF在整个域内不是恒定的，而是相对于位置(主要并且最重要的是相对于图像深度)而变化。换句话说，sigma_x和sigma_y在图像中的不同位置之间变化，其中y是深度轴。因此，PSF可以被看作空间变化的函数，其返回不同的PSF核H作为图像位置(或深度)的函数。作为图像深度的函数的PSF也可以被解释为具有针对每个变换器/设置而不同的射束轮廓的连续超声变换器射束轮廓的描述。取决于应用的需要，PSF可以以2D或3D进行建模。在可能的实施例中，可以从图像中的散斑的大小实验性地对PSF函数H(x,y)进行近似。在其它可能的实施例中，可以经由根据变换器的精确模型的模拟来确定，如本领域技术人员众所周知的，诸如，例如，根据在J.Ng，R.Prager，N.Kingsbury，G.Treece和A.Gee，Wavelet restoration of medical pulse-echo ultrasound images in an EMframework，IEEE TUFFC，54(3):550-568，2007年[Ng2007]中描述的方法使用FieldII模拟。如本领域技术人员已知的，PSF函数还可以通过在脱气水中对亚波长合成特征(例如，线)进行成像来确定。
在图3a中表示的可能的实施例中，可以由PSF估计单元300从输入超声图像样本305直接估计点扩展函数15。在可能的实施例中，可以在输入样本305中感兴趣的特定区域内估计分段恒定PSF函数。在替代的可能的实施例中，由于PSF主要随深度而变化，因此可变PSF函数H可以被估计为图像深度d在输入样本305中的图像的全部深度范围内的平滑变化函数，该函数对应于一个或多个焦点。在可能的实施例中，如对本领域技术人员将显而易见的，可以使用倒谱域中的同态滤波来估计PSF。在可能的实施例中，可以通过在轴向和横向方向上的任一方向上使用更鲁棒的1D相位展开而在轴向和横向方向上分别应用同态滤波来估计可分离的PSF。在图3b中表示的可能的实施例中，PSF估计单元300可以随后：
·接收样本RF图像中分别在轴向和横向方向上的1D倒谱测量值；
·对于每个轴向值计算横向倒谱的算术平均值；
·用同态滤波对作为结果的轴向倒谱进行滤波；
·从分别作为轴向和横向距离的函数的倒谱估计PSF。
这提供了取决于深度的PSF函数(射束轮廓)，其中算术平均值通过对相同深度处的几个PSF观测结果求平均来提供增加估计的信噪比。作为图示，图4在左侧示出了利用凸探头获取的肝脏扫描的包络图像。图4在中间示出了根据PSF估计系统的一个实施例的在四个不同深度处的估计的PSF的四个样本。如对于凸探头所预期的，作为结果的射束轮廓(在右侧表示该射束轮廓的取决于深度的横向扩展)表现出射束宽度的几乎线性增加。因此，作为结果的估计的PSF15可以被用作图1的散射体生成器系统100中的散射体重建单元110的输入，如现在将更详细描述的。
散射体重建
在不失去一般性的情况下，我们描述在2D(对于横向和轴向方向)中定义的散射体重建的实施例。注意，通过进一步考虑海拔方向，这些定义可以扩展到3D。一旦已经获取样本超声图像同质区域并且使用所估计的PSF 15，散射体表示T(x,y)(散射体图)115就可以基于方程1对于给定的散斑图像外观进行重建。卷积可以被写作线性运算Ax＝b。然后A是卷积矩阵，该矩阵的每一行在与该PSF核将针对该行进行运算的图像索引对应的列处包含所有PSF值。x是在网格上离散化的所有散射体的列向量，b是作为结果的图像外观的列向量。对于总共n个散射体和m个US图像像素，则x具有n个元素，b具有m个元素，并且A是n×m矩阵(注意的是，这对于2D和3D都成立)。
由于H(x,y)可以被近似为可分离的函数，因此卷积矩阵可以被写为Toeplitz矩阵的积A＝CD，其中C和D分别表示横向和轴向方向上的卷积。在一个实施例中，假设可以通过高斯模型来近似PSF，那么PSF卷积核可以在能量变得可忽略的4标准偏差处被截断。例如，在我们具有5MHz超声中心频率的一个实验中，我们分别使用了轴向方向上的两个波长和横向方向上的3个波长，这导致横向卷积核和轴向卷积核的20和12像素的窗口大小(以超声图像尺度测量)，并且A相应地具有最多每行240个非零条目。利用图像大小的散射体分辨率和高达图像分辨率的16倍的散射体分辨率进行的经验测试给予我们令人满意的结果，以及用于散射体重建的几秒到几分钟的合理计算时间。
注意到，如果测量次数等于或小于未知数的数量，例如，当使用单个图像而不是多个图像来以更高分辨率重建散射体时，或者当观测值不是线性无关时，那么逆向问题可能是未定的，并且因此可能需要正则化或附加约束来获得可行的技术方案。在可能的实施例中，为了获得稀疏的散射体重建，使用L1范数的总变化正则化公式可以如下求解(方程4)：
这个公式有利于具有小散射体振幅的正向稀疏x。该约束确保散射体响应为正，从而对实际的物理过程建模，同时也增加解的鲁棒性。在其它可能的实施例中，可以使用其它正则化范数，例如L2范数、L2L1Lasso公式、L1L1公式或如本领域技术人员已知的其它公式。如在解决优化问题的领域中的技术人员已知的，也可以使用各种数学求解法，例如交替方向乘法器法(ADDM)、内点法或YALL1方法。
对大型超声体积获取的优化
如对本领域技术人员将显而易见的，试图在单个线性系统中求解具有可能的多个测量的全尺寸US图像可能超出散射体重建单元110的一些实施例的存储器能力和计算能力。在可能的实施例中，散射体重建单元110可以因此将超声图像划分为更小的块，并且可以针对每个块(而不是整个图像)来单独地解决散射体重建逆向问题。然后，散射体重建单元110可以将作为结果的独立的解组合成单个重建的散射体表示图。在可能的实施例中，散射体重建单元110可以强制执行适当的边界条件以避免相邻块之间的接缝处的不连续性。在替代实施例中，散射体重建单元110可以从相邻块的RF测量值中减去先前计算出的散射体的散斑贡献，这也可以被视为约束边界区域中的散射体以匹配先前计算出的散射体。在可能的实施例中，散射体重建单元110选择足够大以捕捉PSF的至少一半覆盖范围的边界区域，以确保可以由块内的散射体解释与当前块重叠的所有观测值。其它实施例也是可能的。
原始经重建的散射体的登记
由于以上方法，可以重建散射体表示T[x,y](散射体图115)，并且该散射体表示可以被直接地或通过附加建模步骤120用于射线跟踪，如现在将更详细描述的。
在一个实施例中，例如通过完全求解方程1或通过组合其几个较小的重建，可以针对整个图像来重建原始经重建的散射体115。在可能的实施例中，散射体重建单元110首先求解原始RF信号线的极坐标系中的逆向问题，然后将扫描转换应用到笛卡尔坐标域(cartesian domain)以生成散射体表示115。其它实施例也是可能的。
原始经重建的散射体随后可以被直接登记在散射体库125中。该实施例允许确切地对原始成像的解剖位置进行成像模拟，而超声成像位置或参数可以被修改。例如，可以从不同的位置或利用不同的探头设置来查看相同的被成像患者。
如图所示，图5示出了来自临床肝脏超声图像105的散射体图重建115的示例。图5中的a)示出了利用在4.5MHz下操作的UltraSonix 4DC7 3/40凸形探头获取的输入图像的B模式可视化，其中采样频率为20MHz并且视场角为75°。输入RF图像具有轴向间距为0.0385mm的3136*192的分辨率，并且被划分成36个较小的块，以优化散射体重建单元110的逆向问题分辨率。图5中的b)示出了由散射体重建单元110从所述RF图像生成的作为结果的散射体图，其中为了图5中的b)中的可视化，分辨率为3136*1920，以50的因子下采样。
散射体建模
在另一个实施例中，图1的散射体生成器还可以包括建模单元120，以计算更紧凑的重建的散射体的表示并将其登记到散射体库120中。这种更紧凑的模型可以有利于由实时超声模拟系统更高效地使用重建的散射体表示来填充任意的超声几何体和形状。如图6中的a)所示，在实际的超声实践中，不同的解剖区域与不同的散射体对应。虚拟现实或增强现实(VR/AR)超声模拟器(诸如在美国专利8992230中描述的适用于内窥镜模拟器的超声成像)可以包括其中空间被划分成单独的解剖区域(所谓的分段)的虚拟解剖模型，在该解剖区域中的超声纹理(散斑)外观不同于所谓的同质区域。然后，可以针对这些区域中的每个区域使用不同的散射体实例化。如在[BBRH13]中，这可以通过离线计算实例化并将它存储以用于在线图像模拟使用来在3D中执行。在图像模拟之前，这种3D散射体实例也可以与虚拟现实模拟的组织的变形一起变形，从而允许可变形的模型模拟以增加真实感。可替代地，对于要模拟的每个2D图像，可以从给定的分段中提取切片，并且然后可以在那个切片中执行2D散射体实例化。建模单元120可以从输入超声图像取得一个或多个代表性样本，并且导出重建的散射体作为不同的散射体模型，并将它们登记到散射体库125中。图6中的a)将代表性样本示出为灰色框，并且图6中的b)示出了从这些样本使用四种不同的散射体模型来重建的组织。
在第一个可能的实施例中，假设如在[BBRH13]中所描述的统计模型，在简单正态分布模型的情况下，三个参数μ、σ和r(平均值、标准偏差和稀疏度)可以如下简单地估计。使用阈值epsilon的非零散射体纹元的数量给出比率r。这些非零散射体的平均值和标准偏差分别得出μ和σ。图7图示了作为结果的、与三组不同的参数(μ,σ,r)对应的三个不同组织外观的模拟。
当实例化新的散射体纹理时，应该注意，以上正态分布可能生成物理上不可能的负振幅散射体。取决于如何处理具有负振幅的这些散射体，最终的散射体统计结果可能因此稍微改变。在一个实施例中，散射体振幅可能被钳位至零，因此略微降低合成纹理中r的实际值。其它实施例也是可能的。
已经在假设如[BBRH13]中描述的统计模型的情况下描述了以上参数化步骤。可以通过典型的最大似然估计步骤从重建的散射体纹理来估计参数。这个统计模型的简单的实施例对于几乎同质的组织最佳工作，但是可能不能最佳地捕捉某些结构特征。但是，所提出的方法不限于这种统计模型。例如，在更一般的统计模型的情况下，可以使用诸如期望最大化技术的方法来完成参数化步骤，如本领域技术人员已知的。
也可以使用其它非统计纹理合成模型。例如，在可能的实施例中，可以使用纹理合成的方法。在这个实施例中，我们使用由Michael Ashikhmin在“Synthesizing NaturalTextures”，Proceedings of I3D，217-226，2001年[A01]中提出的方法，但是存在许多替代方案。这样的方法以与统计参数化实施例相比而言较不紧凑的表示为代价，从较小的示例组装更大的非复制图像来分布散射体，但是它们能够捕捉输入组织的更多结构和变化。
散射体库
取决于如上所述的实际实施例，参考图1，根据各种可能的建模实施例，原始的经重建的散射体115或者来自建模单元120的散射体模型参数可以作为条目由散射体生成器单元100登记到散射体库125。
实验结果
然后，散射体库可以被实际的超声成像模拟器参考以创建不同形状和分辨率的散斑图像(例如，2D图像或3D体积纹理)。为了便于图示，图8示出了骨盆体模(图8中的a)图像，以及在超声模拟实验中分别使用原始重建的散射体实施例(图8中的b)、正态分布模型参数化实施例(图8中的c)和纹理合成实施例(图8中的d)的三个不同的可能的实施例的结果，在该超声模拟实验中具有相同超声射束轮廓的PSF的卷积被用于重建和模拟结果。
图9展示了当在超声模拟实验中使用时，以变化的超声参数重建的散射体的灵活性，在这种情况下通过从左上到右下减小深度值进行排序偏移的超声射束焦点。
图10进一步示出了当从不同方向查看散射体体积(即，使US变换器方向分别旋转15°和45°)时分别来自一个输入超声图像和七个输入图像的作为结果的超声模拟。
其它实施例和应用
虽然以上详细描述包含许多特定性，但是这些不应该被解释为限制实施例的范围，而是仅仅提供多个实施例中的一些实施例的图示。
虽然为了更简单的数学表示，已经在2D中描述了示例性散射体提取和建模的详细实施例，但是实际的组织散射体位于3D域中。为了将实施例一般化到3D，可以从2D观察来近似3D分布，或者从已经收集到的域中的3D超声体积(或等同于几个空间上登记的2D图像)来近似3D分布。3D散射体分布T[x,y,z]可以由散射体重建单元110通过考虑方程1中的3D PSF和3D散射体分布来重建，同样假设3D卷积运算。除了具有获取3D图像体积或几个2D图像(例如以扇形形状)的能力的3D超声探头之外，还可以使用位置(例如磁或光学)跟踪变换器以及通过在组织上施加压缩/变形来收集这种空间对准的2D图像。
如本领域技术人员已知的，除基于射线的模拟方法之外，所提出的散射体模型生成器的其它应用也是可能的，诸如例如，用于基于图像的超声模拟方法的图像修复。重建的散射体分布或其统计模型也可以潜在地包含可以在医学培训应用中使用的、关于底层成像组织的辨别或诊断信息。
虽然以上已经描述了各种实施例，但是应当理解的是，它们已经通过示例而非限制的方式呈现。对于相关领域的技术人员将显而易见的是，在不脱离精神和范围的情况下文中可以进行形式和细节上的各种改变。实际上，在阅读以上描述之后，如何实现替代性实施例对于相关领域的技术人员将是显而易见的。
如对于数字数据通信领域的技术人员将显而易见的，本文描述的方法可以无差别地应用于各种数据结构，诸如数据文件或数据流。因此，在整个说明书中，术语“数据”、“数据结构”、“数据字段”、“文件”或“流”可以无差别地使用。
虽然以上详细描述包含许多特定细节，但是这些不应该被解释为限制实施例的范围，而是仅仅提供几个实施例中的一些实施例的图示。
虽然以上已经描述了各种实施例，但是应当理解的是，它们已经通过示例而非限制的方式呈现。对于相关领域的技术人员将显而易见的是，在不脱离精神和范围的情况下文中可以进行形式和细节上的各种改变。实际上，在阅读以上描述之后，如何实现替代性实施例对于相关领域的技术人员将是显而易见的。
此外，应该理解的是，突出显示功能和优点的任何附图仅是出于示例的目的呈现。所公开的方法足够灵活和可配置，使得它们可以以与所示出不同的方式被利用。
虽然在说明书、权利要求和附图中经常使用术语“至少一个”，但是术语“一(a)”、“一(an)”、“该”、“所述”等也在说明书、权利要求和附图中表示“至少一个”或“该至少一个”。
在整个说明书中，多个实例可以实现被描述为单个实例的组件、操作或结构。虽然一个或多个方法的独立操作被图示和描述为单独的操作，但是可以同时执行独立操作中的一个或多个，并且不要求以图示的顺序执行操作。在示例配置中作为单独组件呈现的结构和功能可以被实现为组合结构或组件。类似地，呈现为单个组件的结构和功能可以被实现为单独的组件。这些和其它变化、修改、添加和改进都落入本文主题的范围内。
本文将某些实施例描述为包括逻辑或多个组件、模块或机制。模块可以构成软件模块(例如，实现在机器可读介质上或者传输信号中的代码)或者硬件模块。“硬件模块”是能够执行某些操作的有形单元，并且可以以某种物理方式进行配置或布置。在各种示例实施例中，一个或多个计算机系统(例如，独立计算机系统、客户端计算机系统或服务器计算机系统)或计算机系统的一个或多个硬件模块(例如，处理器或一组处理器)可以由软件(例如，应用或应用部分)配置为操作来执行如本文所述的某些操作的硬件模块。
在一些实施例中，硬件模块可以被机械地、电子地或其任何合适的组合来实现。例如，硬件模块可以包括被永久配置为执行某些操作的专用电路系统或逻辑。例如，硬件模块可以是专用处理器，诸如现场可编程门阵列(FPGA)或ASIC。硬件模块还可以包括由软件临时配置以执行某些操作的可编程逻辑或电路系统。例如，硬件模块可以包括包含在通用处理器或其它可编程处理器内的软件。将认识到的是，可以由成本和时间考虑来驱动在专用和永久配置的电路系统中或者在临时配置的电路系统(例如，由软件配置)中机械地实现硬件模块的决定。
本文描述的示例方法的各种操作可以至少部分地由临时配置(例如，由软件)或永久配置为执行相关操作的一个或多个处理器执行。无论是临时配置还是永久配置，这样的处理器都可以构成操作来执行本文描述的一个或多个操作或功能的处理器实现的模块。如本文所使用的，“处理器实现的模块”是指使用一个或多个处理器实现的硬件模块。
类似地，本文描述的方法可以至少部分地由处理器实现，处理器是硬件的示例。例如，方法的操作中的至少一些操作可以由一个或多个处理器或处理器实现的模块来执行。
本文讨论的主题的一些部分可以根据对作为比特或二进制数字信号存储在机器存储器(例如，计算机存储器)内的数据的操作的算法或符号表示来呈现。这样的算法或符号表示是由数据处理领域的普通技术人员用来将其工作的本质传达给本领域其他技术人员的技术的示例。如本文所使用的，“算法”是导致期望结果的操作或类似处理的自一致的序列。在这种情况下，算法和操作涉及物理量的物理操纵。
虽然已经参考特定示例实施例描述了本发明主题的概述，但是在不脱离本发明的实施例的更宽泛的精神和范围的情况下，可以对这些实施例进行各种修改和改变。例如，本领域的普通技术人员可以将其各种实施例或特征进行混合和匹配或使实施例或特征成为可选的。在本文中可以仅仅是为了方便起见，单独地或共同地通过术语“发明”来引用本发明主题的这样的实施例，并且如果实际上公开了多于一个发明或发明性概念(实际上公开了多于一个发明或发明性概念)，那么术语“发明”不旨在将本申请的范围自愿地限制到任何单个发明或发明性概念。
本文图示的实施例据被认为足够详细地进行了描述，以使本领域技术人员能够实践所公开的教导。可以使用其它实施例并从其中导出，使得可以在不脱离本公开的范围的情况下进行结构和逻辑替换和改变。因此，具体实施方式不应该被认为是限制性意义的，并且各种实施例的范围仅由所附权利要求以及这些权利要求被赋予的等同物的全部范围来限定。
而且，可以为本文描述的作为单个实例的资源、操作或结构提供多个实例。此外，各种资源、操作、模块、引擎和数据存储库之间的边界在某种程度上是随意的，并且在特定说明性配置的上下文中图示了特定操作。可以设想功能的其它分配并且其可以落入本发明的各种实施例的范围内。通常，在示例配置中作为单独资源呈现的结构和功能可以被实现为组合结构或资源。类似地，作为单个资源呈现的结构和功能可以被实现为单独的资源。这些和其它变化、修改、添加和改进都落入由所附权利要求表示的本发明的实施例的范围内。因此，说明书和附图被认为是说明性的而不是限制性的。
最后，申请人的意图是，只有包含表达语言“用于......的装置”或“用于......的步骤”的权利要求才根据35U.S.C.112，第6段进行解释。没有明确包括短语“用于...的装置”或“用于...的步骤”的权利要求不应该根据35U.S.C.112，第6段进行解释。

Claims (20)

1.一种利用至少一个处理器生成用于超声成像模拟的散射体表示的方法，包括：
获取多个超声信号样本，每个超声信号样本对应于不同的超声捕捉；
估计与至少一个超声捕捉相关联的至少一个点扩散函数(PSF)；
根据所述多个超声信号样本和所述点扩散函数来重建散射体表示。
2.如权利要求1所述的方法，其中所述散射体表示是2D矩阵T[x,y]或3D矩阵T[x,y,z]。
3.如权利要求1或权利要求2中任一项所述的方法，其中所述多个超声样本是从不同位置或视角生成的。
4.如权利要求1至权利要求3中任一项所述的方法，其中所述多个超声样本是从不同的超声探头设置生成的。
5.如权利要求1至权利要求4中任一项所述的方法，其中，当与同质组织区域相互作用时，所述多个超声样本是从不同的超声发送/接收序列生成的。
6.如权利要求1所述的方法，其中所述多个超声样本是通过射束控制生成的。
7.如权利要求1至权利要求6中任一项所述的方法，其中所述多个超声样本是从不同的解剖变形生成的。
8.如权利要求7所述的方法，其中不同的解剖变形是通过操纵超声探头生成的。
9.如权利要求1至权利要求8中任一项所述的方法，其中估计与至少一个超声捕捉相关联的PSF包括在倒谱域中的同态滤波的步骤。
10.如权利要求9所述的方法，其中，在轴向和横向方向上单独地应用同态滤波。
11.如权利要求1至权利要求10中任一项所述的方法，还包括将所述散射体表示登记在散射体库中。
12.如权利要求1至权利要求11中任一项所述的方法，还包括将所述散射体表示建模为散射体模型。
13.如权利要求12所述的方法，其中使用统计分布参数化来对所述散射体表示进行建模。
14.如权利要求13所述的方法，其中所述统计分布参数化是与作为填充有所述散射体表示的纹理元素的比率的散射体稀疏度参数r组合的正态分布N(μ,σ)。
15.如权利要求14所述的方法，其中纹理合成被用于对散射体表示进行建模。
16.一种用于生成用于超声成像模拟的散射体表示的系统，所述系统包括散射体重建单元(110)和PSF估计单元(300)，所述系统被配置为：
-获取多个超声信号样本，每个超声信号样本与不同的超声捕捉对应；
-估计与至少一个超声捕捉相关联的至少一个PSF；
-根据所述多个超声信号样本和所述点扩散函数来重建散射体表示。
17.如权利要求16所述的系统，其中所述PSF估计单元(300)还被配置为使用倒谱域中的同态滤波来估计与至少一个超声捕捉相关联的点扩散函数。
18.如权利要求16或权利要求17所述的系统，还包括散射体建模单元(120)，所述散射体建模单元(120)被配置为将所述散射体表示建模为散射体模型。
19.如权利要求18所述的系统，其中所述散射体建模单元(120)使用统计分布参数化来对所述散射体表示进行建模。
20.如权利要求18所述的系统，其中所述散射体建模单元(120)使用纹理合成来对所述散射体表示进行建模。
CN201680043844.1A 2015-07-27 2016-07-25 用于生成超声散射体表示的方法和装置 Pending CN107847217A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562197102P 2015-07-27 2015-07-27
US62/197,102 2015-07-27
US201662309298P 2016-03-16 2016-03-16
US62/309,298 2016-03-16
PCT/EP2016/067625 WO2017017051A1 (en) 2015-07-27 2016-07-25 Method and apparatus for generating an ultrasound scatterer representation

Publications (1)

Publication Number Publication Date
CN107847217A true CN107847217A (zh) 2018-03-27

Family

ID=56555381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680043844.1A Pending CN107847217A (zh) 2015-07-27 2016-07-25 用于生成超声散射体表示的方法和装置

Country Status (4)

Country Link
US (1) US20170032702A1 (zh)
EP (1) EP3328284A1 (zh)
CN (1) CN107847217A (zh)
WO (1) WO2017017051A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3510564B1 (en) 2016-09-06 2022-11-02 Virtamed AG Ray-tracing methods for realistic interactive ultrasound simulation
WO2019003285A1 (ja) * 2017-06-26 2019-01-03 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
EP3853598A4 (en) 2018-09-18 2022-04-13 The University of British Columbia ULTRASOUND ANALYSIS OF A SUBJECT
CN109561036B (zh) * 2019-01-15 2021-06-18 哈尔滨工程大学 一种基于凸优化的水声信道盲解卷积方法
US11636603B2 (en) * 2020-11-03 2023-04-25 Dyad Medical, Inc. System and methods for segmentation and assembly of cardiac MRI images
WO2023173180A1 (en) * 2022-03-18 2023-09-21 Robbie Phelan Access system for a transport vehicle

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007100263A1 (en) * 2006-03-03 2007-09-07 Sinvent As Method for simulation of ultrasound images
EP2085927A1 (en) * 2008-01-29 2009-08-05 Bergen Teknologioverforing AS Constrained iterative blind deconvolution
US20120020530A1 (en) * 2009-04-17 2012-01-26 The Hong Kong University Of Science And Technology Motion estimation and compensation of feature-motion decorrelation
US20140205166A1 (en) * 2012-01-23 2014-07-24 Said Benameur Image restoration system and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007100263A1 (en) * 2006-03-03 2007-09-07 Sinvent As Method for simulation of ultrasound images
EP2085927A1 (en) * 2008-01-29 2009-08-05 Bergen Teknologioverforing AS Constrained iterative blind deconvolution
US20120020530A1 (en) * 2009-04-17 2012-01-26 The Hong Kong University Of Science And Technology Motion estimation and compensation of feature-motion decorrelation
US20140205166A1 (en) * 2012-01-23 2014-07-24 Said Benameur Image restoration system and method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BENNY BÜRGER 等: ""Real-Time GPU-Based Ultrasound Simulation Using Deformable Mesh Models"", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 *

Also Published As

Publication number Publication date
WO2017017051A1 (en) 2017-02-02
US20170032702A1 (en) 2017-02-02
EP3328284A1 (en) 2018-06-06

Similar Documents

Publication Publication Date Title
CN107847217A (zh) 用于生成超声散射体表示的方法和装置
EP3510564B1 (en) Ray-tracing methods for realistic interactive ultrasound simulation
Kutter et al. Visualization and GPU-accelerated simulation of medical ultrasound from CT images
CN111771138A (zh) 具有用于根据欠采样超声数据产生图像的神经网络的超声系统
Cheng et al. A morphing-Based 3D point cloud reconstruction framework for medical image processing
CN110074813A (zh) 一种超声图像重建方法及系统
JP2012503501A (ja) 医用画像診断のシミュレーション
Svoboda et al. Generation of synthetic image datasets for time-lapse fluorescence microscopy
CN107533808A (zh) 超声模拟系统和方法
WO2007100263A1 (en) Method for simulation of ultrasound images
Piórkowski et al. The transesophageal echocardiography simulator based on computed tomography images
Mattausch et al. Image-based reconstruction of tissue scatterers using beam steering for ultrasound simulation
Starkov et al. Ultrasound simulation with deformable and patient-specific scatterer maps
Starkov et al. Ultrasound simulation with animated anatomical models and on-the-fly fusion with real images via path-tracing
Law et al. Ultrasound image simulation with gpu-based ray tracing
Barnouin et al. A real-time ultrasound rendering with model-based tissue deformation for needle insertion
Szostek et al. Real-time simulation of ultrasound refraction phenomena using ray-trace based wavefront construction method
Amadou et al. Cardiac ultrasound simulation for autonomous ultrasound navigation
WO2007101346A1 (en) Ultrasound simulator and method of simulating an ultrasound examination
Reis et al. Towards a virtual echocardiographic tutoring system
Selvamanikkam et al. High-Resolution Stereoscopic Visualization of Pediatric Echocardiography Data on Microsoft HoloLens 2
Al Bahou et al. ScatGAN for reconstruction of ultrasound scatterers using generative adversarial networks
US20240105328A1 (en) Neural network simulator for ultrasound images and clips
Gjerald et al. Real-time ultrasound simulation for low cost training simulators
Cammarasana Real-time Ultrasound Signals Processing: Denoising and Super-resolution.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190621

Address after: Swiss Shi Lilun

Applicant after: Vita medical treatment joint-stock company

Address before: Zurich

Applicant before: Eidgenoess Tech Hochschule

TA01 Transfer of patent application right
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180327

WD01 Invention patent application deemed withdrawn after publication