CN109171815B - 超声装置、超声方法以及计算机可读介质 - Google Patents

超声装置、超声方法以及计算机可读介质 Download PDF

Info

Publication number
CN109171815B
CN109171815B CN201810982125.7A CN201810982125A CN109171815B CN 109171815 B CN109171815 B CN 109171815B CN 201810982125 A CN201810982125 A CN 201810982125A CN 109171815 B CN109171815 B CN 109171815B
Authority
CN
China
Prior art keywords
ultrasound
data
measurement data
transfer function
visualization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810982125.7A
Other languages
English (en)
Other versions
CN109171815A (zh
Inventor
秦璟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hong Kong Polytechnic University HKPU
Original Assignee
Hong Kong Polytechnic University HKPU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hong Kong Polytechnic University HKPU filed Critical Hong Kong Polytechnic University HKPU
Priority to CN201810982125.7A priority Critical patent/CN109171815B/zh
Publication of CN109171815A publication Critical patent/CN109171815A/zh
Application granted granted Critical
Publication of CN109171815B publication Critical patent/CN109171815B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Gynecology & Obstetrics (AREA)
  • Pregnancy & Childbirth (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

提供了超声装置、超声方法以及计算机可读介质。该超声装置包括:传感器数据接收器,该传感器数据接收器被构造为接收超声测量数据;预处理器,该预处理器被构造为基于非局部自相似性和相位信息降低超声测量数据的噪声,以获得去噪数据;传递函数生成器,该传递函数生成器被构造为基于去噪数据生成传递函数;以及可视化电路,该可视化电路被构造为基于传递函数且基于去噪数据生成超声测量数据的可视化。

Description

超声装置、超声方法以及计算机可读介质
技术领域
本发明总体涉及超声装置、超声方法以及计算机可读介质,更具体地涉及高保真度且实时的三维超声可视化。
背景技术
随着超声成像技术的发展,3D(三维)超声在临床实践中已经变得越来越流行。通过集成由具有不同角度的反射波生成的变化2D(二维)图像,可以获取体积超声数据,即,3D超声数据。与2D超声数据相比,3D超声数据可以提供用于更精确诊断和治疗的更多解剖信息。
3D或4D(四维,即,涉及3D数据的时间序列)超声的一个最重要应用是胎儿检查。已经证明3D超声可以提高先天性缺陷的检测准确度。
与其2D副本相比,因为3D超声能够从不同角度显示异常并因此提供更多诊断信息,所以3D超声特别有助于辅助产科医师精确评价异常的严重性,并且采取必要的行动来处理异常。
然而,当今,在许多情况下使以实时方式提供高保真度细节的3D胎儿超声数据可视化由于斑点噪声、低信噪比以及涉及不同组织和器官的复杂解剖环境而仍然具有挑战性。现有可视化系统在用于精确诊断和治疗的细节感知可视化时不胜任。
由此,需要一种高保真度且实时的3D(胎儿)超声可视化系统。此外,其他期望特征和特性将从连同本公开的附图和该背景技术一起采取的、随后的详细描述和所附权利要求变得明显。
发明内容
根据本发明的至少一个实施方式,提供了一种超声装置。超声装置包括:传感器数据接收器,该传感器数据接收器被构造为接收超声测量数据;预处理器,该预处理器被构造为基于非局部自相似性和相位信息降低超声测量数据的噪声,以获得去噪数据;传递函数生成器,该传递函数生成器被构造为基于去噪数据生成传递函数;以及可视化电路,该可视化电路被构造为基于传递函数且基于去噪数据生成超声测量数据的可视化。
根据本发明的至少一个实施方式,提供了一种超声方法。超声方法包括以下步骤:接收超声测量数据;基于非局部自相似性和相位信息降低超声测量数据的噪声,以获得去噪数据;基于去噪数据生成传递函数;以及基于传递函数且基于去噪数据生成超声测量数据的可视化。
根据本发明的至少一个实施方式,提供了一种非暂态计算机可读介质。该非暂态计算机可读介质上面存储有可执行指令,这些指令使得超声装置执行超声方法。超声方法包括以下步骤:接收超声测量数据;基于非局部自相似性和相位信息降低超声测量数据的噪声,以获得去噪数据;基于去噪数据生成传递函数;以及基于传递函数且基于去噪数据生成超声测量数据的可视化。
附图说明
在附图中,同样的附图标记贯穿各单独视图指代相同或功能上类似的元件,附图连同以下的详细描述一起并入并形成说明书的一部分,其用来例示各种实施方式,并且说明根据本实施方式的各种原理和优点。
图1描绘了根据各种实施方式的超声装置。
图2描绘了例示了根据各种实施方式的超声方法的流程图。
图3描绘了根据各种实施方式的示例性计算装置。
图4描绘了例示了根据各种实施方式的超声可视化系统的使用的流程图。
图5描绘了例示了根据各种实施方式的、基于非局部自相似性和相位信息的去噪方法的流程图。
图6描绘了例示了根据各种实施方式的基于聚类的自动化传递函数生成方法的流程图。
图7A描绘了根据各种实施方式的GPU加速的体积光子映射方法的工作流程。
图7B描绘了基于传统辐射估计的命运估计的图。
图7C描绘了根据各种实施方式的屏幕空间中的估计的图。
图8描绘了根据各种实施方式的具有不同参数的典型可视化结果。
技术人员将理解,附图中的元件为了简化和清晰而例示,并且不是必须被描绘为等比例。
具体实施方式
以下具体实施方式在性质上仅是示例性的,并且不旨在限制本发明或本发明的应用和使用。此外,不预期受在本发明的之前背景技术或以下详细描述中提出的任何理论限制。本实施方式的意图是提出一种高保真度且实时的3D超声可视化系统,例如,一种高保真度且实时的3D胎儿超声可视化系统。有利地,由以下方面中的一个或更多个提高当前系统的性能。第一,提供有效的斑点减少,使得在降低斑点噪声的同时,可以良好地保留重要的解剖特征。第二,确定传递函数,以清楚地区分复杂解剖环境中的各种器官或组织。第三,提供例示模型,以在可视化结果中逼真地显示不同器官和组织之间的几何关系的同时保留更多细节。
图1描绘了根据各种实施方式的超声装置100。超声装置100包括传感器数据接收器102(换言之,传感器数据接收模块或传感器数据接收电路),该传感器数据接收器被构造为接收超声测量数据。在实施方式中,传感器数据接收器102可以直接从超声传感器接收超声测量数据。在另选实施方式中,传感器数据接收器102可以从存储装置(图1中未示出)接收超声测量数据;例如,超声测量数据可以从超声传感器来获取,然后存储在存储装置上。
超声装置100还包括预处理器104(换言之:预处理模块或预处理电路),该预处理器被构造为降低超声测量数据的噪声,以获得去噪数据。预处理器104可以基于非局部自相似性和相位信息(换言之:基于片的相似性,其中,片基于相位信息来确定)获得去噪数据。高维超声可视化不可避免地接收来自固有斑点噪声的不利影响。在这一点上,根据各种实施方式,预处理器104在可视化之前从超声测量数据去除斑点噪声。
在本实施方式中,预处理器104可以进行用于去噪的三个主要步骤。第一,预处理器104将超声测量数据的相位信息积分到区域协方差描述符中,以估计超声测量数据中的片相似性,以便进一步增强其辨别特征和斑点噪声的能力。
给定输入图像S,相位信息是以下方程的特征非对称(FA),并且FA的定义由下式给出:
Figure BDA0001778827170000041
其中,Θ描述了所估计的噪声阈值;
Figure BDA0001778827170000042
是负值的归零运算;γ是避免除以零的常数;z1和z2是里斯(Riesz)滤波器,并且f是2D各向同性柯西(Cauchy)滤波器。
在获得相位信息(上述方程中的FA)之后,可以将相位信息并入到各片的区域协方差描述符的计算中。对于片R(尺寸:d×d),基于相位的区域协方差描述符(Ci)被定义为:
Figure BDA0001778827170000043
其中,
Figure BDA0001778827170000044
是R中的第i个像素的特征向量,并且μ是片R中的所有像素的特征向量。
Figure BDA0001778827170000045
的定义中,(p,q)是像素i的空间位置;S(p,q)是输入图像S的(p,q)处的强度值;FA(p,q)是FA图的(p,q)处的值;并且
Figure BDA0001778827170000051
是输入图像S上的第1和第2导数。
通过将相位信息积分到区域协方差描述符中,有利地,可以经由二阶统计关系和若干简单特征对局部片的几何形状和频率信息编码。
如上述CR的定义所示,CR是区域R中的所有像素的区域协方差的平均值,并且各像素处的区域协方差涉及协方差矩阵运算。因为协方差矩阵是二阶统计运算符,所以我们要求CR可以描述二阶统计关系。
根据特征向量
Figure BDA0001778827170000052
的定义,简单特征是排除FA(p,q)的Fi的所有元素,由此,它们是S(p,q),
Figure BDA0001778827170000053
p和q。
因此,因为相位信息可以更佳地辨别特征和斑点噪声(例如与强度和梯度信息相比),所以可以有效分离不同片。由此,有利地,可以在去除斑点噪声时保留重要特征。
给定输入图像S,我们可以获得S的各像素的片。对于给定像素j,像素j的片被定义为中心在像素j处的正方形区域,并且正方形区域的尺寸是d×d。d可以经验地被设置为7。
根据各种实施方式,可以期望通过找到类似片的集合来执行输入图像的各像素的低秩恢复。给定像素k,我们首先获得中心在k处的片,并且该片是“参考片”,然后我们可以找到“参考片”的类似片的集合。
第二,一旦已经识别各参考片的最类似片的集合,则预处理器104通过将(各参考片的)各类似片堆叠为一列来形成片组(PG)矩阵(这可以被称为片组(PG)矩阵公式化)。对于去斑点的图像,其PG矩阵应由于这些片之间的高相似性而具有低秩特性,而嘈杂输入图像的PG矩阵秩应由于斑点噪声的破坏而应较大。在这一点上,去斑点问题可以被转移为具有噪声元素的低秩矩阵恢复的问题。该新公式化有利地启用用于斑点减少的NSS和相位信息的优雅组合。有利地,可以更佳地保留特征,并且可以同时有效地去除斑点噪声。
第三,预处理器104由奇异值分解域中的低秩近似来估计去斑点的PG矩阵(换言之:去噪矩阵)。这涉及各种矩阵计算,由此,它可以由图形处理单元(GPU)来进行。根据各种实施方式,预处理器104包括一个或更多个GPU。根据各种实施方式,预处理器104是GPU。预处理器104可以以正常分辨率对于3D超声以实时方式进行去噪。基于去噪矩阵,可以获得去噪数据。
超声装置100还包括传递函数生成器106(换言之:传递函数生成模块或传递函数生成电路),该传递函数生成器被构造为基于去噪数据(即,已经由预处理器104生成的数据)生成传递函数。在体积可视化域中,传递函数负责向体积数据集中的体素分配不透明度和颜色值。这些传递函数对可视化结果的质量可以是重要的。可以实现关于CT(计算机断层扫描)或MRI(磁共振成像)数据集的合理结果的传统传递函数由于低信噪比和严重模糊的边界而未能获得关于超声数据集的满意结果。根据各种实施方式,传递函数生成器106可以基于弗雷(Frey)和杜克(Dueck)的仿射传播(AP)聚类方法执行基于聚类的自动化传递函数生成。聚类方法可以具有快收敛速度和准确的聚类性能。
根据各种实施方式,为了获得有意义的聚类结果,可以引入两个相似性测量:强度-梯度大小相似性和空间相似性。
对于强度-梯度大小(IGM)相似性,IGM直方图中的靠近块可以具有类似的强度和梯度大小。在这一点上,可以采用欧几里德(Euclidean)距离来测量两个块的IGM相似性。
对于空间相似性,该相似性可以使用两个块之间的直接邻居关系的数量在两个块之间来评价。
这两个相似性测量可以准确且有效集合同一组织的体素,并且区分不同组织的体素,使得所生成的传递函数(TF)可以向不同的组织指派不同的光学特性。传递函数生成器106可以首先基于强度-梯度直方图中的峰值和空间相关性的测量执行AP聚类。然后,基于传递函数的初始化,传递函数生成器106可以确定这些聚类的可见性的分布,各聚类表示一种组织。可以定义能量函数来测量当前分布与目标可见性分布的差异,并且可以使用梯度下降方法来求解(换言之:最小化)该能量函数。
有利地,通过基于仿射传播(AP)聚类方法进行自动化传递函数设计方案,可以清楚并有效呈现超声体积的主要特性。
超声装置100还包括可视化电路108(换言之:可视化模块),该可视化电路被构造为基于传递函数(由传递函数生成器106确定)且基于去噪数据(由预处理器104确定)生成超声测量数据的可视化。可视化电路108可以采用基于体积光子映射的全局光照模型。例如,可以使用张(Zhang)、董(Dong)以及马(Ma)的体积光子映射(VPM),该VPM可以模拟包括吸收和散射这两者的光输送。
根据各种实施方式,可视化电路108可以通过进行各种技术并利用像下文中将描述的GPU加速来进行VPM的实时版本。
根据各种实施方式,GPU加速的体积光子映射(VPM)方法可以为双向路径跟踪方法,该双向路径跟踪方法与密度估计组合,该密度估计对眼睛和光路径(光子)采样,借此,保持眼睛路径短,以避免昂贵的最终聚集。没有为确定性反射保存的已采样间接眼睛路径。
在标准VPM方法中,第一步骤是生成用于各基础光的光子。为了避免浪费光子,根据各种实施方式,光子可以投射在体积的边界体素处。首先可以发射数百万光子。根据CUDA的多线程编程模型的单个指令,可以为了跟踪目的对于各所发射光子建立GPU线程。该方法可以容易实施,但线程不是一次完成。相反,因为可以在GPU中并发执行的线程的数量受限,所以这些线程成批执行,并且根据GPU规则在内部调度。平均分配方法通常可以用于所发射光子。虽然该方法具有良好的独立并发性,但跟踪各光子所需的时间以及相同数量的光子的发射因为用于各光子的光子反射和折射跟踪路线不同而变化。因此,将浪费一些线程资源,这延长发射过程。
方法由于实时互操作性要求而应避免资源浪费,以提高发射效率。因此,根据各种实施方式,可以提供一种所有线程一起完成光子发射任务的方法。已经创建被命名为Count的变量来表示所有线程已经发射的光子的数量,并且其值被初始化为0。在线程发射光子时,将Count增大1个单位,直到它达到在整个发射过程期间发射的光子的总数为止。这减少线程空闲时间并提高发射效率。
在射出光子之后,可以期望跟踪它们中的每一个,并且记录它们在场景中的行为。在光子与表面对象碰撞时存在光子的三个可能性:光子被反射、吸收或透过。传统VPM使用K-D树数据结构来存储光子,这些光子需要大存储空间,并且最终聚集由此变得耗时。为了减轻这些人为现象,根据各种实施方式,在我们的实施方案中使用体积纹理来存储光子。
在跟踪并存储光子之后,获得需要使用射线投射方法来渲染的间接光照体积。传统光子映射技术使将射线行进用于渲染,这不适于超声数据,因为体积太小而不能采样。根据各种实施方式,使用体积纹理来存储光子,并且应用新命运估计方法来快速获得间接光照辐射。
可视化电路108可以采用(体积)渲染方案,在该方案中,将VPM和直接光照无缝地组合在一起,以计算出散射效应。使用GPU缓冲器的新特征,并且可以提供新估计模型,以更准确地评价光子的位置和能量。
原则上,光子映射也可以被认为是命运估计问题。辐射的样本可以被表示为光子击中的数量。根据各种实施方式,因为在射线投射中采样的步骤小且还可以顺序看到光子,所以可以采用屏幕空间的体积空间中的多个散射辐射的计算(图7C所示)。代替在屏幕上溅射光子,根据各种实施方式,可以从图像屏幕向间接光照体积投射射线,并且随后对光子采样。因为致密介质中的间接照明的效果是光漫射的结果,所以光在体积中行进比它在仅考虑直接衰减时进行更多的距离。半透明暗示随着光行进穿过介质时由于散射效应而产生的光的模糊。使用高斯(Gaussian)模糊在2D图像空间中计算命运估计。
凭借高级的全局光照模型和体积光子映射,可以提供逼真且实时的3D超声可视化。
凭借根据各种实施方式的VPM,有利地,可以提供比常用更多的深度信息和细节、局部光照模型。
图2示出了例示了根据各种实施方式的超声方法的流程图200。在202处,可以接收超声测量数据。在204处,可以基于非局部自相似性和相位信息降低超声测量数据的噪声(以获得去噪数据)。在206处,可以基于去噪数据生成传递函数。在208处,可以基于传递函数且基于去噪数据生成超声测量数据的可视化。
基于非局部自相似性和相位信息降低超声测量数据的噪声(步骤204)可以包括估计超声测量数据的片相似性。片相似性可以基于将超声测量数据的相位信息积分到区域协方差描述符中来估计。
根据各种实施方式,可以基于片相似性确定片组矩阵。例如可以基于片组矩阵的奇异值分解确定与片组矩阵对应的较低秩的去噪矩阵。
根据各种实施方式,生成可视化可以包括使用传递函数来在超声测量数据中区分器官和组织。传递函数可以基于体素的聚类来确定,这些体素基于超声测量数据来获得。根据各种实施方式,可视化可以基于体积光子映射来生成。
根据各种实施方式,可以提供一种非暂态计算机可读介质。非暂态计算机可读介质上面可以存储有可执行指令,这些可执行指令使得超声装置(例如图1所示的超声装置)执行超声方法(例如图2所例示的超声方法)。
图3描绘了下文中可互换地称为计算机系统300或装置300的示例性计算装置300,其中,一个或更多个这种计算装置300可以用于实施图1所示的超声装置100。计算装置300的以下描述仅用示例的方式来提供,并且不旨在限制。
如图3所示,示例计算装置300包括用于执行软件例程的处理器304。虽然为了清晰起见而示出了单个处理器,但计算装置300还可以包括多处理器系统。处理器304连接到通信基础设施306,该通信基础设施用于与计算装置300的其他部件通信。通信基础设施306例如可以包括通信总线、交叉开关或网络。
计算装置300还包括诸如随机存取存储器(RAM)的主存储器308和辅助存储器310。辅助存储器310例如可以包括:存储驱动器312,该存储驱动器可以为硬盘驱动器、固态驱动器或混合驱动器;和/或可移动存储驱动器314,该可移动存储驱动器可以包括磁带驱动器、光盘驱动器、固态存储驱动器(诸如USB闪存驱动器、闪存装置、固态驱动器或存储卡)等。可移动存储驱动器314以公知方式从可移动存储介质344读取和/或向其写入。可移动存储介质344可以包括由可移动存储驱动器314阅读和写入的磁带、光盘、非易失性存储储存介质等。如相关领域技术人员将理解的,可移动存储介质344包括内部存储有计算机可执行程序代码指令和/或数据(例如,用于执行由图2的流程图200例示的超声方法)的计算机可读存储介质。
在另选实施方案中,辅助存储器310可以另外或另选地包括用于允许计算机程序或其他指令加载到计算装置300中的其他类似装置。这种装置例如可以包括可移动存储单元322和接口350。可移动存储单元322和接口350的示例包括程序盒和盒式接口(诸如在电子游戏机装置中找到的程序盒和盒式接口)、可移动存储芯片(诸如EPROM或PROM)以及关联套接口、可移动固态存储驱动器(诸如USB闪存驱动器、闪存装置、固态驱动器或存储卡)、以及允许软件和数据从可移动存储单元322转移到计算机系统300的其他可移动存储单元322和接口350。
计算装置300还包括至少一个通信接口324。通信接口324允许软件和数据经由通信路径326在计算装置300与外部装置之间转移。在本发明的各种实施方式中,通信接口324允许数据在计算装置300与数据通信网络(诸如公共数据或私有数据通信网络)之间转移。通信接口324可以用于在这种计算装置300形成互连计算机网络一部分的不同计算装置300之间交换数据。通信接口324的示例可以包括调制解调器、网络接口(诸如以太网卡)、通信端口(诸如串口、并口、打印机、GPIB、IEEE 1394、RJ45、USB)、具有关联电路的天线等。通信接口324可以为有线或可以为无线的。经由通信接口324转移的软件和数据为信号的形式,这些信号可以为能够被通信接口324接收的电子、电磁、光学或其他信号。这些信号经由通信路径326提供给通信接口。
如图3所示,计算装置300还包括:显示接口302,该显示接口执行用于将图像渲染到关联显示器330的操作;和音频接口332,该音频接口用于执行经由关联扬声器334播放音频内容的操作。例如,显示器330可以显示在图2所例示的步骤208处生成的可视化。
如此处所用的,术语“计算机程序产品”(或可以为非暂态计算机可读介质的计算机可读介质)可以部分指代可移动存储介质344、可移动存储单元322、安装在存储驱动器312中的硬盘或通过到通信接口324的通信路径326(无线链路或电缆)承载软件的载波。计算机可读存储介质(或计算机可读介质)指代向计算装置300提供已记录指令和/或数据以便执行和/或处理的任意非暂态、非易失性有形存储介质。这种存储介质的示例包括磁带、CD-ROM、DVD、蓝光TM盘、硬盘驱动器、ROM或集成电路、固态存储驱动器(诸如USB闪存驱动器、闪存装置、固态驱动器或存储卡)、混合驱动器、磁光盘或计算机可读卡(诸如PCMCIA卡等),而不管这种装置在计算装置300的内部还是外部。还可以参与提供软件、应用程序、指令和/或数据到计算装置600的临时或非有形计算机可读传输介质的示例包括无线电或红外传输信道以及到另一个计算机或联网装置的网络连接、以及包括记录在网站等上的电子邮件传输和信息的因特网或内联网。
计算机程序(还被称为计算机程序代码)存储在主存储器308和/或辅助存储器310中。计算机程序还可以经由通信接口324来接收。这种计算机程序在被执行时使得计算装置300能够执行此处所讨论的实施方式的一个或更多个特征。在各种实施方式中,计算机程序在被执行时使得处理器304能够执行上述实施方式的特征。因此,这种计算机程序表示计算机系统300的控制器。
软件可以存储在计算机程序产品中并使用可移动存储驱动器314、存储驱动器312或接口340加载到计算装置300中。计算机程序产品可以为非暂态计算机可读介质。另选地,计算机程序产品可以通过通信路径326下载到计算机系统300。软件在由处理器304执行时使得计算装置300执行此处所描述的实施方式的功能。
应理解,图3的实施方式仅用示例的方式来呈现。因此,在一些实施方式中,可以省略计算装置300的一个或更多个特征。同样,在一些实施方式中,可以将计算装置300的一个或更多个特征组合在一起。另外,在一些实施方式中,可以将计算装置300的一个或更多个特征分成一个或更多个组成部分。主存储器308和/或辅助存储器310可以充当用于超声装置100的存储器;而处理器304可以充当超声装置200的处理器。
图4描绘了例示了根据各种实施方式的超声可视化系统的使用的流程图400。从超声体积402(例如可以包括例如不同平面的、例如堆叠的若干超声图像)开始,在步骤404中,可以进行使用非局部自相似性和相位信息的去噪。在步骤406中,可以执行基于聚类的传递函数生成。在步骤408中,可以进行GPU加速的体积光子映射,以到达3D可视化410。
图5描绘了例示了根据各种实施方式的、基于非局部自相似性和相位信息的去噪方法的流程图500。从嘈杂输入图像S(502)开始且在整数计数器i被设置为1的情况下,在步骤504中确定特征非对称(相位信息),并且在步骤506处,确定i是否等于S的最后一个像素。如果在步骤506处确定i等于S的最后一个像素,则处理可以在步骤508处继续。如果在步骤506处确定i不等于S的最后一个像素,则处理可以在步骤518处继续。在步骤508处,可以确定基于相位的区域协方差描述。在步骤510处,可以确定最类似片的整数数量K。在步骤512处,可以形成片组(PG)矩阵。在步骤514处,可以执行低秩恢复优化,以便在步骤516处获得去噪PG矩阵。在步骤516之后,可以将i增加1,并且处理可以在步骤506处继续进行。在步骤518处,可以集合所有去噪PG矩阵,并且在步骤520处,可以输出去斑点图像。
图6描绘了例示了根据各种实施方式的基于聚类的自动化传递函数生成方法的流程图600。从输入超声体积602开始,可以在步骤604处确定梯度大小。在步骤606处,可以确定IGM、IGM直方图以及空间信息。在步骤608处,可以应用阈值,以便在步骤610处获得细化IGM直方图。在步骤612处,可以执行相似性计算。在步骤614处,可以进行相似性信息、IGM以及空间信息。在步骤616处,可以执行AP聚类。在步骤618处,可以进行TF(传递函数)设计。在步骤620中,可以进行GPU加速的体积光子映射。
图7A描绘了根据各种实施方式的GPU加速的体积光子映射方法的工作流程700。处理可以从输入超声体积702开始。在步骤704处,可以确定直接光照体积。在步骤706处,可以执行光子映射,并且在步骤708处,可以确定间接光照体积。在步骤710处,例如可以基于直接光照体积和间接光照体积进行射线投射。在步骤712处,可以进行HDR(高动态范围)方法。有限范围的超声显示不足以呈现高精度体积渲染的结果。由此,可以添加该后处理步骤712,以使用高动态范围(HDR)方法来解决该问题,该HDR方法在数字摄影中常规地用于调节具有大强度范围的图像。HDR方法允许用户与和标准的低动态范围(LDR)数字成像技术相比具有亮度的更大动态范围的图像一起工作。根据各种实施方式,可以应用色调映射技术,色调映射技术是将高范围的亮度图像映射到具有更低动态范围的标准装置的HDR方法。有利地,可以通过应用HDR方法良好地保留特征之间的局部对比。可以获得可视化结果714。
图7B描绘了基于传统辐射估计的命运估计的图716。光子图718可以用于估计沿着射线的各样本点的散射内辐射。n个最近光子(它们中的一个代表性地标记为720)用于使用半径r的球形核722估计辐射。然而,这种方案计算密集且无法满足实时超声可视化的要求。
图7C描绘了根据各种实施方式的屏幕空间中的估计的图724。根据各种实施方式,基于是命运估计的双重方法的光子溅射的概念,各光子被认为是投影在表面上且可以覆盖其他投影点的小盘(该小盘由间接光照体积730的各种平面来例示)。各受影响的点的值由核函数所加权的光子的能量来计算。根据各种实施方式,因为在射线投射中采样的步骤非常小,所以计算(由观察者726观察的)屏幕空间728中的多个散射辐射,并且在这种情况下,还可以顺序观看光子,并且实现实时渲染。
图8描绘了根据各种实施方式的具有不同参数的典型可视化结果800。
此处的描述中的一些部分鉴于对计算机存储器内的数据的运算的算法以及函数或符号表示而显性或隐性地呈现。这些算法描述以及函数或符号表示是由数据处理领域技术人员用于向本领域其他技术人员最有效传达他们工作的主旨的手段。算法在这里且通常被设想为引起期望结果的自相一致的一系列步骤。步骤是需要物理量的物理处理(诸如能够被存储、转移、组合、比较和以其他方式处理的电、磁或光信号)的步骤。
除非另外特别陈述且如从此处的描述明显的,将理解:贯穿本说明书,使用诸如“接收”、“提供”、“减少”、“确定”、“生成”、“输出”等的术语的讨论提及计算机系统或类似电子装置的动作和处理,计算机系统或类似的电子装置处理并将被表示为计算机系统内的物理量变换成类似地被表示为计算机系统或其他信息存储、传输或显示装置内的物理量的其他数据。
本说明书还公开了用于执行方法的操作的设备(或装置)。这种设备可以被特别构造为所需目的,或者可以包括计算机或由在计算机中存储的计算机程序选择性启动或重构的其他装置。此处所呈现的算法和显示不与任何特定计算机或其他设备固有地相关。各种机器可以与根据此处的示教的程序一起使用。另选地,执行所需方法步骤的更专业设备的构造可以是适当的。适于执行此处所描述的各种方法/处理的计算机的结构将从此处的描述显现。
另外,因为将对本领域技术人员明显的是所描述的方法的单个步骤可以由计算机代码执行,所以本说明书还隐性地公开了计算机程序。计算机程序不旨在限于任何特定编程语言及其实施方案。将理解,可以使用各种编程语言及其编码来实施此处所包含的公开的示教。而且,计算机程序不旨在限于任何特定控制流程。存在可以在不偏离本发明的精神或范围的情况下使用不同控制流程的计算机程序的许多其他变体。
此外,计算机程序的步骤中的一个或更多个可以并行执行,而不是顺序执行。这种计算机程序可以存储在任意计算机可读介质上。计算机可读介质可以包括存储装置,诸如磁或光盘、存储芯片或适于与计算机接口连接的其他存储装置。计算机可读介质还可以包括诸如因特网系统中例示的硬接线介质或诸如GSM移动电话系统中例示的无线介质。计算机程序在被加载并执行在这种计算机上时有效地引起实施优选方法的步骤的设备。
根据各种实施方式,“模块”或“电路”可以被理解为任意种类的逻辑实施实体,该逻辑实施实体可以为执行在存储器、固件或其任意组合中存储的软件的专用电路或处理器。由此,在实施方式中,“模块”可以为硬接线逻辑电路或可编程逻辑电路,诸如可编程处理器,例如,微处理器(例如,复杂指令集计算机(CISC)处理器或精简指令集计算机(RISC)处理器)。“模块”还可以为执行软件(例如,任意种类的计算机程序,例如,使用诸如例如Java的虚拟机代码的计算机程序)的处理器。以下将更详细描述的相应功能的任意其他种类的实施方案可以被理解为根据另选实施方式的“模块”。
从上述内容,可以看到,本实施方式提供了用于高保真度且实时的3D(胎儿)超声可视化系统的超声装置、超声方法以及计算机可读介质。在这一点上,超声装置、超声方法以及计算机可读介质包括三个关键组成部分:(1)基于非局部自相似性和相位信息的超声去噪算法、(2)基于聚类的自动化传递函数设计方案、以及(3)用于基于体积光子映射的3D超声可视化的全局光照模型。
根据各种实施方式的超声装置、超声方法以及计算机可读介质可以在保留超声数据中的重要特征的同时有利地去除斑点噪声,这对于实现高保真度可视化结果是重要的。
凭借根据各种实施方式的超声装置、超声方法以及计算机可读介质,可以提供3D超声系统,例如,3D胎儿超声系统,该3D超声系统以实时方式更逼真地可视化具有更多解剖特征的3D(胎儿)超声数据,以便诊断,以便有利地在可视化结果中提供更多疗法或用于诊断的证据。
根据各种实施方式的装置和方法可以集成在具有超声传感器或连接到超声传感器的装置中,以为胎儿检查提供更逼真的可视化。装置和方法还可以设置在软件系统中,以通过提供给它们用于诊断的更多证据来用于常规胎儿检查中。
虽然胎儿超声数据在各种实施方式中已经被描述为示例性超声数据,但根据各种实施方式的装置和方法可以用于使任意其他高维超声数据(诸如心脏超声数据)可视化中。
虽然已经在本发明的前述详细描述中呈现了示例性实施方式,但应理解,大量的变更存在。还应理解,示例性实施方式仅是示例,并且不旨在以任何方式限制本发明的范围、应用性、操作或构造。相反,前述的详细描述将提供给本领域技术人员用于实施本发明的示例性实施方式的方便道路图,理解,可以在不偏离如所附权利要求阐述的本发明的范围的情况下对在示例性实施方式中描述的步骤的功能和排列以及操作的方法进行各种变更。

Claims (9)

1.一种超声装置,该超声装置包括:
传感器数据接收器,该传感器数据接收器被构造为接收超声测量数据;
预处理器,该预处理器被构造为基于非局部自相似性和相位信息降低所述超声测量数据的噪声,以获得去噪数据,其中,所述预处理器被构造为基于将所述超声测量数据的所述相位信息积分到区域协方差描述符中来估计片相似性,基于所述片相似性确定片组矩阵,并且基于所述片组矩阵的奇异值分解确定与所述片组矩阵对应的较低秩的去噪矩阵;
传递函数生成器,该传递函数生成器被构造为基于所述去噪数据生成传递函数;以及
可视化电路,该可视化电路被构造为基于所述传递函数且基于所述去噪数据生成所述超声测量数据的可视化。
2.根据权利要求1所述的超声装置,
其中,所述可视化电路被构造为使用所述传递函数来在所述超声测量数据中区分器官和组织。
3.根据权利要求1所述的超声装置,
其中,所述传递函数生成器被构造为基于体素的聚类来确定所述传递函数,所述体素基于所述超声测量数据而获得。
4.根据权利要求1所述的超声装置,
其中,所述可视化电路被构造为基于体积光子映射来生成所述可视化,其中,体积光子映射包括从图像屏幕向间接光照体积投射射线,并且随后对光子采样。
5.一种超声方法,该超声方法包括以下步骤:
接收超声测量数据;
基于非局部自相似性和相位信息降低所述超声测量数据的噪声,以获得去噪数据,其中,基于将所述超声测量数据的所述相位信息积分到区域协方差描述符中来估计片相似性,基于所述片相似性确定片组矩阵,并且基于所述片组矩阵的奇异值分解确定与所述片组矩阵对应的较低秩的去噪矩阵;
基于所述去噪数据生成传递函数;以及
基于所述传递函数且基于所述去噪数据生成所述超声测量数据的可视化。
6.根据权利要求5所述的超声方法,
其中,生成所述可视化包括使用所述传递函数来在所述超声测量数据中区分器官和组织。
7.根据权利要求5所述的超声方法,
其中,所述传递函数基于体素的聚类来确定,所述体素基于所述超声测量数据来获得。
8.根据权利要求5所述的超声方法,
其中,基于体积光子映射生成所述可视化,其中,体积光子映射包括从图像屏幕向间接光照体积投射射线,并且随后对光子采样。
9.一种上面存储有可执行指令的非暂态计算机可读介质,所述指令使得超声装置执行超声方法,所述超声方法包括以下步骤:
接收超声测量数据;
基于非局部自相似性和相位信息降低所述超声测量数据的噪声,以获得去噪数据,其中,基于将所述超声测量数据的相位信息积分到区域协方差描述符中来估计片相似性,基于所述片相似性确定片组矩阵,并且基于所述片组矩阵的奇异值分解确定与所述片组矩阵对应的较低秩的去噪矩阵;
基于所述去噪数据生成传递函数;以及
基于所述传递函数且基于所述去噪数据生成所述超声测量数据的可视化。
CN201810982125.7A 2018-08-27 2018-08-27 超声装置、超声方法以及计算机可读介质 Active CN109171815B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810982125.7A CN109171815B (zh) 2018-08-27 2018-08-27 超声装置、超声方法以及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810982125.7A CN109171815B (zh) 2018-08-27 2018-08-27 超声装置、超声方法以及计算机可读介质

Publications (2)

Publication Number Publication Date
CN109171815A CN109171815A (zh) 2019-01-11
CN109171815B true CN109171815B (zh) 2021-08-03

Family

ID=64916308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810982125.7A Active CN109171815B (zh) 2018-08-27 2018-08-27 超声装置、超声方法以及计算机可读介质

Country Status (1)

Country Link
CN (1) CN109171815B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10976434B2 (en) * 2018-08-27 2021-04-13 The Hong Kong Polytechnic University Ultrasound devices, ultrasound methods, and computer-readable media

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8208698B2 (en) * 2007-12-14 2012-06-26 Mela Sciences, Inc. Characterizing a texture of an image
CN103795990A (zh) * 2012-10-31 2014-05-14 索尼公司 图像处理装置、图像处理方法和程序
CN104574297A (zh) * 2014-12-24 2015-04-29 中国科学院深圳先进技术研究院 一种超声图像去噪方法及系统
CN104657979A (zh) * 2014-12-24 2015-05-27 中国科学院深圳先进技术研究院 一种超声图像特征检测方法及系统
CN104751418A (zh) * 2013-12-26 2015-07-01 联发科技股份有限公司 3维区块匹配的图像去噪的方法与装置
CN104835104A (zh) * 2014-02-07 2015-08-12 湖南第一师范学院 基于分形的数字图像主动伪装方案
CN105184819A (zh) * 2015-09-14 2015-12-23 浙江大学 用于医学图像重建参数寻优的客观图像质量评价方法
CN105761216A (zh) * 2016-01-25 2016-07-13 西北大学 一种图像去噪处理方法及装置
CN106203511A (zh) * 2016-06-12 2016-12-07 湘潭大学 一种图像相似块评估方法
CN106204461A (zh) * 2015-05-04 2016-12-07 南京邮电大学 结合非局部先验的复合正则化图像去噪方法
CN106934775A (zh) * 2017-03-08 2017-07-07 中国海洋大学 一种基于低秩恢复的非局部图像去噪方法
CN107038730A (zh) * 2017-03-30 2017-08-11 湖北工业大学 基于高斯尺度结构块分组的稀疏表示图像重建方法
CN107278314A (zh) * 2015-03-24 2017-10-20 英特尔公司 具有自适应有向空间滤波器的非局部均值图像去噪
CN107358589A (zh) * 2017-07-17 2017-11-17 桂林电子科技大学 一种结合梯度直方图与低秩约束的去噪方法
US9875570B2 (en) * 2013-11-04 2018-01-23 Cyrill GYGER Method for processing image data representing a three-dimensional volume
CN107730466A (zh) * 2017-10-11 2018-02-23 北京工业大学 基于结构自相似性和低秩矩阵表示的图像盲复原方法
CN107967674A (zh) * 2017-12-20 2018-04-27 成都信息工程大学 基于图像块自相似性先验的核磁共振图像去噪方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2502997B (en) * 2012-06-13 2014-09-03 Crystalview Medical Imaging Ltd Suppression of reverberations and/or clutter in ultrasonic imaging systems
US10976434B2 (en) * 2018-08-27 2021-04-13 The Hong Kong Polytechnic University Ultrasound devices, ultrasound methods, and computer-readable media

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8208698B2 (en) * 2007-12-14 2012-06-26 Mela Sciences, Inc. Characterizing a texture of an image
CN103795990A (zh) * 2012-10-31 2014-05-14 索尼公司 图像处理装置、图像处理方法和程序
US9875570B2 (en) * 2013-11-04 2018-01-23 Cyrill GYGER Method for processing image data representing a three-dimensional volume
CN104751418A (zh) * 2013-12-26 2015-07-01 联发科技股份有限公司 3维区块匹配的图像去噪的方法与装置
CN104835104A (zh) * 2014-02-07 2015-08-12 湖南第一师范学院 基于分形的数字图像主动伪装方案
CN104574297A (zh) * 2014-12-24 2015-04-29 中国科学院深圳先进技术研究院 一种超声图像去噪方法及系统
CN104657979A (zh) * 2014-12-24 2015-05-27 中国科学院深圳先进技术研究院 一种超声图像特征检测方法及系统
CN107278314A (zh) * 2015-03-24 2017-10-20 英特尔公司 具有自适应有向空间滤波器的非局部均值图像去噪
CN106204461A (zh) * 2015-05-04 2016-12-07 南京邮电大学 结合非局部先验的复合正则化图像去噪方法
CN105184819A (zh) * 2015-09-14 2015-12-23 浙江大学 用于医学图像重建参数寻优的客观图像质量评价方法
CN105761216A (zh) * 2016-01-25 2016-07-13 西北大学 一种图像去噪处理方法及装置
CN106203511A (zh) * 2016-06-12 2016-12-07 湘潭大学 一种图像相似块评估方法
CN106934775A (zh) * 2017-03-08 2017-07-07 中国海洋大学 一种基于低秩恢复的非局部图像去噪方法
CN107038730A (zh) * 2017-03-30 2017-08-11 湖北工业大学 基于高斯尺度结构块分组的稀疏表示图像重建方法
CN107358589A (zh) * 2017-07-17 2017-11-17 桂林电子科技大学 一种结合梯度直方图与低秩约束的去噪方法
CN107730466A (zh) * 2017-10-11 2018-02-23 北京工业大学 基于结构自相似性和低秩矩阵表示的图像盲复原方法
CN107967674A (zh) * 2017-12-20 2018-04-27 成都信息工程大学 基于图像块自相似性先验的核磁共振图像去噪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
3D deeply supervised network for automated segmentation of volumetric medical images;Qi Dou et al.;《Medical Image Analysis》;20171031;40-54 *

Also Published As

Publication number Publication date
CN109171815A (zh) 2019-01-11

Similar Documents

Publication Publication Date Title
US10976434B2 (en) Ultrasound devices, ultrasound methods, and computer-readable media
AU2017316625B2 (en) Computer-aided detection using multiple images from different views of a region of interest to improve detection accuracy
KR101933860B1 (ko) 증강 현실에 대한 방사 전달 샘플링을 위한 장치 및 방법
KR101554241B1 (ko) 3차원 이미지에서의 결함성 픽셀 깊이 데이터 값의 깊이 맵 품질 향상을 위한 방법
JP6688618B2 (ja) 医用画像処理装置及び医用画像診断装置
CN110728740B (zh) 虚拟摄影测量
CN103544682B (zh) 一种三维超声图像非局部均值滤波方法
US9501865B2 (en) System, method, and computer program product for determining a quantity of light received by an element of a scene
CN109598697A (zh) 二维乳腺造影数据组的确定
US20230075050A1 (en) Kernel reshaping-powered splatting-based efficient image space lens blur
KR102195047B1 (ko) 3d이미지 품질을 향상시키는 방법과 장치
JP7237623B2 (ja) 医用画像診断装置、医用画像処理装置及び医用画像処理プログラム
CN109171815B (zh) 超声装置、超声方法以及计算机可读介质
CN105574844B (zh) 辐射响应函数估计方法和装置
CN107810518B (zh) 图像处理系统和方法
US10192525B2 (en) System, method and computer program product for generating one or more values for a signal patch using neighboring patches collected based on a distance dynamically computed from a noise distribution of the signal patch
Chung et al. Enhancement of visual realism with BRDF for patient specific bronchoscopy simulation
WO2020168697A1 (zh) 基于VRDS 4D医学影像的栓塞的Ai识别方法及产品
WO2014141630A1 (en) Extended field iterative reconstruction technique (efirt) for correlated noise removal
RU2798711C1 (ru) Способ обработки данных, аппаратное устройство, устройство и носитель информации
US10832074B2 (en) Uncertainty region based image enhancement
US20170287206A1 (en) Method and apparatus for processing three-dimensional image data
EP4379653A1 (en) Handling reflections in multi-view imaging
CN118887102A (zh) 一种基于介质采样和混合渲染的水下新视角合成方法
Gibson et al. An approach to point based approximate color bleeding with volumes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant